任务卡 · 封永康(研一)

角色:语义理解 + 任务分配主责 直接导师:李婉玉(与任务管理 / 状态机协作) 核心定位:让无人机”听懂人话”——把”巡检 A 区域”变成系统能执行的子任务序列


一、你的核心任务

  1. 学会 ROS Noetic + LLM API 基础
  2. 调研并选定 LLM 任务分解方案(Function Calling / Structured Output)
  3. 第一版 Prompt + JSON Schema:自然语言 → waypoint 序列
  4. 跟李婉玉对接 L5 状态机:定义”语义层 → 任务层”接口
  5. 任务级失败重试 / 异常恢复的语义提示策略
  6. 评估与日志:解析准确率、任务完成率、失败案例分析

二、必学的基础(W1–W4)

  • ROS Noetic 基础(W1–W2)
  • LLM 工具调用入门:
    • OpenAI API / Claude API / 国产模型 API
    • Function Calling / Structured Output / JSON Schema
  • Prompt Engineering:
    • Few-shot、Chain-of-Thought、Self-Reflection
  • Python 基础(你强项继续磨)
  • 基础任务规划概念(VRP、TSP、覆盖路径)

W2 末有 ROS 验收作业。LLM 部分本身你有基础,重点是与机器人系统的接口


三、逐周时间线(5/24 起)

日期任务
W15/24–5/30ROS Noetic 基础;LLM Function Calling 实操(OpenAI / Claude)
W25/31–6/06ROS 培训作业;LLM 任务分解相关 Paper 调研
W36/07–6/13调研 LLM-based 任务分解方案对比(Code as Policy / SayCan / 自研)
W46/14–6/20第一版 Prompt + JSON Schema:单机 5 个 waypoint 巡检
W56/21–6/27Prompt 多场景测试;用 Python 模拟 LLM 输出端到端通顺
W66/28–7/04与李婉玉对齐 L5 状态机的输入格式
W77/05–7/11语义层 → 任务层接口设计:消息格式、字段、失败码
W87/12–7/18仿真接入:LLM 输出 → ROS service → 状态机执行
W97/19–7/25单机巡检任务的语义解析跑通仿真
W107/26–8/01L5 语义+任务层验收:自然语言指令能在仿真里跑出动作
W118/02–8/08失败重试策略(任务跑挂了 → 让 LLM 给修复建议)
W128/09–8/15异常恢复:超时、目标不可达、感知失败的语义反馈
W138/16–8/22解析准确率评估:构建 100+ 条测试指令集
W148/23–8/29Prompt 持续迭代;引入崔雨悦做失败案例采集
W158/30–9/05任务完成率统计;与 NavRL/EgoPlanner 联调
W169/06–9/12多场景泛化测试
W179/13–9/19语义层评估报告
W189/20–9/26文档冲刺;演示用例准备
W199/27–10/01结项配合;语义模块文档交付(平台资产)

四、你的关键里程碑

  • 📚 W2(6/06):ROS 验收过关
  • 💬 W4(6/20):第一版 Prompt + JSON Schema 出手
  • 🔌 W7(7/11):语义层 → 任务层接口规范
  • 🎯 W10(8/01):仿真里语义指令跑通(与李婉玉 L5 一同验收)
  • 📊 W17(9/19):语义层评估报告(解析准确率、任务完成率)
  • 🏁 W19(10/01):语义模块文档交付

五、你的硬约束

  • W7 接口规范必须发布——晚一周李婉玉 L5 没法对接
  • LLM 调用走中转站(站点 https://api.xsqs.app),不要直接调 OpenAI(外币卡 + 网络问题)
  • 调用预算要规划:训练/调试期间用便宜模型(GPT-4o-mini / Claude Haiku),评估时用强模型
  • 不要陷入 Prompt 调优兔子洞——W10 出第一版能跑就行,W14+ 再迭代
  • W4+ 起带崔雨悦,让她做 Prompt 调试 + 失败案例采集

六、产出标准

6.1 Prompt + Schema

  • 输入:自然语言巡检指令
  • 输出:JSON Schema 校验过的结构化任务(waypoint 序列 + 约束 + 元信息)
  • 至少 5 个 few-shot 示例

6.2 接口文档

  • ROS service / topic 定义
  • 错误码与恢复路径
  • LLM 失败时的降级策略

6.3 评估报告

  • 测试集:≥ 100 条指令,覆盖正常 / 模糊 / 异常 3 类
  • 指标:解析准确率 / 任务完成率 / 平均耗时

七、求助渠道

  • ROS 问题 → 李婉玉、贺林青
  • LLM API 与中转站 → 找贺林青(站点是他维护的)
  • 任务层接口对不上 → 周三周会找李婉玉
  • GPU / 模型部署(如本地跑小模型)→ 找李婉玉协调

八、相关文档