任务卡 · 封永康(研一)
角色:语义理解 + 任务分配主责 直接导师:李婉玉(与任务管理 / 状态机协作) 核心定位:让无人机”听懂人话”——把”巡检 A 区域”变成系统能执行的子任务序列
一、你的核心任务
- 学会 ROS Noetic + LLM API 基础
- 调研并选定 LLM 任务分解方案(Function Calling / Structured Output)
- 第一版 Prompt + JSON Schema:自然语言 → waypoint 序列
- 跟李婉玉对接 L5 状态机:定义”语义层 → 任务层”接口
- 任务级失败重试 / 异常恢复的语义提示策略
- 评估与日志:解析准确率、任务完成率、失败案例分析
二、必学的基础(W1–W4)
- ROS Noetic 基础(W1–W2)
- LLM 工具调用入门:
- OpenAI API / Claude API / 国产模型 API
- Function Calling / Structured Output / JSON Schema
- Prompt Engineering:
- Few-shot、Chain-of-Thought、Self-Reflection
- Python 基础(你强项继续磨)
- 基础任务规划概念(VRP、TSP、覆盖路径)
W2 末有 ROS 验收作业。LLM 部分本身你有基础,重点是与机器人系统的接口。
三、逐周时间线(5/24 起)
| 周 | 日期 | 任务 |
|---|---|---|
| W1 | 5/24–5/30 | ROS Noetic 基础;LLM Function Calling 实操(OpenAI / Claude) |
| W2 | 5/31–6/06 | ROS 培训作业;LLM 任务分解相关 Paper 调研 |
| W3 | 6/07–6/13 | 调研 LLM-based 任务分解方案对比(Code as Policy / SayCan / 自研) |
| W4 | 6/14–6/20 | 第一版 Prompt + JSON Schema:单机 5 个 waypoint 巡检 |
| W5 | 6/21–6/27 | Prompt 多场景测试;用 Python 模拟 LLM 输出端到端通顺 |
| W6 | 6/28–7/04 | 与李婉玉对齐 L5 状态机的输入格式 |
| W7 | 7/05–7/11 | 语义层 → 任务层接口设计:消息格式、字段、失败码 |
| W8 | 7/12–7/18 | 仿真接入:LLM 输出 → ROS service → 状态机执行 |
| W9 | 7/19–7/25 | 单机巡检任务的语义解析跑通仿真 |
| W10 | 7/26–8/01 | L5 语义+任务层验收:自然语言指令能在仿真里跑出动作 |
| W11 | 8/02–8/08 | 失败重试策略(任务跑挂了 → 让 LLM 给修复建议) |
| W12 | 8/09–8/15 | 异常恢复:超时、目标不可达、感知失败的语义反馈 |
| W13 | 8/16–8/22 | 解析准确率评估:构建 100+ 条测试指令集 |
| W14 | 8/23–8/29 | Prompt 持续迭代;引入崔雨悦做失败案例采集 |
| W15 | 8/30–9/05 | 任务完成率统计;与 NavRL/EgoPlanner 联调 |
| W16 | 9/06–9/12 | 多场景泛化测试 |
| W17 | 9/13–9/19 | 语义层评估报告 |
| W18 | 9/20–9/26 | 文档冲刺;演示用例准备 |
| W19 | 9/27–10/01 | 结项配合;语义模块文档交付(平台资产) |
四、你的关键里程碑
- 📚 W2(6/06):ROS 验收过关
- 💬 W4(6/20):第一版 Prompt + JSON Schema 出手
- 🔌 W7(7/11):语义层 → 任务层接口规范
- 🎯 W10(8/01):仿真里语义指令跑通(与李婉玉 L5 一同验收)
- 📊 W17(9/19):语义层评估报告(解析准确率、任务完成率)
- 🏁 W19(10/01):语义模块文档交付
五、你的硬约束
- W7 接口规范必须发布——晚一周李婉玉 L5 没法对接
- LLM 调用走中转站(站点
https://api.xsqs.app),不要直接调 OpenAI(外币卡 + 网络问题) - 调用预算要规划:训练/调试期间用便宜模型(GPT-4o-mini / Claude Haiku),评估时用强模型
- 不要陷入 Prompt 调优兔子洞——W10 出第一版能跑就行,W14+ 再迭代
- W4+ 起带崔雨悦,让她做 Prompt 调试 + 失败案例采集
六、产出标准
6.1 Prompt + Schema
- 输入:自然语言巡检指令
- 输出:JSON Schema 校验过的结构化任务(waypoint 序列 + 约束 + 元信息)
- 至少 5 个 few-shot 示例
6.2 接口文档
- ROS service / topic 定义
- 错误码与恢复路径
- LLM 失败时的降级策略
6.3 评估报告
- 测试集:≥ 100 条指令,覆盖正常 / 模糊 / 异常 3 类
- 指标:解析准确率 / 任务完成率 / 平均耗时
七、求助渠道
- ROS 问题 → 李婉玉、贺林青
- LLM API 与中转站 → 找贺林青(站点是他维护的)
- 任务层接口对不上 → 周三周会找李婉玉
- GPU / 模型部署(如本地跑小模型)→ 找李婉玉协调
八、相关文档
- 主时间线:任务分配与时间线
- 你的导师任务卡:03-李婉玉
- 你带的研 0:11-崔雨悦
- LLM 调用站点:cc switch使用教程