技术发展
Google定义VLA范式:
- SayCan
- RT-1
- RT-2
- Open X-Embodiment
ACT - Action Chunking 消灭累计误差
Diffusion Policy - ACT到 中间关键一步 系列模型: Action flow, RL based …
- 思考diffusion方法和之前离散的区别?优劣
- 自回归
VLA的发展:
- RT-2
- OpenVLA
- Octo
- HPT
- SmolVLA
开源VLA
- pi系列,算法研究前沿追踪
- DiT GR00T 系列 Nvidia 生态,系统搭建,Sim2Real
World Model
- UniSim
- DreamerV3 dreamzero等系列
- Cosmos GR00T
- GigaBrain
建议入门路线
- LeRobot的ACT和Diffusion Policy 实操,SO-100真机,探索仿真平台
- SmolVLA 微调
- openpi (pi0) 微调
- 真机项目
读论文:Aloha ACT + Diffusion Policy + pi0 + VLA 综述
未来方向
VLA + RL world model 数据飞轮 VLA + World Model