VLA遥操-跨维智能机器人-by港中文深圳Alpha Loong

 记录下比赛过程和问题，欢迎大家讨论建议指导。

今天开始调试遥操调试，由于是自行攒改配置，目前成功抓取了衣服，但是仍有些潜在问题，我们希望尽可能在采数据前做好解决方案，以免后续带来更大的坑：

1、手部相机的夹爪相机3D打印件过高，之前也发帖交流过这个问题，当时担心遮挡夹爪视野有影响，但毕竟有手部相机能看到夹爪，但是遥操过程中发现可能会遮挡衣服的抓点，调整下相机机械件角度。

2、关于相机的问题，首先跨维的头部是双目摄像头，比Pi0算法使用多一个相机，可以镜头数据二选一或者将双目数据均融合输入；还有是内参和外参标定问题，由于机器人的摄像头没有进行标定，前期比较担心这个问题，后续内部小组讨论VLA模型是将关节角度和图像输入给vlm进行映射对应，因此可能不需要知道相机相对位置，无需外参标定；内参也可以根据数据训练从而不标定，但是标定了可以将避免图像引入的非线性，使训练收敛更快，增加泛化性。（如有误，期望专家同学的批评指教）

3、关于夹爪问题，使用的夹爪有部分缝隙，不好夹起衣服，方案：更换末端打印件/加入填充物。

4、适配问题若干（机器人），如机器人的手臂不够长，后续降低高度来尽量满足要求

5、遥操时机器人的头部、下半身的相对位置也随遥操者变化，可能需要更多的数据来分类，同时一直端着手柄也是体力活。

同时十分感谢华为专家的支持和建议！