做具身智能的第一人称数采,设备选得对不对,很大程度上决定数据能不能训练出可用的模型。虚拟动力的VDEgo-C2头戴式双目第一视角采集设备,以4K超宽屏分辨率、30/60fps双帧率与双目RGB鱼眼相机,配合完整的数据处理工具链,面向VLA与世界模型训练提供Ego数据。
一、视角与覆盖:为什么用双目鱼眼
第一视角采集,怕的就是漏采。VDEgo-C2采用双目RGB鱼眼相机,左右两路图像通过视差还原深度与立体结构,能完整地呈现场景布局与手物交互的空间关系;鱼眼镜头提供较大的视场覆盖,减少视野边缘的动作细节丢失。人手操作往往发生在视野边缘,视野窄的设备容易把关键动作切掉,双目加鱼眼的组合,正是为减少这类漏采而设。
二、分辨率与帧率:影响数据可用性
VDEgo-C2单机分辨率为4K超宽屏,支持30/60fps双帧率。分辨率越高,图像中的细节越完整;帧率越高,快速动作越不容易拖影。对抓取、装配这类快速操作,帧率往往是决定数据能不能用的硬指标。
三、同步与标定:双目数据可用的前提
双目数据能否用,取决于同步与标定。VDEgo-C2的双目相机与IMU惯性传感器同步,IMU含独立时间戳;采集时同步记录Ego位姿(坐标与四元数)、相机内参外参等标定参数,这是后续深度与轨迹计算的前提。缺了这一步,再高的分辨率也难以还原准确的空间关系。
四、采集与存储:离线可用、本地加密
数据采集常在无网环境进行。VDEgo-C2支持离线独立采集,通过物理按键一键启停并有提示音反馈;数据实时写入本地SD卡并支持加密存储,保障数据安全。设备采用模块化设计,头部集成双目相机、惯性传感器、数采主控与无线通信模块,腰部独立挂载电池,采集与供电分开,适合长时间连续采集。
五、数据处理工具链:采集之后能得到什么
虚拟动力的VDEgo-C2设备配套了Ego数据处理工具链,可把原始数据加工成可直接训练的标准数据。
具体来说,设备端先产出原始数据,包括彩色视频(MJPG或MP4)、图像帧时间戳、IMU数据(含时间戳)、标定参数与设备信息。将原始数据导入配套解算工具后,可得到:
双目视频文件(左右目图像拼接),支持h265/h264/mjpg编码;
视频每帧时间戳;
IMU每帧数据时间戳,以及加速度计和陀螺仪数据;
Ego位姿(坐标和四元数);
相机与IMU的标定参数(含分辨率、内参、外参、误差等)。
也就是说,用VDEgo-C2自行采集,配合这套工具链,能把原始画面解算成带时间戳、位姿、标定参数的多模态数据,并输出为可训练的标准格式。
六、采集服务与数据交付
若不便自采或者缺少标注与数据处理的团队,虚拟动力也可以承接从采集到交付的完整环节,按需提供多模态数据采集与精细化标注处理服务。服务流程按需求沟通、方案定制、现场采集、清洗标注、标准化交付五步推进。一次采集可同步产出彩色视频、IMU传感数据、Ego位姿、相机标定参数与手部位姿等多模态数据,且时序对齐。交付格式覆盖MP4、CSV、JSON、LeRobot、YAML、MCAP等,可按训练框架选定。
对于希望直接拿到可用数据集、而不想在设备操作与数据处理上投入过多精力的团队,这套服务相当于把采集、处理、标注与交付整体承接,只需明确训练目标和交付要求,即可获得标准化后的多模态数据。
七、按训练目标怎么选
面向VLA与世界模型训练的规模化数据采集,选VDEgo-C2头戴双目方案;对空间关系与手物交互要求高的任务,其双目视差与鱼眼覆盖更有优势;需要批量化、标准化交付的团队,则要一并看数据处理工具链是否完整。选型时把“数据采来训练什么模型”放在第一位,再回头对参数。
Ego数采设备的选型,可以落到四点:视角够不够全、分辨率与帧率够不够高、同步与标定够不够准、工具链能不能交付标准数据。虚拟动力以VDEgo-C2双目采集设备与配套数据处理工具链,覆盖了从采集到交付的完整链路。
常见问题
Q1:VDEgo-C2的相机和分辨率?采用双目RGB鱼眼相机,双目拼接分辨率为4K超宽屏,支持30/60fps。
Q2:能离线采集吗?支持离线独立采集,数据写入本地SD卡并加密存储。
Q3:为什么强调标定参数?双目的深度与轨迹计算依赖相机内外参,标定参数是数据可用的前提。
Q4:采完的数据怎么处理?经数据解析、处理质控后,输出BVH、LeRobot、MCAP等格式。
Q5:适合训练什么模型?面向VLA视觉语言动作模型与世界模型的训练数据采集。