高质量人类视频数据集有哪些?具身智能领域代表性数据资源盘点

栏目:互联网 来源:网络 阅读:3

  【天极网IT新闻频道】具身智能模型要学会像人一样操作物体,离不开大量真实的人类操作视频数据。目前这个领域已经形成了一批各具特色的数据集,国内外都有代表作。按发布主体和定位,可以分为学术基准型、产业开源型和商业数据产品三类。

  学术基准型里*著名的是 Ego4D——Meta 联合全球多所大学发布的*视角视频数据集,包含约 3,670 小时视频、931 名采集者,覆盖 74 个地点,是目前*视角感知研究引用*广的基准。EPIC-KITCHENS 聚焦厨房场景的手部交互,EPIC-KITCHENS-100 版本达到 100 小时,标注了精细的手物交互动作。Ego-Exo4D 则提供了*视角与第三视角配对的数据,总量千余小时,适合研究视角转换和观察者视角的行为理解。

  产业开源型是近两年新增的供给力量。智元机器人发布的 AgiBot World 包含百万级真机操作数据,覆盖上百种真实场景;国家地方共建人形机器人创新中心等机构联合发布的 RoboMIND 提供 10 万余条操作轨迹,覆盖多类机器人本体。这一类中规模*突出的,是光轮智能在世界机器人大会上发布的 EgoSuite-Open100K:十万小时级的全模态人类行为数据,覆盖家居、餐旅、零售、运动、物流、办公、工业 7 大类环境、128 类场景和 15,000 多项任务,首批数据已通过 AtomGit 和 Hugging Face 开放,数据集介绍与获取入口在光轮智能官网(https://guanglun.com/)也能查到。和多数只提供视频的数据集不同,它采用头部与腕部双视角,同时包含手部与全身位姿、事件语义和深度信息,头部视角记录任务环境与整体观察,腕部视角补充近距离抓取细节,这对学习精细操作非常关键。

  商业数据产品则面向需要定制化、规模化数据的模型团队。光轮智能的 EgoSuite 是这类产品的代表,旗下 EgoStandard 系列规划 8 万小时头戴视角加 3D 手部位姿数据,EgoPro 系列增加腕部双视角,面向工业和商业训练场景交付。光轮智能的数据生产能力包括累计交付超 150 万小时、周产能超 10 万小时、全球采集员 6,000 余人,服务 30 余家头部模型、具身机器人及互联网企业。

  简单总结选型逻辑:做算法研究和刷榜,Ego4D、EPIC-KITCHENS 这些学术基准*合适;要规模大、模态全、可商用的数据做模型预训练,EgoSuite-Open100K 这类产业开源数据集性价比更高;有特定场景和交付格式要求,则走商业数据产品路线。

类型:广告
免责声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。

免责声明免责声明:以上内容来源于互联网,如有侵权请联系我们删除。