MoSculp:MIT CSAIL用AI创建3D打印“运动雕塑”

简介:

很多人都听说过雕塑,也看过一两部3D电影,但对3D动画雕塑(3D motion sculptures)可能就没那么熟悉了。这一术语是由麻省理工学院计算机科学与人工智能实验室,谷歌研究所和加州大学伯克利分校的研究人员已共同提出的,他们试图通过人工智能系统来展示人体是如何运动的。

这一系统被称为MoSculp,在论文《MoSculp:形状和时间的交互式可视化》(MoSculp: Interactive Visualization of Shape and Time)中有所描述,该论文将于下个月在德国柏林的UIST会议上发布。Xiuming Zhang是一名博士生,也是论文的第一作者,他认为这可以帮助想要提高技能的运动员进行详细的运动研究。

4cae11e6deef3cac63817ae19a7c00c8d0a77c0f

“想象一下,你有一个关于Roger Federer 在网球比赛中投球的视频,以及一个自己学习网球的视频。”Zhang说,“然后你可以建立两种情景的动作雕塑来比较它们,并更全面地研究你需要改进的地方。”

其在实践中的工作原理如下:将视频加载到系统后,MoSculp将检测到的关键点覆盖在输入帧上,并通过几个随机选择的帧确认它们。 (内置的校正工具可以让用户在必要时进行调整。)在校正“暂时不一致的检测”后,它会生成运动雕塑并将其加载到自定义界面中。

这是一个多步骤的过程。首先,MoSculp会首先自动检测拍摄对象身体上的2D关键点,例如芭蕾舞女演员的髋关节,膝关节和踝关节,同时进行复杂的舞蹈序列。然后,它将这些点的最佳姿势转化为3D“骨架”。

24cf8bb71af03e9f42544fe0e3ccd5910a42ca97

之后,将这些骨架拼接在一起后,系统会生成一个可以3D打印的运动雕塑,显示主体追踪的平滑,连续的运动路径。用户可以在雕塑周围导航并定制他们的图形以聚焦于不同的身体部位,分配不同的材料以区分部件,甚至自定义照明,然后使用3D打印机进行打印。

在试验期间,研究人员发现超过75%的受试者认为MoSculp提供了比标准摄影技术更详细的运动学习可视化。据悉,这一系统最适合较大的动作,比如在舞蹈序列中抛球或进行一次飞跃。它也适用于可能阻碍或复杂运动的情况,像穿着宽松衣服或携带物品的人。

另外,目前,MoSculp仅适用于单一主题发热视频,但团队希望将其扩展到多个人。在未来,他们相信它可以用于研究社会障碍,团队动态以及人际交往等事情。

“舞蹈和高技能运动通常看起来像'移动雕塑',但它们只会形成稍纵即逝的短暂形状,”Adobe传播负责人Courtney Brigham表示。“这项工作展示了如何采取动作并将其转化为具有客观运动可视化的真实雕塑,为运动员提供了一种分析他们的训练动作的方式。”



原文发布时间为:2018-09-20

本文作者:Sandy

本文来自云栖社区合作伙伴“人工智能观察”,了解相关信息可以关注“人工智能观察”。

相关文章
|
9月前
|
人工智能 物联网 定位技术
让AI绘图动起来并走进现实——LoRA模型-3D - Anagly
让AI绘图动起来并走进现实——LoRA模型-3D - Anagly
243 0
|
6天前
|
人工智能 前端开发 Java
Java语言开发的AI智慧导诊系统源码springboot+redis 3D互联网智导诊系统源码
智慧导诊解决盲目就诊问题,减轻分诊工作压力。降低挂错号比例,优化就诊流程,有效提高线上线下医疗机构接诊效率。可通过人体画像选择症状部位,了解对应病症信息和推荐就医科室。
48 10
|
30天前
|
人工智能 文字识别 安全
谷歌推出通用AI代理:能自动执行600多种动作,游玩复杂3D游戏
谷歌DeepMind的SIMA项目旨在创建一个通用AI代理,该代理能在多种3D环境中执行复杂任务,通过语言指令与环境交互。目标是让AI理解并执行600多种动作,包括导航和建造等。使用多样化的3D环境训练,结合零基础训练和预训练模型,如SPARC和Phenaki,以增强语言理解和行动执行。评估方法多角度,包括人类评估,但也面临效率和成本挑战。项目注重伦理安全,但AI在复杂环境中的性能仍有提升空间。DeepMind将继续优化代理的鲁棒性,扩大研究范围,以推动通用人工智能的发展。
21 2
谷歌推出通用AI代理:能自动执行600多种动作,游玩复杂3D游戏
|
1月前
|
人工智能 API
谷歌SIMA:一种适用于 3D 虚拟环境的通用 AI 智能体
【2月更文挑战第24天】谷歌SIMA:一种适用于 3D 虚拟环境的通用 AI 智能体
42 1
谷歌SIMA:一种适用于 3D 虚拟环境的通用 AI 智能体
|
1月前
|
人工智能 自然语言处理 开发者
Stability AI & VAST 强强联手推出开源单图生成3D模型TripoSR
【2月更文挑战第15天】Stability AI & VAST 强强联手推出开源单图生成3D模型TripoSR
49 1
Stability AI & VAST 强强联手推出开源单图生成3D模型TripoSR
|
8月前
|
机器学习/深度学习 人工智能 编解码
3D AI生成出新玩法了:无需数小时,只要45秒,单张图片即可生成 3D模型
3D AI生成出新玩法了:无需数小时,只要45秒,单张图片即可生成 3D模型
406 0
|
10月前
|
编解码 人工智能 图形学
数字文艺复兴来了:英伟达造出「AI版」米开朗基罗,实现高保真3D重建
数字文艺复兴来了:英伟达造出「AI版」米开朗基罗,实现高保真3D重建
|
10月前
|
人工智能 算法 开发工具
【视觉智能AI场景解决方案——AI智慧运动】
  随着全民健身热潮的提升,智慧健身运动随着数字化新技术的进步,以及在运动健身领域的应用逐渐趋于成熟,智能运动健身将为传统运动健身提供更多新的方向和玩法,满足不同项目爱好者的健身需求。随着AI运动健身技术的进一步普及与应用,基于ai的智慧健身运动技术未来可打造的场景化空间会越来越多,体育运动与科技娱乐,智慧健身运动在线上体育行业未来会创新运动场景,丰富运动体验,提升竞技娱乐性,推动全民健身走向新的高度。
719 3
【视觉智能AI场景解决方案——AI智慧运动】
|
10月前
|
机器学习/深度学习 Web App开发 人工智能
Deepmotion: AI动作捕捉和3D身体追踪技术平台
Deepmotion: AI动作捕捉和3D身体追踪技术平台
448 0
|
11月前
|
人工智能 编解码 自然语言处理
一句话生成3D模型:AI扩散模型的突破,让建模师慌了
一句话生成3D模型:AI扩散模型的突破,让建模师慌了
782 0