纽约大学在舞蹈系的帮助下正在开发3D流媒体视频技术

纽约大学正在启动一个项目，以促进舞蹈教育以及其他领域的沉浸式3D 视频的发展。在国家科学基金会 120 万美元的四年期资助的推动下，该项目将尝试使点云视频 (PCV) 技术可用于流媒体。

点云是 3D 空间中表示对象或环境表面的一组数据点。纽约大学表示，点云视频在过去十年中一直在开发中，它将点云帧串成一个移动场景。然而，对于实际用途来说，它通常数据过于密集，所需的带宽远远超出了当今连接设备的能力。

根据纽约大学工程学院周一发表的一篇博客文章，研究人员计划通过“减少带宽消耗和传输延迟，并提高功耗效率，使 PCV 可以更轻松地进行流传输”来解决这些障碍。项目负责人、纽约大学电气与计算机工程教授刘勇相信，现代突破使这成为可能。“随着关键技术的最新进展，我们现在即将完成通过全球互联网传送现实世界人类、生物和物体全息图的难题，”刘周一写道。

ChatGPT制造商 OpenAI去年推出了一个模型，可以根据文本提示创建 3D 点云。Engadget 联系了项目负责人，以澄清它或其他生成式人工智能工具是否参与了该过程，如果收到回复，我们将更新本文。

该团队将与纽约大学蒂施艺术学院和马克·莫里斯舞蹈团的舞蹈中心一起测试该技术。来自两个组织的舞者将在体积捕捉舞台上表演。该团队将直播和点播他们的动作，为希望向高水平表演者学习的有抱负的舞者提供教育内容，并允许工程师测试和调整他们的 PCV 技术。

研究人员预计这项工作将为更先进的虚拟现实和混合现实流媒体内容打开大门。刘说：“拟议研究的成功将有助于广泛部署高质量和强大的 PCV 流媒体系统，促进沉浸式增强、虚拟和混合现实体验，并在教育、商业、医疗保健和娱乐等许多领域创造新的机会。” 。

“点云视频拥有改变一系列行业的巨大潜力，我很高兴纽约大学 Tandon 的研究团队优先考虑舞蹈教育，以便尽早获得这些好处，”纽约大学 Tandon 院长 Jelena Kovačević 说道。