载入史册！13个月超退化 小扎元宇宙1小时 连头发丝都根根清楚 真人对谈 表情模拟2.0

就在昨天，美国出名播客主播Lex Fridman与小扎开启了1个小时的元宇宙「面对面」聊天，震惊了全环球。

Lex Fridman聊着聊着，直言「我差点遗记，眼前的你不是真人」。

他们戴上Meta的头显，相隔数百公里，却能如此真切恢复Aavtar的面部表情和举措。

而这面前，是19年Meta提出的一个轻松创立虚拟人化身的技术Codec Avatars，只要要一部手机，就能捕捉人类纤细的表情差异。

有网友示意，别说人家聊的身临其境，就连自己看的太投入，9分钟的时刻，恍然间感觉他们就是真人在对话！

甚至让前谷歌迷信家David Ha扭转了对「元宇宙」疑心的态度。

大概13个月的期间，小扎关于元宇宙的「真爱」仿佛开局要有报答了。

从2021年到如今，Meta元宇宙试验室投入数百亿美元都赔了本，然而也终让人们看到了「头等玩家」里的环球离咱们更近一步。

接上去，一同看看小扎和Lex虚拟化身对谈的精彩瞬间吧。

访谈实录

一出场，Fridman和小扎的访谈就在元宇宙中开局了。

只管一团体在加州，一团体在德州奥斯丁，经过Codec Avatar和3D平面声技术，两团体就像间接面对面坐在一同一样，开局了这场或许会载入史册的会面和聊天。

Fridman调整了一下光源的位置，两团体都显著感到了光线的变动。

而两团体周围的其余的中央，都是乌黑一片。

看着对方明晰的脸和活泼的表情，真的感觉这一切就出当初了一个关了灯的房间里。

而Fridman最直观的感触是，这一切真实是太真实了，真实得让人有点接受不了。

在这样的一个环境之下，长达一个小时的访谈开局了。

访谈触及了小扎关于元宇宙的畅想，以及什么是「真实」的探讨，而最令大家关注的，应该还是小扎关于AI和元宇宙结合前景的认识，以及他对Meta AI未来的方案。

在小扎看来，未来 AI 技术将会在元宇宙中表演十分关键的角色。

未来必需会有十分弱小的超级人工默认，然而依然会有很多AI工具能让人们十分繁难的成功各种各样的义务。

他以Fridman的播客节目举例，播客主播须要尽或许的坚持和自己的社区观众的互动。然而主播无法能 24 小时不劳动地来做这个事。

假设能够在元宇宙中建设一个AI来协助主播来维持自己粉丝社区的生机，满足粉丝们提出的各种要求，将会让主播能成功以前或许齐全没有方法成功的事件。

而且Meta宿愿这样的AI不只仅是出如今元宇宙中，而是在如今曾经有的各种平台上，来帮主播、

网红们保养自己的粉丝、用户社区。

Meta未来会尽快发布这个配置，赋能更多的内容创作者。

进一步地，Meta AI会更多地出如今元宇宙的各个中央，和用户启动交换，为用户提供协助。

不同的AI角色在元宇宙中会以不同的性情展现进去，为用户提供十分丰盛多样的体验。

而如今这些不同角色的AI曾经处于最后的预备阶段了。Meta宿愿能让这些AI愈加可预测，保证安保性。

除了让个别用户在元宇宙中的体验更好，AI可以在元宇宙中为企业，或许代表企业向客户提供各种各样轻薄专业的服务。

在元宇宙的游戏中，AI能让NPC体现得愈加吸引人。他们一个正在开发的相似剧本杀的史努比游戏，AI作为游戏的掌管人体现十分好，十分搞笑，很无心思。

Fridman继续问了小扎关于Meta AI目前的一些状况，关于Llama 2和未来的Llama 3，小扎也知无不言，不时爆料。

在上一次性和Fridman的播客中，小扎和他探讨了关于能否开源Llama 2，小扎很快乐Meta最终这么做了。

在小扎看来，如今开源一个Llama 2这样的基础模型的价值，远远大于风险。

小扎说在开源之前，Meta花了很多期间，启动了十分严厉的评价和红队模拟，最终才开源了它。Llama 2的下载和经常使用量比小扎预期的还要多。

Llama 3呢，必需会有的。不过在开源Llama 2后，如今Meta的优先事项是将其集成到各种生产者产品中。

由于Llama 2自身并不是一个生产者产品。它更像是一个基础设备，人们可以用它来构建物品。所以，如今的重点是继续微调，并且，就是让Llama 2及以及各个版天性够服务好生产者产品。

宿愿有一天数以亿计的人会青睐经常使用这些产品。

然而，Meta也在努力于开发未来的基础模型。如今没有太多能泄漏的，不过必需也会像Llama 2一样，教训严厉的红队测试才会发布。

小扎也宿愿，当Llama 3成型时，Meta会继续开源。然而，这个事Meta还没有最终确定上去，由于如今离Meta发布下一代基础模型还比拟悠远。

不过开源模型能够让人们更好地体验模型能做什么事件，比如小扎自己就很沉溺于和各种各样的AI虚拟角色聊天，十分上头。

关于未来人类的生存，小扎说，元宇宙会无处不在！

最繁难的例子就是电话，未来人类会像如今打电话一样，体验到自己和虚拟环球的真实互动。

比如两团体可以随时随地体验他们两如今的交换模式，除了两个没有真的坐在一间屋子里，其余方面这样的交换会和面对面的交换没有任何区别。

由于从哲学的角度来看，真实环球的实质就是咱们能够感知到的物品和实践存在的物品的结合。

数字环球假设能够越来越好的恢复这个方面，数字环球就能变得越来越丰盛和弱小。

最后，Fridman问小扎，你该不会是坐在沙滩上和我聊的吧。

小扎说，没有，我坐在会议室里。

Fridman说，惋惜了，我就坐在沙滩上，而且我裤子都没穿，幸亏你们没看到我真实的样子。

Codec Avatars：一部手机，化身就来

其实，咱们看到博客视频中，如此冷艳的技术，其实Meta早在19年就研收回来了。

若想在元宇宙中成功真正的交互，虚拟化身可是关上元宇宙这道门的任督二脉。

Codec Avatars这一名目旨在成功一个能够捕捉和示意用于XR的真切头像的系统。

最后这个名目是以高品质的头像演示开局，起初逐渐成功构建全身的虚拟化身。

在Connect 2021大会上，钻研人员Yaser Sheikh曾展现了该团队最新的成绩——全身视频编解码器（Full-body Codec Avatars）。

与此同时，Codec Avatars允许更复杂的眼部静止、面部表情、手部和身材姿态。

此外，Meta还展现了虚拟化身在对不同的光照条件和环境下成功头发和皮肤的真实渲染。

Meta开局制造Codec Avatars的契机要追溯到9年前。

2014年，卡内基梅隆大学机器人钻研所旗下的一家3D捕捉试验室Panoptic Studio的担任人Yaser Sheikh遇到了Oculus首席迷信家Michael Abrash，两人聊得十分投机。

2年，Yaser Sheikh添加了Meta，从那便不时指导着CodecAvatars钻研团队。

「要想打造一个真切的化身，基础在于测量」，CodecAvatars钻研迷信家托马斯·西蒙说。

「化身要以假乱真靠的是准确的数据，这须要良好的测量。因此，构建真实化身的关键是找到一种方法来测量人类表情中的物理细节，比如一团体眯起眼睛或皱起鼻子的模式。」

在匹兹堡试验室的CodecAvatars团队，经常使用了两个关键的模块来测量人类的表情：编码器和解码器。

而如今，人们只要要一部手机，就能准确捕捉到面部表情的信息。

间接在元宇宙中恢复真身。

网友惊呼：恐惧谷

看过这期博客的网友们，纷繁被视频中的效果冷艳。

英伟达初级迷信家Jim Fan示意，

本期 @lexfridman 将作为第一个由虚拟化身的视频会议制造的播客载入史册。

在未来3-5年内，咱们将彻底超过Avatar和模拟的「恐惧谷」。

在我的职业生涯中，我不时在钻研化身默认体。咱们的终极愿景是成功场景：人类和人工默认的全身实时化身，共享同一个虚拟空间，以真切的模式与物体互动，接纳丰盛的多模态反应，遗记环球只是一个模拟。

只管化身如今须要用不凡设备启动扫描，但扎克暗示，自动手机自拍视频很快就能成功。

鉴于3D生成模型的最新停顿，我以为几个月内就能成功。细粒度手指追踪和全身追踪将是下一个指标。

从3个像素的头像怎样一下就退化到这个了？必定是我起猛了！

去年Meta在广告和市场营销上花了26亿美元，这个播客的效果比这些钱效果好多了，Lex赶快让小扎给你打钱！

只管眼球追踪还有些小失误，然而表情的精准出现让人忘了这其实只是虚拟化身。未来已来！

怪不得马斯克找不到小扎，原来小扎躲到这里了！

最后，访谈原视频放在这里了。