2021年《遇见你》中感人的母女重逢
（图片来源：MBC）
四年前，由韩国MBC电视台制作的真人纪录片《遇见你》——《母女在VR中的重聚》吸引了全球的目光，短短10分钟的影片，通过VR技术让逝者“重现”。除了失去女儿的母亲呈现的哀痛，重逢的深切感动更是让数千万观众为之落泪。越来越多的人由此关注到了虚拟现实，也看到了科技“温暖有温度”的另一面。
01
Grief tech：用科技与逝者重逢
VIVE Mars
随着XR的发展及AI等技术的进步，运用科技实现生者与逝者重逢的方式也日益增加。此类技术被《麻省理工科技评论》的作者Charlotte Jee称之为「grief tech」，意指利用科技手段帮助人们处理悲伤和失去的技术。
即使很多人认为这种方式也许会让人深陷哀伤之中，是“走不出来”的展现。实际上，这些留下来的人，或许只是在寻找一种方式来处理自己的情感，抓住与逝者好好道别的宝贵机会。韩国纪录片《遇见你》系列，正是希望能够通过科技，为参与者量身打造虚拟现实体验，尽管无法让逝者重生，但能够给予生者挥别伤痛的可能。
02
虚拟制片与MetaHuman技术
能够重现逝者吗？
VIVE Mars
点击视频，查看《遇见你》第四季完整影片。
2024年，韩国纪录片《遇见你》迎来第四季。这次的主角是三年前遭遇丧子之痛的一对夫妻，当时年仅13岁的儿子Seo-Jun，因急性脑出血骤逝。尽管夫妻二人为了抚养其他三个孩子打起精神努力生活，但他们的心中始终有一处难以愈合的伤痛。因此，夫妻俩决定报名参加《遇见你》，在虚拟现实中与逝去的儿子“重逢”，拥有好好道别的机会。
韩国MBC电视台制作播出的催泪纪录片《遇见你》第四季。（图片来源：MBC）
制作单位特别邀请了VR技术团队和心理咨询专家，为这对夫妻专门打造两个虚拟场景，实现他们的愿望。第一个场景还原了热爱大海的Seo-Jun记忆中的海边，第二个场景是Seo-Jun生前常和爸爸去骑脚踏车的汉江公园。
栩栩如生的虚拟Seo-Jun
该制作团队采用VIVE Mars虚拟制片以及Unreal Engine的MetaHuman技术，让生命永远停留在13岁的Seo-Jun，能够以16岁的模样，活灵活现的出现在父母的面前。为了确保Seo-Jun与父母在虚拟现实中能够实现“真实”的互动，不仅需要双向沟通的技术，还需要即时的动作捕捉，才能呈现流畅自然的动作表现。制作团队PONY Games、特效团队IOFX及技术顾问NIEPCE studio携手合作，成功完成了这项极具创新与挑战的任务。
03
《遇见你》第四季幕后技术团队专访
VIVE Mars
HTC VIVE Mars团队有幸采访了PONY Games和IOFX两个技术团队的负责人，深入了解了此次幕后的制作过程及挑战，以及如何运用前沿科技来实现《遇见你》第四季的动人时刻。
Q
1
两位好，很荣幸邀请到你们。方便请你们自我介绍一下，并和读者说明一下分别负责的项目吗？
J：你好，我是IOFX的执行长兼SM旗下Studio Realive的技术总监，我的名字是Ji Myung-gu（音译）。在《遇见你》第四季中，我负责了各种实感技术的规划与设计，以及组织各技术团队的统筹。
K：我是PONY Games的公司负责人Kang Min-ho（音译）。在《遇见你》第四季负责互动部分、即时动作捕捉及利用Unreal Engine的VR互动部份之技术及制作统筹。
Q
2
可否和我们聊聊《遇见你》这一季的制作过程以及花了多久的时间制作呢？
J：我们与MBC的执行制作团队自2023年4月起开始开会。从那时候开始，我们就根据内容主题，一起规划并测试了各式各样的技术，并建立了一支专门的团队，为最终选定的参与者来制作符合他们需求的内容，同时全力推动技术上的尝试。这段内容的制作时程大约花了六个月的时间，我们与PONY Games、Niepce Studio、Studio Realive、Opim Studio等团队合作，涵盖了MetaHuman、动作捕捉、互动内容、VR内容制作及虚拟制作等各技术领域的专家。然而，这个专案如果没有MBC电视台的现场技术指导，和HTC VIVE所提供的VIVE Mars虚拟制片解决方案，也是没办法完成的。
K：我们直接参与专案的时间大约也是六个月。大部分的工作在于实现即时互动，让Unreal Engine中的触发器（trigger）可以被即时控制，以对应对话和动作的进行，还有让现场的即时动捕更加顺畅。
《遇见你》第四季拍摄现场。
（图片来源：MBC）
Q
3
听起来是个复杂且庞大的专案，你们在过程中有遇到什么挑战吗？你们又是如何解决的呢？
J：传统的戏剧或电影制作方式，通常有着精心策划的剧情和脚本，但我们在制作这部作品时，则更仰赖拍摄参与者在虚拟环境中的体验，并以纪录片的形式呈现，这使我们采用许多之前未曾尝试的技术。同时，为了建立一个能够即时运作且不能失误的流程系统，我们也遇到了重大的挑战。虽然在初期规划时有想纳入混合现实（MR）的内容设计，但由于时间和技术上的考量，我们最终便专注于实现虚拟现实（VR）内容，同时运用即时动作捕捉及虚拟制片技术来拍摄。
K：在有限的工作室空间内，要设置并同步大量的设备是一大挑战，我们在这方面遇到了不少困难。幸好有很多次彩排的机会，让我们能在过程中找到问题，然后解决它。
Q
4
我们看到影片后发现，虚拟Seo-Jun能够自然的与父母对话和互动。两位能和我们分享实现“即时双向沟通”的技术原理吗？这项技术在整个拍摄过程中扮演了什么角色？
J：首先，我们为了确保在现场可以稳定运作，不仅在网络和硬件设备上都拉到非常高的规格，也对软件与内容进行了优化，使得可以实现低延迟的互动。此外，我们在现场采用监控系统，可以根据实际动作捕捉相对位置，让虚拟Seo-Jun能对父母的动作、移动和行为做出反应。
K：是的，由于现实中的父母和虚拟Seo-Jun分别位于不同的空间，要如何让虚拟Seo-Jun知道父母的位置和动作是个问题。为了解决这问题，我们不仅需要追踪父母的位置，还加入了一项让Seo-Jun直接注视父母的“Lookat”功能，在需要面对面互动时，父母能更真实的感受到Seo-Jun的目光。
VIVE Mars的虚拟制片技术，让拍摄事半功倍。
Q
5
16岁的虚拟Seo-Jun非常栩栩如生，你们是如何重现他的表情、外观和声音？
J：我们从他家人所提供的资料和档案，模拟出了16岁的Seo-Jun，制作团队不仅从他的外表，还从他的表情和动作中理解了他的性格，所有的工作人员都希望能尽力捕捉关于Seo-Jun的一切。在处理这些资料的过程中，我们不仅看到了Seo-Jun是一位多么美好又善良的孩子，也感受到家人们对他的爱。
K：技术上来说，我们使用Unreal Engine 5的MetaHuman来打造出虚拟Seo-Jun。MetaHuman的一大特点是，它不像传统是以“blendshape”技术进行脸部绑定，而是使用了许多可以按比重调节的骨骼结构，这让我们可以进行更细致和客制化的调整，也因此省下了不少时间。
采用MetaHuman技术模拟16岁的Seo-Jun
Q
6
想问问你们是否使用了VIVE Mars CamTrack 虚拟制片？能解释一下使用的工作流程和设备吗？
J：没错，通过VIVE Mars CamTrack和FIZTrack的虚拟制片技术，我们才能够成功记录下参与者在现实世界中的反应和在虚拟实境中的体验过程，并将这些真挚的感受传递给广大的观众，为他们带来了感动的时刻。此外，我们也使用了VIVE XR 精英套装作为这一季的头显装置，通过VIVE Mars虚拟制片的解决方案，让我们能够将各项技术发挥出最大效益并统合在一起。
拍摄现场有不少技术需要整合
（图片来源：MBC）
Q
7
《遇见你》的一大亮点是心理咨询，节目中包括了与咨询师的对话。是否有将心理咨询的元素整合到VR互动设计中呢？两位能谈谈这方面的设计吗？
K：在内容企划的阶段，我们便把心理咨询的元素放在优先顺位，来规划能勾起他们幸福回忆的场景和互动，而不仅仅是一般的VR体验。幸运的是，Seo-Jun的父母似乎真的深深的投入其中，并感受这一切。
J：我们相信，找到一个与已故亲人好好告别的方法非常重要。对于那些失去爱人的人而言，解开内心的挂念是克服悲伤、迈向成长的关键。在过程中，心理咨询与不断的沟通是最直接且有效的方法。
Q
8
我们很好奇参与者，也就是Seo-Jun的父母以及其他孩子们，在拍摄现场的反应与体验后的心得，可以和我们分享一下吗？
K：在现场时，工作人员受到Seo-Jun家人们的情绪感染，跟着一起哭，一起笑。我们在现场可以深刻的感受到，透过这个专案，他们的创伤有被疗愈了，哪怕只是一点点也好，因此觉得很欣慰。
J：除此之外，这次的专案也为Seo-Jun的弟弟妹妹们，留下了一次可贵的家庭经验。实际上，在进行这个专案时，我自己也反省了一下，觉得应该要更珍惜与善待自己的家人。虽然随着时间过去，又渐渐忽略了这件事，实在觉得有点尴尬和羞愧。
一起看着VR体验内容的孩子们
Q
9
最后，如果还有《遇见你》第五季的话，你们会想做些什么尝试呢？
J：虽然这不是我们能决定的，但已经有很多观众在期待下一季，所以我猜想应该会有第五季。我们预期下一阶段可能会采用这次没有纳入的MR技术。随着MR设备和相关技术的进步，我们期待能朝向照相真实主义（Photorealism），提供使用者更深层的沉浸感。我们希望这些拟真技术，不仅能应用在MetaHuman的发展上，也能应用如NeRF这样的技术来创造场景，而不仅仅是虚拟的CGI背景。
K：我相信随着第五季的到来，将会有更好的企划及技术。希望可以运用摄影机追踪及手部追踪技术，创造出同时满足视觉及触觉的内容。
你有哪些温暖的记忆在心底无法忘怀？如果能与在另一个世界的TA重逢，想说什么呢？《遇见你》系列将虚拟现实、人工智能和动人故事融为一体，借力VR唤醒温暖回忆，触动人心。
从第一季中使用的VIVE Pro专业版设备，到如今的VIVE XR 精英套装和VIVE Mars 虚拟制片解决方案，MBC制作团队与HTC VIVE保持着良好的合作，帮助多个家庭实现了在VR中“重逢”的愿望，也让越来越多的人看到了科技的无限可能。未来，HTC VIVE将持续推动科技与人文的融合，用前沿科技释放人们对于未来的想象力。
