仰望星空，追光而行——上科大穹顶光场由这个学生团体搭建
你是否曾经看到过这样的场景：远在千里之外的人，能和你"面对面"说话；电影《双子杀手》中，两个亨利同时在荧幕上出现……这些都是基于光场技术实现的数字特效。目前上科大的这个学生团队正在将光场黑科技逐渐变为现实。
曹瑞翔、李振邦、裘麒玮、王一玮和张启煊是来自上科大信息学院的五位本科生。他们利用今年寒假的时间，在多学科人工现实工作室（MARS）成功搭建起了一套用于面部几何还原和材质采集的系统——穹顶光场。这套系统今后将为电影特效的高精度三维重建、重打光提供强有力的数据支持。
"我们搭建的‘穹顶光场’是一个包含约 150 个 256 级可控 LED 光源的球形打光拍摄系统。"团队成员曹瑞翔介绍说，"每个 LED 光源带有 6 个高亮度 LED 灯珠，这些灯珠分为两组独立控制，两组分别安装有不同的偏振片。光源均匀分布于一个直径约 3 米的铝合金框架球体上。所有灯光以最高 1000Hz 的频率变化亮度。"
但在搭建过程中，团队却遇到了许多不可预知的问题和挑战。
首先是灯光设备数量大。该设备需要安装的灯光设备达 150 个，并且需要全部安装在直径 3 米的球体框架下，设备之间间隔小，安装操作难度大，对安装精度要求高。为了解决这个问题，同学们做了大量前期规划，在做好万全的设计准备工作后再进行安装，用"安装一部分，测试一部分"的方式最大程度确保设备安装工作顺利有序进行。
其次是灯光运行频率高。该设备最大工作频率高达 1000Hz 以上，而目前市面上常见的显示设备频率仅为 60–120Hz。高频率对控制系统以及通信协议的速度性能提出了更高的要求，需要定义和研发线路更少、速度以及可靠性更高的协议，这也给团队提出了挑战。
"在这次搭建中，我们始终坚持两个原则：一是‘不着急，小步走’，将大的工程目标分解成小的任务，将大的 bug 分成小的调试检测；另一个是长线的思考方式，做开发时需要考虑装配的复杂度，测试时需要考虑最坏的情况，装配时要为后续的调整保留接口，并做好标记。"
回忆起当时情景，团队成员李振邦感慨道："在搭建过程中，我们经历了试错、调整和反思，如今回想起来，乐观的心态和坚定的信心是最大的动力。不为昨天的设计缺陷懊恼，而是找新的方法弥补和改进，在不断动手实践和经验积累中前行。"
"2021 年春节前的一个凌晨，我们终于做完了最后的一路控制供电。当关上灯，打开控制器电源，黑暗中只有一个个指示灯闪烁时，我们躺在地板上，仿佛仰望着一片美丽的星空……这一刻心中觉得付出的一切都是值得的。"
穹顶光场搭建完成后，团队马上启动了测试，顺利地还原了模特的人脸材质，为整个寒假的辛勤工作划上圆满的句号。
关于 Light Stage
Light Stage 是由美国南加州大学 ICT Graphic Lab 的 Paul Debevec 所领导开发的一个高保真的三维采集重建平台系统。该系统以高逼真度的 3D 人脸重建为主，并已经成功应用于 40 多部好莱坞电影渲染中。从第一代系统 Light Stage 1 至今已经升级到 Light Stage 6，最新的一代系统命名为 Light Stage X。2019 年，这项技术让 Paul Debevec 和他的团队获得了奥斯卡技术成就奖。
从 Light Stage 2 开始，系统已经进入到实用化阶段，通过快速记录演员的各种表情和各种角度下的数据来生成数字化的虚拟动画人脸，引起了好莱坞的关注。2004 年，该系统曾为电影《蜘蛛侠 2》制作了演员阿尔弗雷德·莫利纳和托比·马奎尔的虚拟替身，在近 40 个镜头中使用，并帮助电影获得了奥斯卡最佳视觉效果奖。
Light Stage 5 从更多方面进行了技术优化，系统也更为成熟，可以得到更真实的环境光照与颜色、更快的采集速度、更高精度的人脸三维重建。在好莱坞大片《阿凡达》《本杰明·巴顿奇事》《蜘蛛侠 3》中都使用了该系统。Light Stage 5 最让人惊艳的一次应用是 2008 年发布的 Digital Emily 项目，为著名女星 Emily O'Brien 制作了一个非常精致逼真的数字虚拟人。
2014 年 Paul Debevec 和他的实验室成员建造了一个小型移动的系统（Light Stage X），到白宫扫描了奥巴马总统，这也是首个以国家元首为原型的数字人脸建模。
2018 年火爆全球的《头号玩家》，Light Stage 的特效技术让其 VR 场景更加逼真。同年 Paul Debevec 团队还全数字化了一整部歌剧，让整场表演在虚拟化的情况下依旧栩栩如生。可见 Light Stage 在国外已经发展非常成熟，并开发出较多应用场景。
MARS 穹顶光场
穹顶光场是上科大 MARS 实验室基于具有自主知识产权的电影特效底层核心技术而研发搭建的平台工具，是国际领先的动态扫描技术设备。相比 Light Stage，穹顶光场拥有更多的相机，引入更多光场算法，并且支持动态采集，它能识别到人脸极其细微的结构变化，连皮肤材质都可纳入数据模型，从而获得更真实的重建结果。
目前 Light Stage 在电影和视频领域的应用最为广泛，技术也很成熟。相较来看，我国的影视后期技术水平还存在不小的差距。虽然如今像 Deepfake 这样的 AI 换脸技术非常火爆，但很多影视内容在真正运用时，还是会面临很多瓶颈，不仅被专业人士看出破绽，普通观众也能看到不自然的地方。真实的虚拟人脸合成依旧是一个有待攻克的难题。
如今，我国的科幻电影、电影科技、电影工业体系备受重视。2019 年电影《流浪地球》开启了中国科幻片元年，越来越多的科幻电影对技术提出了更高的要求，大众对角色数字化形象的逼真度要求也不断上升。2020 年国家电影局、中国科协发布《关于促进科幻电影发展的若干意见》，提出将科幻电影打造成为电影高质量发展的重要增长点和新动能。
除了赋能影视行业，未来穹顶光场在 AR/VR 场景、视频游戏、教育、文旅、沉浸式演出、虚拟社交等领域也拥有广阔的市场前景。上科大穹顶光场已开启全新视界！追光路上，我们期待它将创造更多光芒！