NeRF的神经图形渲染以其流程简洁、生成效果出众等优势 ， 成为了未来面向AR/VR以及元宇宙等各类应用的三维数字内容生成和渲染的主流方案 。 然而NeRF神经渲染算法架构不同于现有的各类卷积神经网络 ， 且运算量巨大 。 因此 ， 一款专用的支持NeRF算法的处理器芯片对于神经渲染技术真正落地至关重要 。
针对上述需求 ， 上海科技大学信息学院娄鑫、周平强和虞晶怡三个课题组通力合作 ， 通过2年多的努力开发了一款面向NeRF算法的神经渲染处理器架构ICARUS ， 实现了片上NeRF渲染的全流程 。 同时 ，ICARUS在设计过程中运用了诸如近似计算等多项技术 ， 实现了更高的能效比 。 研究人员通过Synopsys公司的芯片验证平台HAPS对ICARUS架构进行了原型验证 。 基于40nm CMOS工艺的评估结果表明 ， ICARUS在执行基于NeRF的神经渲染任务时 ， 能效大幅领先于现有的GPU和CPU 。 相关成果以题为“ICARUS: A Specialized Architecture for Neural Radiance Field Rendering”发表 。
图1: (a) 基于NeRF的神经渲染原理；(b) ICARUS在HAPS上验证；(c) ICARUS架构潜在的应用
图2：ICARUS架构示意图
图3：基于HAPS的原型验证系统
二、智能数字人系列成果 。
近年来随着元宇宙的逐渐兴起 ， 数字人技术快速发展 。 上海科技大学信息学院团队提出了基于神经辐射场和光场建模相结合的智能数字人系列成果 。
为解决将神经网络动态场景重建渲染整合到传统的基于网格模型的下游应用中的难题 ， 上海科技大学信息学院许岚课题组与虞晶怡课题组合作提出了一套全新的基于NeRF下动态写实数字人的快速建模、动态压缩和高质量渲染系统 ， 高效地将神经网络优化技术融入到传统的动画网格模型工作流中 。 该成果数倍数量级地提升了传统动态三维重建流程的效率 ， 通过神经渲染引擎技术 ， 为业内动静态三维重建提供全新的解决方案 ， 将极大推动三维重建、人工现实和数字人等行业的发展 。 相关成果以题为“Human Performance Modeling and Rendering via Neural Animated Mesh”发表 。
图2：神经表面重建器架构示意图
为解决数字人轻量化实时动态驱动的难题 ， 虞晶怡课题组与许岚课题组提出了视频驱动神经面部资产以实现微表情级别的实时面部捕捉方法（NPFA） 。 该方法将首创的4D PBR扫描技术与神经网络表达相结合 ， 可得到真实而细腻的视频驱动人脸效果 。 极大程度地降低了高精度数字人制作与驱动的成本 ， 减少了数字人艺术家的大量重复工作 ， 丰富了数字人的应用场景 ， 将有力推动游戏影视、虚拟现实和数字人等行业的发展 。
自主知识产权的穹顶光场系统首次实现动态毛孔级PBR材质扫描
由神经网络输出的面部资产仅需要简单的RGB图像就可驱动 ， 真实反映毛孔挤压与血流变化
为解决解剖学正确角色生成的问题 ， 信息学院虞晶怡课题组、张玉瑶课题组与上海市第九人民医院王旭东团队合力构建了一个同时对脸部外表面与内部头骨建模的系统 ， 构建出符合解剖学规则的参数化(Parametric)人脸生成模型SCULPTOR 。 SCULPTOR可以运用照片人脸模型等素材 ， 通过对头骨、脸部几何形状和脸部外观进行联合建模 ， 生成高质量和有特色的面部细节 ， 并以此为依据进一步调整角色相貌 。 同时 ， SCULPTOR也可以根据骨骼形状推测角色的相貌 ， 做物理模拟 ， 甚至将两个角色融合 。 该方法将被应用于数字人创作、整形预测等多个方向 ， 为文化娱乐与医疗美容行业提供新的技术解决方案 。
SCULPTOR工作建立了解剖学正确的参数化人脸模型 ， 能够生成更加丰富准确又多元化的角色
应用示意图 ， 实现通过一张照片 ， 即可推测下颌骨形状与姿势
上海理工大学成功研制出CMOS光子芯片
近日 ， 上海理工大学光子芯片研究院研究人员Elena Goi博士以第一作者身份在《自然-通讯》（Nature Communications）杂志上发表了最新研究成果“基于CMOS芯片上人工智能全息纳米结构的泽尔尼克光瞳函数直接提取”( holographic nanostructures on CMOS chips for direct retrieval of Zernike-based pupil functions） ， 首次实现集成在单个紧凑光电传感元件中的光学衍射神经网络直接提取任意光瞳相位的实验演示 。 论文的通讯作者为光子芯片研究院院长顾敏院士、Elena Goi博士 ， 上海理工大学为第一单位 。 顾敏院士指出 ， 该突破有望在精准医疗中得到应用 。
光子芯片研究院 Elena Goi博士
推荐阅读
- 埃及法老胸前神秘宝石不属于地球或是陨石撞击时形成?
- 新冠病毒会变得强还是弱？根据两种进化论判断结果大不一样
- “三无”男子公园举牌征婚，称要找上海老婆，边听歌边耍帅
- 来这个展，和中国首批宇航员一起奔赴浩瀚宇宙
- 出境旅游|中国或“报复性”出境旅游！东南亚热烈欢迎，美韩却难分一杯羹？
- 休斯顿飞天蝙蝠纷纷落、佛州无边蜥蜴瓢泼而下，都是极冻天惹的祸
- 疯狂的植物奶：外来者与守城人
- 关于新冠病毒，清华大学研究团队传来一个好消息！
- 全球顶级卫生专家警告 新的一年新冠病毒变种的风险迫在眉睫