CGPC2024 第一日

• 日程安排：https://cgpc2024.github.io/about.html

全息数字人

鲍虎军，浙江大学

多媒体 -> 三维重建与渲染 -> 沉浸式自由视角

关键问题：高精度、多模态

现有技术

• 几何建模
• 仿真与渲染
• 视觉插值(View interpolation)
• 重建

重建

• 多视图立体几何(Multiple View Stereo)

  • 开销大、噪点多（需要很多相机）
  • 难点：精度，如何抽取二维特征点

• 神经辐射场(NeRF)

  • 传统重建

    • 位姿求解->深度计算->点云融合->网格提取

    • 流程长、不可微

  • 神经网络重建

    • 隐式场渲染，可微

• 低成本方法

  • Sparse multi-view video -> Volumetric video
  • Neural Body
  • SMPL Human Model
  • 体渲染(Volume Rendering)

问题：多人近距离交互情况下，遮挡关系、骨架结构

数字人驱动

多模态信息交互

• 文本/语音驱动 ASR/TTS
• 视频驱动 单目/多目影像重建
  • AD-NeRF

未来工作

• 基于物理的环境交互
• 数字人-自然人交互
• 自交互(Audio-Lip/Motion)

渲染

NeRF速度较慢（体渲染）

Efficient NeRF: 生成深度图，导引采样

• 720p+ 5FPS

发展：4K4D实时渲染

• EasyMocap
• EasyVolcap

图像/视频生成：从PBR到基于数据的合成

刘利刚，中科大

基于数据的生成：SoRA等基于深度学习的绘制方法

颜色计算：数据表示、计算方法

PBR：基于第一性原理计算

• 数据表示：Scene
• 计算方法：Rendering->Color

建模：几何仿真 渲染：色彩仿真 动画：运动仿真

1. 建模

Model + Texture

2. 渲染

Projection & Shading

解渲染方程：采样、缓存

• 蒙特卡洛方法：光路采样
• 有限元方法：辐射度等

GAMES303 要出了！

已知三维场景的渲染

• 传统：面表达和面渲染

• 复杂情况：体表达（透明物理，散射光路）

问题

• 输入：单视点/多视点采集
• 输出：新视点的图片

方法

1. 3D重建，渲染计算
   1. 可微渲染（Inverse Rendering）
2. 不显式计算场景，图像插值2D算法(IBR)

IBR

光路复杂，不可微

方案：体表达，假设直线光路

• 应用于CT成像可视化

NeRF：场表达

3D物体内部点（坐标）与光量

重要技术：位置编码

3D场表达

高斯函数拟合，点表达

基于数据的合成

纹理生成：根据一定方法，取邻域内的像素生成

Siggraph2019：GauGAN

Sora：text-to-video

国内CG研究成果fast-forward

DRGraph：图布局优化，ZJU SE

三维智能感知与高精表达

物理仿真、学习仿真，任博，NKU

视觉大模型，XVERSE元象

鸿蒙OS、媒体AIGC，华为

动捕、人体重建渲染，北师

智能柔性传感动作捕捉，厦门大学

OctFormer，北大

几何处理，高林，中科院

基于基函数渲染（实时渲染）、光追去噪、可微神经渲染等，徐坤，THU

多视角重建、手势AIGC、Shader简化、连续插帧，霍宇驰，ZJU

NPR+可动文生图，Image-3d，NeRF fast inference，易冉，SJTU

Taichi Graphics，https://www.taichi-graphics.com/

视频生成动态流体仿真，mchu@pku

各向异性材质物理仿真，Data-Physics模型，高阳，BUAA

开放大世界建模&重建、实时体积云、全动态GI，腾讯IEG

物理仿真，无人机重建，https://taodu-eecs.github.io/

材质恢复、神经网络材质、参与介质渲染，王贝贝，NJU

后略

离线绘制：光线追踪算法原理

徐昆，THU

数理原理

• 随机变量、概率、分布

• CDF、PDF

• 无偏估计：

  $$E(\hat X) = E(X) \newline Var(\hat X) = \frac{1}{n}Var(X)$$

• 逆变换采样

  1. 求CDF

  2. 求CDF的逆函数

  3. 对[0,1]的随机变量a，令X=P(a)

• 拒绝采样法

  • e.g: 单位圆的均匀分布
  • 略

• 二维流形采样

  • 参数曲面描述二维流形
  • 如何保证曲面仍是均匀分布？构造“保面积映射”

蒙特卡洛积分

• 给定某随机变量X，按其PDF采样，求f(x)/p(x)的期望即为f(x)的积分
• 无偏性、收敛性
• 降低估计量方差方法：重要性采样、分层采样、拟蒙特卡洛方法

重要性采样

• 找一个和f(x)形状相似的p(x)

$$理想情况：p(x)=cf(x)，只需要一个采样点即收敛(n=1). \newline \hat I = \frac{f(x)}{cf(x)} = \frac{1}{c}$$

多重重要性采样

$$考虑\int{f(x)g(x)}{dx}，直接取得p_f(x)或者p_g(x)不如均匀采样 \newline 传统：I = \frac{1}{N}\frac{f(x_i)g(x_i)}{p_f(x_i)} \newline$$

Balance heuristic：TODO

拟蒙特卡洛方法

采样时使用低差异序列代替随机数

优点：收敛速度更快

缺点：部分情况出现走样

俄罗斯轮盘赌

给定终止概率q，对积分F构造F’，1-q的概率取(F-qc)/(1-q)，q的概率直接取c（c、q任意）

E[F’] = E[F]

增大方差，但舍弃了代价高昂的计算（递归深度大的情况）

光线追踪算法：路径追踪

主流算法：Path Tracing，由Kajiya与渲染方程一同提出

基本概念：辐照度、辐亮度、BSDF(BRDF+BTDF)

反射光强 = BRDF（入射光）的积分

入射光必须递归计算，无穷维积分得到渲染方程，只能采用蒙特卡洛方法求数值解

路径采样

从相机出发逆采样，对每个结点进行采样

全路径概率p(x) = p(x0,x1,….,xk) = 条件概率乘积

问题：

1. 路径长度限制（何时停止）
   1. 设置最大深度：有偏方法，能量不守恒
   2. RR：可以根据当前材质反射率、当前路径总体贡献、深度等动态计算终止概率q，收敛速度变快方差变大
2. 收敛速度慢
   • 重要性采样
     • 根据交点的BRDF确定一个和它接近的BRDF
   • NEE（Next Event Estimation）
     • 在路径中的中间节点直接和光源采样（减少相关性）
     • 无论RR是否通过，在光源上采样给得到一个最终节点x0
     • 返回xk xk-1…x0
     • 如果RR通过，方向采样得到下一个中间节点
   • 直接光照估计：MIS
     • BRDF重要性采样：大光源、光滑表面（Glossy材质反射比较集中）
     • 光源重要性采样：小光源、粗糙表面

参考

• PBRT

• LuisaRender

前沿渲染

路径引导

学习场景中的光场分布：S-D Tree，在线更新PDF

神经方法：将神经网络视为生成随机数的生成器

渲染降噪

滤波、回归、深度学习

从低spp的渲染结果，利用反射率贴图、法线贴图、深度贴图降噪

离线降噪：权重预测网络

路径复用

神经辐射缓存：使用轻量神经网络你和、存储场景个点辐射场信息

求交加速&GPU光追

求交加速

层次包围体 / 空间剖分

GPU

20系：10Grays/s

30系：同时追踪和着色

40系：硬件光线排序、表面细分

框架：OptiX

LuisaCompute LuisaRender：跨平台统一、编程灵活

实战中的实时渲染

腾讯前沿游戏技术中心引擎专家，袁亚振

项目 vs. 研究

• 项目的短板不能太短
• PPT、源代码，是否能快速复现
• 方案是否Production Proven

全动飞行模拟项目

同步渲染、工业适配

渲染：地球级别的数据组织、标线和灯光渲染、PBR大气云雾

标线、城市：锯齿和闪烁问题

TAA：模糊

方案：UE5 TSR、DLSS、DLAA

UE整合：Aggregate G-Buffer AA(https://research.nvidia.com/publication/2016-07_aggregate-g-buffer-anti-aliasing-unreal-engine-4)

光照烘焙

困难路径采样（间接光采样）

• Practical Path Guiding

超大规模光源

• Light Grid + Light BVH

超大规模场景

• 爆显存问题

游戏资产的智能创建

网易伏羲

3D AIGC

捏脸数据AI

捏脸系统：变量多，输入维度多

角色智能创建：图像识别捏脸、文字生成捏脸数据

• 生成式模型作为渲染器，模拟渲染

• 通过神经网络定义人脸相似度，反向传播求解骨骼参数

• NPC生成，提升开发效率

• 玩家自定义，提升沉浸感

交互式多轮编辑

• 可以通过对话来生成捏脸数据，可以和玩家讨论

交互场景AI

文字生成交互场景

• 书法风格补全
• 地图生成