大家好,本研究的目的在于研究和实现实时渲染路径追踪中的难点,感谢大家一起来研究学习,谢谢!
本研究偏向于结合深度学习和图形学,目前,我们已经完成了下面的工作:
- 路径追踪基础课
本培训班的课程是基于”路径追踪“技术的离线渲染器零基础实战开发的基础课程。
我们介绍相关的图形学和数学基础,给出详细的数学推导、伪代码和实现代码,最终带领大家使用最新的RTX光线追踪管线以及计算管线的计算着色器,做出一个可以运行的路径追踪离线渲染器。 - 构造和遍历BVH
实现了LBVH、使用Ray Packet加速 - 深度学习基础课
本课程带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序 - 深度学习降噪专题课
本课程基于全连接和卷积神经网络,学习LBF、KPCN、WSPK等深度学习降噪算法,实现了WSPK实时蒙特卡洛降噪算法,介绍了深度学习降噪算法的实现思路,演示了实现的效果
我们预计将会在本次研究中,完成下面的研究和实现:
DLSS
通过毫秒级时间使图像清晰16倍,Facebook提出的DLSS算法介绍,提出了在实时渲染中使用深度学习实现超采样,从而能够只渲染低分辨率的图片,然后超采样为高分辨率的图片
参考资料
- 毫秒级时间使图像清晰16倍,Facebook提出的DLSS算法介绍
- 代码实现
https://github.com/timmh/neural-supersampling
https://github.com/INTEW/NSRR
改进的论文:
- MNSS: Neural Supersampling Framework for Real-Time Rendering on Mobile Devices
- High-Quality Supersampling via Mask-reinforced Deep Learning for Real-time Rendering
新的采样方法:ReSTIR
该采样方法通过在渲染过程中减少采样的方差,带来了几十倍的速度提升;并且能够优化有大量光源的情况;并且支持更健壮的光源路径(比如光源隐藏在门后的情况)
- 使用ReSTIR采样方法
- 使用RTXDI计算直接光照,这是基于ReSTIR的
- 使用ReSTIR GI计算间接光照
- 可以将其进一步改进为ReSTIR PT
我们应该至少基于ReSTIR计算直接光照,并考虑使用ReSTIR GI或者ReSTIR PT(优先)来计算间接光照
TODO ReSTIR PT 与Real-time Neural Radiance Caching for Path Tracing比较?
ReSTIR的参考资料
- RTXDI
- 从重要性采样到 RIS
- Spatiotemporal Reservoir Resampling (ReSTIR) - Theory and Basic Implementation
文末有推荐的代码实现 - Understanding The Math Behind ReSTIR DI - 理解 ReSTIR DI 背后的数学原理
- 论文
ReSTIR GI/PT的参考资料
- ReSTIR GI: Path Resampling for Real-Time Path Tracing
- ReSTIR Path Tracing (ReSTIR PT)的论文
- ReSTIR Path Tracing (ReSTIR PT)的代码
GPU构建BVH
目标:
- 实现PLOC算法,GPU构建BVH
- 研究更新BVH树
参考资料
https://meistdan.github.io/publications/bvh_star/paper.pdf
https://trepo.tuni.fi//bitstream/handle/10024/126597/paper.pdf?sequence=1
https://meistdan.github.io/publications/ploc/paper.pdf
https://meistdan.github.io/publications/prbvh/paper.pdf
https://github.com/meistdan/ploc
https://github.com/madmann91/bvh
其它
参考资料
感觉这文章很牛:浅析ToG2021论文Vectorization for Fast, Analytic, and Differentiable Visibility