OpenGL

🕹️OpenGL丨Hi IRA - 皮肤渲染(6)

by ERIN.Z, 2023-03-05


上学期收到作业附件时,关于这个脑袋与SSSS的资源只有区区6页的一个slide,obj与diffuse,normal,specular三张贴图。 Snipaste_2023-03-05_22-47-00.jpg

之前动视暴雪中皮肤的部分已经基本实现完了,但眼睛的渲染优化

digital ira

GDC2013 Next Generation Character Rendering

溯源从之前暴雪GDC渲染的Animation部分开始,讲座介绍模型及表情的数据来自Graphics Lab of the Institute of Creative Technologies of USC,使用Lightstage X扫描。 Snipaste_2023-03-05_21-03-01.jpg

ICT USC的网站中详细介绍了近年来的工作,在2014年其发表了与视频驱动的表情捕捉相关的论文,其题图正是我们要找的这位仁兄! Teaser.jpg

文末的相关项目为我们指明了前路:Digital Ira,发布于2013年,是专为实时渲染而扫描制作的人脸数据集。

(顺便吐槽一下ICT网站,大概是前些年换过域名,所有的站内超链接通通失效,,得单独去谷歌题目才行)

Digital Emily

但Ira其实并非ICT扫描的第一个数字人,在2008年,ICT扫描了Emily O'Brien,并开展了Digital Emily项目。

扫描使用了15张不同光照的照片以计算面部的几何形状和反射率。通过使用不同的光源角度和偏振器,我们能够得到diffuse+specular的图像以及滤除高光的纯diffuse图像,从而观察面部的高光反射。不过这里的'specular'图像不是完全黑白的,这是因为部分光线反射前已经经历过一次散射,改变了色光的比例。

Snipaste_2023-03-05_21-38-43.jpg

高光图是法线计算的重要依据,通过视线向量和光线向量可以反推出面部法线。 Snipaste_2023-03-05_21-43-24.jpg

刚刚提到不同色光的分布在高光中分布并不一致,不同色光分量得到的法线图也是不一样的:红光散射的最远,因此法线细节会柔和许多。 Snipaste_2023-03-05_21-46-19.jpg

好消息是,Digital Emily的模型、贴图是开源的,在Wikihuman Project下可以获取Emily的完整Maya场景与Shader文件。

(题外话——写完才想起来,这个项目之前动画原理课讲人脸动画时就讲过哇!)

Hi Ira

Ari Shapiro是该实验室的图形研究员,Digital Ira项目旨在创建一个实时的、照片真实的数字人物,数据集也分享给了Nvidia和动视暴雪,以进行技术演示(That's why we found him!) 。 Digital Ira与GDC2014的Digital ira and beyond可以获取更多关于Ira模型生成、表情系统构建的信息,但ICT并没有对Ira的模型及纹理信息进行公开:((((

不过这篇文章详细介绍了Nvidia的Ira和动视的Ira,荐读一下👈

于是我们只好把目标转向拿到了数据的Nvidia和动视暴雪。Nvidia于2013年发布了这个面部渲染的Demo,可以在这里下载。 Snipaste_2023-03-05_22-09-14.jpg 悲报是,作为一个成熟的demo,它的所有资源打包成了apk.......而我并不会解包......

Ira会面之旅就此卡住。我试了好多不同的关键词组合都没有找到新的内容——直到把Ira踢出了搜索框,转而搜索上述demo的项目名FaceWorks,终于找到了这个demo的Github开源版本😭😭😭😭

其模型等资源位于Faceworks/samples/media/DigitalIra.贴图的命名与作业附件的材料都是一致的,说不定之前助教也是从这里存下来的嘞💫

很高兴为Ira找回了眼睛和一丢丢毛发(以及maya的反光shader)!Nvidia的demo版本中并没有使用动视暴雪提到的眼周高光与虹膜渲染的优化,所以没有提供Jorge等人使用的泪光闪闪mesh&睫毛遮罩贴图等。下一篇我们就尝试复现一下暴雪眼部渲染的优化流程!期待! Snipaste_2023-03-05_22-36-49.jpg

by ERIN.Z

2024 © typecho & elise