定义：3D人脸重建——通过2D图片生成3D模型
我们可以用这样一个表达式来建模3D人脸模型：
M = ( S , T )
其中，S表示人脸3D坐标形状向量（shape-vector）：
S = ( x 1 , y 1 , z 1 , x 2 , y 2 , z 2 , ⋯ , x n , y n , z n ) T
T表示对应点的文理信息向量（texture-vector）：
T = ( R 1 , G 1 , B 1 , R 2 , G 2 , B 2 , ⋯ , R n , G n , B n ) T
2D的人脸图片可以看作是3D人脸在2D平面上的一个投影，I II 代表M MM的2D投影，I ( u , v ) I(u,v)I(u,v)代表像素( u , v ) (u,v)(u,v)处的纹理值，所以3D人脸重建就是从2D图片中计算出M MM的估计：M ^ = ( S ^ , T ^ )
方法：
通过RGBD或RGB相机，用3D Morphable Model（3DMM）方法来重建。
近年来出现的使用深度学习方法来重建（有的是结合传统3DMM方法，训练其人脸模型参数）。
传统3D人脸重建方法，大多是立足于图像信息，如基于图像亮度、边缘信息、线性透视、颜色、相对高度、视差等等一种或多种信息建模技术进行3D人脸重建。这方面的技术论文，无论国内外都相当多，也较杂乱，一时间个人也不好具体统计，总之其中也是有很多不错的思想和方法的，当然这也不是本文重点内容。
基于模型的3D人脸重建方法，是目前较为流行的3D人脸重建方法；3D模型主要用三角网格或点云来表示，现下流行的模型有通用人脸模型（CANDIDE-3）和三维变形模型（3DMM）及其变种模型，基于它们的3D人脸重建算法既有传统算法也有深度学习算法。
端到端3D人脸重建方法，是近年新起的方法；它们绕开了人脸模型，设计自己的3D人脸表示方法，采用CNN结构进行直接回归，端到端地重建3D人脸。
论文1：
Nonlinear 3D Face Morphable Model（2018）
论文链接：https://arxiv.org/abs/1804.03786
项目链接：http://cvlab.cse.msu.edu/project-nonlinear-3dmm.html
主要思想：三维变形模型（3DMM）作为一种经典的三维人脸形状和纹理统计模型，在人脸分析、模型拟合、图像合成等领域有着广泛的应用。传统的3DMM是从一组控制良好的2D人脸图像中学习到的，并通过两组PCA基函数来表示。由于训练数据的类型和数量以及线性基的存在，使得3DMM的表示能力受到限制。针对这些问题，本文提出了一种新的框架，在不采集三维人脸扫描数据的情况下，从大量无约束的人脸图像中学习非线性3DMM模型，具体地说，在给定人脸图像作为输入的情况下，网络编码器估计投影、形状和纹理参数。两个解码器作为非线性3DMM分别从形状和纹理参数映射到三维形状和纹理。利用投影参数、三维形状和纹理，设计了一种新的解析可微绘制层来重建原始输入人脸。整个网络是端到端培训，只有薄弱的监督。我们证明了非线性3DMM比线性3DMM具有更好的表现力，以及它对人脸对齐和三维重建的贡献。
主要贡献：
1、 我们学习了一个非线性3DMM模型，它比传统的线性模型具有更大的表示能力。
2、 我们通过弱监控，利用大量没有三维扫描的二维图像，共同学习模型和模型拟合算法。新的渲染层实现了端到端的训练。
3、 新的3DMM进一步提高了相关任务的性能：人脸对齐和人脸重建
主要结构：
实验结果：
On Learning 3D Face Morphable Model from In-the-wild Images（2019）
论文链接：https://arxiv.org/abs/1808.09560
项目链接：http://cvlab.cse.msu.edu/project-nonlinear-3dmm.html
本篇和Nonlinear 3D Face Morphable Model是同一作者，在原有文章的基础做了相关提升和改进~
主要思想：三维变形模型（3DMM）作为一种经典的三维人脸形状和反照率的统计模型，在人脸分析、模型拟合、图像合成等方面有着广泛的应用。传统的3DMM是从一组具有良好控制的二维人脸图像的三维人脸扫描中学习而来，并由两组PCA基函数表示。由于训练数据的类型和数量以及线性基的存在，使得3DMM的表示能力受到限制。为了解决这些问题，本文提出了一个新的框架，在不采集三维人脸扫描的情况下，从大量的新的原始人脸图像中学习非线性3DMM模型。具体地说，给定一个人脸图像作为输入，网络编码器估计投影、光照、形状和反照率参数。两个解码器作为非线性3DMM分别从形状和反照率参数映射到三维形状和反照率。利用投影参数、光照、三维形状和反照率，设计了一种新的解析可微渲染层来重建原始输入人脸。整个网络是端到端培训，只有薄弱的监督。展示了非线性3DMM相对于线性3DMM的优越表现力，以及它对人脸对齐、三维重建和人脸编辑的贡献。
主要创新：
1、 我们学习了一个非线性的3DMM模型，它完全模拟了形状、反照率和光照，比传统的线性模型具有更大的表示能力。
2、 形状和反照率都表示为二维图像，这有助于保持空间关系，并在图像合成中利用CNN的优势。
3、 我们通过弱监督联合学习模型和模型拟合算法，利用大量未经三维扫描的二维图像，并且新的渲染层实现了端到端的训练。
4、 新的3DMM进一步提高了人脸对齐、人脸重建和人脸编辑相关任务的性能。
主要结构：
实验结果：
标签：3DMM,模型,三维,汇报,人脸,重建,3D 来源： https://blog.csdn.net/HR_Reborn/article/details/120646944
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。