ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

【论文阅读】Realistic Facial Expression Reconstruction for VR HMD Users

2022-02-17 15:32:19  阅读:156  来源: 互联网

标签:Facial 面部 Realistic VR 实验 facial HMD 表情


1.这篇文章究竟讲了什么问题?
提出了一种用于感知和重建虚拟现实(VR)头戴式显示器(HMD)用户的面部表情的系统。

2.这是否是一个新的问题?
是的

3.这篇文章要验证一个什么科学假设?
利用肌电信号来预测面部AUs,通过AUs和三维重建技术来重构VR下的面部。
4.有哪些相关研究?如何归类?谁是这一课题在这领域值得关注的研究员?
HMD-based 面部感知系统
1)Facial performance sensing head-mounted display
2)High-fidelity facial and speech animation for VR HMDs
3)An IR-based facial expression tracking sensor for head-mounted displays
4)Recognition and mapping of facial expressions to avatar by embedded photo reflective sensors in head mounted display
5)Design of a wearable device for reading positive expressions from facial emg signals
6)FACETEQ interface demo for emotion expression in VR
7)“High-fidelity facial and speech animation for VR HMDs
来自面部动作单元的情绪
1)P Ekman and W. V . Friesen, Manual for the Facial Action Coding System.Palo Alto, CA, USA: Consulting Psychologists Press, 1978.
2)M. François V alstar and M. Pantic, “Biologically vs. logic inspired encoding of facial actions and emotions in video,” in Proc. IEEE Int. Conf. Multimedia Expo., 2006, pp. 325–328.
3)S. V elusamy, H. Kannan, B. Anand, A. Sharma, and B. Navathe, “A method to infer emotions from facial action units,” in Proc. IEEE Int. Conf. Acoust., Speech Signal Process., 2011, pp. 2028–2031.
4)M. Ozuysal, P . Fua, and V . Lepetit, “Fast keypoint recognition in ten lines of code,” in Proc. IEEE Conf. Comput. Vision Pattern Recognit., 2007, pp. 1–8.

5.论文中提到的解决方案之关键是什么?
1)人脸具体化重构2)面部表情预测,通过肌电信号预测AU编码3)基本情感预测,建立AU编码与情感之间的联系

6.论文中的实验是如何设计的?
1)首先是评估3D人脸重构的性能
2)面部表情预测实验:首先对EMG信号进行预处理,去除噪声等,然后进行了10折交叉验证实验和LOSO交叉验证实验来验证面部表情分类的通用能力。
3)基本表情预测实验:建立AU与基本表情之间的关系。在CK+和EmotionNet数据集上学习该概率模型。
4)整体系统评估实验:a)用户佩戴Faceteq原型机,感知并重建用户的面部表情。b)然后带上VR重建用户表情

7.用于定量评估的数据集是什么?代码有没有开源?
CK+和EnotionNet,以及作者招募被试的数据,没有找到开源

8.论文中的实验及结果有没有很好地支持需要验证的科学假设?
实验结果支持验证的科学假设。

9.这篇论文到底有什么贡献?
a) 提出了第一个自动系统,感觉和并用一个真实的面部化身重建的HMD用户的面部表情
b) 面建立部肌电信号->面部表情之间的联系
c) 建立了AUs和六个基本表情之间的联系
10.下一步呢?有什么工作可以继续深入?
a) 头发,纹理以及几何细节可以作三维重建的补充
b) 可以考虑VR下微表情识别,借助三维重建的方法以及肌电信号与Aus之间的关联。

标签:Facial,面部,Realistic,VR,实验,facial,HMD,表情
来源: https://www.cnblogs.com/crazyMint/p/15904814.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有