标签：赛道 开新坑 实现 剪辑 信息 专注 海思 识别 进行
项目：专注力辅助训练装备
作品背景
线上教育日益发展、网络教育资源日益优化的当今，如何提高学生在无人监督环境下的专注力水平，以及实现师生有效交流，成为了线上教育进一步发展的必要需求。本项目针对该问题提出了一个解决方案，即以学生的姿态及面部信息为基础，通过检测、判断、识别等手段，为教育平台提供一定的反馈，例如捕获学生的疑惑表情以及相应动作，给老师传递即时信息，促进师生的交流。同时，若能够将项目进一步延伸，线下授课以及考试等同样有其功能，特别是涉及到高考等规格高、规模大的考试，实现人工智能监考。
作品功能
以图像识别，姿势识别，面部神态识别为基础，对学生学习的专注力水平进行评定，得到的专注力信息以及专注力谷峰对应的视频剪辑结果通过蓝牙传送给手机APP或者电脑软件，APP或者软件对信息进行处理，对学生进行监督提醒，对老师进行反馈。从而提高授课效率以及学生专注力的训练。
技术实现
综上所述，该系统的工作分为三个阶段，即专注力收集，专注力分析以及视频剪辑，应用端对老师学生进行反馈。
目前各个功能的实现方案：
姿势识别：自己复现现有模型以及使用数据集识别出人体的关节，数据集方面将网上现有的数据集进行重新标注，加上自己收集的数据集，将输出作为专注力评分的标准之一。例如商汤的视觉处理开源项目openmmlab便是一个比较好的参考对象。
神态识别：阅读相关论文和项目实现，收集数据集，使用深度学习方法对人脸的神态进行识别，并且将模型输出作为专注力评分的标准之一。目前的难点在于如何实现精细化的识别，因为人类的面部动作及其微妙，这因此也是我们需要克服的一个方面。分为两个阶段，第一个阶段是识别人脸，使用mtcnn和facenet可以解决，第二阶段打算复现论文中的模型，使用数据集CK+来实现这一功能。
专注力分析：使用mysql语言存储收集到的各个时段的专注力信息以及得分，然后使用这些信息自己建立数学模型对专注力进行评分，并且对特定的视频片段进行剪辑。将剪辑好的视频和信息通过蓝牙传输到应用端。
AI剪辑方法：根据数据库中专注力的高峰时段，以此为依据进行视频的挑选，使用python的moviepy库对对采集到的视频进行剪辑，添加字幕等操作。
反馈：使用QT软件制作手机APP，实现弹出提醒信息，必要时候可以锁机，并且实现专注力高峰低谷点播功能。
标签：赛道,开新坑,实现,剪辑,信息,专注,海思,识别,进行 来源： https://www.cnblogs.com/xianyi-yk/p/14764328.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。