我们都知道，AI技术正在以可见的速度被应用于各行各业，然而绝大部分业务场景想应用AI技术，都需要算法工程师根据自身业务的标注数据，来进行单独训练，才能打磨出合适的AI模型。如此一来，如何以最低的门槛和成本，实现AI技术落地变成了行业急需解决的问题。
市场上的AI服务非常多，但是在视觉领域，通用的AI服务主要是基于图像的架构来做的，视频时代已经到来，基于图像的AI架构是否还能被广泛应用？阿里云视频云团队专注于视频领域，所以在针对视频的AI处理方面也有独特的思考和实践。3月27日下午，第51期阿里云产品发布会-智能视觉产品隆重发布，阿里云高级计算专场周源针对图像和视频的AI处理有什么不同？团队是如何基于视频构建全新的AI架构？针对AI大量的数据、训练效果不够好、时间与成本消耗大等痛点，他们如何解决等以上问题做了悉数解答。
一、市场上通用的图像架构是怎样的？
市场上大部分AI的服务，输入的都是图像，也就是图片文件，是基于图片进行处理。在业界，图像的算法比较成熟，数量也较多，从大类来看有图像分类、检测、识别、分割等等。大部分AI服务的架构也是基本类似，一般包含图像算法层、引擎框架层、资源管理层、硬件基础层，之后基于各自的业务领域知识，构建一个面向特定领域的AI推理服务，然后通过API提供对外的访问。
二、挑战：视频与图像的不同
随着现在视频（直播、点播、短视频）的越来越广泛应用，内容从原先的图像分析升级到视频分析。因为复用已有的技术以及架构的改造成本等等因素，一般的AI服务一般会保持现有的框架，不同是把视频转换成图像来进行处理。一般做法是按照固定的时间间隔采样截取视频的图像信息，这样整个服务架构不需要做任何改动，只是在最上面一层增加了视频帧截取和结果汇聚的服务。
当然，这个架构在视频时代就会存在很多问题：
-
时效性差
因为增加了视频截帧和结果汇聚这样的中间操作，所以处理时间长；视频下载下来，处理后图片再上传，网络传输也会导致时效性变差；举个例子，在相同画质下，使用一张张图片组成的视频，和H.264编码的视频，大小的比是10：1，图片是10倍于视频的存储量。 -
稳定性
视频截帧一般会采用开源的FFmpeg，如果遇到问题需要解决，比较依赖于开源社区。比如格式和编码的兼容性、直播、点播中遇到数据异常、时间戳不准、定制协议、分辨率切换、卡死等。 -
复杂性高
把视频转换成批量的图片，就需要对这些临时的图片进行管理，另外还涉及顺序处理、异步操作、网络抖动等问题，需要关注的非核心业务功能就要求非常多，导致业务系统整体的复杂性变高。 - 信息丢失
截帧是一种采样，会引起信息丢失，丢失的信息中很有可能包含了关键图像。另外，截帧的处理是对没有时间信息的图像结果的简单累加，效果也不理想。
既然有这么多问题，基于视频的AI计算该怎么做呢？
三、阿里云解决方案：面向视频的新架构
周源所在的阿里云视频云团队，具有多年音视频编解码、媒体处理相关技术经验，他们推出的面向视频的新架构是：把视频作为第一类对象（First-Class Object）来看待。把视频解码、时间域分析、智能汇聚、音频处理等引入到系统里面来，把视频处理和AI计算有机结合，以面向视频的方式，在视频处理的同时完成AI计算，精简的流程能够大幅度缩短处理时间，从时间维度提升分析效果，并能简化业务架构，让用户聚焦在核心业务的发展上。为用户提供高效稳定、简单易用、功能丰富的视频AI服务。
新架构具有以下几个特点：
-
时效性高
相较于之前多余的截帧、上传等一系列操作，新方案不产生临时图片，同时能减轻存储的带宽和空间需求。能充分利用视频的并行分片机制，大幅度缩短整体处理时间。 -
复杂性低
面向视频的架构，视频处理和AI计算集成在一起，简化了对图片的处理过程，进而简化整个处理逻辑，降低复杂度。 -
稳定性高
阿里云视频云团队是具有10多年丰富视频处理经验的专业团队，兼容性、运维各种问题都不需要用户考虑。 - 效果更佳
对离散的图像结果按照时间的关系进行更合理的汇聚，获得更优的效果。
四、AI应用的痛点和解法
周源团队自研的新架构很好的解决了图像AI架构时效性差、稳定性差、复杂度高、效果不佳的问题。然而在AI的应用上，开发者也会关注到一些其他问题，比如：
目前，分类算法有ResNet、Inception、VGG等等，识别算法有FasterRCNN、SSD、YOLO等等，物体检测、人脸识别算法也有很多，那么如何选择最适合自己的呢？
针对自身业务标注数据，需要大量人力投入，同时真实数据少，采集十分困难，通常需要花费非常多的视觉才能够收集足够多的数据，怎么办？
每次模型训练时间长、反馈慢，训练好的模型更是需要复杂的上线流程，整体业务反馈太慢，怎么办？
智能视觉产品针对关键的数据和时间问题，给出了如下解法：
-
选择最合适的算法
基于阿里巴巴在视频和AI领域的长期积累，已经帮大家选择好了算法，现在推出的是分类和识别，之后将推出更多算法。 - 迁移学习——少量数据快速训练
迁移学习的基本原理是，根据自然图像中的基础边缘、色块、纹理的规律来归纳物体特征，并且通过在浅层网络中复用这些基础特征，来减少标注数据，能以更快的时间、更高的质量生成业务场景相关数据，大幅度减少数据需求，进一步减少计算量，达到缩短新模型训练时间的效果，使业务迭代更快。
- 数据增广——少量数据更优效果
在深度学习层面，在其他条件相同的情况下，数据越多训练效果是越好的。这就产生了一个问题，更好的效果一定需要更多的数据，这需要花费大量的人力去标注。
智能视觉采用数据增广策略，增加数据的多样性，加强模型泛化能力，对图像进行旋转、斜切、仿射变换、对比度调整、色度变化、水平镜像等变换，增加数据量的同时保持增广数据的真实性，实现了少量数据情况下效果增强10-15%的训练效果，同时有效降低标注数据的人力和时间成本。
智能视觉可以帮助零算法基础的用户，快速训练自己领域的定制化模型，仅需要少量标注数据，完成快速的模型生成、增强的场景效果，并将训练模型转换成高可用、弹性可扩展的视频AI服务，让用户能够以最低的成本实现AI技术的落地。
标签：视频,架构,AI,处理,图像,全解,数据 来源： https://blog.51cto.com/14031893/2373036
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。