ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

马蜂窝视频编辑框架设计及在 iOS 端的业务实践

2019-08-30 11:08:53  阅读:215  来源: 互联网

标签:视频 功能 iOS 马蜂窝 编辑 轨道 模板 描述


(马蜂窝技术公众号原创内容,ID: mfwtech)

熟悉马蜂窝的朋友一定知道,点击马蜂窝 App 首页的发布按钮,会发现发布的内容已经被简化成「图文」或者「视频」。

长期以来,游记、问答、攻略等图文形式的形态一直是马蜂窝发展的优势所在。将短视频提升至与图文并列的位置,是因为对于今天的移动互联网用户来说,内容更真实直观、信息密度更大、沉浸感更强的短视频已经成为刚需。为了使旅游用户拥有更好的内容交互体验,丰富和完整原有的内容生态体系,马蜂窝加码了对短视频领域的布局。

现在,每天都会有大量短视频在马蜂窝产生,覆盖美食、探店、景点打卡、住宿体验等多种当地玩乐场景。马蜂窝希望平台的短视频内容除了「好看」之外,更要「好用」。这个「好用」不仅仅是为有需求的用户提供好用的旅行信息,更是指通过技术让用户的短视频创作更加简单易行。

为此,我们在马蜂窝旅游 App 的视频编辑功能中提供了「自定义编辑」与「模板创作」两种编辑模式,使用户既可以通过「模板」快速创作与模板视频同款的炫酷视频,也能够进入「自定义编辑」模式发挥自己的创意,生成个性化视频。

本文将围绕马蜂窝旅游 App iOS 端中的视频编辑功能,和大家分享我们团队视频编辑框架的设计及业务实践。

Part.1 需求分析

如前言所述,我们要做的是能够支持「自定义编辑」与「模板创作」两种模式的视频编辑功能。

图1:产品示意图

首先我们梳理一下「自定义编辑」模式下,需要提供的功能:

  • 视频拼接:将多段视频按顺序拼接成一段视频

  • 播放图片:将多张图片合成一段视频

  • 视频裁剪:删除视频中某个时间段的内容

  • 视频变速:调整视频的播放速度

  • 背景音乐:添加背景音乐,可以与视频原音做混音

  • 视频倒播:视频倒序播放

  • 转场过渡:拼接的两段视频切换时增加一些过渡效果

  • 画面编辑:画面旋转,画布分区、设置背景色,增加滤镜、贴纸、文字等附加信息

有了上述这些功能,便可以满足「自定义编辑」模式的需求,能够让用户通过我们的视频编辑功能完成自己的创作。但是为了进一步降低视频编辑功能的使用门槛,让制作炫酷视频变得简单,我们还需要支持「模板创作」模式。即为用户提供「模板视频」,用户只需要选择视频或者图片,便可创作出与「模板视频」有同样编辑特效的同款视频,实现「一键编辑」。

支持「模板创作」模式后,我们视频编辑功能最终的流程图如下:

图2:完整流程图

如图所示,在媒体文件之外,多了一个模板 A 的输入,模板 A 描述了要对用户选择的媒体文件做哪些编辑。同时在编辑器的输出中多了一个模板 B,模板 B 描述了用户在完成编辑后,最终做了哪些编辑。其中模板 B 的输出,为我们解决了「模板视频」来源的问题,即「模板视频」既可以通过运营手段生产,也可以将用户通过「自定义编辑」模式创作的视频作为模板视频,使其他用户浏览该用户发布的视频时,可以快速创作同款视频。

通过上述需求分析的过程,可以总结出我们的视频编辑功能主要支持两个能力:

  1. 常规视频编辑的能力

  2. 描述如何编辑的能力

这两个能力的划分,为我们接下来进行视频编辑框架的设计提供了方向。

Part.2 框架设计

常规视频编辑的能力是一个视频编辑框架需要提供的基本能力,能够支撑业务上的「自定义编辑」模式。「描述如何编辑」的能力则是将常规视频编辑能力进行抽象建模,描述「对视频做哪些编辑」这件事,然后将这种描述模型转化为具体的视频编辑功能,便能够支撑起业务上的「模板创作」模式。所以我们的编辑框架可以划分为两个主要的模块:

  • 编辑模块

  • 描述模块

在两个模块之间,还需要一个转换模块,完成视频编辑模块与描述模块之间的双向转换。下图为我们需要的视频编辑框架示意图:

图3:视频编辑框架示意图

  • 编辑模块所需要的具体功能,可以随着业务上的需求不断迭代添加,目前我们要支持的功能如图中所列。

  • 描述模块则需要一个描述模型,将媒体素材与各种编辑功能完整的描述出来。同时也需要将模型保存成文件,从而能够被传输分发,我们称之为描述文件。

  • 另外在描述文件的基础上,「模板创作」模式中的「模板」还需要标题、封面图等运营相关的信息。所以还需要提供一个运营加工的功能,能够让运营同事将描述文件加工为模板。

  • 转换模块负责的则是将视频编辑功能抽象为描述文件、将描述文件解析为具体的编辑功能的任务,保证抽象与解析的正确性至关重要。

视频编辑模块在不同的开发平台上都有很好的实现方案,比如 iOS 原生提供的 AVFoundation,使用广泛的第三方开源库 GPUImage,以及更加通用的 ffmpeg 等。具体的实现方案可以结合业务场景与项目规划进行选择,我们目前在 iOS 端采用的方案是苹果原生的 AVFoundation。如何结合 AVFoundation 实现我们的视频编辑框架会在下文具体介绍。接下来我们就来看下具体功能模块的设计与实现。

Part.3 模块功能与实现

3.1 描述模块

3.1.1 功能划分

首先我们对「自定义编辑」模式下需要支持的具体功能进行分析,发现可以以编辑的对象为标准,将编辑功能划分为两类:段落编辑、画面编辑。

  • 段落编辑:将视频段看作编辑对象,不关心画面内容,只在视频段层面上进行编辑,包含如下功能:

图4:段落编辑

  • 画面编辑:将画面内容作为编辑对象,包含如下功能:

图5:画面编辑

3.1.2 视频编辑描述模型

有了编辑功能的划分后,要描述「对视频进行哪些编辑」,我们还需要一个视频编辑描述模型。定义如下几个概念:

  • 时间线:由时间点组成的单向递增直线,起始点为 0 点

  • 轨道:以时间线为坐标系的容器,容器内存放的是每个时间点需要的内容素材及「画面编辑」功能

  1. 轨道具有类型,一条轨道仅支持一种类型
  • 段落:轨道中的一段,即轨道所属时间线上两个时间点及两点之间的部分
  1. 段落也具有类型,与其所属轨道类型保持一致

轨道类型列表:

其中「视频」、「图片」、「音频」类型轨道,是提供画面与声音内容的轨道。其余几个类型的轨道,则是用于描述具体做哪些画面编辑功能的轨道。特效类型轨道中可以指定若干画面编辑效果,如旋转、分区等。

结合编辑功能的划分,我们可以看出段落编辑功能的编辑对象是轨道内的段落,画面编辑功能的编辑对象是轨道内存放的内容素材。

有了时间线、轨道、段落三个概念以及段落编辑、画面编辑两个编辑行为的划分后,我们在抽象层面描述视频的编辑过程如下:

图6:视频编辑描述模型示意图

如上图所示,通过该模型,我们已经能够完整的描述出「对视频进行哪些编辑」:

  • 创作一个时长 60 秒的视频,内容素材有视频,图片,音乐,分别对应轨道 1、轨道 2、轨道 3,并且有转场、滤镜效果,由轨道 4、轨道 5 指定(其他效果不再单独描述,以转场、滤镜效果为参考)。

  • 该视频由轨道 1 的 [0-20] 段、轨道 2 的 [15-35] 段、轨道 1 的 [30-50] 段以及轨道 2 的 [45-60] 段拼接而成。

  • [0-60] 视频全段有背景音乐,音乐由轨道 3 指定。

  • [15-20]、[30-35]、[45-50] 三段内有转场效果,转场效果由轨道 4 指定。

  • [15-35] 段有滤镜效果,滤镜效果由轨道 5 指定。

3.1.3 描述文件与模板

有了上述的视频编辑描述模型后,我们还需要具体的文件来存储和分发该模型,即描述文件,我们使用 JSON 文件来实现。同时还需要提供运营加工的能力,使运营同事为描述文件添加一些运营信息,生成模板。

  • 描述文件: 根据视频编辑模型生成一份 JSON 文件

举个

标签:视频,功能,iOS,马蜂窝,编辑,轨道,模板,描述
来源: https://blog.csdn.net/weixin_43846997/article/details/100152360

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有