爱奇艺视频精彩度分析算法及应用
原创 刘祁跃 DataFunTalk 2020-10-22
收录于话题
#原创精选83
#爱奇艺8
#内容理解6
分享嘉宾：刘祁跃 爱奇艺 科学家
编辑整理：龚云荷
出品平台：DataFunTalk
**导读：**视频是爱奇艺的核心内容，视频内容的精彩度分析，不仅关系着视频的分发，也关系着视频相关广告的投放等，比如能否将广告放在非常吸引人的点位上。所以我们非常关注能否分析出有吸引力的内容，甚至根据分析的结果，二次创造出有吸引力的内容。对于吸引力，我们在思考什么是非常重要的。这里列出三点：
- 第一个是视频质量，比如是否清晰、镜头是否晃动、是否有无意义的内容，这是基础的质量问题。
- 第二个是视频美学，比如色彩是否优美，构图是否好，光线明暗对比度是否好。
- 当然，有了质量和美学还不足以说明视频是否有吸引力，大部分的视频是靠情节取胜，也就是靠视频的内容去吸引人，不管是长视频的电视剧、电影、动漫，还是横版短视频和竖版小视频，都包含着当前视频是何人何地发生何事，由这样的内容反映精彩度。精彩度是视频吸引力的第三点，也是最重要的一点。
01
方法及整体框架
**1. 如何识别精彩
**
这就促使我们去思考，如何分析内容的精彩度，这里有几个维度：第一，内容标签，比如打斗等偏感官层面的信息或者是浪漫等偏高层语义方面的信息，这需要理解视频内容。第二方面是程度等级，比如说打斗，如果是武林高手之间的对决，相比于我们普通人之间打斗会更精彩，所以需要一个分级打分机制。还有一些信息影响到用户对视频的喜好，比如对明星、IP、剧集等的喜爱，都会影响用户对其精彩度的判断。前面这3点是人们对于视频精彩度的一个理性分析，但实际上精彩度还是较主观的看法，同一个视频，有些人觉得精彩，有些人则不觉得。一些上映之后成为收视率“黑马”的作品，在上映之前，人们没有预期到其足够精彩，上线之后，却成为爆款，这体现了对精彩度主观判断的局限性，因此我们也要考虑视频上线后的用户反馈。比如用户的播放、弹幕等行为，有些视频片段用户会反复播放，另一些则会被跳过。我们希望通过以上几个方面，构建对于精彩度的认知。
2. 精彩度分析整体技术框架
由此，我们形成如图的精彩度分析方案，该方案的适用对象较广泛，不管是对完整的剧集，还是简短的花絮，都可以适用，我们这里聚焦于对电影电视剧的片段做分析。影视剧的整体精彩度比较宏观，受参演明星，改编的小说等已知因素的影响，所以通过算法对整体做精彩度分析收益相对较小。当下我们更关注，对长视频局部剪辑片段的打分。精彩的局部片段的识别，有助于启发创作者对于局部精彩视频的思考，有利于后续创作的提升。同时，精彩片段的识别，有助于二次传播、碎片化时间的消费，以及广告的投放等。如框图所示，我们输入的是视频片段，然后进行多模态的视频特征提取，接下来分两步，一个是基于GCN的弱监督模型，另一个是基于多任务学习的监督模型。
02
视频精彩度分析算法
1. 精彩度监督模型
对于精彩度的监督模型，首先需要标注人员对视频精彩度进行打分。考虑到数据的复杂性，会充分利用多模态和时序关系去提取信息。操作中会有一些具体技巧，比如由于其标注主观性比较强，会进行噪声建模，从回归分数变成一个拟合分布。另外，评分和标签是高度相关性的，因此可以通过多模型、多任务学习的方式来进行。
2. 不同模型提取特征性能对比
这张图显示了采用不同的模型提取特征，对最终精彩度输出的影响。最初的方法是针对图片信息采取2D的CNN，再去对帧级别feature进行融合；接着考虑由时序上的3D卷积模型来提特征；然后尝试根据预训练模型来进行微调；再利用视觉+音频的多模态的信息进一步提升。
3. 精彩度分数预测
监督模型的一个分支是精彩度分数预测。对于精彩度分数，会先做人工标注，但是因为主观性偏向非常强，所以噪声较大，可信度并不高。当标注为某一个分数，那它很大概率会是以这个分数为均值的正态或偏正态分布。比如标注分数是六分，那该视频可能很大的概率是六分，但也可能会小一些的概率是五分或七分。为减少噪声影响，会对噪声做一个建模，直观的假设，将标注的分数看做一个正态分布的均值。为了满足概率积分的要求，实际上设计了一个偏正态分布。分布的方差通过理论分析+实验，来确定一个比较合适的值。有了这个分布，对于分数的回归，可以变成一个类似分类的任务，对于每一个离散值给出一个概率，这样得到对分布的预测，从而加权得到最终预测的分数。采取该策略后，我们发现对于噪声比较大的主观性标注任务还是有意义的，其它一些图片回归任务我们也用了类似方法，取得了不错的效果。
4. 看点多标签模型
接下来看第二点，关于视频内容的看点多标签。比如像打斗、爆炸，都是比较有意思的标签，可能是会吸引人的。对于不同类型的视频，看点的标签是不一样的。比如说对于偶像片来说，浪漫的标签可能非常有吸引力；对于动作片来说，可能飙车、打斗、枪战等很有吸引力。多标签模型，在近几年各领域都广泛关注，包括短视频标签、图片多标签、文本多标签等。多标签的难点，是如何对同样的信息去生成不同的标签，针对这个问题会有三个方案。第一种是利用信息不同区域对应不同的标签，可以类比目标检测。即划分图像的不同区域，用其本身及周边的信息，去预测该区域的一个标签。那第二个是层次的关系，比如从画面视觉内容来说，一男一女在西餐厅吃烛光晚餐，则需要进行性别识别、场景识别、目标检测等，同时它是一个浪漫的约会场景，所以还可以推理出上层的标签。第三个要考虑的点，是标签之间的依赖关系，有一些标签很可能经常共同出现，比如说有海滩和阳光。有一些标签之间不太容易共现，比如手机跟古装片，可能是互斥关系。当然如果能识别这是一个穿越片，就可认为这两个标签共现是比较和谐的。在很多看点多标签之间，有这种互相依赖的关系，如何去表达标签的关系有很多方式，比如说CNN和RNN结合，通过RNN去显示地表达标签之间的依赖。那其它一些方式，比如通过标签embedding，希望其去影响分类器，而对于这个embedding，可能会通过图的拓扑结构，根据相似的邻域标签信息来修改embedding，从而让这个embedding包含标签之间的关系，再将这个embedding以某种方式去影响分类器。还有一种方式，就是训练时找到一个嵌入的空间，把ground truth的多标签投射到嵌入空间，利用多标签去生成一个feature，同时对于待处理的数据也生成一个feature，要求这两个feature要尽可能接近，之间的某种距离可以作为loss之一。这样，嵌入空间的音视频feature，即表达了多标签的关系，可以认为是对多标签的编码，而后续的分类过程，就是对多标签的解码。
5. 多任务学习模型
