爱奇艺谢丹铭：用AI让创作者提升效率，让消费者简单快乐丨MEET2021
原创 关注前沿科技 量子位 1月5日
收录于话题
#MEET智能未来大会14
#原来AI在这里落地4
编辑部 整理自 MEET 2021
量子位 报道 | 公众号 QbitAI
AI技术，究竟能在哪些行业实现规模化应用？
这是视频行业面对AI浪潮，交出的一份答卷：
素材智能检索、老电影修复、音色克隆、虚拟动漫偶像……
爱奇艺将最前沿的AI技术，落地到视频创作、内容分发中去，真正让创作者提升效率、让消费者简单快乐。
在MEET 2021智能未来大会现场，爱奇艺副总裁谢丹铭表示：
用AI结合科技与艺术，能促进整个产业的升级发展。
在不改变原意的基础上，量子位对谢丹铭的演讲进行了编辑整理。
关于MEET 智能未来大会：MEET大会是由量子位主办的智能科技领域顶级商业峰会，致力于探讨前沿科技技术的落地与行业应用。本次大会现场有李开复等20余位行业顶级大咖分享，500余名行业观众参与，超过150万网友在线收看直播。包括新华社、搜狐科技、澎湃新闻、封面新闻等数十家主流媒体在内纷纷报道，线上总曝光量累计超过2000万。
演讲要点
- 这场疫情，极大地提升了技术、尤其是智能技术在产业中的重要性。
- 目前，国内有上万部需要被拯救、保护的胶带电影。如果利用AI修复，就可以省去80%的繁复工作。
- 爱奇艺为内容创作者提供了一个素材库，让他们不再需要去盗版网站找视频素材。
- 我们希望降低广告对用户的打扰程度，让广告也能成为用户获取信息的手段。
- 通过AI，将科技与艺术进行结合，就能促进整个产业的升级发展。
- 用AI让创作者提升效率，让消费者简单快乐。
爱奇艺谢丹铭：用AI让创作者提升效率，让消费者简单快乐丨戳头像进主页，看#MEET智能未来大会 更多嘉宾精彩演讲
**视频号
（以下为谢丹铭演讲分享全文）
疫情加速视频创作智能化
今天，我演讲的题目是“智能时代的内容创作与消费”。
在即将过去的2020年里，多数产业遭遇较大冲击，呈现出一个或深或浅的“V”字型走势。
演讲之前，孟鸿老师问了我一个问题：爱奇艺和视频行业，应该会是疫情的受益者？
其实不然。
如大家所见，年初由于疫情，很多人在家办公，加之寒假，我们的消费指数飙升得很高。
但在这之后，上下游和合作伙伴受到疫情冲击，我们也难以独善其身。在疫情期间，由于很多片子无法拍摄，出现了内容供给跟不上、广告预算大幅减少的情况。
经过思考，我们试着将内容创作搬到线上，实现了一个云录制系统。
此后，我们利用AR、MR等XR技术，实现了虚拟制作，相当于搭建一个虚拟的棚，在棚里进行电影、电视剧拍摄。
我们还利用智能化技术，提升了广告投放效率，减少了预算损失。
这场疫情，极大地提升了技术、尤其是智能技术在产业中的重要性。
目前，爱奇艺打造的智能平台，主要用于服务两部分人群：一部分是上游的内容创作者，另一部分是用户消费者。
其中，内容创作者主要分为三类。
一类是传统的长视频创作者，包括导演、演员和后期制作人员，他们主要创作电影、电视剧、综艺、动漫及儿童动画片等类型的作品。
另两类则分别是短视频、小视频创作者，包括许多MCN（Multi-Channel Network）机构和UGC（User Generated Content）创作者。
那么，如何服务这些内容创作者？
以综艺节目为例，爱奇艺最早投入、使用了一个大型AI综艺创作系统，名为“爱创媒资系统”。
在综艺录制现场，通常会有五六十个、甚至上百个（固定或移动的）摄像头同时进行拍摄，产生大量录制素材。
这些素材的数量，是普通视频素材的几十倍、甚至上百倍，手动处理起来非常麻烦。
但如果用AI来处理这些素材，例如进行时间对齐，就能提升10倍左右的效率。
而利用AI，还能智能化地给素材片段打标签，如用AI识别音频中的演员台词、进行语义理解，让导演、后期制作人员能快速检索到想要的片段。
这些素材中，也有许多待删减部分，如模糊片段、黑镜和噪音废片，也都能用AI快速识别、处理。
事实上，最后的视频成片，并非综艺现场的原始记录，而是一种艺术创作。过程中，素材检索是非常重要的一环。
除此之外，AI还能被用于视频审核、商务植入和视频宣发中。
例如，视频制作时，要求某一角色不能露出胡子、纹身，那么我们利用AI，就能快速找到这些不符合要求的内容。
在商务植入时，也能利用AI可以快速地计算植入时长。
至于宣发阶段，也能用AI制作宣传和预告片。
例如，用AI学习视频帧的图案，并快速产出各种各样的宣发视频、预告片段。
用AI修复老电影、制作动漫
而在电影创作上，爱奇艺也做了一个名为ZoomAI的视频增强技术。
这是一个AI功能包，能完成去噪、前景提亮、超分辨率、插帧等视频优化算法。
上个月，我们还和厦门大学的人文学院成立了一个联合实验室，专门修复像《小兵张嘎》这样的老电影。
现在，国内还有上万部这样的胶带电影，需要被拯救、保护，如果利用AI修复，可以减少80%的工作，剩下的20%再交由厦大的同学，一帧帧手动审核修复。
目前，爱奇艺也已经“出海”，将业务延伸到了海外。
但无论是东南亚还是欧洲，语言都呈现碎片化特点，在不同的地区，可能出现多种不同的语言。
例如，仅东南亚一个地区，就有印尼语、马来语、泰语等多种语言。
如果要做一部视频的海外配音，就需要找各个角色的、不同语言的配音演员，成本会非常高。
因此，我们构建了一个AI音色库，利用Voice Conversion（语音转换）来配音，只需要给每个角色找一个“演员”，就能完成所有视频的配音。
相对来说，TTS（语音合成）无法准确表达语气、语调，但Voice Conversion却能用另外一种音色，将情绪很好地表达出来。
电影之外，还有一个相对庞大、有前景的产业，就是动漫。
在中国，大概有4亿的二次元人群。
我们调研发现，动漫产业的创作者，基本还是在用PS等传统工具进行创作。
过程中会先画出线框、再完成上色，其中光是上色阶段，就占据工作量的40%~50%。
用AI工具，能帮创作者提升不少效率。
例如，让创作者指定一种风格，比如“赛璐璐”。利用风格迁移，AI立刻就能完成“赛璐璐”风格的线稿上色。
如果涉及AI没有学过的风格，也可以先手动给关键帧上色，再利用特征迁移，将上色风格迁移到其他帧中。
这些操作，能让线稿上色效率提升80%左右。
上面这些AI操作，是针对传统、制作精良的动漫设计的。除此之外，还有一种名为轻动漫或者动态漫的动漫类型。
这种动漫，可以理解为给漫画加了一点动效，让人物能够走动、说话。
现在，轻动漫在网上的传播量非常大，我们也已经能利用AI，制作这种动漫。
只需要用AI对动漫人物进行面部识别，再做唇形驱动，就能让人物的嘴巴动起来，接近人工制作的效果。
此外，爱奇艺今年还推出了跨次元新星的虚偶选秀节目。
其中，左边的“小满”是虚拟手语主播，右边的“小又”，则是虚拟节目主持。
利用TTS和Voice Conversion合成声音、加上唇形和表情驱动合成口型，就能让她们开口“说话”。
“小又”上线后非常受用户欢迎，节目的播放量也有所提升。
如何用AI创作UGC作品
我们分析发现，UGC创作的过程，大致可以分为几个阶段。
首先，用户会想出一个创意，围绕创意搜集一些素材，根据素材寻找合适的背景乐，最后在剪辑工具中完成视频创作。
每个阶段，我
