转:爱奇艺谢丹铭:用AI让创作者提升效率,让消费者简单快乐

AI应用  收藏
0 / 557

爱奇艺谢丹铭:用AI让创作者提升效率,让消费者简单快乐丨MEET2021

原创 关注前沿科技 量子位 1月5日

收录于话题

#MEET智能未来大会14

#原来AI在这里落地4

编辑部 整理自 MEET 2021

量子位 报道 | 公众号 QbitAI

AI技术,究竟能在哪些行业实现规模化应用?

这是视频行业面对AI浪潮,交出的一份答卷:

素材智能检索、老电影修复、音色克隆、虚拟动漫偶像……

爱奇艺将最前沿的AI技术,落地到视频创作、内容分发中去,真正让创作者提升效率、让消费者简单快乐。

在MEET 2021智能未来大会现场,爱奇艺副总裁谢丹铭表示:

用AI结合科技与艺术,能促进整个产业的升级发展。

图片

在不改变原意的基础上,量子位对谢丹铭的演讲进行了编辑整理。

关于MEET 智能未来大会:MEET大会是由量子位主办的智能科技领域顶级商业峰会,致力于探讨前沿科技技术的落地与行业应用。本次大会现场有李开复等20余位行业顶级大咖分享,500余名行业观众参与,超过150万网友在线收看直播。包括新华社、搜狐科技、澎湃新闻、封面新闻等数十家主流媒体在内纷纷报道,线上总曝光量累计超过2000万。

演讲要点

  • 这场疫情,极大地提升了技术、尤其是智能技术在产业中的重要性。
  • 目前,国内有上万部需要被拯救、保护的胶带电影。如果利用AI修复,就可以省去80%的繁复工作。
  • 爱奇艺为内容创作者提供了一个素材库,让他们不再需要去盗版网站找视频素材。
  • 我们希望降低广告对用户的打扰程度,让广告也能成为用户获取信息的手段。
  • 通过AI,将科技与艺术进行结合,就能促进整个产业的升级发展。
  • 用AI让创作者提升效率,让消费者简单快乐。

爱奇艺谢丹铭:用AI让创作者提升效率,让消费者简单快乐丨戳头像进主页,看#MEET智能未来大会 更多嘉宾精彩演讲

**视频号

(以下为谢丹铭演讲分享全文)

疫情加速视频创作智能化

今天,我演讲的题目是“智能时代的内容创作与消费”。

在即将过去的2020年里,多数产业遭遇较大冲击,呈现出一个或深或浅的“V”字型走势。

演讲之前,孟鸿老师问了我一个问题:爱奇艺和视频行业,应该会是疫情的受益者?

其实不然。

如大家所见,年初由于疫情,很多人在家办公,加之寒假,我们的消费指数飙升得很高。

但在这之后,上下游和合作伙伴受到疫情冲击,我们也难以独善其身。在疫情期间,由于很多片子无法拍摄,出现了内容供给跟不上、广告预算大幅减少的情况。

图片

经过思考,我们试着将内容创作搬到线上,实现了一个云录制系统。

此后,我们利用AR、MR等XR技术,实现了虚拟制作,相当于搭建一个虚拟的棚,在棚里进行电影、电视剧拍摄。

我们还利用智能化技术,提升了广告投放效率,减少了预算损失。

这场疫情,极大地提升了技术、尤其是智能技术在产业中的重要性。

目前,爱奇艺打造的智能平台,主要用于服务两部分人群:一部分是上游的内容创作者,另一部分是用户消费者。

图片

其中,内容创作者主要分为三类。

一类是传统的长视频创作者,包括导演、演员和后期制作人员,他们主要创作电影、电视剧、综艺、动漫及儿童动画片等类型的作品。

另两类则分别是短视频、小视频创作者,包括许多MCN(Multi-Channel Network)机构和UGC(User Generated Content)创作者。

那么,如何服务这些内容创作者?

以综艺节目为例,爱奇艺最早投入、使用了一个大型AI综艺创作系统,名为“爱创媒资系统”。

在综艺录制现场,通常会有五六十个、甚至上百个(固定或移动的)摄像头同时进行拍摄,产生大量录制素材。

图片

这些素材的数量,是普通视频素材的几十倍、甚至上百倍,手动处理起来非常麻烦。

但如果用AI来处理这些素材,例如进行时间对齐,就能提升10倍左右的效率。

而利用AI,还能智能化地给素材片段打标签,如用AI识别音频中的演员台词、进行语义理解,让导演、后期制作人员能快速检索到想要的片段。

这些素材中,也有许多待删减部分,如模糊片段、黑镜和噪音废片,也都能用AI快速识别、处理。

事实上,最后的视频成片,并非综艺现场的原始记录,而是一种艺术创作。过程中,素材检索是非常重要的一环。

图片

除此之外,AI还能被用于视频审核、商务植入和视频宣发中。

例如,视频制作时,要求某一角色不能露出胡子、纹身,那么我们利用AI,就能快速找到这些不符合要求的内容。

在商务植入时,也能利用AI可以快速地计算植入时长。

至于宣发阶段,也能用AI制作宣传和预告片。

例如,用AI学习视频帧的图案,并快速产出各种各样的宣发视频、预告片段。

用AI修复老电影、制作动漫

而在电影创作上,爱奇艺也做了一个名为ZoomAI的视频增强技术。

这是一个AI功能包,能完成去噪、前景提亮、超分辨率、插帧等视频优化算法。

上个月,我们还和厦门大学的人文学院成立了一个联合实验室,专门修复像《小兵张嘎》这样的老电影。

图片

现在,国内还有上万部这样的胶带电影,需要被拯救、保护,如果利用AI修复,可以减少80%的工作,剩下的20%再交由厦大的同学,一帧帧手动审核修复。

目前,爱奇艺也已经“出海”,将业务延伸到了海外。

但无论是东南亚还是欧洲,语言都呈现碎片化特点,在不同的地区,可能出现多种不同的语言。

例如,仅东南亚一个地区,就有印尼语、马来语、泰语等多种语言。

如果要做一部视频的海外配音,就需要找各个角色的、不同语言的配音演员,成本会非常高。

因此,我们构建了一个AI音色库,利用Voice Conversion(语音转换)来配音,只需要给每个角色找一个“演员”,就能完成所有视频的配音。

相对来说,TTS(语音合成)无法准确表达语气、语调,但Voice Conversion却能用另外一种音色,将情绪很好地表达出来。

图片

电影之外,还有一个相对庞大、有前景的产业,就是动漫。

在中国,大概有4亿的二次元人群。

我们调研发现,动漫产业的创作者,基本还是在用PS等传统工具进行创作。

过程中会先画出线框、再完成上色,其中光是上色阶段,就占据工作量的40%~50%。

用AI工具,能帮创作者提升不少效率。

例如,让创作者指定一种风格,比如“赛璐璐”。利用风格迁移,AI立刻就能完成“赛璐璐”风格的线稿上色。

图片

如果涉及AI没有学过的风格,也可以先手动给关键帧上色,再利用特征迁移,将上色风格迁移到其他帧中。

这些操作,能让线稿上色效率提升80%左右。

上面这些AI操作,是针对传统、制作精良的动漫设计的。除此之外,还有一种名为轻动漫或者动态漫的动漫类型。

这种动漫,可以理解为给漫画加了一点动效,让人物能够走动、说话。

图片

现在,轻动漫在网上的传播量非常大,我们也已经能利用AI,制作这种动漫。

只需要用AI对动漫人物进行面部识别,再做唇形驱动,就能让人物的嘴巴动起来,接近人工制作的效果。

此外,爱奇艺今年还推出了跨次元新星的虚偶选秀节目。

其中,左边的“小满”是虚拟手语主播,右边的“小又”,则是虚拟节目主持。

图片

利用TTS和Voice Conversion合成声音、加上唇形和表情驱动合成口型,就能让她们开口“说话”。

“小又”上线后非常受用户欢迎,节目的播放量也有所提升。

如何用AI创作UGC作品

我们分析发现,UGC创作的过程,大致可以分为几个阶段。

首先,用户会想出一个创意,围绕创意搜集一些素材,根据素材寻找合适的背景乐,最后在剪辑工具中完成视频创作。

每个阶段,我们都能用AI帮助创作者减少一定的工作量。

比如,爱奇艺有许多明星的“粉丝视频”,即粉丝创作的视频。

要想制作这样的视频,只需要利用我们的“一键成片”功能,就能用AI分析一部明星出演的电影,并在10秒内创作关于这个明星的短视频。

像易烊千玺的粉丝,只需要选择“易烊千玺”,再选中他出演的电影《少年的你》,点上背景音乐,就能完成粉丝视频的创作。

图片

这种视频,也叫“舔屏向”视频,其中“舔屏”,指喜爱某个明星到想要舔手机屏幕的程度。

当然,爱奇艺还给内容创作者提供了一个素材库,不再需要去盗版网站找视频素材。

我们在随刻创作APP的素材库里,利用AI对站内的长视频进行内容理解,并打好了人物、动作、场景等标签。

创作者可以快速找到所需素材,加进自己的作品中。

此外,APP也能根据创作的视频内容,智能推荐较匹配的背景音乐。当然,还可以用TTS来配音、或是用ASR给视频填充字幕等。

有了AI,看视频变得更简单

对于用户消费者,我们则希望用智能技术,为他们提供优质服务。

例如,用智能搜索、推荐算法,让用户快速找到喜欢的内容。

同时,我们也希望给用户提供更好的感觉,例如,在视觉和听觉上,给用户以高清、流畅的体验感。

此外,我们还想给用户提供更自然、好玩的互动场景。

目前,用户已经能通过语音和手势,对手机、平板、笔记本电脑、电视等各种电子设备上的爱奇艺APP进行操作,交互变得更加自然。

但爱奇艺APP覆盖的设备,还包括VR头盔、家庭娱乐设施及车载APP等,其中,有些设备无法很好地用键鼠、触控进行输入。

因此,我们做了一个Home AI的语音交互平台,可以做语音识别。

图片

不仅如此,这个平台还能识别音色,根据音色来推荐内容。

例如,根据音色年龄(老人、年轻人或小孩),平台能给你推荐相关的视频。

同时,平台还可以做一些智能搜索,如根据知识图谱,进行剧情智能问答。

还有一个受小朋友欢迎的功能,即用AI克隆家长的音色、来制作朗读绘本。

除此之外,AI还能被用于我们的拍摄APP中,包括AI美颜、美妆等。

利用这些功能、加上AI的人脸识别技术,我们做了许多有意思的创新,例如一些小游戏。

这是《青春有你》的虞书欣同学,示范的一个“吃鸡腿”小游戏,用到了五官、轮廓识别的AI技术。

图片

当她没吃到鸡腿时,AI就会在她的轮廓上套个黑帽子。

除了这些技术以外,AI还能帮我们“智能查询”视频中的信息。

例如,看视频时,用户想知道其中某个演员叫什么、饰演过什么电影,或是想知道视频的背景音乐、想了解一段台词的涵义。

因此,我们做了一个叫“奇观”的智能识别平台,不仅能识别视频中的演员、背景音乐,还能查到台词的意思。

去年,“奇观”还实现了“卡通识别”功能,像《小猪佩奇》里的猪爸爸、猪妈妈,都能识别出来。

如果在大街上看到一张海报,还可以用爱奇艺的AR扫一扫,来识别明星。

用AI,促进产业升级发展

在爱奇艺,广告不仅是一个变现的手段,也是一种可以消费的内容。

我们希望,广告能够降低对用户的打扰,成为用户获取信息的一个手段。

针对广告的个性化、精准化,我们今年也做了不少工作。

我们对爱奇艺的站内长视频进行了精准分析,做了两三千组标签,包括人物、场景、动作、行为和转场景等。

图片

这样,客户在投放广告时,我们就可以根据他需要的场景,来进行定向投放。

例如,某个视频中出现了购物场景,我们就可以给用户投放一个电商广告,来降低对用户的干扰、增加客户投放效率。

当然,还有叫做“Video In”的广告,也可以用AI来识别场景,看哪些点位可以用来投放。

例如,想要植入某种药物广告。通过AI,我们识别到视频中有一张桌子,就可以把这瓶药放上去。

或是识别到视频中有一堵墙,也可以在上面放一个广告框、贴上广告。

图片

这种原生植入的广告类型,同样受客户喜欢。

此外,爱奇艺还会直播一些如足球、网球等体育节目,我们会对其中的直播流进行实时分析。

如果出现了“高能”场景,如足球进球、或是网球得分,我们也会及时插播广告。

这些在精彩时刻推出的广告,效果很好。因为这种场景下,观众的注意力也会非常集中。

图片

除此之外,我们也能利用AI,为广告做不同的个性化海报。

针对用户的特性,我们能让AI生成各种风格的海报,针对性地进行分发,能极大程度上提高用户的点击率。

刚刚提到的这些用户创作、广告消费的AI功能,只是爱奇艺这个“智能板图”中的一部分。

在视频制作方面,我们也上线了剧本分析、流量预测等功能,至于内容剪辑,也包括智能拆条、智能混剪等AI工具。

在后台中,涉及AI的应用就更多了,包括AI翻译、审核等工具,都是各大视频网站的标配。

图片

我们希望通过AI,将科技与艺术进行结合,来促进整个产业的升级发展。

最后,我用一句话结束今天的演讲:创意让梦想绽放,科技让快乐简单。

这句话,不仅是爱奇艺的使命,也是我们做AI的同学的梦想和目标。

谢谢大家!

(最后,如果想回看大会全程,请点击阅读原文)