图源:数藏之家

抖音直播世界杯,火山引擎忙坏了

一场鏖战,阿根廷击败克罗地亚,时隔8年再次挺进世界杯决赛,这也是阿根廷队史第5次进入大力神杯决赛圈的争夺。梅西的进球和助攻几乎在比赛结束的同时在抖音上传开了。仅仅几天之前,阿根廷击败荷兰闯入四强,梅西赛后采访中一次难得的发怒连着几天占据抖音热搜前列。

今年6月,抖音集团2022年卡塔尔世界杯持权转播商的身份官宣。而场均7062万的观看人数,2992个累计上榜相关热点以及814亿的总播放次数,则是抖音上世界杯仅仅两周的小组赛直播所带来的声量。

今年卡塔尔世界杯的热闹,很多都在抖音里,火山引擎视频云的技术支持则在背后。

主攻画面增强的ToneMapping算法,以及提升音频体验的火山引擎RTC等技术,让这场面向数亿用户提供的超高清世界杯直播,以及丰富的互动玩法能够实现。

清晰度背后的科技

世界杯历年的冠军更迭背后,是一条转播技术的革新道路。卡塔尔世界杯是世界杯历史上的第二十二届,很多现在看起来早已成型的要素都是在这不到百年的赛事历程中逐渐加入进来的。

1958年第六届世界杯第一次出现了黑白画面的电视直播,全世界各地的球迷们可以通过卫星信号即时观看比赛的视频画面。随着1967年西欧以及苏联开始了彩色电视的普及,70年代的墨西哥世界杯见证了巴西的第三次夺冠,也是这项赛事商业化的开始。因为国际足联在那届世界杯上引入了首个合作伙伴阿迪达斯,并且彩色直播画面第一次被引入世界杯直播。

商业化的需求进一步加速了世界杯在转播技术上的革新速度。2006年开始,世界杯比赛上空第一次出现了类似“飞猫”的索道影像承载系统,随后更复杂的拍摄设备,比如讯道摄像机、可摄像的无人机以及近年开始大规模用于体育赛事转播的超高速摄像机和电影机,开始逐渐进入世界杯的场地。

 图源:新浪
图源:新浪

卡塔尔世界杯上,负责转播制作的 FIFA 世界杯分部和Host Broadcast Services (HBS) 调动近2500人的团队覆盖所有活动。一场标准的世界杯比赛的摄像机计划被提升到42个摄像机的规模,数量几乎是2002年日韩世界杯的两倍。

而今时不同往日,世界杯逐渐从电视媒介过渡到移动终端。多维度的直播体验与不断提升的清晰度要求,在转播层面即意味着指数增长的数据处理难度。球迷们看球的媒介正在拓展,但对于世界杯转播的核心诉求一直没有变过——清晰和流畅。

对于抖音来说,它需要能从技术上接住这届世界杯。

卡塔尔世界杯转播相比历届的一个重大变化是,到2018年俄罗斯世界杯的时候所有比赛的UHD/HDR(超高清/高动态范围成像)信号覆盖都仍然需要采用多模块、双层叠加的方法来集成,本届世界杯则第一次被集成进一个单一的捕获和传输工作流程中,这大大降低了信号团队对于画质提升处理的难度。

HDR拍摄的片源拥有更广的色域,更大的动态范围。但很多终端显示设备并不完全支持HDR信号播放,更传统的SDR信号可以在绝大部分屏幕上实现,但在色彩饱和度以及画面对比度方面不如前者,亮部与暗部画面也容易出现细节缺失。

比如下图,当画面主体的亮度是准确的,背景中其他人物和场景细节就多少丢失了。

 图源:火山引擎
图源:火山引擎

于是将HDR信号转换成SDR信号非常重要,传统的Reinhard,Filmic或者Uncharted 2等TonaMapping算法均使用固定曲线方法将HDR视频转换为SDR视频,转换得到的结果模式固定,无法适应多变的场景。对于世界杯这样的大型赛事,现场动态范围跨度极大,场馆的灯光、草地以及球员亮度差异明显,观众感兴趣的球员信息实际可能集中在暗部区域,这就导致ToneMapping之后的SDR信号过暗的问题。

 图源:火山引擎
图源:火山引擎

火山引擎视频云采用内容自适应的ToneMapping算法,通过统计视频帧的亮度信息对画面进行动态映射,实现更优的转换效果。

或者可以简单理解成一种直播画面色彩增强的实现机制。

 图源:火山引擎
图源:火山引擎
 图源:火山引擎
图源:火山引擎

人眼是一枚终极的摄影镜头,也因此人眼对摄像机拍摄的视频表现极为敏感,且具有一定偏向性。画面在清晰度、色彩及动态范围等方面所打的折扣会极大地影响到用户观感。

这时候通常需要后期处理对视频进行增强。火山引擎视频云的内容自适应ToneMapping使用帧级的动态增强方法来分析视频内容的相关指标,以此进行相应的均衡化处理,采用场景检测与同场景中参数平滑等技术获得稳定的增强效果。

在ToneMapping算法背后,是火山引擎自研的视频编码器ByteVC。

视频编码器ByteVC能够对数字视频进行压缩,将模拟源更改为数字源,方便为视频直播提供更丰富的技术实现。对于世界杯,视频编码算法既要在高速运动、复杂纹理的场景下确保直播内容的清晰度和流畅度,保障用户的观赛体验,又要兼顾码率、延迟等对网络传输层面尤为敏感的指标。

除了色彩增强,视频编码器ByteVC在此次卡塔尔世界杯中对直播画面的优化还包括自适应锐化、时空域降噪、ROI等多种画质增强技术,呈现更加沉浸感的超高清画面。JND主观评测结果达到1.64分,意味着几乎所有测试者都可以有正向感知。

再建一个足球广场

世界杯是社会属性强烈的赛事,它会在举办周期内成为几乎所有人谈论的话题。世界杯观赛方式从电视向手机的迁移也意味着一种更加“原生”的世界杯互动体验成为可能。

抖音上有超过1232万人加入了自己喜爱的主队,多达1亿人参与了小组赛预测,尝试过抖音上世界杯直播互动玩法的抖音用户则超过1000万人。

 图源:La Vie
图源:La Vie

抖音在2022世界杯比赛直播中还推出了边看边聊的玩法。用户可以在观看比赛时创建自己的聊天频道,打破物理空间限制的邀请好友来一起看球。

在这种外放场景中,麦克风除了会采集到用户的声音,直播中赛场和解说的声音也会被录入,这会转化成一种噪杂的回声,回声消除是几乎所有实时音视频场景中的棘手问题。

抖音边看边聊玩法背后则是火山引擎RTC的技术支持。火山引擎RTC通过音频托管的方式,并采用自研软件智能 3A ,在传统算法的基础上,引入基于深度学习的回声抑制算法,有效消除双讲场景下的回声,同时避免回声消除过强导致的人声卡顿音质差等问题。

但有时候在朋友间聊天时,恼人的是过大的赛场和解说的声音本身,抖音边看边聊玩法中独特的一点是,AI技术的渗入使得比赛中的声音能够随着用户聊天音量的变化而自动变化。

火山引擎RTC采用了自适应音量均衡策略,可以结合直播音量自动调节人声音量大小配比,让用户之间说话声音清晰。同时为了更好地解决用户语音被直播声音遮盖的问题,火山引擎RTC提供了智能音频闪避功能,通过AI语音检测准确人声,当好友讲话讨论时,用户的直播声音会自动降低,当大家专心看球不说话时,直播声音又会恢复正常的音量,可以达到非常清晰自然的音频体验。

高质量的音频体验为用户提供了一个更纯净的观赛场域,火山引擎也将同样的技术支持覆盖到了VR端的PICO,后者在硬件层面提供了一个区别于2D的立体互动空间。

 图源:数藏之家
图源:数藏之家

在PICO的世界杯主会场,除了更沉浸式的超高清大屏,真人派对观赛全景直播的“世界杯狂欢夜”像极了线下酒吧看球的真实体验,用户甚至可以为自己的Avatar虚拟形象穿上所支持球队的球衣。火山引擎RTC则使得在PICO中同样可以实现边看边聊的玩法。

某种程度上,这让球迷离真实的世界杯赛场前所未有的近。

尾声

摩洛哥赢了葡萄牙的第二天,作家周国平的抖音账号里正在开一场直播,周国平和足球解说员刘建宏等人开了一场关于青年教育的直播。直播最后周国平问刘建宏孩子该怎么学习足球,他说自己的孩子很喜欢体育。

这样的对话更像一场比赛散场后的聊天,抖音上的世界杯也正在形成一个完整的体验生态。这里有最完整的世界杯比赛直播,然后从这个线上足球场走出,各种世界杯主题活动以及抖音创作者的二创又进一步丰富了每个人的世界杯体验。随着体育赛事转播进入短视频时代,这种互动是曾经单向参与的世界杯转播所难以还原的。

火山引擎的技术支持则在这场抖音上世界杯的热忱后面,在球场内外建立起一个可以联结所有人的足球广场。