当戏曲遇见未来？AI修复再现近50部经典曲目3D戏曲老师演绎“抖水袖”

  原标题：当戏曲遇见未来？AI修复再现近50部经典曲目，3D戏曲老师演绎“抖水袖”

  智东西2月3日报道，正值小年夜，一场主题为“当科技遇见戏曲之美-甲辰龙年小年夜戏曲焕新”的直播活动拉开了“中国戏曲文化数字焕新行动”的序幕。该直播由文化和旅游部艺术发展中心联合腾讯共同发起，围绕词韵之美、程式之美、影像之美和焕新之美四个篇章，创新演绎了京剧、越剧、昆曲、川剧等剧种的经典唱段。

  除了现场表演外，直播还通过腾讯多媒体实验室的AI修复、6DoF等数字技术高清再现了近50部经典剧目，让观众“零距离”体验戏曲的“唱念做打”，在一招一式中沉浸式感受中国民间传统文化的魅力，共吸引超700万名线上观众。

  腾讯可持续社会价值事业部数字文化实验室负责人舒展告诉智东西，在戏曲等民间传统文化的传承中，面临的挑战一是许多经典曲目格式老旧，传播方式固化，难以引起年轻人的共鸣；其次，大量珍贵的戏曲影像资料以胶片形式留存，很多因保管不善已经残损；第三，传统的师傅带徒弟教育学生的方式比较受限。

  面对这些挑战，团队选择通过新兴的数字技术，从保护到传承，再到活化、利用，从各个维度来助力戏曲文化的传播。其中，团队基于腾讯多媒体实验室自研的AI影像修复技术，对经典戏曲剧目影像资料做数字化的抢救、抢修，以保障珍贵艺作品得以流转；团队还聚焦重点剧种，建设戏曲数字资源库，启动程式录制工作，利用体积摄影录制专业戏曲演员经典程式，并以6DoF流媒体传输技术最终交互呈现。

  老一辈艺术家的珍贵影像大多数上世纪五六十年代拍摄录制，多以胶片、磁带为存储介质，由于时间推移，已出现褪色、划痕、噪点等视听问题。

  针对这样一些问题，腾讯多媒体实验室基于多年的多媒体通信和处理研发经验，利用AI影像修复技术对经典戏曲影像资料做修复和呈现。据悉，此前面向老片修复场景还专门推出“超清沉浸感修复引擎”技术解决方案。

  在修复的过程中，团队也不免遇到许多技术层面的难题。如影像资料时间跨度大、数据量少、灯光色彩复杂等，对算法带来一定的挑战。

  腾讯多媒体实验室扩展媒体中心负责人、国际标准专家许晓中谈道，为了克服数据量少的困难，团队做了很多方面的尝试，如给定一个可以用作训练的数据内容，想办法充分挖掘其中的信息，包括对一些相关的片段进行各种组合，使它产生多样化的数据等方式。

  据介绍，AI影像修复技术主要分为四大模块：智能分析、画质修复、画质增强以及智能编码。

  智能分析指的是利用多种人工智能评估算法，对视频内容进行帧级别、场景级别和视频级别等多维度的分析，评估视频的运动和纹理复杂度、压缩失真程度等，得到不同维度的内容分析结果。

  结合智能分析得到的信息，画质修复模块可针对老片中常见的竖线、雪花点、噪声、压缩失真、抖动等问题做修复。其中“人脸修复”的步骤基于团队自研的人脸修复模型，利用人脸检测、人脸修复和融合模块，将图像修复迁移到视频过程中并加入帧间稳定性处理，解决了人脸检测稳定性。

  在修复模块的基础上，画质增强模块将利用最佳视频增强算法，对画面进行多维度画质提升，包括在空间、时间上对视频的分辨率和帧率进行提升，在空域上提升细节清晰度、色彩丰富度等。

  最后，根据视频分析以及预编码的结果，智能编码模块自适应调整视频输出码率以及各种编码参数，并结合ROI（感兴趣区域）编码、场景自适应编码，在减小输出视频文件大小、降低视频传输成本的同时，保证视频的主观质量不受影响，实现最佳的画面效果。

  在这四个模块中，每个算法都由腾讯云多媒体实验室自研自发，实现了优质的划痕修复和“超分辨率”，在放大视频分辨率时显著提升细节清晰度，同时通过GAN（生成对抗网络）生成一些细节。

  除了AI修复影像资料外，本次直播另一项引人注目的演示——6DoF视频，也叫体积视频。

  6DoF是指6自由度视频技术，不同于传统平面视频只能看固定视角画面、VR360视频以用户为中心看360度场景，6DoF在360度基础上增加位移，用户都能够在观看画面中自由行走，选择自身的视角进行观看。

  对戏曲行业来说，基于6DoF技术录制专业戏曲演员的经典程式，能为戏曲教学、研究等呈现立体、多维的细节。在“抖水袖”和“卧鱼”视频中，6DoF技术展现了演员手腕转动、眼波流转等十分微小的动作和情绪。

  在技术层面，6DoF技术主要面临的难点包括数据量大、计算量大、下载时间长、无现成文件标准、终端应用受限等。

  体积视频每一帧都是一个3D模型，数据量大带来传输困难，同时3D模型数据编码压缩、解码渲染计算量大，需要终端具备比较好的性能进行播放渲染。不同于普通视频能够边下边播，传统体积视频文件需全部下载完成才能播放，下载耗时长。此外，体积视频没有现成的文件标准，没办法使用现有的视频基础设施，在视频传输、播放等应用生态受限。

  首先是数据压缩。团队采用自研新一代3D mesh编解码器，在保持模型细节质量的前提下，大幅度减少模型表达所需要的面片数量，从而大大降低存储和传输动态高质量3D模型所需要的带宽，对比传统方案降低50%以上数据量。

  针对Texture纹理数据，团队采用实验室自研编码器，分析纹理数据在时域和空间相关性，同时结合场景自适应编码，逐步提升压缩效率，减少数据量。整体实现多维数据25-50倍高压缩比，从根源上解决多维数据数据量大的问题。

  其次是数据封装。针对现有体积视频文件无统一标准、需整体下载完才能播放等难点，实验室研发了mesh数据和纹理数据融合方案，采用流媒体格式标准，能够复用现有视频基础设施，实现渐进式文件加载，以此来实现边下载边播放。

  最后是播放渲染。在播放端，团队通过自研高效解码渲染算法，实现支持多模型、多材质和物理渲染，同时支持4K/8K超高清纹理图，满足对图形质量有更加高的要求的应用场景。在播放能力上，突破APP限制，实现轻量化网页端播放支持，同时实现包括手机、头显、PC等全终端播放支持。

  在采访过程中，中国艺术研究院戏曲研究所所长王馗屡次提到“年轻观众”。长期以来，戏曲界一直把争取年轻观众当作很重要的发展的目标。因为有了年轻的观众，一代代的传承才有真正生态的空间。

  如今在数字技术的加持下，戏曲的生态空间远超于了局限于具体的区域、地方的限制，变得更的宽广。科学技术手段在戏曲的教育、传承、表演、推广等多个角度是起着很重要的作用，介入到戏曲传承发展的各个节点。

  未来，我们大家都希望能看到更多新兴技术应用在戏曲及更多民间传统文化当中，并推动民间传统文化面向大众层面的创新传播，拉近其与当代年轻人的距离。返回搜狐，查看更加多