音频制作的现状与发展趋势

浅沫记忆

内容来源：华为开发者大会2021 HMS Core 6 Media技术论坛，主题演讲《音频制作的现状与发展趋势》。
演讲嘉宾：华为音频算法研究高级工程师
大家好！我是来自华为音频工程部的工程师。今天很高兴跟大家分享关于音频制作的现状以及我们所理解的音频发展趋势。

从留声机、黑胶唱片到MP3、CD，音频已经发展了很多年，并且一直以来都沿着两条比较大的主线进行发展。一个是超高清的发展方向，音频的数字品质越来越高，码率越来越低。对于人类来说的音频范围是20到22赫兹，17K以上的音频基本上听不到了。
另外一个发展方向就是我今天要说的主题——沉浸式。我们平常听到的声音是从四面八方来的，比如我们右上角有鸟叫，左边有照相机的咔嚓声，声音是从周围各个方向过来的。最开始音频的录音和回放都受到一定的限制，刚开始是单声道，单声道的意思就是声源从一个点飞过来，不会涵盖太多的内容，称之为点声源，有很多混音师和音乐人在单声道年代做了不少的尝试，比如增加混响和色染来形成一定的空间感，但是受限于它的单声道，效果是远远不够的。
到立体式和双声道的时代，又通过给左右声道赋予不同的内容，来呈现更多的空间感和故事感，在过去60、70年代有很多前沿的乐队都在用双声道给用户带来不一样的体验。比如音乐里面把人声和吉他分左右两个声道，让用户感觉像是在现场听到演奏一样；再比如波希米亚狂想曲，就是把两个人不同的合声放在左右，形成对话的感觉，通过给左右声道分别不同的内容来形成更强的故事感，更能给听众带入音乐叙述的逻辑，那个时候从单声道到立体声是很大的跨越。

后来从环绕声到三维声，增加的内容不仅仅是左右声道的内容，而是从前后左右甚至是上下的方向都有不同的声源传入耳朵里，这样，使用者就会有更大的空间来编辑他们的声源，用户也有更多的沉浸感。后面我们会进入6自由度空间声的时代，让你有更强的空间感。现在我们正处于从一个立体声、环绕声往三维声包围的历史节点。

现在越来越多音乐人用三维声制作音乐，但三维声的制作还在比较初级的阶段，混音的范式混音师还在摸索中。三维声对于专业的混音师来说是多声道回放的环境，但是目前大部分用户主要还是依赖耳机进行回放，目前主要针对耳机进行三维声音乐推广的的友商是索尼的360 reality和苹果音乐与杜比合作的dolby atmos music，当然也可以通过IMU耳机实现三维声回放探索，戴上IMU耳机就会有头在转、音源固定在那里的一种感觉。
现有的三维声制作流程是怎样的呢？
首先会有一个作曲和编曲，我们需要找专业的人士来进行唱歌和乐器的录音，然后我们会将录完的这些分轨素材导入数字音频的工作站，数字音频的工作站里面经由专业混音师的巧手来进行插件，最后生成三维声音频并通过多声道来进行回放。

那么，HMS  Core可以做成怎么样？
先是通过AI作曲能力辅助各位进行编曲创作，然后基于我们提供的TTSing歌声合成能力，让大家更快合成比较专业的音频，经Audio Edior  kit将2D转成3D，然后在UGC或PUGC制作过程中，产生他们自己的3D音频，最后形成双耳回放或多声道回放并进行耳机监听。

AI作曲配器
接下来跟大家介绍一下AI作曲配器。我们平时走路过程当中会哼一些小调的灵感，通过AI作曲就会自动生成曲子。目前AI作曲的能力主要集中在民谣和国风。我们可以更好地服务大家去迎合消费者的市场，To C可以辅助PGC、使能UGC音乐创作，降低创作门槛；To B可以提供罐头音乐，减少音乐版权费用，支撑自有应用和合作伙伴商业成功。

TTSing歌声合成
有了词曲以后如何进行TTSing歌声合成呢？用户可以把曲谱信息输入到TTSing歌声，感受一下词曲配上这个歌声的能力，配合刚才AI作出的曲子再加上歌词听听效果。

2D转3D
有了乐器轨、乐曲轨和歌声以后，就可以导入音频2D转3D的能力，可以通过交互界面简单拖动，也可以通过手机Media传感器指挥，把这些轨渲染到空间中任何一个位置，爱后进行双耳回放就可以听到最终合成的歌曲。是不是没有曲子和能力就不能做这个空间的渲染？不是的，我们支持大家把普通的双声道、MP3导到2D转3D的能力，自动分析出这里面有钢琴和人声，然后指定钢琴里面某一个元素，通过渲染到空间每个位置进行双耳渲染，即使是老歌，也可以转成三维声的音乐，创造属于你自己的音乐。

这就是我们HMS Core三维声的制作流程，我们可以提供AI作曲配器、TTSing歌声合成以及音乐2D转3D的能力，通过HMS Core服务，我们可以为UGC、PUGC用户提供便捷的制作。

现在我们正面临现实和虚拟的交界处，现在很火的概念就是元宇宙，音频更大的未来就是声音元宇宙（Soudverse），通过空间声学进行声宇宙的构建，未来我们会提供更多的计算声学和空间声学、声源合成和空间渲染的能力，帮助大家通过使用HMS Core的能力快速进行一个声宇宙的构建。
谢谢大家！
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址：GitHub、Gitee
关注我们，第一时间了解 HMS Core 最新技术资讯~