Junichi Oguro: 3D 音频与视频音乐创作

/ 阅读:550
作者: DMT传新科技

近年来,多声道环绕立体声系统的使用变得越来越广泛。从 5.1 声道的标准化家庭影院系统,到为天文馆、博物馆和音乐场所定制的大规模环绕立体声解决方案,这一增长没有任何放缓的迹象。而 3D 声学系统再次拉高了人们对于这一领域的期待 — 这种基于多扬声器的声学环境将会在接下来几年成为主流。

3D 声学系统不仅能够复制现有的声学环境,还可以在视觉创造的沉浸式空间中提供超现实的音乐体验,这显示出其推动听觉表达框架边界的巨大潜力。但是 3D 声学系统到底是什么呢?当在它上面创作音乐和处理层叠的视觉信息时,它能提供些什么?它的制作方法与传统的立体声音乐制作有何不同?

为了得到这些问题的答案,我们联系了作曲家/音响师/制作人小黑纯一(Junichi Oguro)。他参与过各种项目,从为天文馆设计声学空间(采用德国 ZKM 的43.4声道 Sound Dome 3D 音响系统) 到为阿迪达斯在 2008 年北京奥运会项目中作曲。这位札幌的 Ableton 认证讲师目前在一所大学讲课,同时参与了许多其他项目,包括他刚刚在自己的厂牌 43d 上发行了氛围单曲。

正如他的 One Thing 特辑中所说的那样,这位多重实践者从视频中寻找灵感。他在采访中讨论了将视觉信息作为图形符号的应用,并解释了声音方面的转变,以及潜在的可供观看的听觉体验。


你曾作为声学设计师,为天文馆安装了全日本第一个 43.4 声道的 3D 音响系统。请问你是怎么了解到音响系统的?

自 2000 年以来,我已经为个人项目制作了四个和八个通道的现场录音作品。Harmonia 是我在 2010 年代初创作的声音艺术装置,以四个超级定向扬声器为特色。我当时听说过 ZKM 的声音穹顶,但直到大约 10 年前我才亲身体验过。当时,我在北爱尔兰的贝尔法斯特,在那里我研究了对 3D 音响系统进行了深度研究,并断定这个技术在日本会有广泛的需求。在该大学的研究机构 SARC 有一个名为 Sonic Laboratory 的 3D 音响系统,它使用技术正是目前 43.4 声道音响系统的基础。2017年,当 Konika Minolta 决定在他们位于东京的天文馆安装新的音响系统时,我认为 43.4 声道的 Sound Dome 系统可以很好地配合视觉效果,他们的组合将会在天文馆的圆顶上带来次时代的内容。然后我在 ZKM 做了一个项目,把它介绍到日本,然后就被委任为天文馆的声学设计师。我最近导演了一个节目,并用 43.4 声道的 3D 声学系统为会场作曲。


你能介绍一下 43.4 声道的音响系统是怎么工作的吗?

通过声学设计,我们可以把像扬声器这样的硬件和软件进行组合,以实现 43.4 通道的播放。两者都是必需的。天文馆使用的系统,可以通过 Vector Base Amplitude Panning 和 Ambisonics(一种身临其境的 3D 音频格式)复制声音空间。这个 VBAP 将三个扬声器组成三角形,通过它的矢量合成来创建 3D 声学。把扬声器放在几个三角形中,以最佳的方式包围穹顶,需要 43 个独立的单元。以穹顶顶部的扬声器为起点,沿穹顶轮廓均匀布置 14 层扬声器三角形。


请问你是如何学习这一领域的技术并培养你的声音理解力?

多声道创作需要自己准备硬件工具和设计必要的软件。在我的案例中,我经常用 MAX/MSP 创建多声道音频的应用程序,并将它们用于我的产品。这个领域一直由欧洲的声学研究机构领导,如 IRCAM 和 ZKM,我通过这些地方的项目文档来研究 3D 音响系统的使用。在实际安装阶段,我会与来自不同领域的专家作为团队一起工作。这时候就需要遍历这些领域,以便将他们的技术之间的点连接起来。我从他们那里学到了新的专业知识。

3D 声学系统的重要之处在于,只有硬件是没有意义的。重要的是要考虑你可以用这个系统制作什么样的音乐作品和内容。我在日本的一家声学测量设备公司工作,在那里我的任务是处理建筑声学,比如声波、回声、脉冲和消声室。这就是我如何以一种复杂的方式加深了我的理解 — 通过作为作曲家处理音乐方面,作为音响师处理声学方面。


请问在 3D 音响系统和多声道环境中工作,对你的音乐创作有什么影响?

我对整个声音的调性有了更多的意识。我认为立体声像是多通道的基础。对我来说,在考虑 3D 空间中的运动或纹理之前,创作也可以存在于立体声中,这一点对我来说很重要。多声道有一个类似于精密机器的特点,我认为这在很大程度上取决于创作者的想象力,比如谈到它们如何发出太空声音时。就我而言,在日常生活或田野录音中,我总是意识到现有空间的声音,并将这种体验用于我的制作。我想我的倾听已经变得比以前更有意识了。


在立体声的环境下,混响和延迟通常用来表达深度。你如何用 3D 音响系统复制深度?这个系统有什么特别的技术吗?

使用 3D 声学系统时,声音被视为空间中的对象。与双通道的平面深度表达式不同,这些对象的位置表示声音本身的位置。例如,你可以通过在整个 3D 空间中将位置设置在背面来表达深度。当然也可以用混响和延迟来表达深度,就像在双声道中的方法一样。我觉得无论是立体声还是 3D 音响系统,整个音调的重要性都是一样的。

3D 音响系统最好的部分是它能够相当程度地重组现有的收听规则。传统上,无论听点移动到哪里,左声道和右声道都是固定的,但 3D 音响系统可以自由定义前、后、左、右、上和下,也可以用来创造一个宇宙空间。我也做现场录音,使用这个系统来复制我在丛林中听到的声音环境,或者创造和呈现一个完全不同的聆听空间。正是这种新的聆听体验将带来新的声音表现形式。与虚拟现实空间中的声音相比,3D 音响系统具有巨大的空间复制表达能力。对于即将到来的 3D 视觉和沉浸式空间时代的音响系统来说,它在视觉创作和戏剧作品等娱乐内容方面也具有巨大的潜力。

另一方面,我认为人头录音是一种非常有趣的双声道 3D 声音技术。它有它的局限性 — 你必须戴着耳机听,但人头录音麦克风的录音空间未来将应用到更多的领域。


观看视频:


当你制作 3D 声学作品时,你的工作流程是怎样的?

我通常先用 Ableton Live 这样的宿主软件进行音乐创作,然后用专门的软件创建数字 3D 空间和所有声音的运动。它的挑战在于,你在作曲阶段已经需要对声音的动态有一定的想法。音乐表达了声音在时间线上的进展。3D 空间增加了另一个代表声音位置的参数,使表达的广度变得更宽。

3D 声学的音乐创作需要更长的时间,因为需要在不同的平台之间切换,这就需要在不同的宿主软件中单独导出音轨,轨道数量通道在 100- 300 之间。因此,我自己探索了一套方法,建立了一套专用硬件通过 MADI(多声道音频数字接口)进行数据传输。


在你的 “One Thing” 节目中,你展示了一种通过将音乐与视觉同步来制作音乐的方法。这真的很有你的特色,因为你为电视广告制作了符合他们视觉效果的音乐。

这种方法源于我在 2008 年为阿迪达斯北京奥运会项目作曲的经验。那一次,我开始作曲时只有一个梗概可供参考。随着实际的 3D 计算机图形被发送过来,事情向前发展,我对音乐进行了必要的调整,以映射电影。在影像逐渐生成至完成的过程中,音乐也随之发展,这使得这个过程特别令人难忘。从那以后,它已经成为我音乐创作的一个基本部分。

当前版本的 Live 允许你将视频作为时间轴上的视频剪辑进行处理,并像剪切音频一样对其进行剪切。通过视觉作品制作音乐时,这是一个至关重要的功能。在时间线上自由处理它们的能力为音乐制作提供了额外的灵活性。我已经形成了一种独到的风格:我会把视频放在时间轴上,并将其用作一种图形符号,这就是我在 One Thing 中呈现的。


观看视频:


当你以这种视觉为导向的方式作曲时,你觉得有没有对一种技术或特定的设备特别有用?

这是一种电影编辑技术,但我经常使用 BlackMagic 的 DaVinci Resolve 来进行视频剪辑和调色。我使用的是付费版本,但免费版本也足以进行各种编辑。它允许以制作音乐的方式编辑电影,就像你使用 Live 进行编排一样。我有一种强烈的预感,音乐制作人以后会像这样开始创作视听作品。


在你的 “One Thing” 节目中,你使用的是高端的摄影器材。但是如果你在生活中遇到了一个意想不到的拍摄机会,而且你身上没有带这些设备,那么你会用智能手机来捕捉场景吗?

我通常随身携带一台便携式录影机和一台具有拍摄功能的单反相机,但当我不带时,我会用智能手机拍摄。智能手机的拍摄功能越来越接近现在电影行业内使用的拍摄设备,并且拍摄时我也会注意视角和分辨率。在我开设的大学课程中,学生们用智能手机拍摄视频,制作音乐,就像我在 One Thing 上所做的那样。我在视频中展示了完整的过程。你可以下载免费的 Live 工程文件,其中包含我在本教程中使用的视频剪辑。


工程下载地址链接:

https://cdn-resources.ableton.com/resources/1f/12/1f121f5a-4dbf-4ffd-9f13-b1dcb9b5aad4/videoclip_junichioguro_project.zip

你在视频中看到的动态有助于激发音乐旋律和节奏的灵感,就像用图形记法一样。人群的流动特别鼓舞人心。无论是现代舞,还是日常生活中随意手势,所有的视觉信息中都有作曲的想法。随着我们的收听习惯发生根本性改变,越来越多的人通过 YouTube 和 Instagram 消费音乐。如果有可能使用媒体平台上的第三方视频进行创作以表达想法,那么我们将看到音乐制方式和收听方式都得到进一步的发展。



了解更多讯息,敬请垂询Ableton大中华区总代理

香港:852-27210343

北京:010-85806317

广州:020-81068112

上海:021-80185110‬‬

www.dmtpro.com

www.dmtpro.com.cn

欢迎识别二维码关注我们,获取更多精彩内容