バイノーラル音声や Amazon Music の空間オーディオには極力オーディオエフェクトをかけないほうがいいという話

まえがき

バイノーラル音声 (バイノーラル録音 or 処理された ASMR 含む) や、Android / iOS / iPadOS 版 Amazon Music アプリの空間オーディオ (Dolby Atmos / 360 Reality Audio) には、一部のオーディオエフェクトをかけると音が変になってしまうという危険性が存在する。

ただ、その危険性を解説するには様々な専門用語が出てきてしまい、分かりやすく伝えることが難しい。そこで、この記事では技術的な詳細はあえて省き、専門用語を別の例えで置き換えることで、できる限りわかり易く説明したいと思う。

無理やり例えて説明しているため、詳しい方からすると説明が苦しいところも存在するかもしれない。しかし、この記事はオーディオ技術に精通している方を対象に、事態を正確に理解してもらうための記事ではなく、多くの音楽好きの方に注意喚起を行うことを目的としているため、そのあたりは大目に見ていただきたい。

バイノーラル音声や Amazon Music の空間オーディオにかけないほうがいいオーディオエフェクト (一例)

通常のイコライザーや、音をハイレゾ化 (アップサンプリング) する機能などはかけても問題はない。問題があるのは、以下に示すような疑似サラウンド系や、コンサートホールなどの響きを再現する系のエフェクトである。

これらのエフェクトは、ヘッドホンで聴く場合も、内蔵スピーカーで聴く場合も、外部スピーカーで聴く場合も、いずれの場合においてもオフにしたほうが良い。

スマホやタブレット向けのエフェクトで思いつくものを列挙したが、これに限らず、類似の機能はすべてオフにすることを推奨する。

音響特許技術

Dolby

• Dolby Audio X3 (DAX3)
  • Dolby Atmos → 360 Reality Audio を再生する場合のみオフ推奨
• Dolby Audio X2 (DAX2)
  • Dolby Atmos
  • Dolby Audio
• Dolby Surround (DS1)
  • Dolby Audio

※ 設定画面には「Dolby Sound」「Dolby post processing」などと記載されている場合あり
※ 機種によっては内蔵スピーカー使用時に Dolby Atmos をオフにできない場合あり

DTS

• DTS:X Ultra 1.0
• DTS:X Premium 1.0
• DTS:X 3D Surround (DTS:X Exclusively for LG)
• DTS Audio Processing 1.0

※ ASUS Zenfone シリーズ / ZenPad シリーズ / ROG Phone シリーズの場合、設定項目が「AudioWizard」という名称になっている場合あり
※ ZTE Axon シリーズ / Liberoシリーズの場合、設定項目が「DTS音」という名称になっている場合あり

360 Reality Audio

• 360 Upmix (360 Reality Audio Upmix)
• 360 Spatial Sound

Dirac

• Dirac HD Sound
• Dirac Power Sound
• Dirac Panorama Sound

• Dirac Virtuo
• Dirac Opteo

※ ASUS Zenfone シリーズ / ZenPad シリーズ / ROG Phone シリーズの場合、設定項目が「AudioWizard」という名称になっている場合あり

Auro

• Auro-3D

※ 現状 Auro-3D 搭載端末は Wiko Robby や Micromax Canvas Fire 5 など、日本未発売の機種のみ

THX

• THX Spatial Audio

※ 現状 THX Spatial Audio 搭載端末は ZmBIZI Z1 や Razer Edge Wi-Fi / Founders Edition など、日本未発売の機種のみ

Waves

• MaxxAudio Mobile

BoomCloud360

• Boomcloud360 audio

※ Razer Edge 5G では「Verizon Adaptative Sound」という名称になっている

next Sound / ネオス

• 8Way Audio

※ 現状 8Way Audio 搭載端末は AQUOS R9 pro のドコモ版のみ (SIM フリー版には非搭載)

端末メーカー独自

Apple: iPhone / iPad

• ステレオを空間化 [詳細]

HMD Global: Nokia

• OZO Playback

LG

• LG 3Dサウンド

Motorola Mobility: motorola / moto

• Spatial Sound (広がりのあるサウンド)

OPPO / OnePlus

• OReality Audio
• Real Sound Technology (リアルサウンドテクノロジー)

Samsung: Galaxy

• SoundAlive+
• サラウンド
• コンサートホール

※ 「イコライザー」「UHQアップスケーラー」「K2HD」「真空管アンプPro」「Adapt Sound」は適用しても問題ない
※ 「ゲーム用Dolby Atmos」は音楽再生には影響なし

SHARP: AQUOS / LEITZ PHONE

• サラウンドプラス

※ AQUOS R7、AQUOS sense7 plus、LEITZ PHONE 2 に搭載を確認

Sony: Xperia

• S-Force Front Surround
• サラウンド (VPT)

※ 「ClearAudio+」「イコライザー」「CLEAR BASS」「DSEE Ultimate」「DSEE HX」「ダイナミックノーマライザー」は適用しても問題ないが、「自動最適化」は微妙
※ 「インテリジェントウインドフィルター」は音楽再生には影響なし

バイノーラル音声や Amazon Music の空間オーディオに上記のオーディオエフェクトをかけないほうがいい理由

ここからは、空間オーディオ (バイノーラル音声含む) をコーヒーに、通常のステレオ音声 (LoRo: Left only / Right only) を水に例えて説明する。つまり、音の聴こえ方 = 飲み物の味となる。

---

バイノーラル音声や Amazon Musicの空間オーディオ (= アプリ内処理) と、Apple Music 等の端末側処理を比較すると、それぞれ以下のような特徴がある。

バイノーラル音声

• コンビニで売られているペットボトルコーヒーのようなもの (ここではあくまで提供形態の例えで、味の良し悪しの話ではない)
• コーヒーの淹れ方を知らなくても (スマホやタブレットに Dolby Atmos 等が搭載されていなくても)、コーヒーを飲むことができる
• 既製品のため、調理にかかる手間 (端末への負荷) がない
• イートインスペース (トランスオーラル処理) が備わっていない限り、基本的にテイクアウト (ヘッドホンでの再生) 限定

アプリ内処理 (Amazon Music 等)

• カフェで提供されるコーヒーのようなもの
• コーヒー豆の調達 (音源の取得) から淹れるところ (各種の処理) まで、すべてカフェ (アプリ) 側が行う
• イートイン (内蔵スピーカーでの再生) もテイクアウト (ヘッドホンでの再生) も可能
• コーヒーの淹れ方を知らなくても (スマホやタブレットに Dolby Atmos 等が搭載されていなくても)、コーヒーを飲むことができる

端末側で処理 (Apple Music 等)

• 自分で淹れたコーヒーのようなもの
• カフェで購入したコーヒー豆 (アプリが取得した音源) を、自分で淹れる (端末側で各種の処理を行う)
• 家で飲むこと (内蔵スピーカーでの再生) も外で飲むこと (ヘッドホンでの再生) も可能
• 淹れ方を好みに合わせて工夫することもできる (内蔵スピーカーの特性に合った処理を行うことができる、個人の顔や耳に合わせた最適化ができる、ヘッドトラッキングを行うことができる、etc…)

---

では先程列挙したエフェクトは何なのかと言うと、水 (通常のステレオ音声) が来ても、インスタントコーヒー (アップミックスや残響音の不可などを行うもの) を用意しておけば、ちゃんと淹れたコーヒーには敵わないものの、一応コーヒーは飲める、というものである。

つまり、バイノーラル音声や Amazon Music の空間オーディオに対し、スマホ側の Dolby Atmos 等のエフェクトを適用するというのは、すでに出来上がったコーヒーにインスタントコーヒーの粉を入れる、というものである。これでは味 (音の聴こえ方) が変になるのは当然と言えるだろう。

なぜこのようなことが起こるのか

Apple Music のような方式の場合、コーヒーは自分で淹れているので、そこにさらにインスタントコーヒーの粉を入れるようなことはしない。一方、バイノーラル音声や Amazon Music の空間オーディオの場合、提供されたコーヒーは自分で淹れたものではないので、出てきた飲み物が何かよくわからずにインスタントコーヒーの粉を入れてしまう、といった状況である。

「いや、コーヒーかどうかなんて見た目や味で分かるし、そこにインスタントコーヒーの粉をブチ込むバカなんていねーだろ」

たしかにそれはそうである。少なくともホームシアターではそんなことは起こり得ない (5.1ch → 5.1.4ch アップミックスのように、コーヒーだと分かった上で、そこに砂糖やミルクを入れたり、コーヒーフロートにしたりすることはあるが)。

しかし、これにはスマホやタブレットならではの特殊な事情が絡んでくる。以降、飲み物の色を、音源のトラック数 (チャンネル数やオブジェクト数) に例えて説明する。

スマホやタブレットはホームシアターに接続されることはまれで、基本的にはヘッドホンや内蔵スピーカーで聴かれるため、最終的にはどの飲み物も透明 (ステレオ) な液体 (音源) にする処理が必要がある。

そのため、スマホやタブレットにおいて空間オーディオを楽しむためには、コーヒーの味 (Dolby Atmos や 360 Reality Audio の聴こえ方) を保ったまま透明化する (ステレオに落とし込む) 必要がある。この透明化の処理は、「バーチャライズ」や「バイノーラルレンダリング」などと呼ばれる。

これは Amazon Music でも Apple Music でも行わなければならない処理なのだが、Amazon Music の場合はアプリ内でブラックボックス的にその処理を行っているため、スマホやタブレットからしたら透明なのでただの水 (ステレオ音声) にしか見えない。味はコーヒーかもしれないが、機械には味 (聴こえ方) までは分からない。

バイノーラル音声とは、元々透明なコーヒーとして販売されているものとなる。

だからこそ、出来上がったコーヒー (を透明化したもの) にインスタントコーヒーの粉を入れるような真似ができてしまうのである。

iPhone や iPad で Amazon Music の空間オーディオを再生すると、フォーマット情報が「ドルビーアトモス」などではなく「ステレオ」という表記で、右下のトグルが「空間オーディオ」でなく「ステレオを空間化」となっているのも、そのせいである (実はそれ以外にももう一つ理由があるのだが、ここでは省く)。

Amazon Music の空間オーディオは、iPhone や iPad からすると空間オーディオではない (お前は何を言っているんだ) ため、AirPods シリーズのダイナミックヘッドトラッキングを使用するためには、「ステレオを空間化」を使用する必要がある。しかし、これでは音が変になってしまうのである。

おわりに: アプリ内処理は悪なのか?

こうして見ると、「Amazon Music も端末側で処理するようにしておけばよかったのに」と思えてくる。しかし、アプリ側で処理する場合は、スマホやタブレット本体の対応状況を気にすることなく (結果的には上記の理由で気にしなければいけなくなってしまったが)、幅広い人に空間オーディオを楽しんでもらうことができる。

そもそも、360 Reality Audio のコーデックとして採用されている MPEG-H 3D Audio のデコーダーを搭載していることが確認できている機種は、今の所 Xperia や Walkman の一部機種ぐらいだ。

360 Reality Audio 対応 Android 端末一覧

また、Amazon Music では、スマホやタブレットに Dolby Atmos を提供する際は、Apple Music で使用されるフォーマット (E-AC-3 JOC) に比べ、低ビットレートで配信でき、更にデコード時の負荷も低いという特徴を持つ新しいフォーマット (AC-4 IMS) が用いられている。

E-AC-3 JOC と AC-4 IMS についての詳細:

音楽サブスクはどのように空間オーディオを提供しているのか

このフォーマットは最近の Android 端末では対応機種が増えてきているものの、iPhone や iPad はまだ対応していない。こうしたまだ十分に普及していない新しいフォーマットを採用することができるのは、アプリ内処理の強みである。

Support for the AC-4 format requires in-app decoding using the Dolby Audio for Applications product.

Using iOS Spatial Audio status for Dolby Audio and Dolby Atmos track and logo selection

では、Amazon Music はどうすればよかったのか。答えは単純で、端末側の処理とアプリ側の処理のハイブリッドにすればいい。つまり、本体が対応しているものはデコードを本体に任せ、非対応なものだけをアプリ側でデコードする。ただこれだけで済んだ話である。

確かに、それだと例えば Dolby Atmos には非対応なものの DTS:X Ultra には対応している機種等で、Amazon Music の Dolby Atmos の音源を聴いた場合には、依然として上記のような問題は起こりうる。

しかし、少なくとも、「Amazon Music の Dolby Atmos を Dolby Atmos 対応の Android 端末で聴く場合は、本体側の Dolby Atmos をオフにしてください」という、一見意味不明な注意喚起を行わなくても良くなる。ハイブリッドにすることで、「Dolby と DTS が喧嘩しちゃうので、DTS の方はオフにしてくださいね」とかで済む。

個人的に Amazon Music の空間オーディオの問題点は、アプリ内処理のみであるということよりも、そのことによる注意点をきちんとユーザーに周知徹底していないことにあると考える。こういった重要な情報は、きちんと公開していただけるよう願いたいところだ。

2024/6/15 追記: 冒頭にも書いたように、Android 版はバージョン 24.9.0 (2024年5月末リリース) 以降、Dolby AC-4 IMS というフォーマットに対応した機種では、端末側で処理を行うようになった。なお、360 Reality Audio や、iOS /iPadOS 版については、依然としてアプリ内処理のままとなっている。