Apple Music を解析する

Last modified date

配信システム

Apple Music では HLS (HTTP Live Streaming) が使用されている。HLS とは、その名の通り HTTP というプロトコルを用いてメディアファイルをストリーミング配信する規格である。

HLS では、メディアファイルは一定時間ごとに分割されており、分割された一つ一つのパーツをセグメント、あるいはチャンクと言う。

分割することによってファイル全体のダウンロードが完了するのを待つことなく再生を開始することができるし、途中から再生する場合にファイルを冒頭から取得してくる必要もない。さらに、ネットワークの速度や安定性などに応じて再生中にシームレスにビットレートを切り替える「アダプティブビットレート」も行うことができる。

Apple Music で使用される HLS では、1つのメディアにつき2つのマニフェストファイルを用いて再生を制御している。1つはマスタープレイリストやマスターマニフェストなどと呼ばれるもので、もう1つはインデックスファイルと呼ばれるものである。

マスタープレイリストは、名前に「プレイリスト」とあるように、M3U プレイリスト形式で記述されている。これには、利用可能なメディアのコーデックや、コーデックごとのビットレートが列挙されており、それぞれのフォーマット (ここではコーデックとビットレートのそれぞれの組み合わせをフォーマットと呼んでいる) に対応するインデックスファイルが指示されている。

再生機器側では、再生機器 (あるいは再生ソフト) が対応しているコーデック、ユーザーの画質/音質設定、ネットワーク状況などをもとに、マスタープレイリストから最適なフォーマットを選択し、それに対応するインデックスファイルを取得する。

インデックスファイルは各フォーマットごとに存在し、メディアファイルの URL、セグメントの再生順、各セグメントの秒数などが記されている。

インデックスファイルを見てみると、Apple Music のロスレスや空間オーディオの楽曲は約15秒ごと (ロッシーは不明) セグメントに分割されているということが分かった。分割された音声は、fMP4 (fragmented MP4) コンテナに格納されている。

15秒といえば、Apple Music がロスレスと空間オーディオでの配信を始めた辺りから「曲が15秒しか再生されないことがある」という不具合を目にするようになった。恐らく fMP4 のセグメント間の結合になにか不具合が生じていたのだろうと推測できる。最初の15秒のセグメントが再生されたあとに DRM 関係の処理が入っていることから、そこで問題が起きていたのかもしれない。

なお、現在この問題は iOS 14.7 / iPadOS 14.7 のアップデートで解消済みとしている。が、それでもまだ発生するという報告も上がっている。一旦は治ったものの、iOS 15 / iPadOS 15 で再発したという人もいる。

iOS 14.7には、iPhone用の以下の機能改善とバグ修正が含まれます:

・Apple Musicのロスレスオーディオとドルビーアトモスの再生が予期せず停止することがある問題

iOS 14 のアップデートについて – Apple サポート (日本)

iPadOS 14.7には、iPad用の以下の機能改善とバグ修正が含まれます:

・Apple Musicのロスレスオーディオとドルビーアトモスの再生が予期せず停止することがある問題

iPadOS 14 のアップデートについて – Apple サポート (日本)

Apple Music の音源の仕様

マスタープレイリストには音声フォーマットの一覧とその詳細が載っているのだが、記事に M3U をそのまま貼っても見辛く分かりづらいため、表にまとめた。表が大きくなったため、ステレオと空間オーディオとで分割している。

基本的にマスタープレイリストの値そのままを記載しているが、一部の表記は分かりづらいため、()内で補足している。 マニフェストファイルには載っていなかったものでも、別の方法で確認できたものも一緒に載せている。ロスレス音声のビットレートは、デコード後のリニア PCM のビットレートである。?が付いているものは、推測値である。

ステレオ

ファイル名
サフィックス
EXT-X-MEDIA:GROUP-ID
EXT-X-STREAM-INF:AUDIO
EXT-X-STREAM-INF EXT-X-MEDIA ビット
レート
(kbps)
CODECS SAMPLE
-RATE
BIT-
DEPTH
CHANNELS
ロッシー 64 audio-HE-stereo-64 mp4a.40.5
(MPEG-4 HE-AAC v1)
44100 16 2 64
128 audio-stereo-128 mp4a.40.2
(MPEG-4 AAC LC)
44100 16 2 128
256 audio-stereo-256 mp4a.40.2
(MPEG-4 AAC LC)
44100 16 2 256
ロスレス 1441 audio-alac-stereo-44100-16 alac 44100 16 2 1441
2116 audio-alac-stereo-44100-24 alac 44100 24 2 2116
2304 audio-alac-stereo-48000-24 alac 48000 24 2 2304
ハイレゾ
ロスレス
4233 audio-alac-stereo-88200-24 alac 88200 24 2 4233
4608 audio-alac-stereo-96000-24 alac 96000 24 2 4608
8467 audio-alac-stereo-176400-24 alac 176400 24 2 8467
9216 audio-alac-stereo-192000-24 alac 192000 24 2 9216

空間オーディオ

ファイル名
サフィックス
EXT-X-MEDIA:GROUP-ID
EXT-X-STREAM-INF:AUDIO
EXT-X-STREAM-INF EXT-X-MEDIA ビット
レート
(kbps)
CODECS SAMPLE
-RATE
BIT-
DEPTH
CHANNELS
Dolby
Audio
448 audio-ac3-448 ac-3
(Dolby Digital)
48000 16 6
(5.1ch)
448
??? audio-ec3-???
audio-eac3-???
ec-3
(Dolby Digital Plus)
48000 16 8
(7.1ch)
???
Dolby
Atmos
2448 audio-atmos-2448 ec-3
(Dolby Digital Plus)
48000 16 16/JOC
(16 elements)
(7.1ch + JOC)
448
2768 audio-atmos-2768 ec-3
(Dolby Digital Plus)
48000 16 16/JOC
(16 elements)
(7.1ch + JOC)
768
バイ
ノーラル
64_bm audio-HE-stereo-64-binaural mp4a.40.5
(MPEG-4 HE-AAC v1)
44100? 16? 2/-/BINAURAL
(2.0ch)
64
128_bm audio-stereo-128-binaural mp4a.40.2
(MPEG-4 AAC LC)
44100? 16? 2/-/BINAURAL
(2.0ch)
128
256_bm audio-stereo-256-binaural mp4a.40.2
(MPEG-4 AAC LC)
44100? 16? 2/-/BINAURAL
(2.0ch)
256
ダウン
ミックス
64_dm audio-HE-stereo-64-downmix mp4a.40.5
(MPEG-4 HE-AAC v1)
44100? 16? 2/-/DOWNMIX
(2.0ch)
64
128_dm audio-stereo-128-downmix mp4a.40.2
(MPEG-4 AAC LC)
44100? 16? 2/-/DOWNMIX
(2.0ch)
128
256_dm audio-stereo-256-downmix mp4a.40.2
(MPEG-4 AAC LC)
44100? 16? 2/-/DOWNMIX
(2.0ch)
256

iOS / iPadOS も Android も同一のマスタープレイリストを使用していたので、音源の仕様は OS によらず共通となっている。

ファイル名のサフィックス (末尾に付けられる文字列) は、基本的にそれぞれのビットレートを 1 / 1k したものとなっている。ロスレス音声に関しては、デコード後のリニア PCM のビットレートを 1 / 1k したものとなっている。Dolby Atmos の場合は先頭に2が付いている。バイノーラルとダウンミックスの場合は末尾にそれぞれ _bm (Binaural Mix?) と _dm (Down Mix?) が付いている。

48kHz 以上の 16bit 音源が存在するのかは不明。ハイレゾロスレス (88.2kHz / 24bit 以上) の音源は、48kHz / 24bit の (世間一般にはハイレゾだが Apple 的には) 非ハイレゾのロスレス音源と、44.1kHz / 16bit のロッシー音源も提供されている。

音質の設定にある「高効率」は mp4a.40.5、すなわち MPEG-4 HE-AAC (High-Efficiency Advanced Audio Coding) の “High Efficiency” (= 高効率) から来ているのだろう。ちなみに、iPhone や iPad のカメラの設定にある「高効率」も、HEIF (High Efficiency Image File Format) や HEVC (High Efficiency Video Coding) の “High Efficiency” から来ていると思われる。

Dolby Audio

Apple Music の空間オーディオと言えば Dolby Atmos だけだと思われがちだが、ごく少数ながらも 5.1ch や 7.1ch で配信されているものもある。「ドルビーオーディオ」と表示されている楽曲がそれである。

ドルビーオーディオは、ドルビー5.1および7.1を含むサラウンドサウンド形式です。

ただし、ステレオ版しか配信していないのになぜか Dolby Audio ロゴが表示されるものもあるため、注意が必要だ。 (下部「Dolby Audio の謎」を参照)

Dolby Audio とは、Dolby Atmos 関連や Dolby Voice 関連以外のほぼすべての Dolby の音響技術を総称したブランドである。Dolby Audio に含まれる主な技術の例としては、

  • 音声符号化技術
    • Dolby Digital
    • Dolby Digital Plus
    • Dolby AC-4
    • Dolby TrueHD
  • マトリックスエンコード / デコード技術、アップミックス技術
    • Dolby Stereo
    • Dolby Stereo SR
    • Dolby Surround (旧)
    • Dolby Pro Logic
    • Dolby Pro Logic II
    • Dolby Pro Logic IIx
    • Dolby Pro Logic IIz
  • バーチャルサラウンド技術
    • Dolby Headphone
    • Dolby Virtual Speaker
  • ノイズリダクション技術
    • Dolby A
    • Dolby B
    • Dolby C
    • Dolby SR
    • Dolby S
  • PC やスマホ等の音質向上技術
    • Dolby PCEE
    • Dolby Mobile
    • Dolby Digital Plus (for mobile devices)
    • Dolby Audio (for mobile devices)

などがある。

このように Dolby の音響技術があまりにも多くなったので、Dolby Atmos に対応する製品には Dolby Atmos のロゴのみを、Dolby Atmos には対応しないが Dolby Audio に含まれる音響技術のいずれかに対応する場合は Dolby Audio のロゴのみを付与するように定められた。

Apple Music だけでなく、非 Dolby Atmos の Dolby Digital (Plus) や Dolby TrueHD を採用する BD や UHD BD 等においても、ロゴはそれぞれのコーデックのロゴではなく Dolby Audio ロゴを表示するよう定められた。

ただし Dolby Atmos 対応機器とは違い、Dolby Atmos 採用作品の場合は、Dolby Atmos 非対応環境で視聴した場合は最大 7.1ch になってしまうためか、副音声などで別途 2.0ch や 5.1ch 等のDolby Digital (Plus) 音声などが存在する場合は、もちろん、そうでない場合であっても、Dolby Atmos ロゴと Dolby Audio ロゴの両方が表示される。

1. DTS-HD MA (96kHz/24bit) 2chステレオ
2. DTS-HD MA (48kHz/24bit) 5.1chサラウンド
3. Dolby ATMOS

Dolby Audio は様々な分野の音響技術がまとめられている。Dolby Audio と Dolby Atmos の違いについて「Dolby Audio は 5.1ch や 7.1ch 等で、Dolby Atmos は天井からも音が鳴らせるもの」や「Dolby Audio はスマホや PC の高音質化技術で、Dolby Atmos は映画館等で使われるサラウンド技術」などと言われるが、それは Dolby Audio の一部分に過ぎない (が、Apple Music に限って言えば 5.1ch や 7.1ch のサラウンド音声という認識で構わない)。Dolby Atmos と Dolby Audio の違いは「Dolby Atmos 関連の音響技術か、そうでないか」である。


Dolby Atmos 登場以前も 4.0ch ~ 7.1ch のサラウンドの楽曲は存在していたのだが、クラシックやライブ音源が多く、それも SACD (Super Audio CD) や DVD-Audio、Blu-ray Audio などといったあまりメジャーではない形式で提供されていた。

しかもそれをちゃんと聴くにはホームシアターが必要で、今はサウンドバーで手軽に Dolby Atmos を体験できる時代になり、なんならテレビ単体で Dolby Atmos を再生できてしまうものまで登場していたりもするが、昔は今ほど手軽にホームシアターは組めなかった。更に SACD の場合、高価な CD プレーヤーや CD トランスポート、あるいは初代 PS3 が必要である。

一応、冨田勲やサカナクションといった日本人アーティストも 4.0ch や 5.1ch、バイノーラル等でサラウンドの楽曲を出してはいたのだが、多くの人にはあまり認知されておらず、(バイノーラルを除いて) 敷居も高かった。

最近は多くの人がスマホで音楽を聴いているが、そのスマホにも Dolby Atmos や Dolby Audio が搭載されるようになり、スマホの内蔵スピーカーや市販のイヤホンでマルチチャンネルの楽曲を手軽に再生できる環境が整った。そして、音源もネットでストリーミング再生できるようになったことにより、ここまで大きな広がりを見せているというわけだ。


Apple Music にて 5.1ch で配信されている楽曲は、マスタープレイリストを参照するとコーデックは ac-3 となっている (アプリ上の説明では「ドルビー5.1」などと書かれているが…)。

ファイル名
サフィックス
EXT-X-MEDIA:GROUP-ID
EXT-X-STREAM-INF:AUDIO
EXT-X-STREAM-INF EXT-X-MEDIA ビット
レート
(kbps)
CODECS SAMPLE
-RATE
BIT-
DEPTH
CHANNELS
448 audio-ac3-448 ac-3
(Dolby Digital)
48000 16 6
(5.1ch)
448
??? audio-ec3-???
audio-eac3-???
ec-3
(Dolby Digital Plus)
48000 16 8
(7.1ch)
???

AC-3 とは Audio Code number 3 の略で、Dolby の3番目の音声符号化技術である Dolby Digital のことを指す。AC-3 は技術的な名称、Dolby Digital はマーケティング用の名称、という立ち位置になっている。

Dolby Digital はロッシー圧縮のコーデックで、最大 5.1ch、48kHz / 16bit、640kbps まで対応している。Apple Music の Dolby Digital は 448kbps となっているが、これはちょうど DVD-Video における Dolby Digital 音声の制限と一致している。

ディスクの物理的な容量やアプリケーションフォーマットの仕様に縛られる円盤メディアと違って、ネット配信では 448kbps に制限する理由も特になく、640kbps 程度なら問題なくストリーミングできるはずなのだが…。

Dolby Digital (AC-3) には後継規格の Dolby Digital Plus (Enhanced AC-3) が存在している。Dolby Digital Plus は、基本的には (少なくともネット配信においては Dolby Digital Plus の Independent Substream は Dolby Digital Plus のはずなので) Dolby Digital よりも圧縮効率がよく高音質なためか、Netflix や Amazon Prime Video などの大手動画ストリーミングサービスの 5.1ch 音声では専ら Dolby Digital Plus が用いられている。てっきり Apple Music も 5.1ch は Dolby Digital Plus で配信しているものだと思っていたので、Dolby Digital だと分かったときは驚いた。

7.1ch で配信されている楽曲は存在が確認できてないが、Dolby Digital は規格上 5.1ch までしか対応していないこと、及び Dolby AC-4 や Dolby TrueHD は iPhone や iPad などが対応していないことから、おそらく Dolby Digital Plus で配信されるものと思われる。

Dolby Atmos and Dolby Audio playback supports Dolby Digital Plus JOC, Dolby Digital Plus, Dolby Digital.

Dolby Audio Apple iOS Device Support Dolby Developer | Dolby Developer

Dolby Digital は 48kHz / 16bit まで、Dolby Digital Plus は 48kHz / 20bit までしか対応してないため、Apple 基準のハイレゾ (88.2kHz 以上) には対応していない。そしてどちらもロッシーコーデックである。

192kHz / 24bit まで対応しているロスレスコーデックの Dolby TrueHD を使用すれば、Dolby Audio 音源をロスレスやハイレゾロスレスで提供できるのだが、現状 iPhone にも iPad にも Apple TV にも Android 端末にも Dolby TrueHD デコーダーは載っていないため、すぐには難しいだろう。iPhone XR / XSシリーズがアップデートで Dolby Atmos に対応したときのように、Apple がその気になれば Apple 製品にはデコーダーが載ることがあるのかもしれないが…。

なお、Dolby Atmos に対応している Android 端末であれば Dolby Digital デコーダーや Dolby Digital Plus デコーダーは必ず載っているのだが、現在 Android 版 Apple Music は Dolby Atmos に対応した 3.6.0 以来、最新の 3.7.1 でも未だに Dolby Audio 非対応となっており、Dolby Atmos のストリーミング設定やダウンロード設定をオンにしても、Dolby Audio で配信されている楽曲はステレオ版しか降ってこない。アルバム詳細ページ等に Dolby Audio のロゴも表示されない。今後のアップデートでの改善に期待したい。

Dolby Atmos

ドルビーアトモスは、サウンドが頭上を含むあらゆる方向から流れ、臨場感あふれるオーディオ体験を実現します。

まずはじめに断っておくが、Dolby Atmos 自体はコーデックではない。Dolby Atmos は Dolby Digital /Digital Plus や Dolby TrueHD 等の進化版ではなく、5.1ch や 7.1ch の進化版のようなものだと捉えていただきたい。Dolby Atmos は、7.1ch に天井スピーカーを2本追加した 7.1.2ch のベッドと呼ばれるチャンネルベースの音声トラックをベースに、最大118個の音声オブジェクトを配置することができるイマーシブサウンドのフォーマットである。

※ イマーシブサウンド: 音で前後左右を取り囲むサラウンドに加え、上下方向の音も再現できる没入型 (= immersive) の立体音響のこと。

Dolby Atmos だけでなく DTS:X や 360 Reality Audio に関しても、これらはあくまでイマーシブサウンドのフォーマット名であり、コーデックの名称ではない。DTS:X は DTS-HD Master Audio や DTS-HD High Resolution Audio を、360 Reality Audio に関しては MPG-H 3D Audio を使用している。

先程述べたようにサラウンドの音楽は広く普及することはなかったのだが、Dolby Atmos が登場してしばらく経つと、Dolby Atmos と音楽は実は相性がいいということに色んなレーベルやアーティストが気づきだし、様々なジャンルの楽曲が Dolby Atmos でミキシングされるようになってきた。

Dolby Atmos 競合のイマーシブサウンドのフォーマットである Auro-3D や 360 Reality Audio 等も徐々に勢力を増し、それに対し Dolby も Dolby Atmos Music というブランドを発表して音楽にも力を入れ始めるなど、イマーシブな音楽市場は日に日に拡大している。

補足

細かいことを言えば、チャンネルベースオーディオにおける個々のチャンネル (スピーカー) をオブジェクトとみなし、2.0ch や 5.1ch といったスピーカー配置をそれぞれの位置情報とみなせば、チャンネルベースオーディオはオブジェクトオーディオの一種である、とも呼べなくもない。

しかし、ここでは一般的 (?) な定義として、オブジェクトオーディオとは、制作時には OAMD (Object Audio Metadata) を用いて音声オブジェクトの位置を規格の範囲内で (例: Dolby Atmos は水平方向と上方向の再現は可能だが下方向は不可) 自由に指定でき、再生時にはメタデータとスピーカー構成をもとに OAR (Object Audio Renderer) が音声オブジェクトのレンダリング (位置決め) を行うもののみを指すものとする。


Dolby Atmos でミキシングされた音声がどのコーデックで届けられるかは用途により異なる。

映画館のデジタル上映用の素材 (DCP) では非圧縮のリニア PCM で記録される。一方家庭用 Dolby Atmos においては、BD や UHD BD 等では主にロスレス圧縮の Dolby TrueHD が、動画配信サービスでは主にロッシー圧縮の Dolby Digital Plus (Enhanced AC-3) が、テレビ放送等では主にロッシー圧縮の Dolby AC-4 が使用されている。

なお、Dolby Atmos 音声の仕様は映画に使用する場合でも音楽に使用する場合でも変わらない。

Apple Music の Dolby Atmos 音源のコーデックは、マスタープレイリスト上では ec-3、つまり Dolby Digital Plus (Enhanced AC-3) が使用されている。

ファイル名
サフィックス
EXT-X-MEDIA:GROUP-ID
EXT-X-STREAM-INF:AUDIO
EXT-X-STREAM-INF EXT-X-MEDIA ビット
レート
(kbps)
CODECS SAMPLE
-RATE
BIT-
DEPTH
CHANNELS
2448 audio-atmos-2448 ec-3
(Dolby Digital Plus)
48000 16 16/JOC
(16 elements)
(7.1ch + JOC)
448
2768 audio-atmos-2768 ec-3
(Dolby Digital Plus)
48000 16 16/JOC
(16 elements)
(7.1ch + JOC)
768

Dolby Digital Plus をコンテナにした Dolby Atmos は以下のようにいくつか呼称が存在しているが、Apple は Dolby Digital Plus with Dolby Atmos と呼んでいることから、この記事でも以後そう呼ぶことにする。

  • Dolby Atmos in Dolby Digital Plus (略称:Dolby Atmos in Digital Plus / Dolby Atmos in DD+ / Atmos in DD+)
  • Dolby Digital Plus with Dolby Atmos (略称:Dolby Digital Plus with Atmos / DD+ with Dolby Atmos / DD+ with Atmos)
  • Dolby Digital Plus with Joint Object Coding (略称:Dolby Digital Plus JOC / DD+ JOC)
  • Enhanced AC-3 with Joint Object Coding (略称:E-AC-3 with JOC / E-AC-3 JOC / EAC3 JOC / EAC3-JOC / EAC3_JOC / EC3 JOC / EC3-JOC / EC3_JOC などなど…)

Dolby Atmos に関しても Dolby TrueHD を使用することでロスレスやハイレゾロスレスで提供できるのだが、先程も言ったように Dolby TrueHD デコーダーを搭載した スマホやタブレットは現状存在してしない。


マスタープレイリスト上でチャンネル数表記が 16/JOC となっているのは、家庭用 Dolby Atmos における Spatial Coding と Joint Object Coding によるものである。まずは Spatial Coding から解説する。

Dolby Atmos は 7.1.2ch のベッドと最大118個のオブジェクトの、合計128トラックを使用できる。DCP は基本的に HDD ごと映画館に納品されるため、容量に余裕がありリニア PCM で記録できている。一方、家庭だと Dolby TrueHD や Dolby Digital Plus 等で圧縮したとしても容量は 7.1ch 等に比べて数段跳ね上がるし、家庭用機器で128トラックの音声を処理するのも DSP 等の性能的に厳しいところがある。

そこで、Apple Music でも使用される Dolby Digital Plus with Dolby Atmos を含む、家庭用 Dolby Atmos の一部のフォーマットでは Spatial Coding が行われる。これは、空間的に近い位置にあるベッドとオブジェクトを 12 / 14 / 16 のいずれかのグループ (これを element と呼ぶ) にクラスタリングする技術である。うち1つの element は LFE (Low Frequency Effect) と呼ばれる 0.1ch としてカウントされる低音専用チャンネルとなっている。詳細は こちら

なお Spatial Coding は Dolby の技術であり、Apple の Spatial Audio (空間オーディオ) と直接的な関係はない。Spatial Audio Coding (MPEG Surround) も、それらとはまた別の技術である。

Spatial Coding の各 element は、LFE 以外は OAMD (Object Audio Metadata) を持つ音声オブジェクトである。そのため、家庭用 Dolby Atmos はチャンネルベースとのハイブリッドではなく (LFE を無視すれば) 完全なオブジェクトベースオーディオにも思えるが、後で紹介する Joint Object Coding により、結局はチャンネルベースとのハイブリッドとなっている。

Spatial Coding は端的に言うとオブジェクトベースのダウンミックスとも取れるが、Dolby 曰く「何も失われない」そうだ。この辺りは MQA の「ロスレス」のような若干の胡散臭さは正直感じられる。

家庭用のDolby Atmos Homeにおいても「失うものは何一つ無く、この128オブジェクトを再現できる」と説明。

立体音響の「Dolby Atmos」今秋ついに家庭へ。各社AVアンプを体験、モバイル展開も – AV Watch

Dolby Digital Plus with Dolby Atmos の element の数は、MP4 File Format (いわゆる MP4 コンテナ) を含む、ISO Base Media File Format においては、各コンテナフォーマット内 EC3SpecificBoxcomplexity_index_type_a に記されている。詳細は [PDF] ETSI のホワイトペーパー に載っている。

element 数ごとに音声のビットレートの下限が定められている。Apple Music の Dolby Digital Plus with Dolby Atmos の下限が 448kbps となっているのは、16 elements の場合のビットレートの下限が 448kbps だからだ。

The number of elements used by spatial coding is determined by the bit rate of the encode. A bit rate of 384kbps uses 12 elements, while bit rates of 448kbps and above use 16 elements.

Appendix C – Dolby Atmos Delivery Codecs – Dolby Professional Support Learning

一方上限が 768kbps となっているのはあくまで Apple Music における制約であり、Dolby Digital Plus の規格自体は 6.144Mbps まで対応している。

The operating range has been increased by allowing data rates spanning 32 kbps – 6.144 Mbps.

[PDF] Introduction to Dolby Digital Plus, an Enhancement to the Dolby Digital Coding System

一方チャンネル数表記の JOC とは Joint Object Coding の略である。

Dolby Digital Plus with Dolby Atmos では、Dolby Atmos 非対応の Dolby Digital Plus 対応機器とも互換性を保つため、Dolby Atmos を 5.1ch 〜 7.1ch にレンダリングしたもの (これをコアと呼ぶことにする) が記録されている。Apple Music では、コアのチャンネル数は検証した限りどれも 7.1ch のようである。

そして、Dolby Digital Plus のビットストリームの拡張領域に Dolby Atmos 用の差分データが記録されている。(コアが 7.1ch の場合は、Dolby Digital Plus の Independent Substream に格納するダウンミックス 5.1ch 音声も生成される。)

Dolby Atmos 対応機器ではコアと差分データを合体させることで、Dolby Atmos の音の再構築が可能となる。これが Joint Object Coding である。一方、Dolby Atmos 非対応の Dolby Digital Plus 対応機器では差分データは無視され、コア部分のみを再生する。

なお、コア音声にはベッドの天井成分や音声オブジェクトの音を 5.1ch 〜7.1ch にレンダリング(ダウンミックス)したもの含まれているので、合体前に差分音声の逆相で打ち消す必要がある。逆相は予め差分データに含まれているのか、それとも再生時に差分データを 5.1ch 〜 7.1ch デコードして位相反転してるのかまでは情報がなく分からないが、後者は手間なのでおそらく前者だと思われる。

AVS Forum の The official Dolby Atmos thread (home theater version) ではコア音声はコア音声で、Dolby Atmos 音声はコア音声とは独立して、それぞれ個別に持っているのではないか、と主張する人もいるが、容量がもったいないし、そもそも “Joint” Object Coding という名称なので、恐らくそれはないと思われる。(真相不明)


Joint Object Coding など Dolby Digital Plus with Dolby Atmos のビットストリームの詳細については、Dolby 公式サイトで詳しく解説されている。
Appendix C – Dolby Atmos Delivery Codecs – Dolby Professional Support Learning

上記の記事 (付録) を含む一連の解説記事を読むと、Dolby Atmos に対する理解が深まるかもしれない。
Dolby Atmos Music Training – Dolby Professional Support Learning

英語が苦手な方や、「Dolby なんちゃら」がどれだけあるのかを知りたい方にはこの本もおすすめである。個人的にはオブジェクトオーディオの説明が分かりやすく書かれているように感じられた。(ただし一部筆者の Dolby Japan と本国の Dolby Laboratories とで言ってることが違っていたりするので、あくまで入門時の参考程度に…)
ドルビーの魔法 カセットテープからDOLBY ATMOSまでの歩みをたどる | 電子書籍とプリントオンデマンド(POD) | NextPublishing(ネクストパブリッシング)

Joint Object Coding や Spatial Coding については、Dolby があまり情報を公開していない (ライセンスビジネスだしそれはそう) ので、正直まだ分かっていないことも多い。なので、現状はあまり深く考えずに「こんなものがあるんだなぁ」という認識で構わないと思う。

バイノーラル版

バイノーラル版は Apple Music の空間オーディオの音声にのみ存在しているオプションである。

ファイル名
サフィックス
EXT-X-MEDIA:GROUP-ID
EXT-X-STREAM-INF:AUDIO
EXT-X-STREAM-INF EXT-X-MEDIA ビット
レート
(kbps)
CODECS SAMPLE
-RATE
BIT-
DEPTH
CHANNELS
64_bm audio-HE-stereo-64-binaural mp4a.40.5
(MPEG-4 HE-AAC v1)
44100? 16? 2/-/BINAURAL
(2.0ch)
64
128_bm audio-stereo-128-binaural mp4a.40.2
(MPEG-4 AAC LC)
44100? 16? 2/-/BINAURAL
(2.0ch)
128
256_bm audio-stereo-256-binaural mp4a.40.2
(MPEG-4 AAC LC)
44100? 16? 2/-/BINAURAL
(2.0ch)
256

これは、デコード、レンダリング (Dolby Atmos のみ)、バーチャライズといった、本来ユーザー側の機器で行うべき処理を Apple 側で事前処理しておき、処理済みの 2.0ch ステレオ音声を配信することでビットレートを抑えようというものだ。Dolby Digital Plus with Dolby Atmos だと最低でも 384kbps (12 elements) 必要な Dolby Atmos 音声を、2.0ch ステレオの AAC 64k ~ 256kbps で伝送可能にしている。

このバイノーラル音声はただの 2.0ch の AAC のため、Dolby Atmos や Dolby Audio に非対応な端末でも空間オーディオを体験することができるのだが、現状 Dolby Atmos / Dolby Audio 非対応端末にはバイノーラル音声も提供していないようである。

正直これをやるなら IMS (Immersive Stereo) を使ってほしいところだ。IMS とは Dolby AC-4 で利用可能なフォーマットで、スマホの内蔵スピーカーやイヤホン / ヘッドホンと言った 2.0ch ステレオの機器で再生することを前提に、5.1ch や Dolby Atmos などのマルチチャンネル音声を独自の処理 (詳細不明、旧 Dolby Surround や Pro Logic II シリーズのようなマトリックスエンコード?) で専用の 2.0ch ステレオ音声に変換し、制御用のメタデータと一緒に伝送することにより、ビットレートを減らせるというものだ。詳細は こちら (PDF)

The basic principle of IMS
[PDF] Dolby AC-4 Audio Delivery for Next Generation Entertainment Services

Apple Music のバイノーラル版空間オーディオコンテンツは単なるヘッドホン向けのバーチャライズなので、スピーカー再生用には使えない。一方 IMS はメタデータを使用することで、スピーカー使用時とヘッドホン使用時とでバーチャライズ処理を分けることができる上、バーチャライズをしていない通常のステレオ音声を出力することも可能である。そして何より、Dolby AC-4 は圧縮効率が高いため、音声コーデックとしても優秀だ。

事前にバーチャライズされた音声を提供するのとは違って、IMS ではスピーカーやヘッドホン向けのバーチャライズ処理を再生機器側で施さないといけないが、このときの処理は Dolby Digital Plus with Dolby Atmos をバーチャル再生するときよりも3~4倍処理が軽いという。

Dolby Atmos 音源の制作ツールには、ヘッドホンでバイノーラル再生したときにどのように聞こえるのかを確認した上で、バイノーラル用に音を調整し、その調整をメタデータとして出力する機能があり、IMS ではこのバイノーラルメタデータを使用することもできる。しかし、Dolby Digital Plus with Dolby Atmos は対応していない。

そのため、現状 Apple Music 向けに Dolby Atmos Music をリリースする際に、その制作過程で Apple 製デバイスでどのように聞こえるかを確かめるには、iPhone などに Dolby Atmos 音源を移して聴く必要がある。しかも、iPhone で聴いて思った結果にならないかった際、IMS であれば基本的にバイノーラルメタデータを調整すればいいだけだが、Dolby Digital Plus with Dolby Atmos では元の音源そのものを弄る必要があるため、今度はホームシアターで聴いた際に支障が出る可能性もある。

参考: Is Apple Music using its own binaural rendering tools without the off/near/mid/far parameters we’re accustomed to in the Dolby binaural renderer? If so, how is it possible to QC Apple’s binaural experience in DAPS or DAMS?

Apple は iOS 15 / iPadOS 15 にて Apple Music でも AirPods Pro / Max のダイナミックヘッドトラッキングに対応した。恐らく IMS はダイナミックヘッドトラッキング用の音源としては使えないとは思うが、それはバーチャライズ済みの AAC 2.0ch ステレオ音声でも同じことが言える。


Apple Music の Dolby Atmos はダウンロードすると低ビットレート版 (バイノーラル版のことを言っている?) が降ってくるという情報がある。(ただし誤字で EAC3 でなく AC3 となっているが。)

ドルビーアトモスによる空間オーディオには、2種類のバージョンがあるようだ。ひとつはAC3で配信される “フル・アトモス” 版。配信ビットレートが768kbpsと高いため、主にApple TVやMac、iPhone/iPadの内蔵スピーカーを使って、Wi-Fi環境で楽しむことが想定されている。

もうひとつがiPhone/iPad、Apple TVなどのデバイスに、ワイヤレスヘッドホン/イヤホンをペアリングして聴くことを想定した低ビットレートバージョンだ。こちらのバージョンのドルビーアトモス空間オーディオコンテンツは、iPhoneやiPadにダウンロード(キャッシュ)し、オフライン再生も楽しめる。

Apple Musicの空間オーディオは2種類、サウンドバーでも再生可能。6月からの進化(後編) – PHILE WEB

しかし、iPhone 12 (iOS 14.6) でログを取得しながら Apple Music の Dolby Atmos 音声をダウンロードして AirPods Pro で再生してみたところ、768kbps の Dolby Digital Plus with Dolby Atmos が再生されていた。

activeFormat: tier: Spatial; bitrate: 768kbps; groupID: audio-atmos-2768; codec: ec+3; channels: 16; layout: 9.1.6; spatialized; multichannel;

Dolby Audio (5.1ch Dolby Digital) に関しても、448kbps のものだった。

activeFormat: tier: Spatial; bitrate: 448kbps; groupID: audio-ac3-448; codec: ac-3; channels: 6; layout: 5.1; multichannel;

更に、Android 版 Apple Music 3.6.0 で Dolby Atmos 音源をダウンロードしても、やはり 768kbps のものが落ちてきた。

なお、Apple 曰く Dolby Atmos 版をダウンロードした場合ステレオ版もダウンロードされるとあるが、Android 版 Apple Music 3.6.0 では不具合により Dolby Atmos 版しかダウンロードされない。

ドルビーアトモスでダウンロードした曲のステレオ版を聴くには、どうすればいいですか?

曲のドルビーアトモス版をダウンロードした場合、その曲のステレオ版もダウンロードされています。曲のステレオ版を聴くには、「設定」で「ドルビーアトモス」をオフにしてから曲を再生してください。

Apple Music のドルビーアトモスによる空間オーディオについて – Apple サポート (日本)

ダウンミックス版

Apple Music の空間オーディオにはもう一つ、2.0ch ステレオダウンミックス版が存在しているのが気になる。

ファイル名
サフィックス
EXT-X-MEDIA:GROUP-ID
EXT-X-STREAM-INF:AUDIO
EXT-X-STREAM-INF EXT-X-MEDIA ビット
レート
(kbps)
CODECS SAMPLE
-RATE
BIT-
DEPTH
CHANNELS
64_dm audio-HE-stereo-64-downmix mp4a.40.5
(MPEG-4 HE-AAC v1)
44100? 16? 2/-/DOWNMIX
(2.0ch)
64
128_dm audio-stereo-128-downmix mp4a.40.2
(MPEG-4 AAC LC)
44100? 16? 2/-/DOWNMIX
(2.0ch)
128
256_dm audio-stereo-256-downmix mp4a.40.2
(MPEG-4 AAC LC)
44100? 16? 2/-/DOWNMIX
(2.0ch)
256

単純なダウンミックスはアーティストの意図とは異なることも多いため、5.1ch や Dolby Atmos で制作された音声でも、ステレオ版はステレオ用に調整されることが多い。

Apple Music においても、Dolby Atmos で提供されている楽曲はオリジナルのステレオミックスも提供されているのだが、なぜかそれとは別で 2.0ch ステレオにダウンミックスしたものが含まれている。一体何のために用意されているのだろうか。謎でしかない。

Dolby Audio の謎

Apple Music の Dolby Audio には色々謎がある。

① Dolby Atmos で配信されているものの、一時的に Dolby Audio 表記になるパターン

再生直後は Dolby Audio 表記になり、何度か再生し直したり、時間をおいて再生し直しているうちに Dolby Atmos 表記になるパターン。現状 iOS / iPadOS 版でのみ確認している。

このパターンの奇妙な点は、例に出した「うっせぇわ」以外の楽曲も含めてマスタープレイリストを確認しても、Dolby Atmos で配信されている楽曲は Dolby Audio では配信されていないというところだ。にも関わらず、アプリ上では Dolby Audio のロゴが表示されている。

おそらくだが、これは状況的に考えて、Dolby Atmos 版の低ビットレート版という立ち位置のバイノーラル版を再生している際に表示されるものではないかと思われる。

最終的に耳に入るものだけを考えると、Apple 側で事前処理して配信するのと、再生時にユーザー側で処理するのは何が違うんだ、という気もする。しかし、Dolby Atmos 音声をもとにバイノーラル処理された AAC 音声を提供されて、それを Dolby Atmos と認めるか、と言われれば、Dolby のライセンス的に問題がありそうな気がしないでもない (ただの推測でしか無いが)。

それならじゃあ Dolby Audio を名乗っても良いのか、という疑問は残るが、Dolby Audio というブランドは Dolby の何らかの技術を使用していれば名乗れるブランドなので、可能性としてなくはない。Dolby AC-4 の IMS を使用していれば Dolby Atmos を名乗れたはずなのだが…。

② Dolby Audio 表記があるものの、実際にはステレオでしか再生されないパターン

アルバムには Dolby Audio 表記があるものの、再生時にはステレオ版でしか再生されないというパターン。こちらも現状 iOS / iPadOS 版でのみ確認している。サントラを中心に目撃例が増えている。

これは単に Dolby Audio よりもロスレスのほうが優先されてしまっている、という話ではなく、そもそもマスタープレイリストを見てもステレオ版しか存在していないといったもの。単なる表示バグなのではないかと思われる。

③ 海外では Dolby Audio で配信されているという情報があるものの、日本ではステレオ版しか配信されていないパターン

https://twitter.com/miyamura0126/status/1427437939907309570

「この曲が Dolby Audio で配信されている」という情報の中には Dolby Atmos のことを Dolby Audio と表記していたり、パターン①の状態だったりすることもあるのだが、そもそも日本では Dolby Audio でも Dolby Atmos でも提供されておらず、マスタープレイリストにもステレオ版しか載っていない、といったもの。楽曲が一部の国では配信されていないということはたまにあるのだが、空間オーディオ版が一部の国に限られているのは謎である。


Apple Music の Dolby Audio、特に 7.1ch 音源のコーデックやビットレートについて知りたいのだが、Apple Music にはただでさえ Dolby Audio コンテンツが少ない上に、偽 Dolby Audio も多く、混沌としている。

Android 版 Apple Music の Dolby Atmos 出現条件

配信サービスによっては、サービス提供側が認定したデバイスでのみ一部の画質や音質設定を利用できる、いわゆるホワイトリスト方式を用いているものもある。だが、Apple Music の Dolby Atmos に関しては、端末が Dolby Atmos に対応しているかどうかだけを見ているようだ。というのも、Google Play に対応していない (= 正規の手段で Apple Music をインストールする方法がない) Amazon の Fire HDX 8.9 (第4世代) や Fire HD 10 (第9世代) でも、Dolby Atmos を再生できたからだ。

つまり Android の場合、Apple Music (バージョン3.6.0以降) の設定画面に Dolby Atmos の設定が現れなければ、その端末は Dolby Atmos 非対応ということだ。機種によっては端末本体の設定に Dolby Atmos 機能の有効化 / 無効化スイッチがあるが、無効になっていても端末が Dolby Atmos に対応さえしていれば、Apple Music の設定に Dolby Atmos の項目は出る。(ただし、Apple Music 未契約だと Dolby Atmos 対応でも設定には出ない可能性はある)

Xperia 1 II (XQ-AT42) における Apple Music の設定画面。「ドルビーアトモス」(対応している曲をドルビーアトモスで再生します)、及び「ドルビーアトモスをダウンロード」の設定がある。
Dolby Atmos 対応の Xperia 1 II (XQ-AT42)
Xperia XZ2 Premium (SOV38) における Apple Music の設定画面。「ドルビーアトモス」「ドルビーアトモスをダウンロード」の設定はない。
Dolby Atmos 非対応の Xperia XZ2 Premium (SOV38)

国内で発売された Dolby Atmos に対応しているスマホやタブレットは、以下の記事でまとめている。

Android では、端末がどのコーデックに対応しているかは、MediaCodecList API を用いて MediaFormat を参照することで確認できる。Dolby Atmos 対応端末の場合、MediaFormat には最低でも audio/ac3 (AC-3: Dolby Digital)、audio/eac3 (E-AC-3: Dolby Digital Plus)、audio/eac3-joc (E-AC-3 JOC: Dolby Digital Plus with Dolby Atmos) の3つがあり、非 Dolby Atmos の Dolby Digital Plus と Dolby Digital Plus with Dolby Atmos は区別されている。

先程「Dolby Digital Plus with Dolby Atmos の音源は、Dolby Atmos 非対応の Dolby Digital Plus 対応機器と互換性がある」と述べたが、Apple Music は端末が Dolby Digital Plus with Dolby Atmos に対応しているか、すなわち MediaFormataudio/eac3-joc があるかどうかを見て Dolby Atmos 音声の提供有無を決めているようだ。そのため、audio/ac3audio/eac3 しか対応していない Dolby Audio 対応端末や Dolby Digital Plus 対応端末などでは、Apple Music において Dolby Atmos 音源を聴くことはできない。

左: arrows NX F-01J (Dolby Audio 対応)
中: arrows NX F-01K (Dolby Audio 対応)
右: Xperia 1 II XQ-AT42 (Dolby Atmos 対応)

おわりに

普段は Spotify を使用しているのだが、Apple Music がハイレゾロスレスと空間オーディオを始めたとのことで無料体験してみたところ、想像以上に楽しかった (意味深) ため、記事がずいぶんと長くなってしまった。ただ、iOS / iPadOS 版も Android 版もところどころ不具合が目立ったので、今後の改善に期待したい。

井戸水

ガジェットやオーディオビジュアルが好きな人。

3 Responses

コメントを残す…