Allion Labs/Henry Hung
音声と映像の同期、すなわちAV-Syncというものは現在のマルチメディア使用体験において多大な影響を与えている要素のひとつです。近年ネットワークの普及や移動通信の発達によりどこでも様々な用途で音声や映像の伝達ができるようになりました。それにつれて人々の生活や仕事スタイルが変わり、私たちは対面で会話をしたり、直接集まってスピーチ等をすることも少なくなってきています。
また、ハードウェアやネットワークデバイスのほかにも用途に応じてそれぞれののニーズに対応したアプリケーションが開発されています。最もよく使用されているテレビ電話関連のソフトウェアは以下の通りです：
- インスタントメッセージング（Instant Messaging、略IM）
Skype, Line, Facebook Messenger, WhatsApp, WeChat, Telegram - ミーティング（Meeting & Conference）
Google Meet, Microsoft Teams, Zoom - ゲーム特化型チャット（Gaming Chat）
Discord, EPIC Game store, Mumble, Guilded, Steam Chat - ライブストリーミング（Live Streaming）
Youtube Live, Facebook Live, Instagram Live, Twitch
アリオンの豊富なテスト経験から、ユーザーはAV機器とビデオ電話ソフトウェアなどの異なった機器を使用する上で数々の不具合やユーザーの体験に悪影響を与える可能性があることがわかりました。よくある問題点は以下の通りです。
1. インスタントメッセージングの使用中に音声と映像が同期できない
2. 通信はスムーズだが、録画を再生する際に映像や音声の遅延がある
3. ライブに映像のみになったり音のみになったりする
4. 通信中に映像が乱れる
5. 会議中、音割れの音声問題が発生する断続的に音量が爆音になってしまう
これらの問題はオーディオ、ビデオ、画面共有するかどうか、ネットワークの安定性、ソフトウェアやハードウェア設計、または接続方法などによって異なります。音声と映像の同期を例とすると、異なるソフトウェアは音声と映像の受信時間によって、音声の遅延処理や映像のパケットロスの処理、フレームスキップなどの状況があります。以下は実際の例です。
実測とその結果
内蔵マイクを搭載したUSB Webカメラを使用し、それとは異なるビューソフトウェアとコンピュータで実験を行いました。それはオンライン通話中にオーディオとビデオの同期状態がどのようになっているかを確かめるもので、その際にはオーディオおよびビデオの遅延時間を測定するためにLatencyKitを使用しました。
ホストのオーディオとビデオはネットワークを介してクライアント側に送信され、クライアント側のオーディオとビデオの遅延を分析すると実際のAV-Syncを計算することができると言った方法です。
実際にテストしたAV-Syncの結果を見てみましょう。データは正の値は映像よりも音声が先に出てきたことを表し、逆に負の値は映像が先に出てきたことを表しています。今回測定したAV−Syncの値は73 ms〜−100 msの間であり、これは普通であることを示しています。
光の速度というのは音よりも速く、日常生活においては映像を見てから音を聞くことに慣れています。ただ製品ごとに誤差は生じるため、遅延等の許容できる基準は人によって異なります。そのため関連製品を開発する際に、各協会が定めた基準とそれぞれのユーザーシナリオから製品の位置づけを判断することができます。
これによりアリオンは上述の基準をもとに映像および音声同期感知表を作成しました。そのテスト結果を通して製品開発の方向性と位置決めをより迅速に分けることができるようにもなりました。
この表により個人の感覚と体験を簡単に可視化できるようになり、様々な情報を見つけやすくなりました。ご覧の通り、一部のデータは-60 msから-100 msの区間にあります。それは特に大きな問題はありませんが、ユーザーが長い間使ってきた体験に対してはあまり良くない評価をもたらす可能性があります
まとめ
外付けのUSBマイク、複数のUSB Hub、異なるソフトウェアまたはビデオ会議システムなどを組み合わせる場合、音声と映像の同期に支障をきたす要因のひとつである可能性があります。アリオンは長年のテスト経験と実績をもとに、お客様のニーズに応じてたテストソリューションをご提案します。より効果的で満足できる結果を得ることに力を入れており、製品開発の期間の短縮や性能の向上など全力でサポートしています。
テストにご興味がある方は、アリオンのお問い合わせフォームよりお気軽にご連絡ください。