電話通訳の精度は？4つのシステムをテスト（2026年）

公開日 2026-08-18 · LiveLingo創設者 Ron Villomo 著 · LiveLingoは測定されたシステムの一つです。 完全な方法と生データ

1. 電話通訳の精度は？測定された回答

シミュレートされた電話回線を介して伝送された同一の音声について、4つのシステムを採点しました。各翻訳は、3人の独立した最先端LLM審査員によって理解度忠実度について0-5で評価され、以下のスコアは3つの平均値であり、最大値に対するパーセンテージとしても示されています。この評価基準は、誤った単語の置換、エンティティや数字の欠落、言語スクリプトの混在を減点しますが、スタイルや有効な同義語は減点しません。

言語ペア間の広がりは、上位システム間の広がりよりも重要です。最も強力なシステムでさえ、ドイツ語から日本語に移行すると3ポイント失い、すべてのシステムは、電話回線によって失われるよりも、より難しい回廊ペアで遥かに多くを失います。

2. Apple Live Translationは電話で機能しますか？

Apple Live Translationは最新のiPhoneで電話を処理し、Samsung Galaxy AIも同様の通話中機能を提供します。どちらもその機能において優れており、サポートされている言語でのiPhone間の通話では、何もインストールする必要がないため、最も便利なオプションです。

その限界は品質ではなく、対応範囲です。どちらも特定のメーカーの最新のハンドセットを必要とし、メーカーが出荷する言語セットに制限され、決定的に、どちらもその機能を回線ではなくデバイスに搭載しています。これは同じ電話を持つ友人に電話をかける場合には問題ありません。しかし、診療所の交換台、家主、ホテルのフロント、または10年前のオフィス電話を使用しているサプライヤーに連絡する必要がある場合には役に立ちません。これらの通話こそ、ほとんどの人が翻訳通話製品を探す理由なのです。

3. 電話の音声品質が悪いのはなぜですか、そしてそれは精度を低下させますか？

電話はITU-T G.711でエンコードされ、8 kHzでサンプリングされ、約300 Hzから3400 Hzを伝送します。破棄された帯域は空ではありません。オックスフォード大学の音声学研究室による音響音声学の研究では、/s/のエネルギーピークは約4500 Hzと7500 Hzにあり、電話の天井を完全に超えています。これが、帯域制限された/s/が体系的に/sh/と誤って聞き取られる理由でもあります。物理学は、電話音声がより難しいと予測しています。 ITU-T G.711 · University of Oxford Phonetics Laboratory

その予測が出力まで生き残るかどうかをテストするために、すべてのクリップの2つのバージョンを作成しました。1つは元の16 kHz録音です。もう1つは、同じファイルをアンチエイリアスフィルタリングで8 kHzにリサンプリングし、G.711 μ-lawで量子化し、その後元の16 kHzコンテナにデコードし直したものです。したがって、両方のファイルはフォーマットが同一であり、どのシステムもサンプルレートに基づいて分岐することはありません。3.4 kHzを超えるエネルギーは、信号の14-22%から約3%に低下しますが、RMSラウドネスは変化しないため、比較は帯域幅を測定し、音量を測定するものではありません。

すべてのシステムは、それ自体から0.04ポイント以内に収まりました。LiveLingoはマイク音声で97.2%、電話回線で96.9%を記録しました。Googleは93.4%と94.0%、Azureは91.7%と91.8%、Whisperベースラインは88.1%と88.9%でした。個々のセルの88%は、両アームで同一のスコアを受け取りました。電話帯域幅は実際の情報を破壊しますが、現代の翻訳はほとんどすべてを吸収します。

4. 認識は約2%ドリフトし、堅牢性はシステム間で5倍異なります

品質が安定しているからといって、内部で何も起こらなかったわけではありません。各システムが広帯域ファイルから生成したソース転写と、電話回線ファイルから生成したソース転写を比較すると、Google Cloud Speech-to-Text v2は認識された単語の0.4%を変更し、Whisper-largeベースラインは2.0%を変更しました。それぞれ96%と81%の転写は完全に変更されませんでした。

生の比較はこれをひどく過大評価しており、その理由は、この種の数値がどのように間違っているかを示すため、述べる価値があります。Whisperは、末尾の無音に定型句を幻覚させ、固定された字幕スタイルの定型文をどちらかのアームで予測不能に放出します。中国語の出力は、簡体字と繁体字の間でランダムに切り替わります。アラビア語は主にハムザのスペルが異なります。これらを除去する前は、Whisperの見かけのドリフトは5.7%でしたが、除去後は2.0%です。

有用な発見は、ナローバンドの堅牢性が認識器間で約5倍異なることであり、これは電話回線自体よりもはるかに大きな影響です。アラビア語とインドネシア語は摩擦音の予測と一致して約5%と最もドリフトしましたが、それでも忠実度スコアは動きませんでした。

5. AI翻訳は電話通話で対面よりも悪化しますか？

なぜなら、通常引用される証拠は別のものを測定しているからです。Whisperの論文（Radford et al., 2022）では、wav2vec 2.0 LargeとWhisper Large V2はどちらもLibriSpeechのクリーンな読み上げ音声で2.7%の単語誤り率を記録しています。CallHome電話コーパスでは、それぞれ34.8%と17.6%に乖離します。このギャップは現実的で大きく、電話音声が問題であることの証拠として日常的に提示されています。 Radford et al., 2022 · LDC CallHome

しかし、CallHomeは単なるナローバンドではありません。それは、お互いをよく知っている人々の間の自発的で、重なり合い、台本のない会話であり、短縮形、言い間違い、クロストークが密集しています。LibriSpeechは一人が本を読み上げているものです。2つの変数を同時に変更しても、どちらが重要であったかを判断することはできません。帯域幅を分離するとほとんど何も見つからないため、CallHomeのペナルティはほとんどが別の変数によるものです。

これはより有用な結論です。なぜなら、これらは実際に制御できる要因だからです。きれいに順番を待ち、より静かな場所に移動し、各話者が話し終えるのを待つことは、回線品質に関する懸念よりも、翻訳された通話にとってより効果的です。

6. 電話通訳アプリを実際に区別するもの

帯域幅には測定可能なコストがかからず、上位システムは簡単なペアでは互いに3ポイント以内に収まっているため、重要な違いは別の場所にあります。つまり、特定の言語ペアで品質がどれだけ低下するか、製品が電話をかける必要のある番号に到達できるか、そして通話がターンテーキングをどのように処理するかです。

言語ペアは、品質の最大のレバーであり、その差は大きいため、見出しの平均ではなく、ご自身の回廊を確認してください。到達性については、LiveLingoはアプリから任意の携帯電話または固定電話番号に翻訳された通話を発信するため、受信者は通常の電話を受け、何もインストールする必要はありません。そして、行動については、製品が正直に自己紹介するか、翻訳者が関与していることを隠すためにあなたの声をクローンするかを知る価値があります。 livelingo.io/phone-call-translation

7. このテストがカバーするものとカバーしないもの

上記の数値は、4つの特定の設計上の選択によって制限されています。それらを述べることは結果に対する言い訳ではなく、結果が有効である範囲を示しています。

実用的な解釈：セクション1のランキングは、すべてのシステムが同一の音声と同一の評価を受けたため、クリーンな同等比較です。セクション3の帯域幅の結果は、コーパスの選択に最も敏感な主張であり、自発的な会話音声での再現が次のステップです。完全な導出、統計的検出力、および除去した測定アーティファクトは、 完全な方法と生データ.

よくある質問

完全な方法、言語ごとの結果、統計的検出力、制限事項、および除去した測定アーティファクトは、 livelingo.io/research/phone-line-bandwidth-method.