LiveLingoНасколько точен перевод телефонных звонков? Протестировано 4 системы (2026)
Опубликовано 2026-08-18 · Рон Вилломо, основатель LiveLingo · LiveLingo — одна из измеренных систем; полная методика и необработанные данные
Краткий ответ: Насколько точен перевод телефонных звонков?
В нашем тесте в августе 2026 года LiveLingo показала наивысший результат — 96.9% на аудио телефонной линии. По 120 английским высказываниям, переведенным на испанский, японский, китайский и немецкий языки, LiveLingo достигла 4.85 из 5 (96.9%), Google Cloud Speech-to-Text v2 с Translate v3 — 4.70 (94.0%), Azure Speech Translation — 4.59 (91.8%), а базовый уровень Whisper-large плюс GPT-4o-mini — 4.44 (88.9%). На более сложных языковых парах эти показатели снижаются до 87.0%, 77.7%, 70.0% и 66.7%. Сама телефонная линия почти ничего не стоит: те же системы на широкополосном микрофонном аудио показали результаты в пределах 0.04 балла от своих телефонных показателей. Оценка проводилась тремя независимыми судьями LLM на фиксированном корпусе студийного качества, передаваемом по телефонному каналу G.711, который можно скачать ниже.
1. Насколько точен перевод телефонных звонков? Измеренный ответ
Мы оценили четыре системы на идентичном аудио, прошедшем через симулированный телефонный канал. Каждый перевод был оценен от 0 до 5 по точности понимания тремя независимыми судьями LLM, и приведенная ниже оценка является средним из трех, также показанным в процентах от максимума. Рубрика наказывает за замену неправильных слов, пропущенные сущности или числа, а также смешивание языковых скриптов; она не наказывает за стиль или допустимые синонимы.
| Система | Оценка телефонной линии | Точность | Более сложные пары |
|---|---|---|---|
| LiveLingo | 4.85 / 5 | 96.9% | 87.0% |
| Google Cloud STT v2 + Translate v3 | 4.70 / 5 | 94.0% | 77.7% |
| Azure Speech Translation | 4.59 / 5 | 91.8% | 70.0% |
| Whisper-large + GPT-4o-mini | 4.44 / 5 | 88.9% | 66.7% |
n=120 высказываний, с английского на испанский, японский, китайский и немецкий. «Более сложные пары» — это отдельный набор из 160 высказываний, охватывающий арабский, турецкий, вьетнамский, польский, португальский, индонезийский, малайский и мандаринский языки в качестве источников для европейских и азиатских целевых языков. Измерено в августе 2026 года на фиксированном корпусе студийного качества, передаваемом по телефонному каналу G.711, который можно скачать выше; см. полная методика и необработанные данные.
Скачать тестовое аудио и результаты
Обе части набора из 30 английских высказываний, а также каждая оценка в машиночитаемом формате. Два архива содержат одни и те же высказывания; единственное отличие — телефонный канал. Выпущено под лицензией CC BY 4.0, поэтому любой желающий может повторно запустить эти системы и проверить цифры.
audio-wideband.zip (3.1 МБ, 16 kHz) · audio-phoneline.zip (2.6 МБ, G.711) · results.json
Разброс между языковыми парами имеет большее значение, чем разброс между лучшими системами. Даже самая сильная система теряет три балла при переходе с немецкого на японский, и каждая система теряет гораздо больше на более сложных коридорных парах, чем на телефонной линии.
| Языковая пара (лучшая система, телефонная линия) | Оценка | Точность |
|---|---|---|
| Английский → Немецкий | 4.92 / 5 | 98.4% |
| Английский → Испанский | 4.86 / 5 | 97.1% |
| Английский → Китайский | 4.84 / 5 | 96.9% |
| Английский → Японский | 4.77 / 5 | 95.3% |
Tap and speak in English
Tap to start
2. Работает ли Apple Live Translation для телефонных звонков?
Apple Live Translation поддерживает телефонные звонки на последних моделях iPhone, а Samsung Galaxy AI предлагает аналогичную функцию во время звонка. Обе системы хорошо справляются со своей задачей, и для звонков с iPhone на iPhone на поддерживаемом языке они являются наиболее удобным вариантом, поскольку ничего не нужно устанавливать.
Их ограничение — это охват, а не качество. Обе требуют наличия последней модели телефона от конкретного производителя, обе ограничены наборами языков, поставляемых этими производителями, и, что критически важно, обе размещают эту функцию на вашем устройстве, а не на линии. Это хорошо для звонка другу с таким же телефоном. Это не помогает, когда вам нужно связаться с коммутатором клиники, арендодателем, стойкой отеля или поставщиком, чей офисный телефон десятилетней давности. Именно такие звонки являются причиной, по которой большинство людей изначально ищут продукт для перевода звонков.
3. Почему качество звука телефонных звонков плохое, и снижает ли это точность?
Телефонный звонок кодируется с использованием ITU-T G.711, который дискретизирует с частотой 8 kHz и передает примерно от 300 Hz до 3400 Hz. Отброшенный диапазон не пуст. Акустическая фонетика из фонетической лаборатории University of Oxford показывает, что пики энергии /s/ находятся примерно на 4500 Hz и 7500 Hz, полностью выше телефонного потолка, поэтому ограниченный по полосе /s/ систематически ошибочно воспринимается как /sh/. Физика предсказывает, что телефонное аудио должно быть сложнее. ITU-T G.711 · University of Oxford Phonetics Laboratory
Чтобы проверить, сохраняется ли это предсказание на выходе, мы создали две версии каждого клипа. Одна — это оригинальная запись 16 kHz. Другая — тот же файл, пересэмплированный до 8 kHz с антиалиасинговым фильтром, квантованный с G.711 mu-law, затем декодированный обратно в оригинальный контейнер 16 kHz, так что оба файла идентичны по формату, и ни одна система не может ветвиться по частоте дискретизации. Энергия выше 3.4 kHz падает с 14-22% сигнала до примерно 3%, в то время как среднеквадратичная громкость остается неизменной, поэтому сравнение измеряет пропускную способность, а не громкость.
Каждая система показала результат в пределах 0.04 балла от самой себя. LiveLingo набрала 97.2% на микрофонном аудио и 96.9% по телефонной линии; Google 93.4% и 94.0%; Azure 91.7% и 91.8%; базовый уровень Whisper 88.1% и 88.9%. 88% отдельных ячеек получили идентичную оценку в обеих частях. Пропускная способность телефона уничтожает реальную информацию, и современный перевод поглощает почти всю ее.
4. Распознавание дрейфует примерно на 2%, а устойчивость варьируется в 5 раз между системами
Стабильное качество не означает, что ничего не произошло под ним. Сравнивая исходную транскрипцию, которую каждая система создала из широкополосного файла, с той, которую она создала из файла телефонной линии, Google Cloud Speech-to-Text v2 изменил 0.4% распознанных слов, а базовый уровень Whisper-large изменил 2.0%, при этом 96% и 81% транскрипций соответственно вернулись полностью неизмененными.
Необработанное сравнение сильно преувеличивает это, и причину стоит указать, потому что именно так такого рода числа становятся ошибочными. Whisper галлюцинирует стандартные фразы на затухающей тишине, непредсказуемо выдавая фиксированный шаблон в стиле субтитров в любом из случаев. Китайский вывод переключается между упрощенным и традиционным письмом случайным образом. Арабский отличается в основном написанием хамзы. До удаления этих ошибок кажущийся дрейф Whisper составлял 5.7%; после — 2.0%.
Полезный вывод заключается в том, что устойчивость к узкополосному сигналу различается примерно в 5 раз между распознавателями, что является гораздо более значительным эффектом, чем сама телефонная линия. Арабский и индонезийский языки дрейфовали больше всего, примерно на 5%, что соответствует предсказанию фрикативных звуков, и даже там оценка точности не изменилась.
5. Ухудшается ли качество перевода ИИ при телефонных звонках по сравнению с личным общением?
Потому что обычно приводимые доказательства измеряют что-то другое. В статье о Whisper (Radford et al., 2022) wav2vec 2.0 Large и Whisper Large V2 показывают одинаковую частоту ошибок в словах 2.7% на чистой речи LibriSpeech. На телефонном корпусе CallHome они расходятся до 34.8% и 17.6%. Этот разрыв реален, велик и регулярно предлагается в качестве доказательства того, что проблема в телефонном аудио. Radford et al., 2022 · LDC CallHome
Но CallHome — это не просто узкополосный сигнал. Это спонтанный, перекрывающийся, нескриптованный разговор между хорошо знающими друг друга людьми, насыщенный сокращениями, ложными стартами и перекрестной речью. LibriSpeech — это один человек, читающий книгу вслух. Изменение двух переменных одновременно не может сказать вам, какая из них имела значение. Изоляция пропускной способности почти ничего не находит, что означает, что штраф CallHome в основном связан с другой переменной.
Это более полезный вывод, потому что это те факторы, которые вы действительно можете контролировать. Чистая смена говорящих, перемещение в более тихое место и предоставление каждому говорящему возможности закончить сделают больше для переведенного звонка, чем любые опасения по поводу качества линии.
6. Что на самом деле отличает приложения для перевода телефонных звонков
Поскольку пропускная способность не стоит измеримых затрат, а лучшие системы находятся в пределах трех баллов друг от друга на простых парах, важные различия заключаются в другом: насколько сильно падает качество на вашей конкретной языковой паре, может ли продукт дозвониться до нужного вам номера и как звонок обрабатывает смену говорящих.
Языковая пара является самым большим рычагом качества с большим отрывом, поэтому проверяйте свой собственный коридор, а не средний заголовок. Что касается охвата, LiveLingo совершает переведенный звонок из приложения на любой мобильный или стационарный номер, поэтому получатель отвечает на обычный телефонный звонок и ничего не устанавливает. А что касается поведения, стоит знать, объявляет ли продукт о себе честно или клонирует ваш голос, чтобы скрыть участие переводчика. livelingo.io/phone-call-translation
7. Что охватывает этот тест, а что нет
Приведенные выше цифры ограничены четырьмя конкретными проектными решениями. Их изложение не является оговоркой к результатам; это область, в которой результаты действительны.
| Измерение | Что было протестировано |
|---|---|
| Исходная речь | Фиксированный корпус студийного качества, выбранный таким образом, чтобы обе части получали акустически идентичный вход без вариаций говорящего. Обе части опубликованы выше, поэтому каждое число здесь может быть получено из того же аудио, которое мы использовали. Клипы более четко артикулированы, чем спонтанная речь, что делает их наиболее благоприятным случаем для результата пропускной способности в разделе 3; построение корпуса полностью задокументировано на странице метода. |
| Оценка | Три судьи LLM, а не люди-оценщики. 66% широкополосных ячеек получили идеальную оценку 5.0, поэтому рубрика измеряет, сохранился ли смысл, а не тонкое качество. |
| Канал | Только ограничение полосы G.711 и квантование mu-law. Потеря пакетов, джиттер, автоматическая регулировка усиления и подавление шума не моделируются, и все это происходит при реальных звонках. |
| Независимость | LiveLingo — наш продукт, и он занял первое место на обоих корпусах. Одно измерение на каждую часть, поэтому дисперсия судьи от запуска к запуску не усредняется. |
Практическое прочтение: рейтинг в разделе 1 представляет собой чистое сравнение «один к одному», поскольку каждая система получила идентичное аудио и идентичную оценку. Результат пропускной способности в разделе 3 является утверждением, наиболее чувствительным к выбору корпуса, и следующим шагом является репликация на спонтанной разговорной речи. Полные выводы, статистическая мощность и артефакты измерения, которые мы удалили, находятся на полная методика и необработанные данные.
Часто задаваемые вопросы
Насколько точен перевод телефонных звонков?
В нашем тесте в августе 2026 года лучшая система набрала 4.85 из 5 (96.9%) на аудио телефонной линии по 120 английским высказываниям, переведенным на испанский, японский, китайский и немецкий языки, оцененным тремя независимыми судьями LLM по рубрике точности понимания. Google Cloud Speech-to-Text v2 с Translate v3 набрала 4.70 (94.0%), Azure Speech Translation 4.59 (91.8%), а базовый уровень Whisper-large плюс GPT-4o-mini 4.44 (88.9%). На более сложных языковых парах, таких как арабский, турецкий и вьетнамский на европейские и азиатские целевые языки, те же системы показали снижение до 87.0%, 77.7%, 70.0% и 66.7% соответственно.
Делает ли телефонная линия перевод менее точным, чем при личном общении?
Почти нет. Мы оценивали одни и те же высказывания дважды: один раз как широкополосное микрофонное аудио и один раз после пропуска идентичной записи через симулированный телефонный канал G.711, и точность понимания изменилась менее чем на 0.04 балла по шкале 0-5 для каждой протестированной системы. LiveLingo набрала 97.2% на микрофонном аудио и 96.9% по телефонной линии. Пропускная способность телефона — это реальная потеря информации, но современный перевод поглощает почти всю ее.
Почему качество звука телефонных звонков плохое?
Стандартный телефонный звонок использует кодек ITU-T G.711, который передает только от 300 Hz до 3400 Hz и дискретизирует с частотой 8 kHz. Человеческая речь несет полезную информацию значительно выше этого: звук /s/ имеет пики энергии около 4500 Hz и 7500 Hz, полностью выше телефонного потолка. Вот почему телефонное аудио звучит приглушенно и почему ограниченный по полосе /s/ часто ошибочно воспринимается как /sh/. Это настоящая потеря, просто для современных речевых систем это гораздо меньшая проблема, чем раньше.
Работает ли Apple Live Translation для телефонных звонков?
Да, на последних моделях iPhone, а Samsung Galaxy AI предлагает аналогичную функцию во время звонка. Обе ограничены последними моделями телефонов от этого производителя и языками, которые поддерживают эти производители, и обе требуют наличия функции на вашем собственном устройстве, а не на линии, поэтому ни одна из них не поможет, когда вам нужно позвонить на офисный коммутатор, стационарный телефон или кому-то по старому телефону. LiveLingo совершает переведенный звонок из приложения на любой мобильный или стационарный номер, и получатель ничего не устанавливает.
Какая система перевода лучше всего справляется с телефонным аудио?
Их отличают две вещи. По качеству перевода по телефонной линии LiveLingo набрала 96.9%, Google 94.0%, Azure 91.8%, а базовый уровень Whisper-large 88.9% по 120 высказываниям. По устойчивости к распознаванию разброс шире: когда один и тот же клип проходил через телефонный канал, Google Cloud Speech-to-Text v2 изменил только 0.4% распознанных слов, в то время как базовый уровень Whisper изменил 2.0%, разница в 5 раз. Опубликованные исследования показывают ту же закономерность в масштабе: на телефонном корпусе CallHome wav2vec 2.0 Large показывает частоту ошибок в словах 34.8% против Whisper Large V2 с 17.6%, хотя обе показывают идентичные 2.7% на чистой прочитанной речи.
Ухудшает ли плохое телефонное соединение перевод?
Сама по себе пропускная способность — нет, но потеря пакетов, джиттер и фоновый шум — это отдельные проблемы, и они ухудшают. Наш тест изолировал частотный диапазон, поддерживая постоянную громкость, поэтому он измеряет телефонную полосу и ничего больше. Звонок с пропаданиями или сильным уличным шумом ухудшает перевод по тем же причинам, по которым он ухудшает восприятие человеком-слушателем, и никакое качество кодека не компенсирует речь, которую микрофон никогда не захватывал чисто.
Полная методика, результаты по языкам, статистическая мощность, ограничения и артефакты измерения, которые мы удалили, задокументированы на livelingo.io/research/phone-line-bandwidth-method.