Jak dokładne jest tłumaczenie rozmów telefonicznych? Test 4 systemów (2026)

Opublikowano 2026-08-18 · Autor: Ron Villomo, założyciel LiveLingo · LiveLingo jest jednym z mierzonych systemów; pełna metoda i surowe dane

1. Jak dokładne jest tłumaczenie rozmów telefonicznych? Zmierzona odpowiedź

Oceniliśmy cztery systemy na identycznym dźwięku przepuszczonym przez symulowany odcinek telefoniczny. Każde tłumaczenie zostało ocenione w skali 0-5 pod kątem wierności zrozumienia przez trzech niezależnych sędziów LLM, a poniższy wynik jest średnią z trzech, pokazaną również jako procent maksimum. Kryteria oceny penalizują podstawienie błędnego słowa, pominięte encje lub liczby oraz mieszanie skryptów językowych; nie penalizują stylu ani prawidłowych synonimów.

Rozrzut między parami językowymi ma większe znaczenie niż rozrzut między najlepszymi systemami. Nawet najsilniejszy system traci trzy punkty, przechodząc z niemieckiego na japoński, a każdy system traci znacznie więcej na trudniejszych parach korytarzowych niż na linii telefonicznej.

2. Czy Apple Live Translation działa podczas rozmów telefonicznych?

Apple Live Translation obsługuje rozmowy telefoniczne na nowszych iPhone'ach, a Samsung Galaxy AI oferuje porównywalną funkcję podczas rozmów. Obie są dobre w tym, co robią, a w przypadku połączenia iPhone-to-iPhone w obsługiwanym języku są najwygodniejszą dostępną opcją, ponieważ nie ma nic do zainstalowania.

Ich ograniczeniem jest zasięg, a nie jakość. Obie wymagają nowszego telefonu od konkretnego producenta, obie są ograniczone do zestawów językowych dostarczanych przez tych producentów, i co najważniejsze, obie umieszczają tę funkcję na twoim urządzeniu, a nie na linii. To jest w porządku, jeśli dzwonisz do znajomego z tym samym telefonem. Nie pomaga to, gdy musisz skontaktować się z centralą kliniki, właścicielem, recepcją hotelu lub dostawcą, którego telefon biurowy ma dziesięć lat. Te połączenia są powodem, dla którego większość ludzi szuka produktu do tłumaczenia rozmów.

3. Dlaczego jakość dźwięku rozmów telefonicznych jest zła i czy zmniejsza dokładność?

Rozmowa telefoniczna jest kodowana za pomocą ITU-T G.711, który próbkuje z częstotliwością 8 kHz i przenosi mniej więcej od 300 Hz do 3400 Hz. Odrzucone pasmo nie jest puste. Prace z fonetyki akustycznej z laboratorium fonetyki University of Oxford umieszczają szczyty energii /s/ na około 4500 Hz i 7500 Hz, całkowicie powyżej limitu telefonicznego, dlatego też /s/ o ograniczonej szerokości pasma jest systematycznie błędnie słyszane jako /sh/. Fizyka przewiduje, że dźwięk telefoniczny powinien być trudniejszy. ITU-T G.711 · University of Oxford Phonetics Laboratory

Aby sprawdzić, czy ta prognoza utrzymuje się do wyjścia, stworzyliśmy dwie wersje każdego klipu. Jedna to oryginalne nagranie 16 kHz. Druga to ten sam plik ponownie próbkowany do 8 kHz z filtrowaniem antyaliasingowym, kwantyzowany za pomocą G.711 mu-law, a następnie dekodowany z powrotem do oryginalnego kontenera 16 kHz, więc oba pliki są identyczne pod względem formatu i żaden system nie może rozgałęziać się na podstawie częstotliwości próbkowania. Energia powyżej 3.4 kHz spada z 14-22% sygnału do około 3%, podczas gdy głośność RMS pozostaje niezmieniona, więc porównanie mierzy szerokość pasma, a nie głośność.

Każdy system uzyskał wynik w granicach 0.04 punktu od siebie. LiveLingo uzyskało 97.2% na dźwięku mikrofonowym i 96.9% na linii telefonicznej; Google 93.4% i 94.0%; Azure 91.7% i 91.8%; bazowy Whisper 88.1% i 88.9%. 88% pojedynczych komórek otrzymało identyczny wynik w obu częściach. Przepustowość telefoniczna niszczy prawdziwe informacje, a nowoczesne tłumaczenie pochłania prawie wszystkie z nich.

4. Rozpoznawanie dryfuje o około 2%, a odporność różni się 5x między systemami

Utrzymująca się stała jakość nie oznacza, że nic się nie wydarzyło pod spodem. Porównując transkrypcję źródłową, którą każdy system wygenerował z pliku szerokopasmowego, z tą, którą wygenerował z pliku linii telefonicznej, Google Cloud Speech-to-Text v2 zmienił 0.4% rozpoznanych słów, a bazowy Whisper-large zmienił 2.0%, przy czym odpowiednio 96% i 81% transkrypcji wróciło całkowicie niezmienionych.

Surowe porównanie bardzo to wyolbrzymia, a powód jest wart uwagi, ponieważ tak właśnie tego rodzaju liczby są błędne. Whisper halucynuje standardowe frazy na końcową ciszę, emitując stałe, szablonowe napisy w sposób nieprzewidywalny w obu ramionach. Chińskie wyjście przełącza się losowo między skryptem uproszczonym a tradycyjnym. Arabski różni się głównie pisownią hamzy. Przed ich usunięciem, pozorny dryf Whisper wynosił 5.7%; po usunięciu, wynosi 2.0%.

Użytecznym odkryciem jest to, że odporność na wąskopasmowość różni się około 5x między rozpoznawaczami, co jest znacznie większym efektem niż sama linia telefoniczna. Arabski i indonezyjski dryfowały najbardziej, około 5%, co jest zgodne z przewidywaniami dotyczącymi spółgłosek szczelinowych, i nawet tam wynik wierności nie zmienił się.

5. Czy tłumaczenie AI pogarsza się podczas rozmów telefonicznych niż osobiście?

Ponieważ dowody zazwyczaj cytowane na to mierzą coś innego. W artykule Whisper (Radford et al., 2022), wav2vec 2.0 Large i Whisper Large V2 uzyskują identyczny wskaźnik błędu słów wynoszący 2.7% na czystej mowie czytanej LibriSpeech. Na korpusie telefonicznym CallHome rozbiegają się do 34.8% i 17.6%. Ta luka jest rzeczywista, duża i rutynowo przedstawiana jako dowód, że problemem jest dźwięk telefoniczny. Radford et al., 2022 · LDC CallHome

Ale CallHome to nie tylko wąskopasmowość. To spontaniczna, nakładająca się, nieskryptowana rozmowa między ludźmi, którzy dobrze się znają, pełna skrótów, fałszywych startów i nakładających się rozmów. LibriSpeech to jedna osoba czytająca książkę na głos. Zmiana dwóch zmiennych jednocześnie nie może powiedzieć, która z nich miała znaczenie. Izolowanie szerokości pasma nie znajduje prawie nic, co oznacza, że kara CallHome to głównie inna zmienna.

To jest bardziej użyteczny wniosek, ponieważ to są czynniki, które faktycznie możesz kontrolować. Czyste przejmowanie kolejki, przeniesienie się w cichsze miejsce i pozwolenie każdemu mówcy na zakończenie zrobi więcej dla przetłumaczonej rozmowy niż jakiekolwiek obawy dotyczące jakości linii.

6. Co faktycznie wyróżnia aplikacje do tłumaczenia rozmów telefonicznych

Ponieważ przepustowość nie kosztuje nic mierzalnego, a najlepsze systemy różnią się od siebie o trzy punkty w przypadku łatwych par, różnice, które mają znaczenie, leżą gdzie indziej: o ile spada jakość w przypadku konkretnej pary językowej, czy produkt może dotrzeć do numeru, na który musisz zadzwonić, i jak rozmowa obsługuje przejmowanie kolejki.

Para językowa jest zdecydowanie największą dźwignią jakości, więc sprawdź swój własny korytarz, a nie średnią nagłówkową. Jeśli chodzi o zasięg, LiveLingo nawiązuje przetłumaczone połączenie z aplikacji na dowolny numer komórkowy lub stacjonarny, więc odbiorca odbiera zwykłe połączenie telefoniczne i niczego nie instaluje. A jeśli chodzi o prowadzenie, warto wiedzieć, czy produkt uczciwie się przedstawia, czy klonuje twój głos, aby ukryć, że w rozmowie uczestniczy tłumacz. livelingo.io/phone-call-translation

7. Co obejmuje ten test, a czego nie

Powyższe liczby są ograniczone czterema konkretnymi wyborami projektowymi. Ich przedstawienie nie jest zabezpieczeniem wyników; to zakres, w którym wyniki są ważne.

Praktyczne odczytanie: ranking w sekcji 1 to czyste porównanie typu „jeden do jednego”, ponieważ każdy system otrzymał identyczny dźwięk i identyczną ocenę. Wynik szerokości pasma w sekcji 3 jest twierdzeniem najbardziej wrażliwym na wybór korpusu, a replikacja na spontanicznej mowie konwersacyjnej jest następnym krokiem. Pełne wyprowadzenia, moc statystyczna i artefakty pomiarowe, które usunęliśmy, znajdują się na pełna metoda i surowe dane.

Często zadawane pytania

Pełna metoda, wyniki dla poszczególnych języków, moc statystyczna, ograniczenia i usunięte artefakty pomiarowe są udokumentowane na livelingo.io/research/phone-line-bandwidth-method.