Hoe nauwkeurig is telefoonoproepvertaling? 4 systemen getest (2026)

Gepubliceerd 2026-08-18 · Door Ron Villomo, oprichter van LiveLingo · LiveLingo is een van de gemeten systemen; volledige methode en ruwe data

1. Hoe nauwkeurig is telefoonoproepvertaling? Het gemeten antwoord

We hebben vier systemen beoordeeld op identieke audio die door een gesimuleerde telefoonverbinding werd geleid. Elke vertaling werd beoordeeld van 0-5 op begripsgetrouwheid door drie onafhankelijke frontier LLM-beoordelaars, en de onderstaande score is het gemiddelde van de drie, ook weergegeven als een percentage van het maximum. De rubric bestraft verkeerde woordvervanging, weggelaten entiteiten of nummers, en taal-script-vermenging; het bestraft geen stijl of geldige synoniemen.

Het verschil tussen taalparen is belangrijker dan het verschil tussen de topsystemen. Zelfs het sterkste systeem verliest drie punten bij de overgang van Duits naar Japans, en elk systeem verliest veel meer op de moeilijkere corridorparen dan het verliest aan de telefoonlijn.

2. Werkt Apple Live Translation op telefoongesprekken?

Apple Live Translation ondersteunt telefoongesprekken op recente iPhones en Samsung Galaxy AI biedt een vergelijkbare in-call functie. Beide zijn goed in wat ze doen, en voor een iPhone-naar-iPhone gesprek in een ondersteunde taal zijn ze de meest handige optie die beschikbaar is, omdat er niets geïnstalleerd hoeft te worden.

Hun beperking is dekking, niet kwaliteit. Beide vereisen een recente handset van die specifieke fabrikant, beide zijn beperkt tot de taalsets die die fabrikanten leveren, en cruciaal is dat beide de functionaliteit op uw apparaat plaatsen in plaats van op de lijn. Dat is prima voor het bellen van een vriend met dezelfde telefoon. Het helpt niet wanneer u een kliniekcentrale, een huisbaas, een hotelreceptie of een leverancier moet bereiken wiens kantoortelefoon tien jaar oud is. Die gesprekken zijn de reden waarom de meeste mensen überhaupt op zoek gaan naar een vertaald-gesprekproduct.

3. Waarom is de audiokwaliteit van telefoongesprekken slecht, en vermindert dit de nauwkeurigheid?

Een telefoongesprek wordt gecodeerd met ITU-T G.711, dat sampelt op 8 kHz en ongeveer 300 Hz tot 3400 Hz draagt. De weggegooide band is niet leeg. Akoestische fonetiek van het fonetisch laboratorium van de University of Oxford plaatst de energiepieken van /s/ op ongeveer 4500 Hz en 7500 Hz, volledig boven het telefoonplafond, wat ook de reden is waarom bandbeperkte /s/ systematisch verkeerd wordt verstaan als /sh/. De fysica voorspelt dat telefoonaudio moeilijker zou moeten zijn. ITU-T G.711 · University of Oxford Phonetics Laboratory

Om te testen of die voorspelling overleeft tot de output, hebben we twee versies van elke clip geproduceerd. Eén is de originele 16 kHz opname. De andere is hetzelfde bestand opnieuw gesampled naar 8 kHz met anti-aliasing filtering, gekwantiseerd met G.711 mu-law, en vervolgens gedecodeerd terug naar de originele 16 kHz container, zodat beide bestanden identiek zijn in formaat en geen enkel systeem kan vertakken op samplefrequentie. Energie boven 3.4 kHz daalt van 14-22% van het signaal naar ongeveer 3%, terwijl de RMS-luidheid onveranderd blijft, dus de vergelijking meet bandbreedte en niet volume.

Elk systeem landde binnen 0.04 punten van zichzelf. LiveLingo scoorde 97.2% op microfoonaudio en 96.9% over de telefoonlijn; Google 93.4% en 94.0%; Azure 91.7% en 91.8%; de Whisper baseline 88.1% en 88.9%. 88% van de individuele cellen ontving een identieke score in beide onderdelen. Telefoonbandbreedte vernietigt echte informatie en moderne vertaling absorbeert bijna alles.

4. Herkenning verschuift ongeveer 2%, en robuustheid varieert 5x tussen systemen

Dat de kwaliteit stabiel blijft, betekent niet dat er niets onderhuids gebeurde. Vergeleken met het brontranscript dat elk systeem produceerde van het breedbandbestand met dat van het telefoonlijn-bestand, veranderde Google Cloud Speech-to-Text v2 0.4% van de herkende woorden en de Whisper-large baseline veranderde 2.0%, waarbij respectievelijk 96% en 81% van de transcripten volledig onveranderd terugkwamen.

Een ruwe vergelijking overdrijft dit sterk, en de reden is het vermelden waard, want zo gaan dit soort cijfers mis. Whisper hallucineert standaardzinnen op stilte, en zendt onvoorspelbaar vaste ondertitel-achtige boilerplate uit in beide armen. Chinese output wisselt willekeurig tussen Vereenvoudigd en Traditioneel schrift. Arabisch verschilt voornamelijk door de spelling van hamza. Voordat deze werden verwijderd, bedroeg de schijnbare verschuiving van Whisper 5.7%; daarna is het 2.0%.

De nuttige bevinding is dat de robuustheid van smalband ongeveer 5x verschilt tussen herkenners, wat een veel groter effect is dan de telefoonlijn zelf. Arabisch en Indonesisch verschoven het meest met ongeveer 5%, consistent met de fricatieve voorspelling, en zelfs daar bewoog de getrouwheidsscore niet.

5. Wordt AI-vertaling slechter bij telefoongesprekken dan in persoon?

Omdat het bewijs dat hiervoor meestal wordt aangehaald, iets anders meet. In het Whisper-artikel (Radford et al., 2022) scoren wav2vec 2.0 Large en Whisper Large V2 beide een identieke woordfoutpercentage van 2.7% op LibriSpeech schone voorgelezen spraak. Op het CallHome telefooncorpus divergeren ze naar 34.8% en 17.6%. Dat verschil is reëel, groot en wordt routinematig aangeboden als bewijs dat telefoonaudio het probleem is. Radford et al., 2022 · LDC CallHome

Maar CallHome is niet alleen smalbandig. Het is spontane, overlappende, ongescripte conversatie tussen mensen die elkaar goed kennen, vol met samentrekkingen, valse starts en crosstalk. LibriSpeech is één persoon die een boek hardop voorleest. Het tegelijkertijd veranderen van twee variabelen kan u niet vertellen welke belangrijk was. Het isoleren van de bandbreedte vindt bijna niets, wat betekent dat de CallHome-straf voornamelijk de andere variabele is.

Dat is de nuttigere conclusie, omdat dat de factoren zijn die u daadwerkelijk kunt beheersen. Netjes om de beurt spreken, naar een rustigere plek gaan en elke spreker laten uitspreken, zal meer doen voor een vertaald gesprek dan enige zorg over de lijnkwaliteit.

6. Wat telefoonoproepvertalingsapps daadwerkelijk onderscheidt

Aangezien bandbreedte niets meetbaars kost en de topsystemen binnen drie punten van elkaar liggen op gemakkelijke paren, liggen de verschillen die ertoe doen elders: hoe ver de kwaliteit daalt op uw specifieke taalpaar, of het product het nummer kan bereiken dat u moet bellen, en hoe het gesprek omgaat met beurtwisseling.

Taalpaar is verreweg de grootste kwaliteitshefboom, dus controleer uw eigen corridor in plaats van een gemiddelde in de krantenkoppen. Wat bereik betreft, plaatst LiveLingo de vertaalde oproep vanuit de app naar elk mobiel of vast nummer, zodat de ontvanger een gewoon telefoongesprek beantwoordt en niets installeert. En wat gedrag betreft, is het de moeite waard om te weten of een product zichzelf eerlijk aankondigt of uw stem kloont om te verbergen dat er een vertaler bij betrokken is. livelingo.io/phone-call-translation

7. Wat deze test wel en niet dekt

De bovenstaande cijfers worden begrensd door vier specifieke ontwerpkeuzes. Het vermelden ervan is geen voorbehoud op de resultaten; het is de reikwijdte waarbinnen de resultaten gelden.

De praktische lezing: de rangschikking in sectie 1 is een zuivere vergelijking van gelijke gevallen, aangezien elk systeem identieke audio en identieke beoordeling ontving. Het bandbreedteresultaat in sectie 3 is de bewering die het meest gevoelig is voor de corpuskeuze, en replicatie op spontane gespreksspraak is de volgende stap. Volledige afleidingen, statistische kracht en de meetartefacten die we hebben verwijderd, staan op de volledige methode en ruwe data.

Veelgestelde vragen

Volledige methode, resultaten per taal, statistische kracht, beperkingen en de meetartefacten die we hebben verwijderd, zijn gedocumenteerd op livelingo.io/research/phone-line-bandwidth-method.