Độ chính xác của dịch thuật cuộc gọi điện thoại là bao nhiêu? Đã thử nghiệm 4 hệ thống (2026)

Đã xuất bản 2026-08-18 · Bởi Ron Villomo, Người sáng lập LiveLingo · LiveLingo là một trong những hệ thống được đo lường; phương pháp đầy đủ và dữ liệu thô

1. Độ chính xác của dịch thuật cuộc gọi điện thoại là bao nhiêu? Câu trả lời đã đo lường

Chúng tôi đã chấm điểm bốn hệ thống trên âm thanh giống hệt nhau được truyền qua một đường dây điện thoại mô phỏng. Mỗi bản dịch được đánh giá từ 0-5 về độ trung thực hiểu bởi ba giám khảo LLM tiên tiến độc lập, và điểm số dưới đây là trung bình của ba điểm, cũng được hiển thị dưới dạng phần trăm của điểm tối đa. Tiêu chí chấm điểm phạt các lỗi thay thế từ sai, bỏ sót thực thể hoặc số, và trộn lẫn ngôn ngữ-chữ viết; nó không phạt về phong cách hoặc từ đồng nghĩa hợp lệ.

Sự chênh lệch giữa các cặp ngôn ngữ quan trọng hơn sự chênh lệch giữa các hệ thống hàng đầu. Ngay cả hệ thống mạnh nhất cũng mất ba điểm khi chuyển từ tiếng Đức sang tiếng Nhật, và mọi hệ thống đều mất nhiều hơn đáng kể trên các cặp hành lang khó hơn so với việc mất do đường dây điện thoại.

2. Apple Live Translation có hoạt động trên cuộc gọi điện thoại không?

Apple Live Translation xử lý các cuộc gọi điện thoại trên các iPhone gần đây và Samsung Galaxy AI cung cấp một tính năng tương tự trong cuộc gọi. Cả hai đều tốt trong những gì chúng làm, và đối với một cuộc gọi iPhone-to-iPhone bằng một ngôn ngữ được hỗ trợ, chúng là lựa chọn tiện lợi nhất hiện có vì không cần cài đặt gì.

Giới hạn của chúng là phạm vi phủ sóng, không phải chất lượng. Cả hai đều yêu cầu một thiết bị cầm tay gần đây từ nhà sản xuất cụ thể đó, cả hai đều bị giới hạn trong các bộ ngôn ngữ mà các nhà sản xuất đó cung cấp, và quan trọng là cả hai đều đặt khả năng trên thiết bị của bạn chứ không phải trên đường dây. Điều đó tốt cho việc gọi một người bạn có cùng điện thoại. Nó không giúp ích khi bạn cần liên hệ với tổng đài phòng khám, chủ nhà, quầy khách sạn, hoặc nhà cung cấp có điện thoại văn phòng đã mười năm tuổi. Những cuộc gọi đó là lý do hầu hết mọi người tìm kiếm một sản phẩm dịch thuật cuộc gọi ngay từ đầu.

3. Tại sao chất lượng âm thanh cuộc gọi điện thoại kém, và nó có làm giảm độ chính xác không?

Một cuộc gọi điện thoại được mã hóa bằng ITU-T G.711, lấy mẫu ở 8 kHz và mang khoảng 300 Hz đến 3400 Hz. Dải tần bị loại bỏ không trống rỗng. Công trình âm học ngữ âm từ phòng thí nghiệm ngữ âm của University of Oxford đặt các đỉnh năng lượng của /s/ ở khoảng 4500 Hz và 7500 Hz, hoàn toàn nằm trên giới hạn điện thoại, đó cũng là lý do tại sao /s/ bị giới hạn băng tần thường bị nghe nhầm thành /sh/. Vật lý dự đoán âm thanh điện thoại sẽ khó hơn. ITU-T G.711 · University of Oxford Phonetics Laboratory

Để kiểm tra xem dự đoán đó có tồn tại đến đầu ra hay không, chúng tôi đã tạo ra hai phiên bản của mỗi clip. Một là bản ghi 16 kHz gốc. Bản còn lại là cùng một tệp được lấy mẫu lại thành 8 kHz với bộ lọc chống răng cưa, được lượng tử hóa bằng G.711 mu-law, sau đó được giải mã trở lại vào vùng chứa 16 kHz gốc, vì vậy cả hai tệp đều có định dạng giống hệt nhau và không hệ thống nào có thể phân nhánh theo tốc độ lấy mẫu. Năng lượng trên 3.4 kHz giảm từ 14-22% của tín hiệu xuống khoảng 3%, trong khi độ lớn RMS không thay đổi, vì vậy so sánh đo lường băng thông chứ không phải âm lượng.

Mọi hệ thống đều đạt trong vòng 0.04 điểm so với chính nó. LiveLingo đạt 97.2% trên âm thanh micrô và 96.9% qua đường dây điện thoại; Google 93.4% và 94.0%; Azure 91.7% và 91.8%; Whisper cơ sở 88.1% và 88.9%. 88% các ô riêng lẻ nhận được điểm giống hệt nhau ở cả hai phần. Băng thông điện thoại phá hủy thông tin thực và dịch thuật hiện đại hấp thụ gần như tất cả.

4. Nhận dạng trôi dạt khoảng 2%, và độ bền thay đổi 5x giữa các hệ thống

Chất lượng ổn định không có nghĩa là không có gì xảy ra bên dưới. So sánh bản ghi nguồn mà mỗi hệ thống tạo ra từ tệp băng rộng với bản ghi mà nó tạo ra từ tệp đường dây điện thoại, Google Cloud Speech-to-Text v2 đã thay đổi 0.4% các từ được nhận dạng và Whisper-large cơ sở đã thay đổi 2.0%, với 96% và 81% các bản ghi tương ứng trở lại hoàn toàn không thay đổi.

So sánh thô làm phóng đại điều này một cách tệ hại, và lý do đáng được nêu ra vì đó là cách loại số này bị sai. Whisper tạo ra các cụm từ có sẵn vào khoảng lặng cuối, phát ra các mẫu phụ đề cố định một cách không thể đoán trước ở cả hai phần. Đầu ra tiếng Trung chuyển đổi giữa chữ viết Giản thể và Phồn thể một cách ngẫu nhiên. Tiếng Ả Rập khác biệt chủ yếu bởi cách đánh vần hamza. Trước khi loại bỏ những điều đó, độ trôi dạt rõ ràng của Whisper đo được là 5.7%; sau đó, nó là 2.0%.

Phát hiện hữu ích là độ bền băng hẹp khác nhau khoảng 5x giữa các bộ nhận dạng, đây là một hiệu ứng lớn hơn nhiều so với bản thân đường dây điện thoại. Tiếng Ả Rập và tiếng Indonesia trôi dạt nhiều nhất ở khoảng 5%, phù hợp với dự đoán âm xát, và ngay cả ở đó điểm độ trung thực cũng không thay đổi.

5. Dịch thuật AI có tệ hơn trên cuộc gọi điện thoại so với trực tiếp không?

Bởi vì bằng chứng thường được trích dẫn cho nó đo lường một thứ khác. Trong bài báo Whisper (Radford et al., 2022), wav2vec 2.0 Large và Whisper Large V2 đều đạt tỷ lệ lỗi từ giống hệt nhau là 2.7% trên lời nói đọc sạch LibriSpeech. Trên kho ngữ liệu điện thoại CallHome, chúng phân kỳ đến 34.8% và 17.6%. Khoảng cách đó là thật, lớn, và thường được đưa ra làm bằng chứng rằng âm thanh điện thoại là vấn đề. Radford et al., 2022 · LDC CallHome

Nhưng CallHome không chỉ là băng hẹp. Đó là cuộc trò chuyện tự phát, chồng chéo, không kịch bản giữa những người quen biết nhau, dày đặc các từ viết tắt, khởi đầu sai và nói xen kẽ. LibriSpeech là một người đọc sách thành tiếng. Thay đổi hai biến cùng một lúc không thể cho bạn biết biến nào quan trọng. Việc cô lập băng thông hầu như không tìm thấy gì, điều đó có nghĩa là hình phạt CallHome chủ yếu là biến còn lại.

Đó là kết luận hữu ích hơn, bởi vì đó là những yếu tố bạn thực sự có thể kiểm soát. Thay phiên nhau một cách rõ ràng, di chuyển đến nơi yên tĩnh hơn và để mỗi người nói kết thúc sẽ làm được nhiều hơn cho một cuộc gọi được dịch so với bất kỳ lo ngại nào về chất lượng đường truyền.

6. Điều gì thực sự phân biệt các ứng dụng dịch thuật cuộc gọi điện thoại

Vì băng thông không tốn kém gì đáng kể và các hệ thống hàng đầu nằm trong vòng ba điểm của nhau trên các cặp dễ, những khác biệt quan trọng nằm ở nơi khác: chất lượng giảm bao nhiêu trên cặp ngôn ngữ cụ thể của bạn, liệu sản phẩm có thể gọi đến số bạn cần gọi hay không, và cách cuộc gọi xử lý việc thay phiên nhau.

Cặp ngôn ngữ là đòn bẩy chất lượng lớn nhất với biên độ rộng, vì vậy hãy kiểm tra hành lang của riêng bạn thay vì mức trung bình tiêu đề. Về phạm vi tiếp cận, LiveLingo thực hiện cuộc gọi được dịch từ ứng dụng đến bất kỳ số điện thoại di động hoặc cố định nào, vì vậy người nhận trả lời một cuộc gọi điện thoại thông thường và không cài đặt gì. Và về cách thức, đáng để biết liệu một sản phẩm tự thông báo một cách trung thực hay sao chép giọng nói của bạn để che giấu việc có một người dịch tham gia. livelingo.io/phone-call-translation

7. Những gì thử nghiệm này bao gồm, và những gì nó không bao gồm

Các con số trên bị giới hạn bởi bốn lựa chọn thiết kế cụ thể. Nêu rõ chúng không phải là một sự phòng ngừa kết quả; đó là phạm vi mà trong đó các kết quả có giá trị.

Đọc thực tế: thứ hạng trong phần 1 là một so sánh trực tiếp, vì mọi hệ thống đều nhận được âm thanh giống hệt nhau và đánh giá giống hệt nhau. Kết quả băng thông trong phần 3 là tuyên bố nhạy cảm nhất với lựa chọn kho ngữ liệu, và việc tái tạo trên lời nói trò chuyện tự phát là bước tiếp theo. Các dẫn xuất đầy đủ, sức mạnh thống kê và các tạo tác đo lường mà chúng tôi đã loại bỏ đều có trên phương pháp đầy đủ và dữ liệu thô.

Các câu hỏi thường gặp

Phương pháp đầy đủ, kết quả theo từng ngôn ngữ, sức mạnh thống kê, các giới hạn và các tạo tác đo lường mà chúng tôi đã loại bỏ đều được ghi lại tại livelingo.io/research/phone-line-bandwidth-method.