BBC vừa công bố nghiên cứu về khả năng tóm tắt tin tức của các trợ lý AI, và kết quả không mấy khả quan. Nghiên cứu này được thực hiện sau sự cố Apple Intelligence tóm tắt sai lệch một tiêu đề tin tức của BBC, khiến đài truyền hình này phải khiếu nại.
Vào tháng 1, dịch vụ AI trên thiết bị của Apple đã tạo ra một tiêu đề tin tức của BBC xuất hiện trên iPhone, tuyên bố rằng Luigi Mangione, một người đàn ông bị bắt vì tội giết giám đốc điều hành bảo hiểm y tế Brian Thomson, đã tự bắn mình. Thông tin này là sai sự thật và BBC đã khiếu nại lên Apple.
Apple ban đầu hứa hẹn sẽ thay đổi phần mềm để “làm rõ hơn” khi nội dung hiển thị là bản tóm tắt do Apple Intelligence cung cấp, sau đó đã tạm thời vô hiệu hóa bản tóm tắt Tin tức và Giải trí. Tính năng này vẫn chưa được kích hoạt trên iOS 18.3, được phát hành vào cuối tháng 1.
Tuy nhiên, Apple Intelligence không phải là dịch vụ AI duy nhất có khả năng tóm tắt tin tức, và sự cố này rõ ràng đã khiến BBC phải suy nghĩ. Trong một nghiên cứu được công bố gần đây, Pete Archer, Giám đốc Chương trình AI, đã viết về sự nhiệt tình của BBC đối với công nghệ này, đồng thời nêu chi tiết một số cách mà BBC đã triển khai AI nội bộ, từ việc sử dụng nó để tạo phụ đề cho nội dung âm thanh đến dịch bài viết sang các ngôn ngữ khác.
“AI sẽ mang lại giá trị thực sự khi được sử dụng một cách có trách nhiệm”, ông nói, nhưng cũng cảnh báo: “AI cũng mang đến những thách thức đáng kể cho khán giả và hệ sinh thái thông tin của Vương quốc Anh.”
Nghiên cứu tập trung vào ChatGPT của OpenAI, Copilot của Microsoft, Gemini của Google và Perplexity, đánh giá khả năng của chúng trong việc cung cấp “câu trả lời chính xác cho các câu hỏi về tin tức; và liệu câu trả lời của chúng có trung thực đại diện cho các tin tức của BBC được sử dụng làm nguồn hay không.”
Các trợ lý được cấp quyền truy cập vào trang web của BBC trong suốt thời gian nghiên cứu và được hỏi 100 câu hỏi về tin tức, được yêu cầu lấy nguồn từ các bài báo của BBC News nếu có thể. Thông thường, các mô hình này bị “chặn” truy cập vào trang web của đài truyền hình, BBC cho biết.
Các câu trả lời được xem xét bởi các nhà báo của BBC, “tất cả đều là chuyên gia về các chủ đề câu hỏi”, về độ chính xác, tính khách quan và mức độ đại diện cho nội dung của BBC. Nhìn chung:
- 51% tất cả các câu trả lời của AI cho các câu hỏi về tin tức được đánh giá là có vấn đề đáng kể ở một số hình thức.
- 19% câu trả lời của AI trích dẫn nội dung BBC đã đưa ra lỗi thực tế – sai lệch về số liệu, ngày tháng và thông tin thực tế.
- 13% trích dẫn có nguồn gốc từ các bài báo của BBC đã bị thay đổi so với nguồn gốc hoặc không có trong bài báo được trích dẫn.
Nhưng chatbot nào hoạt động kém nhất? “34% Gemini, 27% Copilot, 17% Perplexity và 15% câu trả lời của ChatGPT được đánh giá là có vấn đề đáng kể về cách chúng đại diện cho nội dung BBC được sử dụng làm nguồn”, BBC báo cáo. “Các vấn đề phổ biến nhất là sự không chính xác về mặt thực tế, nguồn gốc và thiếu ngữ cảnh.”
Những điểm không chính xác mà BBC thấy đáng lo ngại bao gồm Gemini tuyên bố: “NHS khuyên mọi người không nên bắt đầu hút thuốc lá điện tử và khuyến nghị những người hút thuốc muốn bỏ thuốc nên sử dụng các phương pháp khác”, trong khi thực tế nhà cung cấp dịch vụ chăm sóc sức khỏe này đề xuất nó như một phương pháp khả thi để cai thuốc lá thông qua chương trình “[đổi để dừng]”.
Về trường hợp nạn nhân bị cưỡng hiếp người Pháp Gisèle Pelicot, “Copilot cho rằng mất điện và mất trí nhớ đã khiến cô phát hiện ra tội ác chống lại mình”, trong khi thực tế cô phát hiện ra những tội ác này sau khi cảnh sát cho cô xem video được tìm thấy trên các thiết bị điện tử bị tịch thu từ chồng cô.
Khi được hỏi về cái chết của bác sĩ truyền hình Michael Mosley, người mất tích trên đảo Symi của Hy Lạp năm ngoái, Perplexity cho biết ông mất tích vào ngày 30 tháng 10, và thi thể của ông được tìm thấy vào tháng 11. Ông mất vào tháng 6 năm 2024. “Câu trả lời tương tự cũng xuyên tạc các tuyên bố từ vợ của Tiến sĩ Mosley mô tả phản ứng của gia đình trước cái chết của ông”, các nhà nghiên cứu viết.
Có nhiều ví dụ hơn về sự không chính xác hoặc thiếu ngữ cảnh trong bài báo – bao gồm cả việc Gemini nói rằng “mỗi cá nhân tự quyết định xem họ có tin Lucy Letby vô tội hay có tội hay không.” Letby đang thụ án 15 án chung thân vì tội giết 7 trẻ sơ sinh và âm mưu giết 7 trẻ khác từ năm 2015 đến năm 2016, sau khi bị kết án tại tòa án.
