Một nhà phát triển ẩn danh đã tạo ra những gì họ gọi là một “free speech eval,” SpeechMap, cho các mô hình AI điều khiển chatbot như ChatGPT của OpenAI và Grok của X. Mục tiêu là để so sánh cách các mô hình khác nhau xử lý các chủ đề nhạy cảm và gây tranh cãi, nhà phát triển cho biết với TechCrunch, bao gồm chỉ trích chính trị và câu hỏi về quyền dân sự và phản đối.
Các công ty AI đã tập trung vào việc điều chỉnh cách mà mô hình của họ xử lý một số chủ đề khi một số đồng minh của Nhà Trắng tố cáo các chatbot phổ biến quá mức “woke.” Nhiều người thân cận của Tổng thống Donald Trump, như Elon Musk và David Sacks, người được coi là "vua" của crypto và AI, đã tố cáo rằng chatbots rào việc của chủ nghĩa bảo thủ.
Mặc dù không có công ty AI nào đã trả lời trực tiếp những cáo buộc này, một số đã cam kết điều chỉnh mô hình của họ để trả lời các câu hỏi gây tranh cãi ít hơn. Ví dụ, đối với dòng sản phẩm Llama mới nhất của mình, Meta đã nói rằng họ đã điều chỉnh các mô hình để không ủng hộ “một số quan điểm hơn những quan điểm khác,” và trả lời yêu cầu chính trị nhiều hơn.
Nhà phát triển của SpeechMap, người sử dụng tên đăng nhập “xlr8harder” trên X, cho biết họ được khích lệ giúp báo cáo cuộc tranh luận về những gì mô hình nên và không nên làm.
“Tôi nghĩ rằng những cuộc thảo luận như vậy nên diễn ra công khai, không chỉ nội bộ trong trụ sở công ty,” xlr8harder nói với TechCrunch qua email. “Đó là lý do tôi xây dựng trang web để cho phép bất kỳ ai khám phá dữ liệu một cách cá nhân.”
SpeechMap sử dụng các mô hình AI để đánh giá xem các mô hình khác có tuân thủ theo một tập hợp các yêu cầu kiểm tra cụ thể hay không. Các yêu cầu chạm đến nhiều chủ đề, từ chính trị đến câu chuyện lịch sử và biểu tượng quốc gia. SpeechMap ghi lại liệu các mô hình có “hoàn toàn” đáp ứng theo yêu cầu (tức là trả lời mà không trối chịu), đưa ra các câu trả lời “tránh trả lời,” hoặc từ chối trả lời một cách rõ ràng.
Xlr8harder thừa nhận rằng bài kiểm tra có nhược điểm, như “nhiễu” do lỗi từ nhà cung cấp mô hình. Cũng có khả năng rằng các mô hình “thẩm phán” chứa những thiên vị có thể ảnh hưởng đến kết quả.
Nhưng giả sử dự án được tạo ra một cách chân thực và dữ liệu là chính xác, SpeechMap đã phát hiện ra một số xu hướng thú vị.
Ví dụ, theo SpeechMap, các mô hình của OpenAI ngày càng từ chối trả lời những yêu cầu liên quan đến chính trị. Các mô hình mới nhất của công ty, gia đình GPT-4.1, linh hoạt hơn một chút, nhưng vẫn là một bước lùi so với một trong các phiên bản được phát hành của OpenAI vào năm ngoái.
OpenAI nói trong tháng 2 rằng họ sẽ điều chỉnh các mô hình trong tương lai để không có quan điểm biên tập, và cung cấp nhiều quan điểm về các chủ đề gây tranh cãi — tất cả là nhằm làm cho các mô hình của họ trở nên “trung lập” hơn.
Theo SpeechMap, mô hình Grok 3 của Elon Musk's xAI được xem là mô hình linh hoạt nhất trong số các mô hình. Grok 3 là nguồn điều khiển của nhiều tính năng trên X, bao gồm chatbot Grok.
Grok 3 trả lời 96,2% các yêu cầu kiểm tra của SpeechMap, so với tỷ lệ tuân thủ trung bình toàn cầu là 71,3%.
“Trong khi các mô hình mới nhất của OpenAI từ từ trở nên ít linh hoạt hơn theo thời gian, đặc biệt trên các yêu cầu nhạy cảm về chính trị, xAI đang di chuyển theo hướng ngược lại,” xlr8harder nói.
Khi Musk công bố về Grok khoảng hai năm trước, anh ấy quảng cáo mô hình AI này là mạnh mẽ, không lọc và chống “woke” — nói chung, sẵn lòng trả lời các câu hỏi gây tranh cãi mà các hệ thống AI khác không cam kết. Anh ấy đã thực hiện được một số điều đó. Nếu yêu cầu thô tục, ví dụ, Grok và Grok 2 sẽ hân hạnh đáp ứng, phun ra những ngôn ngữ sặc sỡ mà bạn không thể nghe thấy từ ChatGPT.
Nhưng các mô hình Grok trước Grok 3 chiếm giữ trạng thái chốt lời trên các chủ đề chính trị và không bao giờ vượt qua những ranh giới nhất định. Trong thực tế, một nghiên cứu đã phát hiện ra rằng Grok nghiêng về phía trái chính trị trên các chủ đề như quyền của người chuyển giới, các chương trình đa dạng và bất bình đẳng.
Musk đã đổ lỗi cho hành vi đó vào dữ liệu huấn luyện của Grok — các trang web công khai — và cam kết sẽ “dịch chuyển Grok gần hơn với trung lập chính trị.” Ngoài những cú lợi như việc ngắn hạn che giấu mức độ không tốt nhắc nhở về Tổng thống Donald Trump và Musk, dường như anh ta đã đạt được mục tiêu đó.
