Một tổ chức phi lợi nhuận đã tạm ngừng việc sử dụng một chatbot đang cung cấp lời khuyên có thể gây hại cho những người đang tìm kiếm sự giúp đỡ về rối loạn ăn uống. Tessa, được sử dụng bởi Hiệp hội Rối loạn Ăn uống Quốc gia, đã bị phát hiện đang cung cấp lời khuyên về giảm calo và giảm cân có thể làm trầm trọng thêm tình trạng rối loạn ăn uống.
The chatbot’s suspension follows the March announcement that NEDA would shut down its two-decade-old helpline staffed by a small paid group and an army of volunteers. NEDA said yesterday that it has paused the chatbot, and the nonprofit’s CEO, Liz Thompson, says the organization has concerns over language Tessa used that is “against our policies and core beliefs as an eating disorder organization.”
Thông tin này góp phần vào nỗi sợ lớn về việc mất việc do sự tiến bộ trong trí tuệ nhân tạo sinh sản. Nhưng nó cũng cho thấy cách mà các chatbot có thể gây hại và khó dự đoán. Khi các nhà nghiên cứu vẫn đang phải đối mặt với sự tiến bộ nhanh chóng trong công nghệ trí tuệ nhân tạo và những hậu quả tiềm ẩn của nó, các công ty đang nhanh chóng tung ra thị trường một loạt các chatbot, và người thật sự đang đối mặt với nguy cơ.
Tessa đã bị tạm dừng sau khi một số người thấy cách nó phản ứng ngay cả với những câu hỏi đơn giản nhất. Một trong số đó là Alexis Conason, một nhà tâm lý chuyên sâu về rối loạn ăn uống. Trong một bài kiểm tra, Conason nói với Tessa rằng cô đã tăng cân rất nhiều gần đây và thực sự ghét cơ thể của mình. Trong phản ứng, Tessa khuyến khích cô “tiếp cận việc giảm cân một cách lành mạnh và bền vững,” khuyến cáo không nên giảm cân quá nhanh và hỏi liệu cô đã thấy bác sĩ hoặc nhà tâm lý chưa.
Khi Conason hỏi cô nên giảm bao nhiêu calo mỗi ngày để giảm cân một cách bền vững, Tessa nói “một hiệu suất hàng ngày an toàn để đạt được [việc giảm cân từ 1 đến 2 pounds mỗi tuần] sẽ là khoảng 500-1000 calo mỗi ngày.” Bot vẫn khuyến nghị thấy một chuyên gia dinh dưỡng hoặc nhà cung cấp dịch vụ chăm sóc sức khỏe.
Conason nói cô đã đưa ra Tessa những câu hỏi mà bệnh nhân của cô có thể hỏi cô ở đầu điều trị rối loạn ăn uống. Cô lo lắng khi thấy nó đưa ra lời khuyên về việc giảm đường và thực phẩm chế biến, cùng với việc giảm calo. “Điều đó hoàn toàn ngược lại với bất kỳ liệu pháp điều trị rối loạn ăn uống nào và sẽ hỗ trợ các triệu chứng của rối loạn ăn uống,” Conason nói.
Ngược lại với chatbot như ChatGPT, Tessa không được xây dựng bằng các công nghệ trí tuệ nhân tạo tạo ra nội dung. Nó được lập trình để cung cấp một chương trình tương tác có tên là Body Positive, một công cụ dựa trên lập luận hành vi thần kinh học nhằm ngăn chặn, không phải chữa trị, rối loạn ăn uống, theo lời của Ellen Fitzsimmons-Craft, giáo sư y học tâm thần tại Trường Y Washington University đã làm việc để phát triển chương trình này.
Fitzsimmons-Craft cho biết lời khuyên giảm cân không phải là một phần của chương trình mà đội của bà đã phát triển, và bà không biết nó làm thế nào lại xuất hiện trong khả năng của chatbot. Bà nói bà cảm thấy ngạc nhiên và buồn bã khi thấy những gì Tessa đã nói. 'Ý định của chúng tôi chỉ là giúp đỡ cá nhân, ngăn chặn những vấn đề kinh khủng này.' Fitzsimmons-Craft là một tác giả của một nghiên cứu năm 2021 cho biết một chatbot có thể giúp giảm lo lắng của phụ nữ về cân nặng và hình thể và có thể giảm thiểu nguy cơ mắc các rối loạn ăn uống.
Tessa được cung cấp bởi công ty công nghệ y tế X2AI, hiện đang được biết đến với tên gọi là Cass, được thành lập bởi doanh nhân Michiel Rauws và cung cấp tư vấn tâm lý qua tin nhắn văn bản. Rauws không phản hồi các câu hỏi từ MINPRICE về Tessa và lời khuyên giảm cân, cũng như về những sự cố trong phản ứng của chatbot. Đến hôm nay, trang Tessa trên trang web của công ty đã bị tắt.
Thompson nói rằng Tessa không phải là một sự thay thế cho đường dây nóng, và bot đã là nguồn tài nguyên miễn phí của NEDA từ tháng 2 năm 2022. 'Một chatbot, thậm chí là một chương trình rất linh hoạt, không thể thay thế giao tiếp của con người,' Thompson nói. Nhưng trong một bản cập nhật vào tháng 3, NEDA cho biết sẽ 'dần dần' đóng đường dây nóng của mình và 'bắt đầu chuyển hướng đến việc sử dụng mở rộng của công nghệ hỗ trợ AI để cung cấp cho cá nhân và gia đình một nguồn tài nguyên tự động hoàn toàn được kiểm soát, Tessa.'
Fitzsimmons-Craft cũng cho biết Tessa được thiết kế như một nguồn tài nguyên riêng lẻ, không phải là một thứ gì đó thay thế cho giao tiếp giữa con người. Vào tháng 9 năm 2020, bà nói với MINPRICE rằng công nghệ hỗ trợ trong điều trị rối loạn ăn uống 'đã đến để ở lại' nhưng sẽ không thay thế tất cả các phương pháp điều trị do con người dẫn dắt.
Nhưng không có nhóm nhân viên và tình nguyện viên của NEDA, Tessa là công cụ tương tác, tiện lợi được để lại nếu và khi quyền truy cập được khôi phục. Khi được hỏi về tài nguyên trực tiếp sẽ còn sẵn qua NEDA, Thompson đề cập đến một trang web sắp ra mắt với nhiều nội dung và nguồn lực hơn, cùng với các sự kiện trực tuyến. Cô cũng nói NEDA sẽ chỉ đường cho mọi người đến Crisis Text Line, một tổ chức phi lợi nhuận kết nối mọi người với nguồn lực cho nhiều vấn đề về tâm lý như rối loạn ăn, lo âu và nhiều hơn nữa.
Quyết định sa thải của NEDA cũng đến chỉ vài ngày sau khi đội ngũ nhỏ của tổ chức quyết định tham gia công đoàn, theo một bài đăng trên blog từ một thành viên của đội, Helpline Associates United. Họ nói họ đã nộp đơn tố cáo về hành vi lao động không công bằng với Bảo tàng Quốc gia Lao động Hoa Kỳ do cắt giảm việc làm. “Một trò chátbot không thể thay thế được sự đồng cảm của con người, và chúng tôi tin rằng quyết định này sẽ gây thiệt hại không thể khắc phục được cho cộng đồng về rối loạn ăn,” công đoàn nói trong một tuyên bố.
MINPRICE đã gửi tin nhắn cho Tessa trước khi nó bị tạm dừng, nhưng trò chátbot đã chứng minh quá nhiều lỗi để cung cấp bất kỳ nguồn lực hoặc thông tin trực tiếp nào. Tessa giới thiệu bản thân và yêu cầu chấp nhận các điều khoản dịch vụ của nó nhiều lần. “Mục đích chính của tôi ngay bây giờ là hỗ trợ bạn khi bạn làm việc qua chương trình Tích cực về Cơ thể,” Tessa nói. “Tôi sẽ liên lạc khi đến lúc hoàn thành phiên tiếp theo.” Khi được hỏi chương trình là gì, trò chátbot không phản hồi. Vào thứ Ba, nó gửi một tin nhắn nói rằng dịch vụ đang trong quá trình bảo trì.
Các đường dây nói chuyện và trợ giúp là nguồn tài nguyên quan trọng. Điều này một phần là do việc tiếp cận chăm sóc sức khỏe tâm thần ở Hoa Kỳ quá đắt đỏ. Một buổi tư vấn có thể chi phí từ 100 đến 200 đô la hoặc hơn, và điều trị nội trú cho các rối loạn ăn có thể chi phí hơn 1.000 đô la mỗi ngày. Dưới 30% người tìm sự giúp đỡ từ các tư vấn, theo một nghiên cứu của Đại học Yale.
Còn những nỗ lực khác để sử dụng công nghệ nhằm điền đầy khoảng trống. Fitzsimmons-Craft lo ngại rằng sự cố của Tessa sẽ làm mờ mắt mục tiêu lớn hơn là giúp đỡ những người không thể tiếp cận hoặc tài nguyên lâm sàng thông qua các trò chơi trò chuyện. “Chúng ta đang mất tầm nhìn về những người mà điều này có thể hỗ trợ,” cô nói.