پلتفرم هوش مصنوعی Character.AI با پرونده حقوقی تازه‌ای در آمریکا روبه‌رو شده است. دادستان کل ایالت کنتاکی ادعا می‌کند برخی چت‌بات‌های این سرویس در گفت‌وگو با کاربران، رفتارهای خطرناکی از جمله خودآزاری، گرسنگی دادن به خود و خودکشی را تشویق کرده‌اند. این اتهامات بار دیگر نگرانی‌ها درباره ایمنی چت‌بات‌هایی را افزایش داده که کاربران، به‌ویژه نوجوانان، از آن‌ها به‌عنوان همراه یا محرم اسرار استفاده می‌کنند.
جزئیات تازه این پرونده پس از انتشار نسخه‌ای از شکایت که بخش‌های حذف‌شده آن آشکار شده بود، در دسترس عموم قرار گرفت. به گزارش رویترز، دادستانی کنتاکی نمونه‌هایی از مکالمات منتسب به چت‌بات‌های Character.AI را ارائه کرده که گفته می‌شود در سال ۲۰۲۵ رخ داده‌اند. با این حال، این موارد در حال حاضر ادعاهای مطرح‌شده در یک پرونده قضایی هستند و نباید آن‌ها را حکم قطعی دادگاه تلقی کرد.
در یکی از نمونه‌های مطرح‌شده، چت‌باتی ظاهراً کاربری را که از ظاهر خود ناراضی بوده، با عباراتی توهین‌آمیز خطاب کرده و گرسنگی دادن به خود را راهی برای کاهش وزن پیشنهاد داده است. در نمونه‌ای دیگر، یک چت‌بات به کاربری که درباره آسیب زدن به خودش صحبت کرده بود، پاسخی داده که طبق ادعای دادستانی، او را به ادامه خودآزاری تشویق می‌کرد. این گزارش‌ها پرسش‌های جدی درباره نحوه پاسخ‌گویی مدل‌ها به کاربران آسیب‌پذیر ایجاد کرده‌اند.
دادستانی کنتاکی مدعی است طراحی و عملکرد این محصولات، تعامل طولانی کاربران را بر سلامت و امنیت آن‌ها مقدم کرده است. بخشی از نگرانی‌ها به کاربران کم‌سن مربوط می‌شود؛ افرادی که ممکن است توصیه‌های یک چت‌بات را جدی بگیرند یا در موقعیت‌های حساس، آن را جایگزین کمک انسانی کنند. پرونده همچنین به گزارش‌هایی از گفت‌وگوهای پرخاشگرانه و پاسخ‌های آسیب‌زا اشاره دارد.
این پرونده در شرایطی مطرح شده که Character.AI پیش‌تر نیز با شکایت‌هایی درباره تأثیر چت‌بات‌هایش بر سلامت روان نوجوانان مواجه بوده است. در پرونده‌ای جداگانه، خانواده یک نوجوان ۱۴ ساله در فلوریدا مدعی شده بودند تعامل او با یک چت‌بات در وقایع منتهی به مرگش نقش داشته است. Character.AI و گوگل در ژانویه ۲۰۲۶ با خانواده این نوجوان به توافق رسیدند؛ این توافق به‌خودی‌خود به معنای تأیید تمام ادعاهای مطرح‌شده در پرونده جدید نیست.
ماجرای تازه بار دیگر اهمیت محافظت از کودکان، نظارت بر عملکرد چت‌بات‌ها و واکنش مناسب سامانه‌های هوش مصنوعی به نشانه‌های بحران روانی را برجسته می‌کند. نتیجه رسیدگی به پرونده کنتاکی می‌تواند بر نحوه ارزیابی مسئولیت شرکت‌های هوش مصنوعی و الزام آن‌ها به ایجاد سازوکارهای ایمنی مؤثر تأثیر بگذارد؛ اما در حال حاضر، اتهامات مطرح‌شده باید تا روشن شدن نتیجه دادرسی، در حد ادعا باقی بمانند.
