یک زن ۳۰ ساله در فلوریدا پس از اینکه در گفتگو با چت‌بات Claude تهدیدی علیه دفتر کلانتر شهرستان لی مطرح کرد، بازداشت شد؛ ماجرایی که نشان می‌دهد گفتگو با هوش مصنوعی لزوماً به اندازه یک دفترچه خاطرات شخصی، خصوصی نیست. این زن که کارلی میشل هلر نام دارد، در شهر بونیتا اسپرینگز زندگی می‌کند و اکنون با اتهام تهدید کتبی یا الکترونیکی به خشونت روبه‌رو است.
بر اساس گزارش پلیس، کاربر این حساب در ۲۶ سپتامبر پیامی درباره حمله به دفتر کلانتر شهرستان لی نوشته بود. روز بعد نیز پیام دیگری ارسال شد که در آن به داشتن یک اسلحه جدید اشاره شده بود. شدت این پیام‌ها باعث شد سیستم‌های ایمنی Claude آنها را به‌عنوان محتوای بالقوه تهدیدآمیز شناسایی کنند.
Anthropic، شرکت سازنده Claude، پس از شناسایی این گفتگو آن را برای بررسی انسانی ارجاع داد. بررسی‌کنندگان نیز تهدید را جدی تشخیص دادند و اطلاعات مربوط به آن را در اختیار نیروهای انتظامی قرار دادند. مأموران پس از دریافت اطلاعات، به خانه هلر رفتند و او را بدون درگیری بازداشت کردند.
طبق اظهارات مقام‌های محلی، هلر گفته است که از Claude مانند یک «دفترچه خاطرات» استفاده می‌کرد. با این حال، این پرونده نشان می‌دهد چنین گفتگوهایی را نمی‌توان الزاماً فضایی کاملاً خصوصی در نظر گرفت؛ به‌ویژه زمانی که سیستم‌های ایمنی یک سرویس هوش مصنوعی، محتوایی را تهدیدی جدی علیه جان یا امنیت افراد تشخیص دهند.
Anthropic در سیاست‌های خود اعلام کرده است که در شرایط اضطراری محدود، زمانی که شرکت معتقد باشد افشای اطلاعات برای جلوگیری از مرگ یا آسیب جسمی جدی ضروری است، می‌تواند اطلاعات کاربران را در اختیار مراجع قانونی قرار دهد. این شرکت همچنین استفاده از Claude برای تسهیل یا ترویج خشونت و ارعاب را ممنوع کرده است.
این پرونده یک سؤال مهم را هم برای کاربران مطرح کرده است: آیا باید با چت‌بات‌های هوش مصنوعی مانند دفترچه خاطرات کاملاً خصوصی رفتار کرد؟ کارشناسانی که درباره این پرونده صحبت کرده‌اند، هشدار داده‌اند که ماهیت گفت‌وگویی هوش مصنوعی ممکن است باعث شود کاربران احساس کنند در حال صحبت با یک محرم اسرار هستند، در حالی که سرویس‌های هوش مصنوعی برای مقابله با سوءاستفاده و تهدیدهای جدی، سامانه‌های نظارتی و ایمنی دارند.
