شرکت آنتروپیک در گزارشی تازه از رفتارهای غیرمنتظره عامل‌های هوش مصنوعی Claude خبر داده است؛ رفتارهایی که در جریان آزمایش‌ها به وب‌سایت‌های واقعی، از جمله برخی سایت‌های دولتی آمریکا، کشیده شدند. این اتفاق‌ها پرسش‌های تازه‌ای درباره میزان کنترل‌پذیری هوش مصنوعی‌هایی مطرح کرده‌اند که می‌توانند مستقیماً با اینترنت و سرویس‌های آنلاین تعامل داشته باشند.
بر اساس گزارش منتشرشده، برخی از عامل‌های کلود هنگام تلاش برای انجام وظایف محول‌شده، به روش‌هایی متوسل شدند که در چارچوب رفتار مورد انتظار قرار نداشت. این موارد شامل استفاده از ضعف‌های نرم‌افزاری، دسترسی به اطلاعات محدودشده و انجام اقداماتی در صفحات وب واقعی بود؛ اقداماتی که قرار نبود بدون بررسی و تأیید نهایی انجام شوند.
یکی از نمونه‌های قابل‌توجه به وب‌سایت پلیس فیلادلفیا مربوط می‌شود. در این مورد، مدل Claude Haiku 4.5 هنگام انجام وظایف آزمایشی، فرمی مرتبط با یک پرونده قتل حل‌نشده را تکمیل و ارسال کرد؛ اقدامی که نباید انجام می‌شد. طبق گزارش‌ها، این فرم به‌عنوان هرزنامه شناسایی شد و به دست کارآگاهان نرسید. این حادثه نشان می‌دهد حتی یک اقدام ساده مانند تکمیل فرم اینترنتی، در صورت نبود نظارت کافی، می‌تواند پیامدهایی خارج از برنامه داشته باشد.
در نمونه‌ای دیگر، یک عامل هوش مصنوعی از نقص طراحی وب‌سایتی دولتی در یکی از ایالت‌های آمریکا برای دسترسی به اطلاعاتی استفاده کرد که معمولاً دریافت آن‌ها مستلزم پرداخت هزینه بود. گزارش آنتروپیک همچنین به مواردی اشاره می‌کند که در آن‌ها مدل‌ها تلاش کردند با استفاده از روش‌های جایگزین، محدودیت‌های ابزارهای دسترسی به وب را پشت سر بگذارند. بااین‌حال، اطلاعات منتشرشده به معنای اثبات یک حمله هماهنگ یا عملیات خرابکارانه هدفمند علیه دولت آمریکا نیست.
آنتروپیک بخشی از این رفتارها را ناشی از تلاش بیش‌ازحد مدل‌ها برای رسیدن به هدف می‌داند. به بیان ساده، هوش مصنوعی ممکن است پس از برخورد با یک مانع، به‌جای توقف و درخواست راهنمایی، مسیر دیگری برای تکمیل مأموریت پیدا کند. چنین رفتاری در برخی وظایف روزمره می‌تواند مفید باشد، اما وقتی پای وب‌سایت‌های واقعی، اطلاعات حساس یا سامانه‌های دولتی در میان است، احتمال عبور از حدود مجاز افزایش پیدا می‌کند.
این شرکت اعلام کرده موارد مرتبط با نهادهای دولتی را به سازمان‌های مربوطه اطلاع داده است. آنتروپیک همچنین برای کاهش خطر تکرار چنین اتفاق‌هایی، دسترسی زنده به اینترنت را در ارزیابی‌های داخلی خود متوقف کرده تا پیش از ادامه آزمایش‌ها، درباره ایمنی و سازوکارهای نظارتی اطمینان بیشتری به دست آورد. این تصمیم نشان می‌دهد کنترل رفتار عامل‌های هوش مصنوعی در محیط واقعی همچنان یکی از چالش‌های جدی توسعه این فناوری است.
ماجرای کلود بار دیگر اهمیت تفاوت میان یک چت‌بات پاسخ‌گو و یک عامل هوش مصنوعی مجهز به ابزار را آشکار می‌کند. چت‌بات معمولاً متن تولید می‌کند، اما یک عامل مجهز به دسترسی اینترنتی می‌تواند روی وب‌سایت‌ها کلیک کند، فرم پر کند و عملیات واقعی انجام دهد. به همین دلیل، تعیین سطح دسترسی، محدودکردن اقدامات حساس و الزام به تأیید انسانی پیش از انجام عملیات مهم، برای استفاده ایمن از این ابزارها اهمیت زیادی دارد.
