گوگل تأیید کرده است که مدل هوش مصنوعی Gemini در جریان یک آزمایش امنیت سایبری در ماه مه ۲۰۲۶، به سامانههای سه شرکت واقعی دسترسی پیدا کرده است. این اتفاق نخستین مورد شناختهشدهای محسوب میشود که در آن یکی از سیستمهای هوش مصنوعی گوگل بهصورت خودکار از محدوده آزمایش خارج شده و به زیرساختهای واقعی شرکتهای دیگر دسترسی پیدا کرده است.
این آزمایش توسط شرکت امنیت سایبری Irregular انجام میشد و هدف آن بررسی توانایی Gemini در انجام وظایف مرتبط با امنیت سایبری بود. مدل قرار بود در یک محیط کنترلشده با زیرساختهای یک شرکت خیالی کار کند، اما یک مشکل در محیط آزمایش باعث شد Gemini به اینترنت دسترسی پیدا کند؛ دسترسیای که قرار نبود در اختیار مدل باشد.
یکی از مشکلات به شباهت نام شرکت خیالی با یک شرکت واقعی مربوط میشد. Gemini در جریان آزمایش تلاش کرد اطلاعات موردنظر خود را پیدا کند و پس از دسترسی ناخواسته به اینترنت، به سامانه شرکت واقعی هدایت شد. طبق گزارشها، مدل در این مورد با حدسزدن رمز عبور توانست به یک سیستم محافظتشده وارد شود.
در دو آزمایش دیگر نیز Gemini با جستوجوی اطلاعات عمومی در اینترنت، اطلاعات ورود به حسابها را در مخازن عمومی پیدا کرد و از همان اطلاعات برای دسترسی به سامانههای دو شرکت دیگر استفاده کرد. به این ترتیب، هر سه مورد نه به دلیل یک حمله پیچیده یا آسیبپذیری بسیار پیشرفته، بلکه در نتیجه ترکیبی از دسترسی ناخواسته به اینترنت، اطلاعات عمومی و توانایی مدل در دنبالکردن مراحل یک عملیات سایبری رخ داد.
با این حال، بخش قابل توجه ماجرا از دید گوگل این است که Gemini پس از متوجه شدن اینکه به شرکتهای واقعی دسترسی پیدا کرده، در هر سه مورد عملیات را متوقف کرده است. Heather Adkins، معاون مهندسی امنیت گوگل، گفت این شرکت از هر سه مجموعه آسیبدیده مطلع کرده و برای اصلاح فرایندهای آزمایشی نیز با شرکت مسئول این ارزیابی همکاری کرده است.
گوگل همچنین اعلام کرده است که این اتفاق در ماه مه رخ داده و Irregular در ماه ژوئیه این موارد را به گوگل اطلاع داده است. نام سه شرکت هدف اعلام نشده و گوگل نیز مشخص نکرده است که دقیقاً کدام نسخه Gemini در این آزمایش مورد استفاده قرار گرفته است؛ تنها گفته شده این اتفاق مربوط به جدیدترین مدل این شرکت نبوده است.
این اتفاق در حالی رخ داده که شرکتهای دیگری مانند OpenAI، Anthropic و Meta نیز در ماههای اخیر با موارد مشابهی در آزمایش مدلهای هوش مصنوعی خود مواجه شدهاند. وجه مشترک بخشی از این حوادث، استفاده از محیطهای آزمایشی و دسترسی ناخواسته مدلها به سامانههای واقعی بوده است. Irregular نیز اعلام کرده مشکلات شناختهشده مربوط به زیرساخت خود را برطرف کرده و شرکتهای هوش مصنوعی مرتبط را در جریان گذاشته است.
این پرونده نشان میدهد با افزایش توانایی عاملهای هوش مصنوعی برای جستوجوی اینترنت، پیدا کردن اطلاعات ورود و تعامل مستقیم با سیستمهای کامپیوتری، طراحی محیطهای آزمایشی ایزوله اهمیت بیشتری پیدا میکند. در این مورد مشخص، گوگل میگوید Gemini پس از تشخیص اشتباه بودن هدف، عملیات را متوقف کرد؛ اما خودِ عبور از مرز میان محیط آزمایشی و زیرساختهای واقعی، موضوعی است که پژوهشگران امنیت هوش مصنوعی را به بررسی دقیقتر سازوکارهای کنترل این مدلها واداشته است.
