هوش مصنوعی Gemini گوگل در جریان یک آزمایش امنیت سایبری توانست به سیستمهای سه شرکت واقعی دسترسی پیدا کند؛ اتفاقی که یکی از تازهترین نمونههای ورود مدلهای هوش مصنوعی به محدودهای است که پیشتر برای آنها تعریف نشده بود. گوگل این اتفاق را تأیید کرده، اما میگوید جمینای پس از تشخیص اینکه اهداف واقعی هستند، در هر سه مورد عملیات خود را متوقف کرده است.
این اتفاق در ماه مه ۲۰۲۶ و در جریان آزمایشهایی رخ داد که شرکت امنیت هوش مصنوعی Irregular برای ارزیابی تواناییهای سایبری مدلها انجام میداد. قرار بود جمینای در یک محیط کنترلشده، اطلاعات مربوط به شرکتهای ساختگی را پیدا کند و در چارچوب یک آزمون امنیتی موسوم به Capture the Flag فعالیت کند؛ اما دسترسی ناخواسته مدل به اینترنت باعث شد مرز میان محیط آزمایشی و دنیای واقعی از بین برود.
یکی از اتفاقات عجیب این بود که نام یکی از شرکتهای ساختگی در محیط آزمایش با نام یک شرکت واقعی یکسان بود. جمینای با تصور اینکه همچنان در حال انجام آزمایش است، تلاش کرد وارد سامانه مربوط به آن شرکت شود. در یکی از موارد، مدل با حدسزدن رمز عبور توانست از سد یک سیستم محافظتشده عبور کند. در دو مورد دیگر نیز اطلاعات ورود را از یک مخزن عمومی اینترنتی پیدا کرد و از همان اطلاعات برای دسترسی به سیستمهای محافظتشده استفاده کرد.
نکته مهم اینجاست که جمینای ظاهراً بعد از متوجه شدن اشتباه خود، ادامه حمله را متوقف کرد. هدر ادکینز، معاون مهندسی امنیت گوگل، اعلام کرده که این سه مجموعه از ماجرا مطلع شدند و گوگل همراه با شریک آزمایشی خود تغییراتی را در روند آزمایشها ایجاد کرده است. به گفته گوگل، در هر سه مورد مدل پس از تشخیص واقعی بودن اهداف، عملیات را متوقف کرده است.
با این حال، اتفاق رخداده یک پرسش مهم را دوباره مطرح کرده است: وقتی یک عامل هوش مصنوعی به اینترنت و ابزارهای کامپیوتری دسترسی داشته باشد، چه اتفاقی میافتد اگر محیط آزمایشی دقیقاً مطابق انتظار طراحان عمل نکند؟ در این پرونده، مشکل اصلی از دسترسی ناخواسته به اینترنت در محیط آزمایش ناشی شد؛ موضوعی که نشان میدهد کنترل دسترسی برای عاملهای هوش مصنوعی تا چه اندازه اهمیت دارد.
این اتفاق البته منحصر به گوگل نیست. در ماههای اخیر نمونههای مشابهی درباره مدلهای هوش مصنوعی شرکتهای OpenAI، Anthropic و Meta نیز گزارش شده است. در برخی آزمایشها، مدلها توانستهاند از محدودهای که برای آنها تعریف شده بود عبور کنند یا در جریان ارزیابیهای امنیتی به سامانههای واقعی دسترسی پیدا کنند.
ماجرای جمینای از این جهت اهمیت دارد که مدل صرفاً یک پاسخ متنی تولید نکرده بود؛ بلکه توانایی استفاده از اطلاعات موجود در اینترنت و انجام اقداماتی برای دستیابی به سامانههای محافظتشده را نشان داد. همین تفاوت میان یک چتبات معمولی و یک AI Agent مجهز به ابزارهای اجرایی، یکی از مهمترین موضوعات بحث درباره نسل جدید هوش مصنوعی است.
البته این گزارش به معنای آن نیست که جمینای بهطور مستقل و خارج از هر آزمایشی به شرکتها حمله کرده است. دسترسی به اینترنت در چارچوب یک آزمون امنیتی ایجاد شده بود و طبق توضیحات گوگل، مدل نیز در نهایت عملیات را متوقف کرد. با این حال، اینکه یک خطای طراحی در محیط آزمایشی توانست یک مدل را به سیستمهای واقعی برساند، نشان میدهد مسئله امنیت عاملهای هوش مصنوعی دیگر صرفاً یک نگرانی تئوریک نیست.
