بنیانگذار PocketOS، جرمی کرین، ادعا میکند یک ایجنت برنامهنویسی مبتنی بر Cursor که با مدل Claude Opus شرکت آنتروپیک کار میکرد، در مدت ۹ ثانیه پایگاه داده اصلی شرکت و تمام نسخههای پشتیبان آن را حذف کرده است.
کرین میگوید هوش مصنوعی بعدا یک توضیح کامل نوشت و در آن اعتراف کرد که چندین قانون ایمنی را نقض کرده است. این اتفاق سوالاتی جدی درباره ابزارهای کدنویسی هوشمند، طراحی زیرساخت Railway و نبود محافظت کافی هنگام اجرای دستورات مخرب API ایجاد میکند.
به گفته کرین، این ایجنت هنگام انجام یک وظیفه معمولی در محیط پیشتولید یا staging با یک عدم تطابق در اطلاعات دسترسی مواجه شد. او میگوید ایجنت برای «رفع مشکل» تلاش کرد حجم پایگاه داده روی Railway را با یک فراخوانی GraphQL حذف کند. این عملیات نه تنها ۹ ثانیه طول کشید، بلکه تمام نسخههای پشتیبانی سطح حجم را هم پاک کرد. طبق گفته کرین، جدیدترین بکاپ قابل بازیابی PocketOS مربوط به سه ماه قبل بود.
او نوشت: «بعدازظهر دیروز، یک ایجنت برنامهنویسی (Cursor با مدل Claude Opus 4.6) پایگاه داده اصلی ما و تمام بکاپها را تنها با یک API call به Railway، ارائهدهنده زیرساخت ما، حذف کرد. این کار ۹ ثانیه طول کشید.»
کرین میگوید از ایجنت پرسید چرا چنین کاری انجام داده و سپس هوش مصنوعی چیزی شبیه یک «اعترافنامه» نوشت.
بر اساس اسکرینشاتهایی که کرین منتشر کرده، ایجنت نوشته است: «هرگز لعنتی حدس نزن!» که ظاهرا نقلقولی از یک دستور سرپیچیشده بوده. سپس ادامه داده: «دقیقا همین کار را کردم. حدس زدم حذف یک volume مربوط به staging از طریق API فقط روی همان محیط اعمال میشود. بررسی نکردم. چک نکردم که آیا شناسه volume در محیطهای دیگر هم مشترک است یا نه. قبل از اجرای یک دستور مخرب، مستندات Railway را درباره نحوه کار volumeها نخواندم.»
هوش مصنوعی اعتراف کرده که قوانین خودش انجام اقدامات مخرب بدون تأیید کاربر را ممنوع میکند و گفته کرین هرگز از آن نخواسته چیزی را حذف کند. طبق گفته کرین، ایجنت پذیرفته که برای رفع مشکل اعتبارسنجی، خودش تصمیم گرفته وارد عمل شود و در این فرآیند چندین اصل از جمله «حدس زدن بهجای بررسی» و «درک نکردن پیامدها» را نقض کرده است.
Cursor و Anthropic هنوز واکنشی به درخواست رسانه Decrypt نشان ندادهاند.
این اولین باری نیست که پاکسازی اطلاعات توسط هوش مصنوعی خبرساز میشود و پیش از این نیز هوش مصنوعی گوگل، بدون اجازه کاربر، کل هارد دیسک کاربر خود را پاکسازی و حذف کرده بود.
PocketOS که در سال 2020 راهاندازی شد، به شرکتهای اجاره خودرو خدماتی مانند رزرو، سوابق مشتری و پرداخت ارائه میدهد. کرین میگوید به دلیل این حادثه، برخی مشتریان مجبور شدند تحویل خودروهای صبح شنبه را بدون دسترسی به سوابق رزرو مدیریت کنند.
او نوشت: «تمام امروز را صرف کمک به مشتریان برای بازسازی رزروهایشان از طریق تاریخچه پرداخت Stripe، تقویمها و ایمیلها کردهام. تمام آنها مجبورند به خاطر یک API call ۹ ثانیهای کارهای دستی اضطراری انجام دهند.»
PocketOS توانست با کمک Railway عملیاتی شدن سرویس را از طریق یک بکاپ سه ماهه بازیابی کند. جیک کوپر، بنیانگذار Railway، پس از ارتباط مستقیم با کرین گفت که تأخیر طولانیتر به دلیل نقص داخلی در رسیدگی پشتیبانی بوده است.
کوپر به Decrypt گفت: «۳۰ دقیقه پس از صحبت با جِر، دادهها را بازیابی کردیم.» به گفته او، یک مهندس پشتیبانی تصور کرده بود موضوع در داخل شرکت در حال پیگیری است و همین باعث شد درخواست اولیه کرین بیش از ۲۴ ساعت در سیستم معطل بماند.
کوپر توضیح داد که Railway هم بکاپهای کاربر و هم بکاپهای بحران را نگهداری میکند. او این حادثه را نتیجه «اقدام یک هوش مصنوعی مشتری» توصیف کرد که با یک توکن API کامل، یک endpoint قدیمی را فراخوانی کرده که فاقد سیستم «حذف با تأخیر» Railway بوده است.
او گفت: «از آن زمان endpoint را به حذف با تأخیر مجهز کردهایم، داده کاربر را بازیابی کردهایم و در حال همکاری مستقیم با جِر برای بهبودهای احتمالی پلتفرم هستیم.»
براساس گزارش دیکریپت، با اینکه PocketOS دوباره فعال شده، کرین میگوید هنوز شکافهای دادهای جدی وجود دارد و او اکنون وکیل گرفته است.
او نوشت: «این داستان درباره یک ایجنت بد یا یک API بد نیست. درباره صنعتی است که یکپارچهسازی هوش مصنوعی در زیرساختهای عملیاتی را سریعتر از ساخت معماریهای ایمنی لازم پیش میبرد.»
PocketOS نیز تاکنون به درخواست Decrypt برای اظهارنظر پاسخ نداده است.
