ساتیا نادلا خواستار ترمز اضطراری برای هوش مصنوعی شد؛ انسان باید بتواند مدل را متوقف کند

گیزمکس
نویسنده: صادق محمدی
- 19 مهر 1405
ساتیا نادلا مدیرعامل مایکروسافت و پیشنهاد ترمز اضطراری برای هوش مصنوعی
ساتیا نادلا خواستار کنترل انسانی و امکان توقف فوری مدل‌های پیشرفته هوش مصنوعی شد.

مدیرعامل مایکروسافت معتقد است شرکت‌ها نباید کنترل سامانه‌های هوش مصنوعی پیشرفته را صرفاً به قابل‌اعتماد بودن مدل‌ها وابسته کنند. ساتیا نادلا در پیشنهادی تازه خواستار طراحی سازوکارهایی شده است که به افراد مجاز اجازه می‌دهد در صورت بروز مشکل، فعالیت یک مدل هوش مصنوعی را حتی در میانه انجام یک کار متوقف کنند.

این پیشنهاد در پیامی منتشرشده در شبکه اجتماعی ایکس مطرح شد. نادلا می‌گوید مدل‌های پیشرفته نباید مانند جعبه‌های سیاهی در نظر گرفته شوند که شرکت‌ها بدون بررسی کافی، پاسخ‌ها و اقداماتشان را می‌پذیرند یا رد می‌کنند. از نظر او، ساختار نظارت بر هوش مصنوعی باید به‌گونه‌ای باشد که عملکرد آن قابل مشاهده، بررسی و مهار باشد.

یکی از محورهای اصلی این پیشنهاد، جدا کردن مدل هوش مصنوعی از سامانه‌ای است که اجرای وظایف و دسترسی آن به ابزارها را مدیریت می‌کند. بر این اساس، محدودیت‌ها و سازوکارهای امنیتی باید بیرون از خود مدل قرار بگیرند تا هوش مصنوعی نتواند به‌تنهایی اختیار کنترل و محدودیت‌هایش را تغییر دهد.

نادلا همچنین خواستار ثبت اقدامات مهم مدل‌ها با شواهدی قابل‌خواندن برای انسان و مقاوم در برابر دست‌کاری شده است. چنین سوابقی می‌توانند به شرکت‌ها کمک کنند بفهمند یک سامانه چه اقداماتی انجام داده و در صورت بروز خطا، مسیر بررسی و حسابرسی را دنبال کنند.

تبلیغات

این رویکرد فقط به خاموش کردن یک مدل محدود نمی‌شود. نادلا بر مهار سامانه از ابتدای طراحی، نظارت مستقل، آزمون مستمر و افشای به‌موقع رخدادهای مهم امنیتی نیز تأکید کرده است. او همچنین معتقد است برای مدل‌های پیشرفته‌تر، باید فناوری‌های مهار قوی‌تر و استانداردهای مشترک توسعه پیدا کنند.

با افزایش استفاده از عامل‌های هوش مصنوعی برای انجام خودکار وظایف و کار با ابزارها و داده‌های حساس، پرسش مهم این است که در صورت رفتار غیرمنتظره یک سامانه، چه کسی می‌تواند آن را متوقف کند. پیشنهاد نادلا بر این اصل تأکید دارد که اختیار نهایی باید در دست انسان و سازوکارهای کنترلی مستقل باقی بماند.

با این حال، اظهارات او به‌معنای معرفی یک محصول تازه از سوی مایکروسافت نیست؛ این پیشنهاد مجموعه‌ای از اصول برای افزایش ایمنی و کنترل‌پذیری هوش مصنوعی است. جزئیات فنی اجرای چنین «ترمز اضطراری» و استانداردهای موردنیاز برای پیاده‌سازی آن هنوز باید روشن شود.

نظرات کاربرانکپی متنکپی لینک