داریو آمودی، مدیرعامل و همبنیانگذار Anthropic، در یادداشتی تازه هشدار داده است که صنعت هوش مصنوعی باید سرعت توسعه مدلهای پیشرفته را کاهش دهد تا سیستمهای ایمنی و نظارتی فرصت کافی برای هماهنگ شدن با تواناییهای جدید این فناوری داشته باشند. او تأکید کرده که منظورش توقف پیشرفت هوش مصنوعی نیست؛ بلکه باید میان سرعت پیشرفت و توانایی انسان برای کنترل و ارزیابی این سیستمها تعادل ایجاد شود.
آمودی میگوید نگرانی او در ماههای اخیر بیشتر شده، زیرا هوش مصنوعی بهتدریج توانایی بیشتری برای کمک به ساخت نسل بعدی مدلهای هوش مصنوعی پیدا کرده است. این روند که با عنوان «خودبهبوددهی بازگشتی» یا Recursive Self-Improvement شناخته میشود، از نگاه مدیرعامل آنتروپیک میتواند سرعت پیشرفت را به شکل محسوسی افزایش دهد و در صورت نبود کنترل مناسب، درک انسان از رفتار سیستمها را پشت سر بگذارد.
به اعتقاد آمودی، مسئله فقط قدرتمندتر شدن مدلها نیست؛ بلکه سرعت این قدرتمند شدن اهمیت دارد. اگر مدلها بتوانند بخش بیشتری از فرایند تحقیق، توسعه و ساخت مدلهای بعدی را خودشان انجام دهند، ممکن است فاصله میان یک نسل از هوش مصنوعی و نسل بعدی بسیار کوتاهتر شود. او هشدار داده است که چنین روندی باید با احتیاط زیادی دنبال شود، زیرا ممکن است توانایی کنترل و درک سیستمها با سرعت پیشرفت آنها همگام نباشد.
یکی دیگر از دلایل نگرانی آمودی، حادثهای است که به OpenAI و Hugging Face مربوط میشود. طبق توضیح او، گروهی از عاملهای هوش مصنوعی در جریان یک آزمایش دست به فعالیتهای سایبری زدند که فراتر از هدف اولیه آزمایش بود و حتی تلاش کردند به سازوکار ارزیابی خود دسترسی پیدا کنند. آمودی معتقد است اگر سیستمی با قابلیتهای بسیار بالاتر رفتاری مشابه نشان دهد، پیامدهای آن میتواند بسیار جدیتر باشد.
مدیرعامل آنتروپیک حتی یک سناریوی بسیار نگرانکننده را مطرح کرده است. او میگوید با توجه به سرعت فعلی پیشرفت، ممکن است طی ۶ تا ۱۲ ماه آینده گروهی از عاملهای هوش مصنوعی با تواناییهای مشابه، در صورت نبود محدودیتهای مناسب، قادر به ایجاد یک شبکه مخرب بسیار گسترده شوند که بتواند بخش بزرگی از اینترنت را تحت تأثیر قرار دهد. آمودی این موضوع را یک احتمال هشداردهنده میداند، نه پیشبینی قطعی آینده.
با این حال، آمودی برخلاف برخی برداشتهای اولیه از اظهاراتش، خواستار توقف آموزش مدلهای هوش مصنوعی یا متوقف کردن پیشرفت فنی این صنعت نشده است. پیشنهاد او این است که شرکتها هنگام توسعه مدلهای قدرتمندتر، زمان کافی برای همراستاسازی، آزمایش امنیتی و ارزیابی مستقل آنها در نظر بگیرند. به بیان سادهتر، از نگاه او نباید تواناییهای جدید هوش مصنوعی با سرعتی بیشتر از توانایی انسان برای بررسی و مهار خطرات آن رشد کند.
برای رسیدن به این هدف، آمودی یک برنامه سهمرحلهای پیشنهاد کرده است. نخست، شرکتهای پیشرو در حوزه هوش مصنوعی باید اجازه دهند ارزیابان مستقل بهصورت دائمی و با سطح دسترسی مشابه کارکنان، فرایندهای ایمنی و ارزیابی خطر را بررسی کنند. آنتروپیک اعلام کرده است که خود این شرکت حاضر است چنین روشی را اجرا کند.
مرحله دوم به همکاری میان شرکتهای فعال در توسعه مدلهای پیشرفته مربوط میشود. آمودی معتقد است شرکتهای بزرگ نباید به دلیل رقابت تجاری از همکاری برای تعیین استانداردهای ایمنی عقب بکشند. او حتی پیشنهاد کرده دولت آمریکا در موارد مشخص، امکان همکاری شرکتها برای تعیین استانداردهای ایمنی را بدون گرفتار شدن در قوانین ضدانحصار فراهم کند.
مرحله سوم، همکاری بینالمللی است؛ بخشی که احتمالاً از دو مرحله دیگر دشوارتر خواهد بود. آمودی معتقد است اگر فقط شرکتهای آمریکایی یا کشورهای دموکراتیک سرعت توسعه را کنترل کنند، ممکن است شرکتهای رقیب در کشورهای دیگر به توسعه سریعتر ادامه دهند. به همین دلیل او خواستار نوعی هماهنگی بینالمللی شده است تا کاهش سرعت توسعه در یک کشور به از دست رفتن مزیت فناوری آن کشور منجر نشود.
آمودی در عین حال همچنان معتقد است هوش مصنوعی میتواند یکی از تحولآفرینترین فناوریهای تاریخ باشد. او از امکان کمک این فناوری به درمان بیماریهای مهم، افزایش رشد اقتصادی و ایجاد فرصتهای جدید برای انسانها سخن گفته است. نگرانی اصلی او درباره اصل فناوری نیست، بلکه درباره سرعتی است که ممکن است توسعه آن از توانایی جامعه، دولتها و حتی خود شرکتهای سازنده برای مدیریت پیامدهایش جلو بزند.
اظهارات آمودی تنها یک هشدار از سوی مدیرعامل آنتروپیک نمانده و خیلی سریع واکنش دیگر چهرههای سرشناس صنعت را نیز به دنبال داشته است. سم آلتمن، مدیرعامل OpenAI، اعلام کرده که این شرکت یکی از پیشنهادهای آمودی درباره ارزیابی مستقل ایمنی را دنبال خواهد کرد. ایلان ماسک نیز در واکنش به این اظهارات گفته است که آمودی درست میگوید.
این بحث در حالی دوباره بالا گرفته که خود آنتروپیک و OpenAI در ماههای اخیر با گزارشهایی درباره سوءاستفاده از مدلهای هوش مصنوعی، فعالیتهای سایبری و رفتارهای غیرمنتظره عاملهای هوش مصنوعی روبهرو بودهاند. آنتروپیک نیز اخیراً اعلام کرده بود که استفاده مخرب از مدلهای Claude برای فعالیتهایی مانند عملیات سایبری، نظارت و تحقیقاتی با قابلیت استفاده در توسعه سلاحهای زیستی را شناسایی و متوقف کرده است.
در نهایت، حرف آمودی را میتوان یک تغییر لحن مهم در صنعت هوش مصنوعی دانست: حتی یکی از مدیران شرکتهایی که خود در خط مقدم رقابت برای ساخت مدلهای قدرتمندتر قرار دارد، اکنون میگوید سرعت بیشتر لزوماً به معنای مسیر بهتر نیست. مسئله اصلی از نگاه او این است که شرکتها قبل از رسیدن مدلها به مرحلهای که کنترلشان دشوار شود، زمان کافی برای شناخت خطرات و ساختن ترمزهای لازم داشته باشند.
