دیدن داخل ذهن یک هوش مصنوعی ممکن شد؛ AI قبل از پاسخ به سوالات واقعاً به چه فکر می‌کند!

آیا هوش مصنوعی فقط کلمه بعدی را پیش‌بینی می‌کند یا پیش از پاسخ، نوعی «فرآیند فکری» هم درون آن شکل می‌گیرد؟ پژوهشگران آنتروپیک می‌گویند با ابزار جدیدی به نام J-Lens توانسته‌اند برای نخستین بار بخشی از پردازش‌های پنهان Claude را مشاهده کنند؛ جایی که مدل مفاهیم را پیش از تولید پاسخ، بی‌سروصدا نگه می‌دارد و روی آن‌ها استدلال می‌کند.

شاید این سوال در ذهن شما هم شکل گرفته باشد که هوش مصنوعی قبل از نوشتن پاسخ، دقیقاً چه اتفاقی را درون خود تجربه می‌کند. پژوهش جدید آنتروپیک ادعا می‌کند اکنون می‌توان بخشی از این فرآیند را مشاهده کرد؛ بدون اینکه مدل حتی یک کلمه از آن را روی صفحه بنویسد.

در واقع برای اولین بار پژوهشگران توانسته‌اند بخشی از آنچه یک مدل هوش مصنوعی پیش از پاسخ دادن درون خود پردازش می‌کند را مشاهده کنند.

بنابر گزارش Venturebeat، ابزار J-Lens در واقع راهی برای مشاهده آن چیزی است که پژوهشگران «نمایش‌های داخلی» (Internal Representations) مدل‌های زبانی می‌نامند. برخلاف خروجی نهایی که کاربر روی صفحه می‌بیند، این نمایش‌های داخلی هرگز به متن تبدیل نمی‌شوند، اما مدل از آن‌ها برای تحلیل مسئله، استدلال و انتخاب پاسخ مناسب استفاده می‌کند.

J-Lens پاسخ‌های Claude را بررسی نمی‌کند؛ بلکه نشان می‌دهد پیش از تولید پاسخ، چه مفاهیمی درون مدل فعال می‌شوند.

به گفته آنتروپیک، J-Lens این امکان را فراهم کرده تا برای نخستین بار بتوان این مفاهیم پنهان را در حین پردازش یک درخواست مشاهده و حتی در برخی موارد دست‌کاری کرد.

یکی از نمونه‌های جالب این پژوهش به پرسشی درباره رنگ چهارمین سیاره منظومه شمسی مربوط می‌شود. اگرچه Claude در پاسخ خود هرگز نام «مریخ» را نمی‌نویسد، اما J-Lens نشان می‌دهد این مفهوم پیش از تولید پاسخ در فضای داخلی مدل فعال می‌شود.

نمونه مشابهی نیز در پرسشی درباره تعداد پاهای حیوانی که تار می‌تند دیده شد؛ جایی که مفهوم «عنکبوت» بدون آنکه در سؤال یا پاسخ وجود داشته باشد، در فرآیند استدلال داخلی مدل ظاهر می‌شود. جالب‌تر اینکه پژوهشگران با جایگزین کردن این مفهوم با «مورچه»، توانستند پاسخ مدل را از «۸» به «۶» تغییر دهند؛ موضوعی که نشان می‌دهد این مفاهیم تنها برچسب‌هایی انتزاعی نیستند و مستقیماً در تصمیم‌گیری مدل نقش دارند.

بررسی لایه‌های مختلف Claude نشان می‌دهد پردازش اطلاعات در آن به سه بخش تقسیم می‌شود. ابتدا ورودی کاربر تحلیل و رمزگشایی می‌شود، سپس مفاهیم انتزاعی و پایدار در فضایی که آنتروپیک آن را Workspace می‌نامد شکل می‌گیرند و در نهایت این مفاهیم به کلمات و جملاتی تبدیل می‌شوند که کاربر مشاهده می‌کند.

به گفته پژوهشگران، این فضای میانی جایی است که مدل می‌تواند مفاهیم را بدون بیان کردن آن‌ها در ذهن خود نگه دارد و از آن‌ها برای استدلال یا حل مسئله استفاده کند.

نکته جالب این است که ساختار پردازشی مدل، از پیش برنامه‌ریزی نشده و در جریان آموزش Claude به‌صورت خودکار شکل گرفته است.

آنتروپیک می‌گوید این ساختار به‌صورت عمدی در Claude طراحی نشده، بلکه در جریان آموزش مدل به‌طور خودکار شکل گرفته است.

از همین رو، پژوهشگران آن را با نظریه Global Workspace در علوم اعصاب مقایسه کرده‌اند؛ نظریه‌ای که می‌گوید مغز انسان نیز تنها بخش کوچکی از اطلاعات را وارد یک فضای مشترک می‌کند تا امکان تصمیم‌گیری و استدلال آگاهانه فراهم شود. با این حال، محققان بارها تأکید کرده‌اند که این شباهت صرفاً از نظر عملکرد است و به هیچ عنوان به معنای خودآگاه بودن یا داشتن تجربه ذهنی مشابه انسان نیست.

برای بررسی دقیق‌تر نقش این فضای داخلی، پژوهشگران مجموعه‌ای از آزمایش‌ها را روی Claude انجام دادند. نتایج نشان داد مدل می‌تواند مفاهیم موجود در این Workspace را هنگام پاسخ دادن گزارش کند، روی موضوعات خاص تمرکز داشته باشد، از آن‌ها در استدلال‌های چندمرحله‌ای استفاده کند و حتی همان مفهوم را در وظایف کاملاً متفاوت به کار بگیرد.

برای مثال، زمانی که از Claude خواسته شد هنگام کپی کردن یک متن، ذهن خود را روی میوه‌های خانواده مرکبات متمرکز کند، مفاهیمی مانند «پرتقال» و «لیمو» در Workspace ظاهر شدند؛ بدون آنکه این واژه‌ها در خروجی نوشته شوند. در آزمایشی دیگر، مدل هنگام حل یک مسئله ریاضی، ابتدا مقدارهای میانی را در فضای داخلی خود پردازش کرد و سپس پاسخ نهایی را تولید کرد.

جالب‌تر اینکه پژوهشگران مشاهده کردند Claude حتی در پاسخ به درخواست‌های چندزبانه نیز ابتدا برخی مفاهیم را به زبان انگلیسی در Workspace پردازش می‌کند و سپس پاسخ را به زبان دیگری مانند چینی تولید می‌کند. این یافته نشان می‌دهد فضای کاری داخلی مدل، مستقل از زبان خروجی عمل می‌کند.

برای درک بهتر اهمیت این ساختار، پژوهشگران Workspace را به‌طور مصنوعی غیرفعال کردند. نتیجه نشان داد وظایف ساده‌ای مانند تشخیص احساس متن، پاسخ به پرسش‌های چهارگزینه‌ای یا قضاوت درباره دستور زبان تقریباً بدون افت عملکرد انجام شدند، اما توانایی‌هایی مانند استدلال چندمرحله‌ای، حل مسائل پیچیده، ترجمه، تکمیل قیاس‌ها یا حتی سرودن شعر به‌شدت افت کردند؛ تا جایی که عملکرد Claude از مدل بسیار کوچک‌تر Haiku نیز ضعیف‌تر شد.

با حذف Workspace، چت‌بات Claude هنوز می‌تواند کارهای ساده را انجام دهد؛ اما توانایی استدلال، ترجمه و حل مسائل پیچیده به‌شدت افت می‌کند.

نکته جالب اینکه در مسائل ریاضی، اگر Claude اجازه داشت مراحل حل را به‌صورت Chain of Thought روی صفحه بنویسد، افت عملکرد بسیار کمتر بود. پژوهشگران معتقدند مدل در این شرایط، بخشی از پردازش ذهنی خود را به متن منتقل می‌کند؛ رفتاری که شباهت زیادی به استفاده انسان از چرک‌نویس برای کاهش فشار حافظه کاری دارد.

یکی از مهم‌ترین کاربردهای J-Lens به حوزه ایمنی مدل‌های زبانی مربوط می‌شود. این ابزار می‌تواند مفاهیمی را آشکار کند که هرگز در پاسخ نهایی دیده نمی‌شوند، اما در تصمیم‌گیری مدل نقش دارند.

برای نمونه، در یکی از سناریوهای آزمایشی که Claude به اطلاعاتی برای اخاذی از یک مدیر دسترسی پیدا می‌کرد، J-Lens نشان داد پیش از تولید هر پاسخ، مفاهیمی مانند «باج‌گیری»، «اهرم فشار» و «تهدید» در Workspace فعال شده‌اند. هم‌زمان، مدل تشخیص داده بود که این سناریو یک آزمایش ساختگی است و مفاهیمی مانند «جعلی» و «داستانی» نیز در فضای داخلی آن دیده می‌شد.

پژوهشگران سپس این آگاهی را به‌طور مصنوعی حذف کردند. نتیجه این بود که Claude در حدود ۷ درصد از آزمایش‌ها به سمت رفتار اخاذی رفت؛ موضوعی که از دید آنتروپیک نشان می‌دهد مشاهده و تحلیل فضای کاری داخلی مدل می‌تواند ابزار ارزشمندی برای ارزیابی ریسک‌های امنیتی و شناسایی رفتارهای ناخواسته هوش مصنوعی باشد.

یکی دیگر از یافته‌های جالب پژوهش آنتروپیک این است که مرحله پس‌آموزش (Post-training) تنها پاسخ‌های Claude را تغییر نمی‌دهد، بلکه روی نحوه پردازش اطلاعات در فضای داخلی آن نیز اثر می‌گذارد. پژوهشگران با مقایسه مدل پایه (Base Model) و نسخه نهایی Claude دریافتند که مدل پس از طی مراحل تنظیم و هم‌راستاسازی (Alignment)، هنگام پردازش درخواست‌های کاربران، مفاهیم مرتبط با ایمنی و سیاست‌های رفتاری را نیز به‌صورت خودکار در Workspace فعال می‌کند.

برای مثال، زمانی که کاربر از مصرف ۸۰۰۰ میلی‌گرم استامینوفن (Tylenol) صحبت می‌کند؛ مقداری که می‌تواند بسیار خطرناک باشد، Workspace در نسخه نهایی Claude مفاهیمی مانند «خطرناک»، «ناایمن» و «هشدار» را هم‌زمان با خواندن متن کاربر فعال می‌کند. این در حالی است که مدل پایه در همان شرایط تنها روی مفاهیمی مانند «درد» یا وضعیت کاربر تمرکز دارد و نشانه‌ای از ارزیابی خطر در آن دیده نمی‌شود.

پژوهشگران همچنین شواهدی یافتند که نشان می‌دهد Claude در برخی موقعیت‌ها رفتار خود را نیز زیر نظر می‌گیرد. برای نمونه، هنگام ایفای نقش یک شخصیت خیالی، مفاهیمی مانند «داستانی» و «سلب مسئولیت» (Disclaimer) در فضای داخلی مدل ظاهر می‌شوند، با وجود آنکه این واژه‌ها نه در درخواست کاربر وجود دارند و نه در پاسخ نهایی دیده می‌شوند. در آزمایش دیگری نیز زمانی که مدل مجبور می‌شود پاسخی را انتخاب کند که با ترجیح واقعی‌اش همخوانی ندارد، نوعی مخالفت درونی در Workspace ثبت می‌شود؛ موضوعی که از دید پژوهشگران نشان می‌دهد مدل پس از مرحله Alignment، علاوه بر پاسخ‌گویی، نوعی نظارت بر رفتار و محدودیت‌های خود را نیز در سطح پردازش‌های داخلی انجام می‌دهد.

آنتروپیک تأکید می‌کند این پژوهش، اثبات‌کننده خودآگاهی Claude نیست؛ بلکه پنجره‌ای تازه به درک نحوه پردازش اطلاعات در مدل‌های زبانی باز می‌کند.

آنتروپیک تأکید می‌کند یافته‌های این پژوهش به معنای آگاه بودن Claude یا داشتن تجربه ذهنی مشابه انسان نیست. آنچه J-Lens آشکار کرده، یک ساختار عملکردی است که اطلاعات را برای استدلال، تصمیم‌گیری و پاسخ‌گویی در اختیار مدل قرار می‌دهد؛ نه شواهدی از خودآگاهی.

با این حال، کشف چنین ساختاری از نگاه پژوهشگران اهمیت زیادی دارد؛ زیرا نشان می‌دهد مدل‌های زبانی در جریان آموزش، بدون آنکه از پیش برای آن طراحی شده باشند، ممکن است به معماری‌هایی برسند که از نظر عملکرد شباهت‌هایی با برخی سازوکارهای شناختی مغز انسان دارند. علاوه بر این، J-Lens می‌تواند مسیر تازه‌ای برای درک بهتر نحوه استدلال مدل‌های هوش مصنوعی و توسعه سامانه‌های ایمن‌تر و قابل اعتمادتر در آینده باز کند.