روش‌های تشخیص پاسخ‌های ساختگی و توهم هوش مصنوعی

هوش مصنوعی همیشه راست نمی‌گوید؛ ۷ ترفند ساده برای گیر انداختن جواب‌های جعلی

گیزمکس
نویسنده: صادق محمدی
چهارشنبه 15 مهر 1405
روش‌های تشخیص پاسخ‌های ساختگی و توهم هوش مصنوعی
پاسخ هوش مصنوعی ممکن است کاملاً مطمئن به نظر برسد، اما همیشه به معنای درست‌بودن اطلاعات نیست.

هوش مصنوعی می‌تواند در چند ثانیه مقاله بنویسد، یک موضوع پیچیده را توضیح دهد، اطلاعات را خلاصه کند یا حتی برای یک سؤال تخصصی پاسخ مفصل ارائه دهد؛ اما یک مشکل مهم همچنان پابرجاست: ممکن است پاسخ کاملاً اشتباه باشد و در عین حال آن را با اعتمادبه‌نفس زیادی بیان کند.

این خطا که به آن «توهم هوش مصنوعی» یا AI Hallucination گفته می‌شود، زمانی رخ می‌دهد که یک مدل زبانی اطلاعات نادرست، ناقص یا حتی کاملاً ساختگی تولید می‌کند؛ اطلاعاتی که ممکن است در نگاه اول کاملاً واقعی به نظر برسند. OpenAI نیز صراحتاً هشدار می‌دهد که مدل‌های زبانی می‌توانند تعریف، تاریخ، نقل‌قول، مطالعه علمی یا حتی منبعی را به شکل نادرست تولید کنند.

جالب‌تر اینکه مشکل فقط مربوط به سؤال‌های پیچیده نیست. یک پاسخ ساده درباره تاریخ تولد یک فرد، نام یک کتاب یا حتی یک لینک می‌تواند حاوی اطلاعات ساختگی باشد. پژوهش‌های دانشگاهی نیز نشان داده‌اند که مدل‌های زبانی گاهی پاسخ‌های بسیار باورپذیر اما نادرست تولید می‌کنند و میزان اطمینان ظاهری آنها همیشه با درست‌بودن پاسخ ارتباط ندارد.

پس چطور بفهمیم پاسخ هوش مصنوعی واقعی است یا ساخته خودش؟ این ۷ روش ساده می‌تواند کمک زیادی کند.

۱. جزئیات زیاد را نشانه درستی ندانید

یکی از خطرناک‌ترین حالت‌ها زمانی است که هوش مصنوعی پاسخی با جزئیات بسیار زیاد ارائه می‌کند.

ممکن است نام نویسنده، تاریخ انتشار کتاب، شماره صفحه، نام دانشگاه، عنوان مقاله علمی و حتی لینک منبع را هم در اختیار شما بگذارد. ظاهر پاسخ بسیار حرفه‌ای است، اما این جزئیات به‌تنهایی هیچ تضمینی برای درست‌بودن اطلاعات نیستند.

اگر با نام، تاریخ یا موضوعی ناآشنا روبه‌رو شدید، مهم‌ترین جزئیات را جداگانه جست‌وجو کنید. وجود اطلاعات بیشتر در یک پاسخ، به معنای اعتبار بیشتر آن نیست.

۲. وقتی هوش مصنوعی بیش از حد مطمئن است، بیشتر بررسی کنید

یک تصور اشتباه این است که اگر هوش مصنوعی پاسخ را با قطعیت زیادی بیان کند، احتمالاً اطلاعات درستی دارد.

در واقع، لحن مطمئن نمی‌تواند جای مدرک را بگیرد.

مدل ممکن است برای موضوعی که اطلاعات کافی درباره آن ندارد، پاسخی کاملاً قطعی تولید کند. پژوهشگران MIT نیز روی همین مسئله کار کرده‌اند و نشان داده‌اند که یکی از مشکلات مدل‌های زبانی، اطمینان بیش از حد هنگام تولید پاسخ‌های اشتباه است.

بنابراین هرچه یک ادعا عجیب‌تر، دقیق‌تر یا مهم‌تر باشد، باید بیشتر آن را بررسی کنید.

۳. همان سؤال را با شکل دیگری بپرسید

یک آزمایش ساده این است که سؤال را دوباره اما با جمله‌بندی متفاوت مطرح کنید.

برای مثال، اگر هوش مصنوعی تاریخ انتشار یک کتاب را گفته است، بار دیگر از آن بخواهید تاریخ انتشار را همراه با منبع اعلام کند.

اگر دو پاسخ با یکدیگر تناقض داشتند، زنگ خطر به صدا درآمده است.

البته این روش اثبات نمی‌کند که یکی از پاسخ‌ها حتماً درست است؛ ممکن است مدل همان اشتباه را چند بار تکرار کند. بنابراین تغییر پاسخ فقط یک نشانه هشدار است، نه مدرک نهایی.

۴. منبع بخواهید؛ اما فقط به لینک اکتفا نکنید

یکی از مهم‌ترین اشتباهات کاربران این است که وقتی هوش مصنوعی منبعی ارائه می‌کند، تصور می‌کنند کار تمام شده است.

در حالی که ممکن است عنوان یک مقاله واقعی باشد، اما محتوایی که هوش مصنوعی به آن نسبت داده، اصلاً در مقاله وجود نداشته باشد.

روش بهتر این است:

  • نام منبع را دریافت کنید.
  • لینک را خودتان باز کنید.
  • مطمئن شوید صفحه واقعاً وجود دارد.
  • متن اصلی را بخوانید.
  • بررسی کنید آیا منبع دقیقاً همان ادعایی را مطرح کرده که هوش مصنوعی گفته است.

این موضوع در مطالب علمی، پزشکی، حقوقی و مالی اهمیت بیشتری دارد. MIT نیز برای همین مشکل، ابزارهایی برای آسان‌تر کردن بررسی ارتباط میان پاسخ مدل و منبع مورد استفاده آن توسعه داده است.

۵. یک پاسخ طولانی را به چند ادعای کوچک تقسیم کنید

گاهی یک جمله ظاهراً ساده، در واقع چندین ادعا در خود دارد.

مثلاً اگر هوش مصنوعی بنویسد:

«این دانشمند در سال ۲۰۱۸ نظریه‌ای را مطرح کرد، در سال ۲۰۲۰ کتابی درباره آن نوشت و کتابش در ۱۲ کشور منتشر شد.»

این جمله حداقل چهار ادعای قابل بررسی دارد:

  1. آیا دانشمند موردنظر واقعاً چنین نظریه‌ای مطرح کرده است؟
  2. آیا این اتفاق در سال ۲۰۱۸ رخ داده؟
  3. آیا کتاب در سال ۲۰۲۰ منتشر شده؟
  4. آیا کتاب واقعاً در ۱۲ کشور منتشر شده است؟

ممکن است سه مورد درست و فقط یک مورد اشتباه باشد. به همین دلیل بررسی جمله به‌عنوان یک واحد کامل می‌تواند گمراه‌کننده باشد.

۶. نقل‌قول‌ها را حتماً در منبع اصلی پیدا کنید

نقل‌قول‌های ساختگی یکی از خطاهای خطرناک هوش مصنوعی هستند.

گاهی یک جمله از نظر سبک کاملاً شبیه حرف‌های یک دانشمند، نویسنده یا سیاستمدار است و مدل آن را به فرد موردنظر نسبت می‌دهد؛ اما چنین جمله‌ای هرگز توسط او بیان نشده است.

اگر قرار است نقل‌قولی را در یک مقاله، خبر یا گزارش منتشر کنید، آن را در مصاحبه اصلی، کتاب، مقاله، سخنرانی یا وب‌سایت رسمی فرد یا سازمان پیدا کنید.

اگر منبع اصلی قابل پیدا کردن نیست، بهتر است نقل‌قول را به آن شخص نسبت ندهید.

۷. از خود هوش مصنوعی بخواهید ادعاهای مشکوک را جدا کند

یک روش مفید این است که بعد از دریافت پاسخ، از خود مدل بخواهید ادعاهای قابل بررسی را استخراج کند.

مثلاً می‌توانید بپرسید:

«تمام ادعاهای قابل راستی‌آزمایی پاسخ بالا را جدا کن و برای هرکدام بگو چه منبع مستقلی برای بررسی آن مناسب است.»

این کار می‌تواند نقاط حساس پاسخ را مشخص کند؛ اما یک نکته مهم وجود دارد: خود هوش مصنوعی داور نهایی صحت پاسخ خودش نیست.

ممکن است مدل حتی هنگام بررسی پاسخ قبلی، اشتباه خودش را تشخیص ندهد. بنابراین ادعاهای مهم همچنان باید با منابع مستقل بررسی شوند. این همان دلیلی است که پژوهشگران روی روش‌های خارجی و مستقل برای راستی‌آزمایی پاسخ‌های مدل‌های زبانی کار می‌کنند.

چرا هوش مصنوعی اصلاً دچار توهم می‌شود؟

برای فهم این موضوع باید یک نکته مهم را بدانیم: مدل زبانی الزاماً مانند یک انسان محقق، ابتدا واقعیت را پیدا نمی‌کند و سپس پاسخ نمی‌دهد.

مدل‌های زبانی برای تولید متن بر اساس الگوهایی که از داده‌های آموزشی آموخته‌اند عمل می‌کنند. به همین دلیل ممکن است عبارتی از نظر زبانی کاملاً طبیعی و منطقی باشد، اما واقعیت نداشته باشد.

OpenAI در پژوهشی درباره منشأ توهم‌های مدل‌های زبانی توضیح داده است که شیوه ارزیابی مدل‌ها می‌تواند آنها را به سمت حدس‌زدن به جای پذیرش ندانستن سوق دهد. از این منظر، گفتن «نمی‌دانم» در برخی شرایط می‌تواند بهتر از ارائه یک پاسخ اشتباه اما مطمئن باشد.

پژوهش منتشرشده در Nature نیز نشان داده است که ارزیابی مدل‌ها صرفاً بر اساس میزان پاسخ‌های درست می‌تواند انگیزه تولید پاسخ‌های حدسی و در نتیجه توهم را افزایش دهد.

یک آزمایش ساده که هر کاربری می‌تواند انجام دهد

فرض کنید از هوش مصنوعی درباره یک شخصیت تاریخی سؤال کرده‌اید و پنج اطلاعات مختلف دریافت کرده‌اید.

به جای اینکه کل پاسخ را یکجا قبول یا رد کنید، آن را به پنج ادعا تقسیم کنید.

تاریخ تولد را جداگانه بررسی کنید.

نام کتاب یا اثر را در سایت ناشر یا کتابخانه جست‌وجو کنید.

نقل‌قول را در منبع اصلی پیدا کنید.

سمت دانشگاهی فرد را در وب‌سایت دانشگاه بررسی کنید.

و اگر هوش مصنوعی یک مقاله علمی معرفی کرده، عنوان آن را در پایگاه علمی معتبر جست‌وجو کنید.

در این حالت ممکن است متوجه شوید پاسخ در چهار بخش درست بوده اما یک ادعای کوچک کاملاً ساختگی است.

آیا پاسخ‌های هوش مصنوعی قابل اعتماد نیستند؟

نه؛ مسئله این نیست که «نباید به هوش مصنوعی اعتماد کرد». مسئله این است که میزان اعتماد باید با اهمیت موضوع متناسب باشد.

برای پیشنهاد یک فیلم یا ایده برای سفر، یک اشتباه کوچک ممکن است اهمیت زیادی نداشته باشد.

اما اگر سؤال درباره دارو، بیماری، سرمایه‌گذاری، قانون، خبر فوری، مسائل امنیتی یا یک مقاله علمی باشد، یک خطای کوچک می‌تواند پیامد جدی داشته باشد.

راهنمای کتابخانه مجلس عوام بریتانیا نیز تأکید می‌کند که پاسخ‌های تولیدشده توسط هوش مصنوعی می‌توانند درست به نظر برسند اما نادرست، ناقص یا گمراه‌کننده باشند و بهترین راه مقابله، بررسی دقیق ادعاها با منابع مستقل است.

حتی در حوزه خبر نیز مسئله جدی است. پژوهش استنفورد در سال ۲۰۲۶ که چند چت‌بات تجاری را در پاسخ به ۲۱۰۰ پرسش خبری روز آزمایش کرد، نشان داد عملکرد مدل‌ها می‌تواند با زبان، منطقه و نحوه طرح سؤال تغییر کند و در برابر پرسش‌هایی که یک پیش‌فرض اشتباه در آنها قرار داده شده، شکننده‌تر شود.

قانون طلایی برای استفاده از هوش مصنوعی

یک قانون ساده می‌تواند جلوی بسیاری از اشتباهات را بگیرد:

هرچه یک ادعا دقیق‌تر، عجیب‌تر یا مهم‌تر باشد، باید بیشتر بررسی شود.

اگر هوش مصنوعی گفت یک کتاب وجود دارد، وجود آن را بررسی کنید.

اگر گفت یک دانشمند چنین جمله‌ای گفته، نقل‌قول اصلی را پیدا کنید.

اگر یک مقاله علمی معرفی کرد، مقاله را باز کنید.

اگر درباره یک خبر مهم صحبت کرد، سراغ رسانه و منبع اولیه بروید.

و اگر موضوع به سلامت، پول، قانون یا تصمیم‌های مهم زندگی مربوط است، هرگز پاسخ هوش مصنوعی را تنها مرجع تصمیم‌گیری قرار ندهید.

جمع‌بندی

توهم هوش مصنوعی به این معنا نیست که مدل عمداً دروغ می‌گوید. مدل ممکن است اطلاعاتی را تولید کند که خودش آن را به شکل یک پاسخ طبیعی و منسجم ارائه می‌کند، اما آن اطلاعات با واقعیت مطابقت نداشته باشند.

بهترین دفاع کاربر، شناخت همین محدودیت است: منبع را باز کنید، ادعاها را جداگانه بررسی کنید، نقل‌قول‌ها را به اصل آنها برگردانید و برای اطلاعات مهم به منابع مستقل تکیه کنید.

در دنیایی که هوش مصنوعی هر روز بیشتر در جست‌وجو، خبر، آموزش و تصمیم‌گیری وارد می‌شود، شاید مهم‌ترین مهارت جدید این نباشد که چطور از AI سؤال بپرسیم؛ بلکه این باشد که چطور بفهمیم چه زمانی نباید جوابش را بدون بررسی باور کنیم.

نظرات کاربرانکپی متنکپی لینک