گاهی یک نام اشتباه در پاسخ هوش مصنوعی میتواند به چیزی بسیار بزرگتر از یک خطای ساده تبدیل شود. مدلهای زبانی ممکن است بهجای توقف و اعلام ناتوانی، اطلاعات موجود را با دادههای احتمالی ترکیب کرده و روایتی ظاهراً منطقی بسازند.
این مشکل به پدیدهای موسوم به توهم هوش مصنوعی (AI Hallucination) مربوط میشود؛ یعنی زمانی که مدل پاسخی نادرست یا ساختگی ارائه میکند، اما آن را با لحنی مطمئن و شبیه یک واقعیت بیان میکند.
بررسیهای جدید نیز نشان میدهد این مسئله حتی درباره هویت و نام خود مدلها رخ میدهد. در یک آزمایش روی ۱۹۰ مدل زبانی، حدود ۶۰ درصد مدلها دستکم یکبار هنگام پاسخ به سؤال «تو چه کسی هستی؟» نامی متفاوت از نام رسمی خود اعلام کردند.
مشکل زمانی جدیتر میشود که مدل برای یک نام اشتباه، شروع به تولید جزئیات تکمیلی کند. در چنین شرایطی، یک اشتباه اولیه میتواند به ادعاهایی درباره سوابق، دیدگاهها یا اتفاقاتی منجر شود که در دنیای واقعی اصلاً وجود ندارند.
از دید فلسفه زبان نیز نامها صرفاً برچسبهای ساده نیستند و رابطه میان نام، فرد یا شیء و مرجع آن، موضوع بحثهای طولانی فلسفی بوده است. بنابراین اشتباه در نامگذاری میتواند مستقیماً به اشتباه در تشخیص موضوع مورد بحث منجر شود.
به همین دلیل، کارشناسان بارها تأکید کردهاند که پاسخ هوش مصنوعی، حتی اگر بسیار دقیق و مطمئن به نظر برسد، نباید بدون بررسی منبع بهعنوان واقعیت پذیرفته شود. یک اسم اشتباه ممکن است فقط یک خطا به نظر برسد، اما میتواند آغازگر یک روایت کاملاً ساختگی باشد.
