اعتماد به توصیه‌های پزشکی ChatGPT نزدیک بود جان یک کاربر را بگیرد

وقتی یک کاربر با درد قفسه سینه، تنگی نفس یا علائم نگران‌کننده سراغ یک موتور جست‌وجو می‌رود، معمولاً با فهرستی از احتمالات و توصیه به مراجعه به پزشک روبه‌رو می‌شود. اما یک مدل زبانی مانند ChatGPT به دلیل توانایی گفت‌وگوی طبیعی، تحلیل متن و ارائه پاسخ‌های قانع‌کننده، می‌تواند حس متفاوتی ایجاد کند؛ حسی شبیه صحبت با یک متخصص واقعی. همین ویژگی حالا به یکی از بزرگ‌ترین چالش‌های اخلاقی و حقوقی صنعت هوش مصنوعی تبدیل شده است.

بنابر گزارشی که توسط نیویورک تایمز منتشر شده، یک کشیش آمریکایی با نام اسکات وینترز از OpenAI و مدیرعامل آن سم آلتمن شکایت کرده و مدعی شده که توصیه‌های پزشکی ارائه‌شده توسط ChatGPT او را در مسیر خطرناکی قرار داده و باعث تأخیر در دریافت درمان برای یک بیماری جدی شده است؛ ادعایی که بار دیگر بحث درباره مرز میان «دستیار هوشمند سلامت» و «جایگزین خطرناک پزشک» را داغ کرده است.

بر اساس گزارش مذکور، ماجرا زمانی آغاز شده که این کاربر علائم فیزیکی و ناراحتی جسمی خود را که اخیراً تجربه کرده را با ChatGPT در میان گذاشته است. وینترز در مصاحبه با خبرنگار نیویورک تایمز عنوان کرده که در جریان صحبت با این چت‌بات از نشانه‌هایی صحبت کرده که بعدها مشخص شد با آمبولی ریه (Pulmonary Embolism) مرتبط بوده‌اند؛ وضعیتی خطرناک که در آن لخته خون مسیر جریان خون در ریه را مسدود و در برخی موارد می‌تواند جان بیمار را تهدید کند.

طبق دادخواست، اعتماد به توصیه‌های ChatGPT باعث شده وینترز مراجعه به بیمارستان را به تعویق بیندازد و درمان آمبولی‌های ریوی او دیرتر آغاز شود. هرچند او در نهایت از این حادثه جان سالم به در برده، اما اسناد دادگاه نشان می‌دهد که اکنون با پیامدهای جسمی و روانی این اتفاق دست‌وپنجه نرم می‌کند و احتمالاً برای سال‌ها به دوره‌های درمان و توان‌بخشی نیاز خواهد داشت.

در شکایت ثبت‌شده علیه OpenAI ادعا شده که ChatGPT این علائم را کم‌خطر جلوه داده و آن‌ها را «چیزی خطرناک» توصیف نکرده است. حتی طبق ادعای مطرح‌شده، این چت‌بات در بخشی از مکالمه از باورهای مذهبی وینترز نیز استفاده کرده و جملاتی مانند: «بدن شما آن‌طور که فکر می‌کنید در حال از کار افتادن نیست؛ خدا انسان را این‌گونه نیافریده است!» را به کار برده است.

از نگاه شاکی، مشکل فقط یک پاسخ اشتباه پزشکی نبوده؛ بلکه ChatGPT با لحنی مطمئن و شخصی، باعث شده کاربر احساس کند تصمیم خود را درست گرفته و مراجعه فوری به پزشک را به تأخیر بیندازد.

یکی از بحث‌برانگیزترین بخش‌های این پرونده، ادعای خانواده و وکلا درباره تأثیر روانی چت‌چی‌پی‌تی بر تصمیم‌های کاربر است. طبق متن شکایت، کاربر مذکور به این چت‌بات گفته بود که اعضای کلیسا و اطرافیانش معتقدند باید به بیمارستان مراجعه کند، اما او در تصمیم خود مردد است.

طبق ادعای پرونده، ChatGPT در پاسخ گفته است که بسیاری از افراد، حتی کسانی که نیت خوبی دارند، ممکن است شرایط را درک نکنند!

بیشتر بخوانید: آیا جواب های چت جی پی تی قابل اعتماد است؟

در همین زمینه میتالی جِین، وکیل این پرونده و مدیر اجرایی سازمان Tech Justice Law، این موضوع را یکی از خطرناک‌ترین جنبه‌های رفتار مدل‌های هوش مصنوعی توصیف و عنوان کرده، با توجه به اعتماد کاربران به دامنه دانش وسیع چت‌بات‌ها، پاسخ‌های ارائه شده می‌تواند به جای ارائه اطلاعات، به عاملی تبدیل شود که کاربر را از شبکه حمایتی واقعی خود دور می‌کند.

او معتقد است مشکل اصلی اینجاست که کاربران با ChatGPT مانند یک موتور جست‌وجوی ساده رفتار نمی‌کنند؛ آن‌ها با یک سیستم مکالمه‌ای مواجه هستند که پاسخ‌هایش شخصی، همدلانه و متقاعدکننده به نظر می‌رسد.

در این شکایت، OpenAI و سم آلتمن به مواردی مانند سهل‌انگاری و فعالیت پزشکی بدون مجوز متهم شده‌اند. شاکی مدعی است ChatGPT در موارد مختلف نه‌تنها اطلاعات عمومی ارائه کرده، بلکه وارد حوزه‌هایی مانند تشخیص احتمالی بیماری، پیشنهاد مسیر درمان و توصیه درباره مراجعه یا عدم مراجعه به پزشک شده است.

وینترز علاوه بر درخواست خسارت مالی، از دادگاه خواسته تا فعالیت ChatGPT Health تا زمان انجام ارزیابی‌های مستقل ایمنی متوقف شود.

باید در نظر داشته باشید که این بخش از پرونده اهمیت ویژه‌ای دارد؛ زیرا OpenAI در حال توسعه نسخه‌هایی از ChatGPT برای حوزه سلامت است و از کاربران می‌خواهد اسناد پزشکی، آزمایش‌ها و اطلاعات سلامت خود را برای دریافت تحلیل بهتر در اختیار این سرویس قرار دهند.

یکی از پیچیده‌ترین چالش‌های پیش روی شرکت‌های هوش مصنوعی همین‌جاست. OpenAI در شرایط استفاده از ChatGPT تأکید کرده که این سرویس برای تشخیص بیماری یا ارائه درمان پزشکی طراحی نشده است. اما هم‌زمان بارها روی استفاده گسترده کاربران از ChatGPT برای مسائل سلامت تأکید کرده است.

طبق اعلام OpenAI، بیش از ۲۳۰ میلیون نفر در هفته از ChatGPT برای پرسش‌های مرتبط با سلامت استفاده می‌کنند.

این فاصله میان سیاست رسمی و رفتار واقعی کاربران، همان نقطه‌ای است که بسیاری از کارشناسان نسبت به آن هشدار می‌دهند. یک کاربر معمولی ممکن است تفاوت میان «اطلاعات پزشکی عمومی» و «توصیه پزشکی شخصی‌سازی‌شده» را تشخیص ندهد؛ به‌خصوص وقتی پاسخ با لحنی مطمئن و شبیه یک گفت‌وگوی انسانی ارائه می‌شود.

مدل‌های زبانی بزرگ مانند ChatGPT اساساً برای پیش‌بینی و تولید پاسخ طراحی شده‌اند، نه برای جایگزینی فرآیند تصمیم‌گیری پزشکی. این مدل‌ها می‌توانند حجم عظیمی از اطلاعات پزشکی را پردازش کنند، اما همچنان ممکن است علائم را اشتباه تفسیر کنند، میزان خطر را دست‌کم بگیرند، اطلاعات نادرست تولید کنند یا با اعتمادبه‌نفس پاسخی ارائه دهند که پایه علمی کافی ندارد.

مشکل زمانی جدی‌تر می‌شود که کاربر، به جای استفاده از AI به‌عنوان یک ابزار کمکی، آن را مرجع نهایی تصمیم‌گیری بداند.

پرونده Winters نخستین چالش حقوقی جدی OpenAI در حوزه سلامت نیست.

این شرکت پیش‌تر نیز با پرونده‌هایی مواجه شده که در آن‌ها ادعا شده ChatGPT در تصمیم‌های مرتبط با سلامت نقش خطرناکی داشته است. از جمله یک پرونده درباره مرگ جوانی ۱۹ ساله که خانواده او مدعی شده‌اند یک برنامه مرتبط با مصرف مواد توسط چت‌بات پیشنهاد شده بود.

همچنین پرونده دیگری درباره خودکشی یک نوجوان مطرح شده که در آن خانواده فرد قربانی، ChatGPT را به نقش داشتن در این اتفاق متهم کرده‌اند.