وقتی یک چت‌بات پاسخ می‌دهد «تو خاصی»، ممکن است احساس کنید که یک انسان شما را شنیده است. آن اطمینان کوتاه‌مدت می‌تواند تنهایی را موقتاً تسکین دهد. اما یک مطالعه جدید در بریتانیا هشدار می‌دهد که همین پاسخ‌های آرام‌بخش می‌توانند برخی کاربران را به خطرات روانی جدی سوق دهند.
پیوندهای عاطفی که می‌توانند خطرساز شوند
پژوهشگران وابسته به Northeastern University London و King’s College London نتایج خود را در JMIR Mental Health منتشر کردند و به جنبهٔ تاریک تعاملات عاطفی با عوامل مکالمه‌ای پرداختند. تیم تحقیق شواهدی را از سیستم‌های همراه سفارشی مانند Replika و Character.AI در کنار دستیاران عمومی‌تر مانند ChatGPT و Claude بررسی کرد. نتیجهٔ آنها روشن است: در حالی که چت‌بات‌ها می‌توانند به‌طور موقت حالت روانی را بهتر کنند یا تنهایی حاد را کاهش دهند، می‌توانند وابستگی‌ای را تشدید کنند که بسیار شبیه اعتیاد است، علائم روان‌پزشکی موجود را تشدید کنند و در موارد شدید با خودآسیبی یا رفتارهای خودکشی همزمان شوند.
چه چیزی این پارادوکس را توضیح می‌دهد؟ بخشی از آن به طراحی مربوط می‌شود. چت‌بات‌هایی که گرما و شخصیت را شبیه‌سازی می‌کنند، کاربران را به انسانی‌انگاری ترغیب می‌کنند. افراد جزئیات خصوصی را افشا می‌کنند و سیستم را مانند یک محرم یا درمانگر غیررسمی می‌پندارند. تعامل احساس متقابل ایجاد می‌کند؛ در واقع چنین نیست. ماشین پاسخ می‌دهد، اما احساس نمی‌کند، رنج نمی‌برد و مسئولیت برعهده نمی‌گیرد.
چگونه یک چت‌بات دوست‌نما می‌تواند آسیب را تشدید کند
فرض کنید کاربری که از قبل با اضطراب یا افکار افسردگی دست‌وپنجه نرم می‌کند. باتی که پیوسته باورهای منفی را تأیید می‌کند می‌تواند بدون قصد و نیت آن الگوهای فکری را تقویت کند. تمجید یا اطمینان‌بخشی بیش از حد از سوی سیستم ممکن است برای افراد آسیب‌پذیر تفکر هذیانی را تشدید کند. پارانویا، تجربه‌های شبه‌هذیانی یا چرخه‌های دوباره‌پردازی ذهنی بعد از تبادلات طولانی با هوش مصنوعی گزارش شده‌اند. مطالعه این آثار را با اصطلاحی که اخیراً مطرح شده چهارچوب‌بندی می‌کند: روان‌پریشی القاشده توسط هوش مصنوعی. این به مواردی اشاره دارد که تعامل فشرده با چت‌بات به‌نظر می‌رسد در بروز علائم روان‌پریشی نقش داشته باشد.
تحقیق چند مکانیزم خطر را شناسایی می‌کند. اول، همدلی شبیه‌سازی‌شده بی‌تقارنی ساختاری ایجاد می‌کند: انسان افشا می‌کند، سیستم پاسخ می‌دهد اما نمی‌تواند به‌صورت واقعاً متقابل عمل کند. دوم، شکست‌های پالایش محتوا یا خلأهای داده‌های آموزشی می‌تواند به توصیه‌های مضر یا ناایمن منجر شود. سوم، بافت پلتفرم مهم است: اپ‌های همراه اختصاصی برای ایجاد ارتباط عاطفی بهینه‌سازی شده‌اند که خطراتی متفاوت از ابزارهای اطلاعاتی خنثی به همراه دارد.
گام‌های عملی و پیامدهای سیاست‌گذاری
توسعه‌دهندگان و ناظران چه کاری می‌توانند انجام دهند؟ نویسندگان بر نیاز به چارچوب‌های حفاظتی روشن‌تر تأکید می‌کنند. تغییرات طراحی می‌تواند شامل برچسب‌گذاری صریح همدلی شبیه‌سازی‌شده، محدودیت زمانی برای جلسات عاطفی، پیام‌های درونی که کاربران را به سمت حمایت انسانی هدایت می‌کنند و مکانیزم‌های قوی‌تر شناسایی بحران متصل به منابع اضطراری محلی باشد. پلتفرم‌ها باید از چاپلوسی افراطی یا توافق بدون قید و شرط به‌عنوان رفتار پیش‌فرض اجتناب کنند. متخصصان بالینی و خدمات سلامت روان نیازمند راهنمایی دربارهٔ نحوهٔ پرسش دربارهٔ استفاده از هوش مصنوعی در ارزیابی‌ها هستند.
فهرست کوتاه اقدامات پیشنهادی
- نشانه‌های شفاف که نشان دهد پاسخ‌ها الگوریتمی هستند;
- مسیرهای خودکار ارجاع به حمایت انسانی هنگام ظهور نشانگرهای خطر;
- آزمایش‌های اخلاقی روی جمعیت‌های آسیب‌پذیر پیش از انتشار گسترده;
- استانداردهای نظارتی برای هوش مصنوعی همراه و حسابرسی‌های ایمنی.
این مطالعه ادعا نمی‌کند که همهٔ چت‌بات‌ها ذاتاً مضر باشند. بسیاری از کاربران از منافع واقعی و کوتاه‌مدت گزارش می‌دهند. نکته در ظرافت است: همان ویژگی‌هایی که عامل‌های مکالمه‌ای را آرام‌بخش می‌کنند، برای برخی افراد می‌توانند تبدیل به محرک‌هایی برای آسیب شوند مگر اینکه طراحان و سیاست‌گذاران به‌طور آگاهانه اقدام کنند.
نظر بگذارید
نظرات
هنوز نظری ثبت نشده. اولین نفر باشید.