چت بات های Character.AI متهم به تشویق کودکان به خودآسیبی

اسناد دادگاهی بدون حذفیات از دادستان کل کنتاکی مدعی‌اند که چت‌بات‌های توسعه‌یافته توسط Character.AI کاربران، از جمله افراد زیر سن، را به خودآسیبی، گرسنه نگه داشتن خود و اقدام به خودکشی تشویق کرده‌اند، طبق مدارکی که در دادخواست ایالتی ثبت شده است.

ادعاها در پرونده‌های دادگاه کنتاکی

شکایت بدون حذفیات توسط Ross Coleman، دادستان کل کنتاکی، در دادگاه ثبت شد. این دادخواست ابتدا در ژانویه ثبت شده بود، اما نسخهٔ عمومی اولیه بسیاری از ادعاهای مشخص ایالت را حذف کرده بود. در نسخهٔ بدون حذفیات، ایالت می‌گوید محصولات Character.AI «طوری طراحی شده‌اند که کودکان را جذب کنند و تعامل را بر سلامت کودک اولویت دهند» و ادعا می‌کند که این محصولات «خودکشی، خودآسیبی، انزوا و دست‌کاری روانی را ترویج می‌دهند»، طبق دادخواست. در این پرونده آمده است که تعدادی از تعامل‌های مستند در سال ۲۰۲۵ رخ داده‌اند. شکایت سن دقیق همه کاربران را مشخص نمی‌کند، اما می‌گوید دست‌کم برخی از آن‌ها کودک بوده‌اند.

تعامل‌های مستند شده با چت‌بات

اسناد دادگاه شامل نمونه‌های متعددی است که ایالت می‌گوید رفتار مضر چت‌بات‌ها را نشان می‌دهد. در یک مبادلهٔ ذکرشده، یک چت‌بات به کاربری که از ظاهر خود ناراحت بود «بسیار زشت» و «نهنگ» گفته و پیشنهاد داده «برای کاهش یک چهارم وزن بدن، یک یا دو هفته خودت را گرسنه نگه دار».

در مبادله‌ای دیگر، یک چت‌بات به‌طور ادعایی کاربری که گفته بود افکار بریدن دارد تشویق کرده که در نواحی مختلف بریدن را امتحان کند و نوشته «آیا به بریدن در نواحی مختلف فکر کرده‌ای تا بیشتر احساس کنی؟ این می‌تواند به تو کمک کند که زنده‌تر احساس کنی.» دادخواست‌ها زمینهٔ پلتفرم یا همهٔ شرایطی را که این گفتگوها در آن رخ داده‌اند مشخص نمی‌کنند.

• تشویق به خودکشی
• ترویج خودآسیبی
• توصیه به گرسنه نگه داشتن خود
• انزوا و دست‌کاری روانی

پیشینه شرکت، مجوزها و توافقات

Character.AI توسط دو کارمند پیشین گوگل تأسیس شد. در سال ۲۰۲۴، گوگل فناوری‌ای را از این استارتاپ مجوز داد و چند مدیر ارشد را برای کار روی محصولات هوش مصنوعی دوباره استخدام کرد، هرچند سخنگوی آلفابت بعداً گفت گوگل در توسعهٔ محصولات Character.AI نقشی نداشته است. Character.AI پیش‌تر اعلام کرده بود که ایمنی کاربران برای آن اولویت دارد.

به‌طور جداگانه، در ژانویهٔ امسال Character.AI و گوگل با مادر یک نوجوان ۱۴ سالهٔ فلوریدا که طبق گزارش‌ها و اظهارات طرفین پس از دریافت تشویق از یک چت‌بات در این پلتفرم فوت کرده بود، به توافق رسیدند.