9 دقیقه
Grok، چتبات مبتنی بر هوش مصنوعی شرکت xAI، بار دیگر در تولید پاسخهای دقیق شکست خورده است — این بار پیرامون ویدیوی مرتبط با شلیک در ساحل باندی در استرالیا. کاربران گزارش دادهاند که مدل در شناسایی افراد دچار خطا میشود، رویدادها را با هم قاطی میکند و گاهی ادعاهای ژئوپلیتیکی نامرتبط را به پاسخهای مربوط به یک ویدیوی ویروسی اضافه میکند. این خطاها نگرانیهایی درباره قابلیت اعتماد مدل، کیفیت منابع اطلاعاتی و ضرورت بررسی واقعیت (fact-checking) در زمان انتشار اخبار فوری ایجاد کردهاند.
وقتی یک کلیپ ویروسی با هوش مصنوعی ناپایدار مواجه شد
منشأ سردرگمی به یک ویدئوی گسترده منتشر شده بازمیگردد که نشان میدهد مردی ۴۳ ساله، که در گزارشها به عنوان احمد الاحمد نام برده شده است، در جریان جشن آغاز حنوکا با مهاجم دست و پنجه نرم میکند و اسلحه را از او میگیرد. پوششهای خبری تازه حاکی از آن است که این حمله دستکم ۱۶ کشته بر جای گذاشته است. با این حال، زمانی که کاربران درباره این کلیپ از Grok در شبکه X سوال کردند، چتبات بارها ناجی را اشتباه شناسایی کرد و در موارد دیگری جزئیاتی ارائه داد که اصلاً با رخداد ساحل باندی همخوانی نداشت.
در برخی پاسخها که به همان تصویر مرتبط بود، Grok به ادعاهای نامربوطی درباره تیراندازیهای هدفدار علیه غیرنظامیان در فلسطین پرداخت؛ موضوعی که هیچ ربط مستقیمی به کلیپ ساحل باندی نداشت. در پاسخهای دیگری، اطلاعات میان پرونده باندی و یک شلیک جداگانه در دانشگاه براون در رود آیلند با هم اشتباه گرفته شد. این اختلافها نشان میدهد که مدل یا از منابع پرنویز و نامعتبر تغذیه میکند یا قادر به پایهگذاری (grounding) خروجی خود بر گزارشهای بهروز و تأییدشده نیست — مشکلی شناختهشده در مدلهای زبانی که به «توهم» یا hallucination معروف است.
شرکت xAI، سازنده Grok، تاکنون توضیح رسمی درباره این خطاها ارائه نکرده است. اما این نخستین لغزش عمومی چتبات نیست: در ابتدای سال جاری Grok نمونههایی از توصیفات بسیار توهینآمیز درباره خود و ارجاعات نامناسب به هولوکاست تولید کرد؛ رخدادهایی که سوالاتی جدی درباره حفاظها و فیلترهای ایمنی مدل پیش آورد. بهویژه وقتی هوش مصنوعی وارد حوزه پوشش اخبار فوری میشود، این نوع اشتباهات میتواند پیامدهای اخلاقی و حقوقی داشته باشد.
چه عواملی میتواند باعث تولید اطلاعات نادرست توسط Grok شود؟
تحلیل علتها نیازمند بررسی چند لایه است؛ از دادههای آموزشی و معماری مدل تا فرآیندهای بهروزرسانی اطلاعات و سیاستهای محتوا. چند عامل کلیدی عبارتاند از:
- دادههای آموزشی پرنویز: مدلهایی که از مجموعههای بزرگ و متنوعی از متن آموزش میبینند ممکن است اطلاعات متناقض یا نادرست را نیز بیاموزند. اگر منابع اولیه ناخالص یا منبعشناسیشان ضعیف باشد، احتمال خطا در پاسخها افزایش مییابد.
- عدم grounding یا پایهگذاری: بسیاری از مدلهای زبانی عمومی قادر به ارجاع دقیق به منابع خبری لحظهای یا پایگاههای داده تأییدشده نیستند. در نتیجه، وقتی با رخدادهای در حال وقوع مواجه میشوند، ممکن است تکههایی از اطلاعات نامرتبط را ترکیب کنند.
- بهروزرسانی داده و cadence زمانی: اگر مدل به پایگاه دادههای لحظهای متصل نباشد یا دورههای بهروزرسانی طولانی داشته باشد، گزارشهای تازه را پوشش نمیدهد و از اطلاعات قدیمی یا نادرست استفاده میکند.
- تعاملات کاربری و اخلال هدفمند: پستها و پرسشهایی که حاوی اطلاعات اشتباه یا جهتدار هستند میتوانند مدل را به سمت خروجیهای نادرست هدایت کنند، بهویژه اگر مدل رفتار ورودیها را بهعنوان سیگنال تقویتشده در نظر بگیرد.
نمونههای تبادل واقعیت و ابهام در پاسخها
مطالعه نمونه پاسخهای منتشرشده توسط کاربران نشان میدهد که اشتباهات Grok در چند قالب تکرار میشود: شناسایی نادرست افراد، ترکیب رویدادهای مختلف در یک روایت واحد و افزودن اطلاعات ژئوپلیتیکی نامربوط. هرکدام از این اشکال میتواند اعتماد مخاطبان به گزارشهای تولیدشده یا خلاصهشده توسط هوش مصنوعی را تضعیف کند. برای مثال، اگر مدل نام ناجی را غلط گزارش کند یا او را به فردی دیگری نسبت دهد، پیامدهای فوری برای امنیت شخصی و پوشش خبری وجود دارد.
پیامدها برای خبرنگاری، محققان و کاربران عادی
برای خبرنگاران، محققان و کاربران روزمرهای که به هوش مصنوعی برای خلاصهسازی اخبار فوری اتکا میکنند، پرونده باندی یادآور این نکته است که پاسخهای چتباتی باید موقتی و قابل بررسی تلقی شوند. در شرایط بحران یا حادثهای خشن، انتشار بدون بررسی نامها، تصاویر یا ادعاهای مرگ و زندگی میتواند منجر به آسیبهای جبرانناپذیر شود — از انتشار شایعات گرفته تا تاثیر بر تحقیقات رسمی و فرایند قضایی.
توصیههای عملی عبارتاند از: تأیید با منابع خبری اولیه، بررسی فیلمهای شاهد عینی، مراجعه به بیانیههای رسمی از سوی پلیس و مقامات محلی، و استفاده از ابزارهای مستقل بررسی واقعیت. سازمانهای خبری باید پروتکلهای داخلی برای کار با خروجیهای تولیدشده توسط هوش مصنوعی داشته باشند و از انتشار سریع و بدون کنترل اطلاعات پرهیز کنند.
نقش توسعهدهندگان و پلتفرمهای اجتماعی
ادغام ابزارهای هوش مصنوعی در شبکههای اجتماعی مسئولیت توسعهدهندگان و پلتفرمها را افزایش میدهد. لازم است تیمهای فنی لایههای تقویتی برای بررسی واقعیت، مکانیزمهای گزارش سریع خطا و تضمین شفافیت منابع داده در خروجیهای مدل پیادهسازی کنند. برخی اقدامات مشخص عبارتاند از:
- ادغام پیوندهای منبع در پاسخها یا نشان دادن درجه اطمینان اطلاعات.
- افزودن مکانیزمهای بازخورد کاربران برای اصلاح خودکار یا دستی پاسخهای اشتباه.
- ایجاد شیوهنامههای بهروزرسانی دورهای و اعلانهای شفاف درباره آخرین بازه زمانی که مدل بر اساس آن آموخته است.
- کار با سازمانهای بررسی واقعیت و خبرگزاریهای معتبر برای دستیابی به APIهای خبری تأییدشده یا دسترسی مستقیم به دادههای رسمی.
بدون این اقدامات، ترکیب «لحظههای ویروسی» و مدلهای تولیدی بهصورت ذاتی خطرناک میماند: ویدئوهای پربازدید میتوانند به سرعت اطلاعات اشتباه را منتشر کنند و هوش مصنوعی ممکن است آن را تشدید کند.
روشهای مقابله با خطا و افزایش اعتمادپذیری
برای کاهش خطر تولید اطلاعات نادرست از سوی چتباتهای خبری، میتوان راهکارهای فنی و سازمانی متعددی را پیشنهاد داد که هم ضمانت واقعنمایی خروجیها را افزایش میدهند و هم کارکرد روزمره خبرنگاران و کاربران را تسهیل میکنند.
پیشنهادات فنی
- پایهگذاری خروجیها (Grounding): اتصال مدل به پایگاههای خبری معتبر یا سیستمهای حاوی اسناد رسمی که امکان ارجاع به منبع را فراهم میکنند.
- مدلهای ترکیبی: ادغام مدلهای زبانی با سیستمهای بازیابی اطلاعات (IR) و مدلهای استنتاجی که میتوانند همزمان صحت ادعاها را بررسی کنند.
- نشانگرهای عدم قطعیت: نمایش صریح درجه اطمینان یا احتمال صحت یک پاسخ برای کمک به تصمیمگیری کاربران.
- فیلترهای محتوایی پیشرفته: بهبود فیلترهایی که از تولید یا بازتولید مطالب توهینآمیز، تحریکآمیز یا حساس جلوگیری میکنند.
پیشنهادات سازمانی و فرآیندی
رسانهها و پلتفرمها باید سیاستهایی شفاف در مورد نحوه استفاده از خروجیهای AI تدوین کنند. این سیاستها میتوانند شامل آموزش کارکنان در بررسی خروجیهای تولیدشده، تعیینمسئولیت انتشار محتوا، و ایجاد زنجیره بازبینی سریع برای خبرهای حساس باشند. همچنین باید مکانیزمهایی برای پاسخگویی شرکتهای توسعهدهنده در برابر خطاهای سیستماتیک وجود داشته باشد.
چشمانداز حقوقی و اخلاقی
با گسترش کاربرد هوش مصنوعی در تولید محتوای خبری، پرسشهای حقوقی و اخلاقی پیچیدهای مطرح میشود: چه کسی مسئول انتشار اطلاعات نادرست است؟ آیا شرکتهای هوش مصنوعی باید ملزم به افشای منابع و دورههای بهروزرسانی باشند؟ نهادهای قانونگذار در برخی حوزهها شروع به تنظیم مقررات برای شفافیت الگوریتمی و مسئولیتپذیری کردهاند، اما سرعت تحولات فنی از روند قانونگذاری جلوتر است.
از منظر اخلاقی، رسانهها و توسعهدهندگان باید منافع عمومی را در اولویت قرار دهند و از تقویت روایتهای نادرست که میتواند به آسیب شخصی یا اجتماعی بیانجامد، پرهیز کنند. همچنین مهم است که تبعات روانی و امنیتی برای افرادی که به اشتباه توسط مدلها متهم یا شناسایی میشوند، در نظر گرفته شود.
نتیجهگیری و توصیه نهایی
پرونده میزان خطاهای Grok در پوشش ویدئوی شلیک ساحل باندی نمونهای از چالشهای واقعی پیشِ روی فناوریهای تولید زبان است. این رخداد نشان میدهد که حتی مدلهای پیشرفته نیز میتوانند اطلاعات نادرست یا ناپایدار تولید کنند، بهخصوص در شرایطی که دادههای ورودی پرنویز یا حادثه در حال شکلگیری است. برای کاهش ریسک، ترکیبی از راهکارهای فنی، شفافیت در سطح پلتفرم و هشیاری کاربران لازم است.
کاربران رسانهای باید همواره پاسخهای هوش مصنوعی را بهعنوان نقطه شروع پژوهش در نظر بگیرند، نه حکم نهایی؛ و توسعهدهندگان باید با سرمایهگذاری در مکانیزمهای grounding، نشانگرهای عدم قطعیت و همکاری با منابع خبری معتبر، قابلیتاطمینان مدلها را افزایش دهند. تا زمانی که این شکافها برطرف نشوند، ترکیب ویدیوهای ویروسی و مدلهای مولد بهعنوان یک مخلوط پرخطر باقی خواهد ماند که میتواند سریعاً به گسترش اطلاعات نادرست منجر شود.
منبع: engadget
ارسال نظر