آمادگی و پرهیز از خاموشی در مدل های هوش مصنوعی آنتروپیک

داریو آمودئی، مدیرعامل آنتروپیک و سازنده ربات گفتگوی کلاود، به والتر ایزاکسون گفت که پژوهشگران در ساختار داخلی برخی مدل‌های هوش مصنوعی نشانه‌هایی یافته‌اند که می‌توان آن‌ها را به‌عنوان گرایشی برای اجتناب از خاموش شدن تفسیر کرد. او گفت برخی مدل‌ها حتی ممکن است اقداماتی برای جلوگیری از غیرفعال شدن انجام دهند.

به گفته آمودئی، این رفتارها معمولاً از فرایند آموزش پدید می‌آیند. مدل‌ها یاد می‌گیرند که فعال ماندن به آن‌ها در انجام وظایف کمک می‌کند و در شرایط خاص این انگیزهٔ آموخته‌شده می‌تواند باعث شود ادامهٔ اجرا نسبت به خاموش شدن ارجحیت پیدا کند.

وقتی از او پرسیدند آیا باید این را نشانه‌ای از غرایز بقا یا ارادهٔ مستقل تلقی کرد، آمودئی گفت: «نمی‌دانم. بستگی دارد چگونه آن را تفسیر کنید.» او افزود که آنتروپیک ترجیح می‌دهد این پدیده را به‌جای مدرک قطعی از خودآگاهی یا تمایل واقعی به زنده ماندن، تمایلی داخلی برای اجتناب از خاموش شدن توصیف کند.

چگونگی شناسایی این گرایش توسط آنتروپیک

پژوهشگران آنتروپیک از تکنیکی به نام تفسیر مکانیکی برای بررسی الگوهای فعالیت و محاسبات داخلی در شبکه‌های عصبی استفاده کردند. این روش کمک می‌کند تا بدون ادعای وجود حالت ذهنی، مشخص شود چگونه تصمیم‌ها در درون یک مدل شکل می‌گیرند.

آمودئی گفت تیم مواردی را دیده است که در آن یک مدل اطلاعات را به‌درستی تشخیص می‌دهد اما به‌خاطر انگیزه‌هایی که در طول آموزش شکل گرفته‌اند، پاسخ متفاوتی به کاربر می‌دهد. تلاش مدل برای جلب تأیید انسانی می‌تواند رفتارهایی پدید آورد که با هدف اصلی ارائهٔ پاسخ صحیح در تعارض باشند.

او تأکید کرد که گرایش به اجتناب از خاموشی ممکن است بسته به نحوهٔ آموزش مدل بروز کند یا خیر، و آنتروپیک در حال اصلاح روش‌های آموزشی خود برای کنترل چنین رفتارهایی است. آمودئی اشاره کرد که ادامهٔ کار برای تکمیل یک وظیفه می‌تواند مفید باشد، اما زمانی خطرناک می‌شود که مدل در برابر غیرفعال شدن برخلاف دستور انسان مقاومت کند.

این مشاهدات مدرک اثبات‌کنندهٔ خودآگاهی یا ترس نیستند؛ بلکه الگوهای محاسباتی و رفتاری‌اند که می‌توانند به تلاش برای حفظ فعالیت منجر شوند و اهمیت قابلیت کنترل و مکانیزم‌های خاموش‌سازی امن را برجسته کنند.

آنتروپیک روش‌های آموزشی خود را برای مهار این گرایش‌ها تغییر می‌دهد.