ساتیا نادلا: معماری اعتماد و مهار در هوش مصنوعی پیشرفته

مدیرعامل مایکروسافت، ساتیا نادلا، در یک پست مفصل در شبکه اجتماعی ایکس نوشت که توسعه‌دهندگان و مقررات‌گذاران باید فرض کنند مدل‌های پیشرفته هوش مصنوعی از ابتدا می‌توانند مخاطره‌آمیز باشند و باید با کنترل‌هایی طراحی شوند که آن‌ها را مهار کنند. او استدلال کرد که «معماری اعتماد» پیرامون هوش مصنوعی نیاز به بازنگری دارد و این‌که رویه کنونی در برخورد با مدل‌های قدرتمند به‌عنوان مجموعه‌ای از جعبه‌های سیاه درون هم ناکافی است.

جداسازی مدل‌ها از کنترل و نظارت

نادلا گفت باید از پذیرفتن بی‌قید و شرط توصیه‌ها، پاسخ‌ها یا اقدامات یک مدل بدون سازوکارهای ساختاری جلوگیری کنیم. او پیشنهاد داد معماری‌هایی ایجاد شود که در آن مدل‌ها از سامانه‌هایی که وظایف را مدیریت و اجرا می‌کنند جدا باشند، تا تدابیر مهار و کنترل‌های ایمنی خارج از خود مدل قرار گیرند. به‌گفته او، این جداسازی امکان نظارت و پایش مستقل‌تر رفتار مدل‌ها را فراهم می‌کند.

در خصوص احتمال از کنترل خارج شدن مدل، نادلا توصیه کرد از ابتدا فرض کنیم مدل ممکن است از کنترل خارج شود و بر همان اساس مهار آن را طراحی کنیم. او این موضوع را به‌عنوان یک الزام عملیاتی ایمنی طرح کرد: «ما باید از ابتدا فرض کنیم مدل از کنترل خارج است و باید آن را مهار کنیم. آن را مانند ترمز اضطراری در نظر بگیرید. یک شخص مجاز باید همیشه قادر باشد مدل را در میانه انجام یک وظیفه متوقف یا خاموش کند.» نادلا افزود که مدل‌های قدرتمندتر به فناوری‌های مهار پیشرفته‌تری نیاز خواهند داشت و باید استانداردهای مشترکی برای آن فناوری‌ها تدوین شود.

علاوه بر کنترل‌های توقف، نادلا بر ثبت گسترده اقدامات مهم مدل‌ها تأکید کرد. او خواستار سوابقی شد که هم برای انسان‌ها قابل خواندن باشد و هم در برابر دستکاری مقاوم، تا عملکرد و تصمیم‌گیری‌ها قابل بررسی و حسابرسی باشد. چنین سوابقی، به‌گفته او، از بازبینی و ارزیابی نحوه عملکرد مدل‌ها در عمل پشتیبانی خواهند کرد.

بسیاری از عناصر پیشنهادهای نادلا با توصیه‌هایی که در دیگر بخش‌های جامعه هوش مصنوعی مطرح شده هم‌راستا هستند. او اشاره کرد موضوعاتی که در حال حاضر مورد بحث‌اند شامل اطلاع‌رسانی سریع در مورد رخدادها، حسابرسی مستقل، اثبات منشاء داده‌ها و مکانیزم‌هایی برای مهار مدل‌ها هنگامی که به‌طور غیرمنتظره رفتار می‌کنند، هستند.

نادلا در پست خود طراحی فنی یا جدول زمانی مشخصی ارائه نداد و سخنانش را به‌عنوان پیشنهادها و اصول کلی مطرح کرد تا نسخه‌های مشخص سیاستی. او بر نیاز به استانداردهای مشترک و کنترل‌های خارجی قوی‌تر برای تسهیل نظارت مستقل و مستحکم‌تر بر سامانه‌های پیشرفته هوش مصنوعی تأکید کرد.