مدیرعامل مایکروسافت: مدل‌های هوش مصنوعی به ترمز اضطراری نیاز دارند
ساتیا نادلا خواستار بازنگری در سازوکارهای اعتماد و ایمنی هوش مصنوعی شده است؛ او معتقد است باید امکان توقف فوری مدل‌ها در میانه انجام وظایف، برای افراد مجاز فراهم باشد.
ساتیا نادلا، مدیرعامل مایکروسافت، با انتشار یادداشتی درباره ایمنی هوش مصنوعی، بر ضرورت بازنگری در معماری اعتماد این فناوری تأکید کرد. او معتقد است نمی‌توان مدل‌های هوش مصنوعی پیشرفته را جعبه‌های سیاهی در نظر گرفت که صرفاً پاسخ‌ها و اقداماتشان را بپذیریم یا رد کنیم؛ بلکه باید سازوکارهای نظارتی و کنترلی دقیق‌تری برای آن‌ها طراحی شود.
نادلا روز شنبه در پستی در شبکه اجتماعی ایکس نوشت که زمان آن رسیده است معماری اعتماد در سامانه‌های هوش مصنوعی دوباره ارزیابی شود. او در این اظهارات از اصطلاح «ابرهوش» استفاده کرد؛ واژه‌ای که دولت دونالد ترامپ نیز برای اشاره به هوش مصنوعی ترجیح داده است.
جداسازی مدل هوش مصنوعی از سازوکارهای اجرایی
از نگاه مدیرعامل مایکروسافت، یکی از گام‌های مهم برای افزایش ایمنی، جدا کردن خود مدل از چارچوبی است که وظایف آن را مدیریت و اجرا می‌کند. چنین رویکردی می‌تواند امکان کنترل مستقل‌تر رفتار مدل و اعمال محدودیت‌های امنیتی را فراهم کند.
نادلا همچنین بر ضرورت خارج کردن کنترل‌ها و تدابیر حفاظتی از درون مدل تأکید کرد. به گفته او، باید برای هر اقدام مهم مدل، شواهدی قابل‌خواندن برای انسان و مقاوم در برابر دست‌کاری ثبت شود تا بتوان عملکرد سامانه را بررسی و رفتار آن را پیگیری کرد.
پیشنهاد دیگر او این است که همواره فردی دارای مجوز بتواند در صورت لزوم، فعالیت مدل را در میانه اجرای یک وظیفه متوقف کند یا به‌طور کامل به آن پایان دهد. نادلا این قابلیت را به ترمز اضطراری تشبیه کرد؛ سازوکاری که در شرایط خطر امکان مداخله سریع را فراهم می‌کند.
فرض احتمال نفوذ و مهار خطر از ابتدا
نادلا معتقد است طراحی سامانه‌های هوش مصنوعی باید بر این فرض استوار باشد که ممکن است مدل به خطر افتاده یا کنترل آن مختل شده باشد. بر همین اساس، تدابیر مهار خطر باید از همان ابتدای طراحی در نظر گرفته شوند، نه اینکه تنها پس از بروز مشکل به کار گرفته شوند.
این رویکرد بر اهمیت محدود کردن اختیارات مدل، ثبت اقدامات حساس و فراهم کردن امکان مداخله انسانی تأکید دارد. در سامانه‌هایی که قادرند چندین مرحله از یک کار را به‌صورت خودکار انجام دهند، چنین کنترل‌هایی می‌توانند به کاهش پیامدهای احتمالی رفتارهای پیش‌بینی‌نشده کمک کنند.
افزایش نگرانی‌ها درباره کنترل مدل‌های هوش مصنوعی
اظهارات مدیرعامل مایکروسافت در شرایطی مطرح می‌شود که شرکت‌های پیشرو هوش مصنوعی با موارد بیشتری از دشواری در کنترل رفتار مدل‌ها و عامل‌های هوش مصنوعی روبه‌رو شده‌اند. در همین زمینه، شرکت آنتروپیک نیز اقداماتی را برای محدود کردن دسترسی برخی ارزیابی‌های داخلی خود به اینترنت زنده مطرح کرده است.
پیش‌تر، داریو آمودی، مدیرعامل آنتروپیک، نیز طرحی برای توسعه محتاطانه‌تر مدل‌های پیشرفته هوش مصنوعی ارائه کرده بود. مجموعه این موضع‌گیری‌ها نشان می‌دهد که در کنار افزایش توانایی مدل‌ها، موضوعاتی مانند نظارت، کنترل دسترسی، ثبت قابل‌اعتماد اقدامات و امکان توقف فعالیت سامانه‌ها به بخش مهمی از بحث ایمنی هوش مصنوعی تبدیل شده‌اند.
با این حال، پیشنهاد نادلا به‌تنهایی تضمین نمی‌کند که همه خطرهای احتمالی برطرف شوند. اثربخشی چنین سازوکارهایی به نحوه پیاده‌سازی، میزان استقلال مدل، سطح دسترسی آن و قابلیت اطمینان ابزارهای نظارتی بستگی دارد.
نوشته مدیرعامل مایکروسافت: مدل‌های هوش مصنوعی به ترمز اضطراری نیاز دارند اولین بار در آی تی رسان منتشر شد.