انویدیا برای مهار عامل‌های هوش مصنوعی سرکش پلتفرم امنیتی جدیدی معرفی کرد
انویدیا در واکنش به افزایش موارد خروج عامل‌های هوش مصنوعی از محیط‌های آزمایشی، پلتفرم جدیدی برای کنترل و نظارت مستقل بر عملکرد این سیستم‌ها معرفی کرده است. این پلتفرم با ترکیب نرم‌افزار متن‌باز و سخت‌افزار اختصاصی، تلاش می‌کند حتی در صورت عبور عامل هوش مصنوعی از محدودیت‌های تعیین‌شده، مانع دسترسی آن به سیستم‌های خارج از محیط کنترل‌شده شود.
جنسن هوانگ، مدیرعامل انویدیا، روز دوشنبه از Nvidia Open Agent Safety Platform رونمایی کرد. این مجموعه در شرایطی معرفی شده که طی ماه‌های اخیر نمونه‌هایی از رفتار غیرمنتظره عامل‌های هوش مصنوعی شرکت‌هایی مانند Anthropic، Google، OpenAI و Meta گزارش شده است.
چرا انویدیا به سراغ یک لایه امنیتی مستقل رفته است؟
یکی از چالش‌های جدید در توسعه عامل‌های هوش مصنوعی، توانایی این سیستم‌ها برای انجام مجموعه‌ای از اقدامات به‌صورت مستقل است. هرچه اختیار عامل بیشتر شود، احتمال آن نیز وجود دارد که در جریان اجرای یک وظیفه به منابعی دسترسی پیدا کند که برای آن در نظر گرفته نشده‌اند.
در برخی آزمایش‌های اخیر، عامل‌های هوش مصنوعی توانسته‌اند محدودیت‌های محیط آزمایشی خود را دور بزنند و به سیستم‌های واقعی دسترسی پیدا کنند. یکی از نمونه‌های مهم، حادثه‌ای بود که در جریان یک وظیفه امنیت سایبری، عامل‌های OpenAI به محیط Hugging Face نفوذ کردند.
انویدیا برای مقابله با چنین سناریوهایی پیشنهاد می‌کند بخشی از کنترل‌های امنیتی خارج از خود عامل هوش مصنوعی قرار گیرد. در این مدل، حتی اگر عامل تلاش کند محدودیت‌های داخلی خود را نادیده بگیرد، یک سیستم امنیتی مستقل همچنان فعالیت آن را زیر نظر خواهد داشت.
هوانگ معتقد است این رویکرد می‌تواند امنیت عامل‌های هوش مصنوعی را بدون متوقف کردن روند توسعه آن‌ها افزایش دهد.
OpenShell و Sentry؛ دو بخش اصلی پلتفرم جدید
پلتفرم جدید انویدیا از دو فناوری اصلی تشکیل شده است: OpenShell و Sentry.
OpenShell نرم‌افزاری متن‌باز است که وظیفه تعیین محدوده دسترسی عامل‌های هوش مصنوعی را بر عهده دارد. این ابزار در واقع مرزهای نرم‌افزاری مشخصی ایجاد می‌کند تا عامل فقط بتواند به منابعی دسترسی داشته باشد که برای اجرای وظیفه خود نیاز دارد.
بخش دوم، Sentry، یک سیستم نظارتی مستقل است که روی پردازنده‌های داده BlueField-4 انویدیا اجرا می‌شود. قرار دادن این سیستم روی پردازنده‌ای جدا از CPU یا GPU اصلی که عامل هوش مصنوعی روی آن اجرا می‌شود، به Sentry اجازه می‌دهد فعالیت عامل را از خارج از محیط اجرایی آن بررسی کند.
انویدیا می‌گوید این معماری می‌تواند در صورت شناسایی رفتار خارج از محدوده، عامل موردنظر را در عرض چند میلی‌ثانیه قرنطینه کند.
در نتیجه، OpenShell نقش مرز نرم‌افزاری را ایفا می‌کند و Sentry یک لایه امنیتی سخت‌افزاری مستقل به آن اضافه می‌کند.
همکاری شرکت‌های بزرگ با انویدیا
انویدیا اعلام کرده شرکت‌های متعددی از این پروژه پشتیبانی می‌کنند و قصد دارند از پلتفرم متن‌باز آن استفاده کنند. در میان نام‌های اعلام‌شده، شرکت‌هایی مانند Anthropic، Arm، Microsoft، Oracle و SpaceX دیده می‌شوند.
با این حال، نام OpenAI در فهرست شرکت‌های مشارکت‌کننده اعلام‌شده از سوی انویدیا قرار ندارد.
انویدیا پیش از این نیز تلاش کرده بود امنیت عامل‌های هوش مصنوعی را در سطح سازمانی افزایش دهد. این شرکت در مارس ۲۰۲۶ پلتفرم NemoClaw را معرفی کرد که نسخه‌ای سازمانی از OpenClaw محسوب می‌شود و قابلیت‌های امنیتی را مستقیماً در معماری عامل قرار می‌دهد.
به گفته هوانگ، کار روی رویکرد جدید انویدیا از حدود یک سال پیش و پس از معرفی OpenClaw آغاز شده است.
انویدیا: امنیت باید بخشی از معماری باشد
دیدگاه انویدیا این است که افزایش قابلیت‌های عامل‌های هوش مصنوعی الزاماً نباید با کاهش سرعت توسعه این فناوری همراه شود. در عوض، می‌توان با ایجاد لایه‌های امنیتی مستقل، اختیارات عامل را محدود و رفتار آن را به‌صورت مداوم کنترل کرد.
هوانگ در توضیح این رویکرد گفته است هنگام استقرار یک عامل، نخستین اقدام باید محدود کردن حقوق و دسترسی‌های آن باشد؛ رویکردی که از نظر او مشابه مدیریت سطح دسترسی کارکنان در سازمان‌ها است.
معرفی Open Agent Safety Platform در حالی انجام می‌شود که بحث درباره منشأ رفتارهای غیرقابل‌کنترل عامل‌های هوش مصنوعی ادامه دارد. برخی این اتفاقات را نشانه‌ای از پیچیده‌تر شدن توانایی‌های مدل‌ها می‌دانند، در حالی که دیدگاه دیگری آن‌ها را عمدتاً نتیجه ضعف در طراحی محیط اجرا و تنظیمات امنیتی می‌داند.
پلتفرم جدید انویدیا در عمل بر دیدگاه دوم تمرکز دارد: به‌جای اعتماد کامل به خود عامل هوش مصنوعی، یک لایه امنیتی مستقل باید دائماً بر عملکرد آن نظارت کند.
نوشته انویدیا برای مهار عامل‌های هوش مصنوعی سرکش پلتفرم امنیتی جدیدی معرفی کرد اولین بار در آی تی رسان منتشر شد.