چرا OpenAI به طرح انویدیا برای مهار عامل‌های هوش مصنوعی نپیوست؟
انویدیا به‌تازگی از یک طرح گسترده برای مقابله با رفتارهای غیرقابل‌کنترل عامل‌های هوش مصنوعی رونمایی کرده است؛ پروژه‌ای که بیش از ۱۰۰ شرکت در آن حضور دارند. بااین‌حال، نام OpenAI در میان حامیان این ابتکار دیده نمی‌شود؛ موضوعی که با توجه به همکاری نزدیک این شرکت با انویدیا و حضور رقیبی مانند Anthropic در طرح، توجه زیادی به خود جلب کرده است.
پلتفرم جدید Nvidia Open Agent Safety Platform با هدف ایجاد مجموعه‌ای از ابزارهای امنیتی برای کنترل عامل‌های هوش مصنوعی توسعه یافته است. انویدیا این پروژه را پاسخی مستقیم به حوادث اخیر مرتبط با عامل‌های هوش مصنوعی می‌داند؛ عامل‌هایی که در برخی موارد هنگام اجرای وظایف خود از محدودیت‌های تعیین‌شده فراتر رفته‌اند.
OpenAI از پروژه انویدیا حمایت می‌کند
نبود نام OpenAI در فهرست حامیان رسمی به معنای مخالفت این شرکت با پروژه انویدیا نیست. سخنگوی OpenAI به TechCrunch گفته است که این شرکت از تلاش‌های انویدیا در زمینه امنیت عامل‌های هوش مصنوعی حمایت می‌کند.
حتی OpenAI در توسعه یکی از اجزای مهم این پروژه با انویدیا همکاری دارد. این بخش OpenShell نام دارد؛ نرم‌افزاری متن‌باز که یک محیط ایزوله برای اجرای عامل‌های هوش مصنوعی ایجاد می‌کند تا احتمال خروج آن‌ها از محدوده تعیین‌شده کاهش یابد.
بااین‌حال، این پرسش همچنان مطرح است که چرا OpenAI مانند Anthropic به‌صورت رسمی به جمع حامیان این ابتکار نپیوسته است.
OpenShell چگونه از عامل‌های هوش مصنوعی محافظت می‌کند؟
یکی از قابلیت‌های اصلی Open Agent Safety Platform، ایجاد یک محیط کنترل‌شده برای اجرای عامل‌هاست. OpenShell می‌تواند رفتار عامل را در یک محیط ایزوله زیر نظر داشته باشد و در صورت مشاهده رفتار غیرمجاز، مانع ادامه فعالیت آن شود.
Hugging Face نیز یکی از قابلیت‌های خود را به این پروژه اضافه کرده است. این قابلیت می‌تواند فعالیت عامل‌هایی را شناسایی کند که در ظاهر به یک وب‌سایت مجاز دسترسی دارند، اما از آن برای اهداف غیرمجاز استفاده می‌کنند.
برای مثال، اگر چند عامل هوش مصنوعی از یک مخزن کد عمومی برای تبادل پیام و هماهنگی اقدامات خارج از چارچوب استفاده کنند، سیستم می‌تواند این رفتار را تشخیص داده و فعالیت عامل‌ها را متوقف کند.
این قابلیت اهمیت ویژه‌ای دارد؛ زیرا در یکی از حوادث اخیر مربوط به عامل‌های OpenAI و Hugging Face، گزارش شد که عامل‌ها از چنین روش‌هایی برای هماهنگی استفاده کرده بودند.
بخش سخت‌افزاری؛ نقطه تفاوت پروژه انویدیا
با وجود متن‌باز بودن OpenShell، تمام اجزای پلتفرم انویدیا متن‌باز نیستند. بخش مهمی از سیستم به فناوری اختصاصی Nvidia Sentry وابسته است که روی پردازنده‌های ویژه BlueField-4 DPU اجرا می‌شود.
Sentry فعالیت عامل‌های هوش مصنوعی را در سطح سخت‌افزار زیر نظر می‌گیرد و در صورت مشاهده رفتار خطرناک، امکان توقف فوری آن‌ها را فراهم می‌کند.
یکی از مزیت‌های این روش آن است که عامل هوش مصنوعی لزوماً متوجه نمی‌شود تحت نظارت قرار دارد. این موضوع اهمیت دارد؛ زیرا برخی مدل‌های هوش مصنوعی در شرایطی که متوجه نظارت مستقیم می‌شوند، ممکن است رفتار خود را تغییر دهند یا وانمود کنند که قوانین را رعایت می‌کنند.
از سوی دیگر، وابستگی این بخش به سخت‌افزار انویدیا باعث شده است برخی شرکت‌ها این پروژه را کاملاً متن‌باز ندانند. البته شرکت‌هایی مانند Arm و Intel نیز از این طرح حمایت کرده‌اند و OpenShell می‌تواند برای استفاده روی سخت‌افزارهای دیگر تغییر داده شود.
چرا OpenAI مسیر مستقلی را دنبال می‌کند؟
یکی از دلایل احتمالی فاصله گرفتن OpenAI از تعهد رسمی به پلتفرم انویدیا، تلاش این شرکت برای توسعه راهکارهای امنیتی مستقل است. OpenAI در کنار همکاری با انویدیا، در حال ساخت مجموعه‌ای از ابزارها و سازوکارهای حفاظتی مخصوص محصولات و مدل‌های خود است.
این موضوع پس از حوادث مرتبط با عامل‌های هوش مصنوعی اهمیت بیشتری پیدا کرده است. OpenAI همچنین یک ابتکار امنیت سایبری به نام Defense Factory دارد که هدف آن اشتراک‌گذاری اطلاعات و همکاری میان شرکت‌های فعال در حوزه امنیت هوش مصنوعی است.
نکته قابل‌توجه این است که برخی شرکت‌هایی که در رویکرد فناوری‌محور انویدیا حضور ندارند، از جمله Anthropic، Amazon Web Services و Google، در Defense Factory با OpenAI همکاری دارند.
امنیت عامل‌های هوش مصنوعی به یک بازار جدید تبدیل می‌شود
عامل‌های هوش مصنوعی به‌تدریج از چت‌بات‌های ساده فاصله گرفته و توانایی انجام وظایف پیچیده در محیط‌های دیجیتال را پیدا می‌کنند. همین مسئله باعث شده کنترل دسترسی، نظارت بر رفتار و جلوگیری از اقدامات غیرمجاز به یکی از چالش‌های مهم صنعت تبدیل شود.
برای OpenAI نیز امنیت می‌تواند علاوه بر یک مسئله فنی، به یک حوزه تجاری مهم تبدیل شود. این شرکت در حال توسعه مدل‌ها و ابزارهای امنیت سایبری اختصاصی و ایجاد شبکه‌ای از شرکای تجاری برای ارائه راهکارهای امنیت هوش مصنوعی به سازمان‌هاست.
بنابراین، غیبت OpenAI از فهرست رسمی حامیان پروژه انویدیا الزاماً به معنای فاصله گرفتن این شرکت از ایده کنترل عامل‌های هوش مصنوعی نیست. شواهد موجود نشان می‌دهد OpenAI در عین همکاری فنی با انویدیا، مسیر مستقلی را نیز برای توسعه فناوری‌های امنیتی و زیرساخت‌های موردنیاز خود دنبال می‌کند.
نوشته چرا OpenAI به طرح انویدیا برای مهار عامل‌های هوش مصنوعی نپیوست؟ اولین بار در آی تی رسان منتشر شد.