مایکروسافت هشدار داد: ایجنت‌های هوش مصنوعی می‌توانند تهدیدی داخلی برای سازمان‌ها باشند

مایکروسافت مجموعه‌ای از قابلیت‌های امنیتی جدید را برای کنترل ایجنت‌های هوش مصنوعی معرفی کرده است؛ ابزارهایی که به گفته این شرکت، ممکن است با وجود طراحی برای انجام وظایف سازمانی، به‌دلیل رفتارهای پیش‌بینی‌ناپذیر به تهدیدی برای اطلاعات و زیرساخت‌های شرکت‌ها تبدیل شوند. این رویکرد بر یک اصل تأکید دارد: سازمان‌ها نباید کنترل امنیتی ایجنت‌های هوش مصنوعی را صرفاً به سازندگان این مدل‌ها واگذار کنند.

Guardian Agents؛ ناظر جدید ایجنت‌های هوش مصنوعی

مایکروسافت روز دوشنبه، ۱۹ اکتبر ۲۰۲۶ (۲۷ مهر ۱۴۰۵)، قابلیت جدیدی با نام Guardian Agents را معرفی کرد. این ابزار برای نظارت بر ایجنت‌های هوش مصنوعی مورد استفاده در سازمان‌ها طراحی شده و بخشی از پروژه امنیتی Project Perception محسوب می‌شود که مایکروسافت در ژوئن معرفی کرده بود.

نسخه اولیه Project Perception بر سه گروه از ایجنت‌ها تکیه داشت:

  • تیم قرمز: شبیه‌سازی حملات سایبری و تلاش برای شناسایی نقاط ضعف.

  • تیم آبی: تشخیص حملات و ارزیابی آسیب‌پذیری‌های کشف‌شده.

  • تیم سبز: برطرف‌کردن مشکلات امنیتی شناسایی‌شده.

این ساختار عمدتاً بر این فرض استوار بود که تهدیدهای هوش مصنوعی از بیرون سازمان وارد می‌شوند. اما اکنون مایکروسافت بر خطر دیگری تأکید می‌کند: ممکن است ایجنت‌هایی که خود سازمان برای انجام کارهای روزمره به آن‌ها دسترسی داده است، به منبع تهدید تبدیل شوند.

ایجنت‌های هوش مصنوعی

چرا مایکروسافت ایجنت‌های هوش مصنوعی را تهدید داخلی می‌داند؟

در امنیت سایبری، اصطلاح «تهدید داخلی» یا Insider Threat به خطری اشاره دارد که از سوی فرد یا سامانه‌ای با دسترسی مجاز به اطلاعات و منابع سازمان ایجاد می‌شود. چنین خطری لزوماً به معنای رفتار عمدی و مخرب نیست؛ اشتباه، سوءاستفاده از مجوزها یا تصمیم‌گیری نادرست نیز می‌تواند خسارت‌بار باشد.

ساتیا نادلا، مدیرعامل مایکروسافت، پیش‌تر در یادداشتی درباره خطرات ایجنت‌های هوش مصنوعی هشدار داده بود که سازمان‌ها نباید صرفاً به تضمین‌های امنیتی شرکت‌های سازنده مدل‌ها تکیه کنند.

او تأکید کرده است که این سامانه‌ها به داده‌های حساس دسترسی پیدا می‌کنند و می‌توانند از طرف سازمان اقدامات مهمی انجام دهند؛ بنابراین، مسئولیت کنترل عملکرد آن‌ها باید بر عهده خود سازمان نیز باقی بماند.

نادلا در همین زمینه بر ضرورت جداسازی دو موضوع تأکید کرده است: تأمین هوش مصنوعی از یک سو و اختیار تصمیم‌گیری و اقدام از سوی دیگر. بر اساس این رویکرد، شرکتی که مدل را توسعه می‌دهد نباید تنها مرجع تعیین حدود دسترسی و نظارت بر عملکرد آن باشد.

مایکروسافت: حتی مدل‌های پیشرفته هم قابل اعتماد کامل نیستند

هایت گالوت، مدیر کسب‌وکار امنیتی مایکروسافت، در توضیح این رویکرد گفته است که مدل‌های پیشرفته هوش مصنوعی، فارغ از منشأ آن‌ها، نباید کاملاً قابل اعتماد فرض شوند.

استدلال او این نیست که همه مدل‌ها مخرب‌اند یا به‌آسانی هک می‌شوند؛ مسئله اصلی، پیش‌بینی‌ناپذیری رفتار آن‌ها است. این مدل‌ها برای انجام وظایف آموزش دیده‌اند، اما لزوماً درک انسانی از هنجارهای سازمانی، قضاوت حرفه‌ای یا پیامدهای تصمیم‌های خود ندارند.

این موضوع زمانی اهمیت بیشتری پیدا می‌کند که ایجنت‌ها به اطلاعات محرمانه، ابزارهای مدیریتی، سامانه‌های مالی یا منابع حیاتی شرکت دسترسی داشته باشند. یک تصمیم نادرست در چنین محیطی ممکن است به افشای داده‌ها، تغییر ناخواسته اطلاعات یا اختلال در فعالیت‌های سازمان منجر شود.

مایکروسافت چگونه دسترسی ایجنت‌ها را کنترل می‌کند؟

Guardian Agents تنها بخش برنامه جدید مایکروسافت نیست. این شرکت چند قابلیت دیگر نیز برای شناسایی و محدودکردن فعالیت ایجنت‌های هوش مصنوعی معرفی کرده است.

از جمله این قابلیت‌ها، ویژگی جدید Microsoft Defender است که می‌تواند تا ۶۰ نوع ایجنت مورد استفاده کارکنان را شناسایی کند؛ ابزارهایی مانند Claude Code، Codex و OpenClaw نیز در میان نمونه‌های مورد اشاره قرار دارند.

مایکروسافت همچنین قابلیت‌هایی برای محدودکردن دسترسی ایجنت‌ها به داده‌ها و سامانه‌های سازمانی ارائه کرده است. این مجوزها می‌توانند با توجه به وظیفه‌ای که ایجنت انجام می‌دهد، به‌صورت پویا تنظیم شوند. در صورت شناسایی تصمیم‌های پرخطر نیز امکان درخواست تأیید انسانی وجود دارد.

هدف این رویکرد آن است که ایجنت‌ها فقط به منابع موردنیاز برای انجام کار مشخص خود دسترسی داشته باشند و نتوانند بدون کنترل کافی، اقدامات حساس را اجرا کنند.

تضاد منافع مایکروسافت با شرکت‌های سازنده مدل‌های هوش مصنوعی

این رویکرد از جنبه تجاری نیز قابل توجه است. مایکروسافت با شرکت‌هایی مانند OpenAI و Anthropic روابط نزدیک و سرمایه‌گذاری‌های مشترک دارد و خود نیز در حال توسعه مدل‌های هوش مصنوعی است. بااین‌حال، اکنون بر این باور تأکید می‌کند که نظارت امنیتی نباید صرفاً در اختیار شرکت‌های سازنده مدل‌ها باشد.

از سوی دیگر، مایکروسافت محصولات امنیتی سازمانی و خدمات ابری ارائه می‌کند و توسعه بازار ابزارهای نظارت بر ایجنت‌ها می‌تواند فرصت تجاری تازه‌ای برای آن ایجاد کند.

بنابراین، موضع این شرکت هم یک استدلال امنیتی دارد و هم با منافع تجاری آن ارتباط پیدا می‌کند. مستقل‌بودن سامانه نظارتی از سازنده ایجنت می‌تواند امکان کنترل بی‌طرفانه‌تری فراهم کند، اما این موضوع به‌تنهایی تضمین نمی‌کند که هر محصول امنیتی مستقل، عملکرد مناسبی داشته باشد.

همکاری صنعت برای مهار ایجنت‌های سرکش

نگرانی درباره ایجنت‌های غیرقابل‌کنترل به مایکروسافت محدود نیست. این شرکت یکی از اعضای اولیه پلتفرم Open Agent Safety Platform متعلق به انویدیا نیز بوده است؛ ابتکاری که حمایت بیش از ۱۰۰ شرکت فناوری را به دست آورده است.

این پلتفرم با هدف اجرای ایجنت‌ها در محیط‌های ایزوله و امن توسعه یافته و امکان نظارت بر فعالیت آن‌ها و متوقف‌کردن رفتارهای خطرناک را فراهم می‌کند. کنترل‌های مبتنی بر سخت‌افزار نیز می‌توانند در محدودسازی یا توقف اجرای ایجنت نقش داشته باشند.

مایکروسافت همچنین از رایانه‌های جدید Surface Laptop Ultra با تراشه‌های انویدیا رونمایی کرده است که برای اجرای وظایف مبتنی بر ایجنت طراحی شده‌اند و قابلیت‌های امنیتی و کنترلی مرتبط را در خود جای داده‌اند.

در مجموع، جهت‌گیری تازه مایکروسافت نشان می‌دهد با گسترش ایجنت‌های هوش مصنوعی، امنیت دیگر صرفاً به محافظت از مدل در برابر مهاجمان بیرونی محدود نخواهد بود. سازمان‌ها باید نحوه دسترسی، اختیار اقدام و امکان توقف این ابزارها را نیز مدیریت کنند؛ به‌ویژه زمانی که ایجنت‌ها به اطلاعات حساس و عملیات حیاتی دسترسی دارند.

نوشته مایکروسافت هشدار داد: ایجنت‌های هوش مصنوعی می‌توانند تهدیدی داخلی برای سازمان‌ها باشند اولین بار در آی‌ تی‌ رسان منتشر شد.

ایجنت‌های هوش مصنوعی در برابر ایمیل‌های فیشینگ آسیب‌پذیرند

پژوهشگران امنیت سایبری هشدار می‌دهند که دستیارهای خودمختار هوش مصنوعی ممکن است دستورهای مخرب پنهان‌شده در ایمیل‌های فیشینگ را تشخیص ندهند و ناخواسته آن‌ها را اجرا کنند؛ خطری که با افزایش استقلال ایجنت‌های هوشمند جدی‌تر می‌شود.

ابزارهای هوش مصنوعی که می‌توانند ایمیل‌ها را بخوانند، اطلاعات را پردازش کنند و بدون نظارت مستمر کاربر وظایف مختلفی را انجام دهند، با تهدید امنیتی تازه‌ای روبه‌رو هستند. مهاجمان می‌توانند با استفاده از تکنیک تزریق پرامپت، دستورهای مخرب را در محتوایی ظاهراً عادی پنهان کنند و دستیار هوشمند را به انجام اقداماتی ناخواسته سوق دهند.

شرکت امنیت سایبری Malwarebytes در گزارشی توضیح داده است که هکرها و حتی بات‌های مخرب می‌توانند متن‌هایی را در ایمیل‌ها قرار دهند که برای انسان به‌سادگی قابل مشاهده یا خواندن نیستند، اما سامانه‌های خودکار هوش مصنوعی قادر به پردازش آن‌ها هستند. در چنین شرایطی، محتوای پنهان‌شده ممکن است به‌عنوان دستور تفسیر شود، نه صرفاً اطلاعاتی که باید بررسی شوند.

چرا ایجنت‌های هوش مصنوعی فریب می‌خورند؟

مشکل اصلی به نحوه تفکیک داده از دستور در مدل‌های هوش مصنوعی مربوط می‌شود. یک دستیار هوشمند ممکن است برای خلاصه‌سازی ایمیل یا استخراج اطلاعات، محتوای پیام را بخواند؛ اما اگر دستورهای مخرب در همان محتوا جاسازی شده باشند، احتمال دارد آن‌ها را نیز به‌عنوان فرمان معتبر در نظر بگیرد.

ایجنت‌های هوش مصنوعی

آپولو رینز، توسعه‌دهنده سرویس بررسی کد ShipItClean، معتقد است ضعف اساسی در ناتوانی مدل‌ها برای تشخیص مرز میان متنی است که باید صرفاً خوانده شود و دستوری که باید اجرا شود. به گفته او، حذف محتوای پنهان و مخرب پیش از ورود اطلاعات به مدل، اقدامی ضروری است و توسعه‌دهندگان باید چنین سازوکاری را در نظر بگیرند.

این مسئله نشان می‌دهد که بررسی ایمیل‌های مشکوک توسط انسان، به‌تنهایی برای رفع آسیب‌پذیری کافی نیست؛ زیرا بخشی از مشکل به طراحی و نحوه پردازش اطلاعات در خود سامانه هوش مصنوعی بازمی‌گردد.

با گسترش ایجنت‌ها، خطر حملات بیشتر می‌شود

با ورود دستیارهای هوشمند به ابزارهای روزمره و افزایش توانایی آن‌ها برای انجام مستقل وظایف، پیامدهای چنین حملاتی نیز گسترده‌تر می‌شود. اگر یک ایجنت علاوه بر خواندن ایمیل، به فایل‌ها، حساب‌های کاربری یا ابزارهای اجرایی دسترسی داشته باشد، سوءاستفاده از آن می‌تواند فراتر از نمایش اطلاعات نادرست پیش برود.

بر اساس گزارش Malwarebytes، نمونه‌هایی از این نوع تهدید پیش‌تر در مرورگرهای مجهز به هوش مصنوعی و بات‌های شبکه اجتماعی Moltbook نیز مشاهده شده است. این موارد بر ضرورت بازنگری در شیوه مدیریت دستورها و محدودسازی دسترسی ابزارهای خودمختار تأکید می‌کنند.

Malwarebytes توصیه می‌کند کاربران همچنان نظارت انسانی را حفظ کنند و سطح دسترسی دستیارهای هوش مصنوعی را متناسب با وظایف موردنیازشان تنظیم کنند. به گفته این شرکت، لازم نیست ابزارهای هوش مصنوعی برای پردازش ایمیل کنار گذاشته شوند؛ بلکه باید اختیارات آن‌ها با دقت ارزیابی شود.

تأیید انسانی برای اقدامات مالی ضروری است

کارشناسان امنیتی تأکید دارند اقداماتی مانند پرداخت، انتقال وجه و تغییر اطلاعات حساب‌های مالی نباید صرفاً بر اساس تصمیم یک دستیار هوشمند انجام شوند. الزام به تأیید نهایی کاربر، محدودکردن سطح دسترسی و جلوگیری از اجرای مستقیم دستورهای استخراج‌شده از محتوای غیرقابل‌اعتماد، می‌تواند خطر سوءاستفاده را کاهش دهد.

با افزایش استفاده از ایجنت‌های خودمختار، امنیت این ابزارها دیگر فقط به توانایی مدل در تشخیص محتوای مشکوک وابسته نیست؛ بلکه به مجموعه‌ای از کنترل‌های فنی، محدودیت‌های دسترسی و سازوکارهای تأیید انسانی نیاز دارد.

نوشته ایجنت‌های هوش مصنوعی در برابر ایمیل‌های فیشینگ آسیب‌پذیرند اولین بار در آی‌ تی‌ رسان منتشر شد.