مایکروسافت ابزار‌های امنیتی جدیدی برای نظارت بر عامل‌های هوش مصنوعی معرفی کرد
به گزارش پایگاه خبری پایداری ملی به نقل از سرویس ترجمه شفقنا المعلومه نوشت: مایکروسافت هشدار داده است که تهدید‌های امنیتی دیگر صرفاً از سوی هکر‌های بیرونی نیستند و عامل‌های هوش مصنوعی مستقر در داخل سازمان‌ها نیز ممکن است به منبع خطر تبدیل شوند؛ وضعیتی که به مفهوم «تهدید داخلی» در امنیت سایبری شباهت دارد.
ابزار جدید در چارچوب پروژه «Project Perception» توسعه یافته است؛ طرحی که مایکروسافت با هدف تقویت توانایی سازمان‌ها در شناسایی و مدیریت تهدید‌های مرتبط با هوش مصنوعی معرفی کرده بود. این پروژه سه دسته عامل امنیتی را شامل می‌شود: گروه قرمز برای شبیه‌سازی حملات و شناسایی نقاط ضعف، گروه آبی برای کشف حملات و ارزیابی آسیب‌پذیری‌ها و گروه سبز برای رفع مشکلات و ترمیم حفره‌های امنیتی.
ساتیا نادلا، مدیرعامل مایکروسافت، پیش‌تر هشدار داده بود که سازمان‌ها نباید صرفاً به تضمین‌های امنیتی شرکت‌های سازنده مدل‌های هوش مصنوعی اتکا کنند. به گفته او، شرکت‌ها عامل‌های پیچیده‌ای را به کار می‌گیرند و به آنها اجازه دسترسی به حساس‌ترین داده‌ها و اجرای اقدامات مهم را می‌دهند؛ بنابراین، مسئولیت نظارت بر عملکرد این سیستم‌ها را نمی‌توان به توسعه‌دهندگان آنها واگذار کرد. او بر ضرورت ایجاد سازوکار‌های نظارتی مستقل تأکید کرده است تا سازمان‌ها بتوانند دسترسی عامل‌ها را کنترل و خطرات احتمالی را محدود کنند.
مایکروسافت همچنین قابلیت شناسایی عامل‌های هوش مصنوعی را به محصول امنیتی «Microsoft Defender» افزوده است که امکان شناسایی حداکثر ۶۰ نوع عامل مورد استفاده کارکنان، از جمله Claude Code، Codex و OpenClaw را فراهم می‌کند. قابلیت‌های جدید دیگری نیز برای محدود کردن دسترسی این عامل‌ها به داده‌ها و سامانه‌ها و تغییر پویای سطح دسترسی آنها متناسب با وظیفه در نظر گرفته شده است.
در مواردی که تصمیم‌های عامل هوش مصنوعی پرخطر تشخیص داده شوند، امکان درخواست تأیید انسانی وجود خواهد داشت. این رویکرد نشان‌دهنده تغییر جهت در امنیت هوش مصنوعی است: سازمان‌ها علاوه بر مقابله با حملات خارجی، باید رفتار سیستم‌های هوشمند مستقر در محیط داخلی خود را نیز زیر نظر بگیرند و مانع عبور آنها از حدود اختیارات تعیین‌شده شوند.