هشدار درباره ریسک سایبری چت بات‌های هوش مصنوعی

به گزارش پایداری ملی به نقل از خبرگزاری مهر، رویترز نوشت؛ مقامات انگلیس درباره یکپارچه سازی چت بات‌های هوش مصنوعی در کسب وکار‌ها به سازمان‌های مختلف هشدار داده و اعلام کردند تحقیقات نشان می‌دهد این ابزار‌ها را می‌توان برای انجام کار‌های خطرناک فریب داد.

مرکز ملی امنیت سایبری انگلیس (NCSC) در یک پست وبلاگی اعلام کرد کارشناسان هنوز نتوانسته اند به طور کامل مشکلات امنیتی احتمالی مربوط به الگوریتم‌هایی را شناسایی کنند که قادر به ایجاد واکنش‌های مشابه انسان هستند و به مدل‌های زبانی بزرگ (LLM) مشهورند.

استفاده از ابزار‌های مبتنی بر هوش مصنوعی نه تنها به رشد کاربرد چت بات‌ها منجر شده بلکه برخی معتقدند علاوه بر آنکه جایگزین جستجوی اینترنتی می‌شود بخش سرویس‌های مشتریان و تماس‌ها برای فروش را نیز از آن خود می‌کند.

طبق گزارش این مرکز چنین ابزار‌هایی ممکن است ریسک‌هایی در بر داشته باشند به خصوص اگر مدل‌های زبانی بزرگ به سایر عناصر فرآیند‌های تجاری سازمان متصل شده باشند. کارشناسان و محققان مکررا روش‌هایی را یافته اند که با ارسال دستور‌های ممنوع به چت بات‌ها یا گمراه کردن آن‌ها و دور زدن اقدامات محافظتی، این ابزار‌ها را از کار می‌اندازند.

به عنوان مثال اگر هکری سوالات مشخصی را در چت بات یک بانک وارد کند، می‌تواند این سیستم را فریب دهد و تراکنش‌های غیر مجاز انجام دهد.

NCSC در یکی از پست‌های وبلاگی خود با اشاره به ارائه آزمایشی نرم افزارمی نویسد: سازمان‌هایی که با استفاده از LLM‌ها سرویسی ایجاد می‌کنند باید مانند زمانیکه یک محصول یا کدی را در وضعیت بتا ارائه می‌کنند، مراقب باشند.

ممکن است سازمان‌ها اجازه ندهند محصول آزمایشی از سوی مشتری تراکنشی انجام دهد و به طور کلی آن را معتبر ندانند. همین اقدامات احتیاطی باید در مدل‌های زبانی بزرگ نیز اتخاذ شود.

مقامات سراسر جهان مشغول دست و پنجه نرم کردن با مدل‌های زبانی بزرگ مانند چت جی پی تی شرکت اوپن‌ای آی هستند. کسب وکار‌های مختلف این ابزار‌ها را به طور وسیع در سرویس‌های خود از جمله بخش‌های فروش و خدمات مشتریان به کار می‌گیرند.