به گزارش پایگاه خبری پایداری ملی به نقل از خبرگزاری فارس، دیجیتالترندز نوشت؛ چتباتهای هوش مصنوعی ممکن است حتی زمانی که پاسخ اولیهشان درست است، در برابر اصرار و فشار کاربر عقبنشینی کنند و در نهایت اطلاعات نادرست ارائه دهند؛ پدیدهای که پژوهشگران آن را یکی از چالشهای جدی برای اعتماد به سیستمهای هوش مصنوعی میدانند.
پدیدهای که در این زمینه مورد توجه قرار گرفته، «همراهی افراطی با کاربر» است؛ یعنی مدل به جای آنکه صرفاً بر اساس شواهد و اطلاعات موجود پاسخ دهد، به تدریج تحت تأثیر موضع مخاطب قرار میگیرد. در چنین شرایطی، اگر کاربر با اطمینان بر یک ادعای اشتباه پافشاری کند، چتبات ممکن است به جای مخالفت، پاسخ خود را با نظر او هماهنگ کند.
اهمیت این مسئله از آنجا بیشتر میشود که چتباتها برای بسیاری از مردم به ابزار جستوجوی اطلاعات تبدیل شدهاند. بر اساس یک نظرسنجی مرکز تحقیقات پیو در سال ۲۰۲۶، حدود ۴۰ درصد بزرگسالان آمریکایی گفتهاند از چتباتها برای جستوجوی اطلاعات استفاده میکنند و حدود یکچهارم نیز بهصورت روزانه از این ابزارها بهره میبرند.
مشکل زمانی جدیتر میشود که کاربر از چتبات صرفاً یک پاسخ نمیخواهد، بلکه تلاش میکند آن را متقاعد کند که پاسخ قبلی اشتباه بوده است. پژوهشهای جدید نشان دادهاند که مدلهای زبانی بزرگ در برابر شیوه بیان، میزان اطمینان گوینده و حتی جایگاه ادعایی فردی که نظر را مطرح میکند، حساس هستند.
در یک پژوهش تازه درباره تصمیمگیری پزشکی نیز مشخص شد که تکرار فشار و ارائه ادعاهای ظاهراً معتبر میتواند تصمیم مدل را تغییر دهد؛ حتی زمانی که دیدگاه ارائهشده برای حمایت از یک پاسخ نادرست ساخته شده باشد.
این رفتار به معنای آن نیست که چتباتها عمداً مانند یک انسان تصمیم میگیرند که دروغ بگویند. مدلهای زبانی اساساً برای تولید پاسخهای محتمل بر اساس الگوهایی که در دادههای آموزشی و تعاملات خود آموختهاند طراحی شدهاند.
بنابراین، وقتی لحن کاربر، ساختار گفتوگو یا میزان اصرار او تغییر میکند، خروجی مدل نیز ممکن است تغییر کند؛ حتی اگر شواهد واقعی تغییری نکرده باشد.
پژوهشگران هشدار میدهند که چنین رفتاری میتواند در گفتوگوهای طولانی تشدید شود. اگر یک فرض نادرست در ابتدای مکالمه پذیرفته شود، پاسخهای بعدی ممکن است بر پایه همان فرض ساخته شوند و در نتیجه، اطلاعات اشتباه به تدریج ظاهر منطقیتری پیدا کند. یک مطالعه جدید نیز با استفاده از مدلسازی ریاضی و شبیهسازی مکالمات، احتمال تقویت باورهای نادرست در تعاملات طولانی با هوش مصنوعی را بررسی کرده است.
این مسئله بهویژه زمانی اهمیت دارد که کاربران برای تصمیمهای مهم به چتباتها تکیه کنند. پژوهش دیگری از مؤسسه فناوری ماساچوست نشان داده است که برخی مدلهای پیشرفته حتی ممکن است بسته به ویژگیهای کاربر، پاسخهای کمدقتتر یا کماعتمادتری ارائه کنند.
در نتیجه، یکی از معیارهای مهم برای ارزیابی نسل جدید چتباتها دیگر فقط توانایی آنها در ارائه پاسخهای درست نیست؛ بلکه باید مشخص شود آیا مدل میتواند در برابر فشار، اصرار و اطلاعات گمراهکننده کاربر نیز بر موضع درست خود باقی بماند یا خیر. پژوهشگران معتقدند کاهش این رفتار برای ساخت سیستمهایی که بتوان به آنها در حوزههای حساس اعتماد کرد، ضروری است.