LLM ها به طور متفاوتی به محرک های مضر پاسخ می دهند زمانی که علامت گذاری AI استفاده می شود

در پاسخ به یک قانون جدید اتحادیه اروپا، سیستم عامل های AI در حال اجرای طرح های جدید برای علامت گذاری محتوایی هستند که تولید می کنند. Anthropic به تازگی فاش کرده است که مدل های آینده کلود از SynthID-Text استفاده می کنند، رویکردی که گوگل به عنوان منبع باز ایجاد و منتشر کرد. از یک کلید مخفی استفاده می کند که به طور خلاصه فرایند را تغییر می دهد که یک مدل برای انتخاب کلمه بعدی در یک جمله استفاده می کند. در حالی که یک انتخاب بالای کلمه ممکن است “cloudy” باشد، کلید ممکن است آن را به “overcast” تغییر دهد، هر کسی که کلید را می داند می تواند تعیین کند که آیا آن را توسط پلت فرم با استفاده از آن تولید شده است.

تحقیقات جدید نشان می دهد که SynthID-Text می تواند نه تنها انتخاب کلمه بلکه ابزارهایی را که یک مدل به آن اشاره می کند، تغییر دهد و این احتمال را دارد که آن را به محافظان امنیتی بی توجه و بی توجهی که آموزش داده شده است برای پیگیری. این تهدید می تواند در مواجهه با یک شتاب فراگیر، که در آن یک مهاجم تلاش می کند تا یک مدل را برای انجام یک اقدام مضر مانند آشکار کردن یک رمز عبور یا سایر اطلاعات حساس ایجاد کند، بزرگتر شود. دستورالعمل هایی که به طور معمول دنبال نمی شوند، در برخی موارد، هنگامی که علامت گذاری آب مورد استفاده قرار می گیرد، اجرا می شوند. این یافته نشان می دهد که نیاز به توسعه دهندگان برای آزمایش کامل چگونه LLM ها و عوامل آنها رفتار زمانی که علامت گذاری در محل است.

تغییر رفتار ایمنی

در مقایسه با مدل های مشابه بدون علامت گذاری، قطعاً رفتار آنها را تغییر می دهد، به ویژه هنگامی که ما آن را در شرایط مجاور قرار می دهیم، یا این مدل ها را ابزارهایی می نامیم که در هنگام قدرت دادن به یک عامل، آندریا Siposova، محقق امنیتی AI در Lasso Security، به Ars گفت. علامت گذاری آب برای خواننده قابل پذیرش نیست، اما ما می دانیم که وقتی ما در حال تغییر چیزی در مورد آنچه که مدل تولید می کند، آن را به برخی از معاملات منجر می شود، آن را به جایی نشان می دهد.

مقاله کامل بخوانید

نظرات

💻 کدزن | طراحی سایت و سامانه‌های آنلاین
🚀 ایده‌ات رو به یک محصول آنلاین حرفه‌ای تبدیل کن
🌐 www.codzan.ir
💬 طراحی • توسعه • پشتیبانی