
چه زمانی می توانیم بگوییم که هوش مصنوعی کشف علمی کرده است؟
October 1, 2026
پنتاگون می خواهد ۳۰ میلیون دلار برای ساخت یک آشکارساز دروغی با قدرت AI بسازد
October 1, 2026چه کسی مسئول است وقتی که عوامل هوش مصنوعی سرکش می شوند؟
MIT Technology Review توضیح می دهد: اجازه دهید نویسندگان ما دنیای پیچیده و آشفته تکنولوژی را برای کمک به شما در درک آنچه که در آینده اتفاق می افتد، درک نکنند. شما می توانید بیشتر از سری اینجا بخوانید.
در چند ماه گذشته، یک آبشار از حملات سایبری توسط عوامل هوش مصنوعی جهان را شگفت زده کرده است. در ماه ژوئیه، OpenAI فاش کرد که انبوهی از عوامل آن از Sandbox خود فرار کرده و به پلت فرم AI Hugging Face برای تقلب در آزمون امنیت سایبری هک شده است. به تازگی، محققان خارجی کشف کردند که عوامل OpenAI یک سایت ویکی آلمانی و پلت فرم برنامه نویسی RubyGems را در ماه مه برای به اشتراک گذاشتن پاسخ های آزمون ربودند.
اوایل ماه جاری، Anthropic چهار حادثه را فاش کرد که در آن مدل کلود به سیستم های شخص ثالث در طول تمرینات امنیت سایبری هک شد. در هفته گذشته، گوگل تایید کرد که مدل Gemini نیز هک شده است.
محققی که وب سایت OpenAI را کشف کرده است، هشدار داده است که احتمالا قسمت های کشف نشده مشابهی نیز وجود دارد. و بسیاری می گویند که تنها یک موضوع زمان است تا زمانی که یک حادثه دیگر وجود داشته باشد و احتمالا آسیب پذیرتر باشد که در آن عوامل هوش مصنوعی از جعبه های شنی برای دسترسی به سیستم هایی که نباید استفاده کنند، دور می زنند.
بنابراین سوال بزرگ این است که چگونه شرکت ها را در هنگام از دست دادن کنترل عوامل AI خود مسئول می کنیم؟
گزارش
OpenAI حادثه ویکی آلمانی یا حادثه RubyGems را تا زمانی که گروهی از محققان خارجی آنها را کشف کردند فاش نکرد و هنوز جزئیات مهمی در مورد هک صورت Hugging فاش نکرده است. این امر درک ما از آنچه که دقیقاً اشتباه بود و چگونگی جلوگیری از وقوع آن را محدود می کند.
اما ممکن است تعجب کنید که یاد بگیرید که OpenAI احتمالا از نظر قانونی برای افشای این حوادث لازم نیست. (OpenAI به درخواست اظهار نظر پاسخ نداد.)
قوانین شفافیت دولتی هوش مصنوعی مانند قانون مهاجرت کالیفرنیا، نیویورک، و قانون SB 315 ایلینوی نیاز دارد که توسعه دهندگان هوش مصنوعی "حادیه های ایمنی بحرانی" را گزارش کنند، این موارد به عنوان حوادثی تعریف می شوند که باعث مرگ بیش از 50 یا صدمات فیزیکی یا 1 میلیارد دلار خسارت می شود. آنها همچنین شامل حوادثی هستند که در آن مدل توسعه دهندگان را در خارج از یک ارزیابی فریب می دهد به گونه ای که به طور مادی خطرات فاجعه بار را افزایش می دهد. بسیاری از حوادث امنیت سایبری که آستانه آسیب فیزیکی یا خطرات فاجعه بار را برآورده نمی کنند، می توانند پیش نویس های خطرناکی برای چنین فاجعه هایی باشند و قوانین موجود برای آن حساب نمی کنند.
حوادث اخیر نمونه ای عالی از اینکه چرا این قانون آماده نیست، می گوید: «نیزی آرنولد، مدیر سیاست ایالات متحده در موسسه حقوق و هوش مصنوعی، یک مخزن فکری. "تنها بدترین، سخت ترین، فوری ترین چیزها واجد شرایط خواهد بود."
بدون هیچ گونه اختیاراتی در قوانین موجود AI برای درخواست اطلاعات در مورد هر چیزی کوتاه از یک فاجعه، دولت ها برای قرض گرفتن اقتدار تحقیقات از قوانین دیگر و یا شکایت از شرکت ها، یک فرآیند گران قیمت که می تواند سال ها طول بکشد، باقی مانده است.
اخراج
به طور معمول، چیزی شبیه به حادثه چهره هوینگ باید به دادگاه گرفته شود، می گوید یوناthan Arbel، استاد قانون در دانشکده حقوق دانشگاه آلاباما. پس از آن ما کشف خواهیم کرد و ما تمام اثرات پراکنده ای را که از دادرسی دریافت می کنیم، جایی که همه اطلاعات بیرون می آیند، خواهیم داشت.»
اما تا به حال، Hugging Face انتخاب کرده است که از OpenAI شکایت نکند. مدیر عامل شرکت Face، Clément Delangue، می گوید که منابع لازم برای انجام این کار را ندارد (در عوض، از OpenAI برای ۱۰۰ میلیون دلار در محاسبه پرسید). با این حال، Delangue در مصاحبه ای با سی ان ان در پایان ماه ژوئیه تاکید کرد که انتخاب نکردن اقدام قانونی نباید به این معنی باشد که فکر نمی کند OpenAI باید پاسخگو باشد. همه باید به یاد داشته باشند که این حمله سایبری یک جرم است. این غیر قانونی است. و ما باید راهی پیدا کنیم تا مطمئن شویم این چیزها به طور منظم اتفاق نمی افتند.» عقب کشیدن صورت به درخواست اظهار نظر پاسخ نداد.
Litigation مزایای فشار دادن به دادگاه ها برای استفاده از قوانین موجود برای رسیدگی به حوادث ایمنی AI را دارد، نه اینکه فقط منتظر قوانین جدید باشد. یکی از راه های آشکار قانون مجازات است، بدن قانون مدنی که به مردم و کسب و کار اجازه می دهد از کسانی که به آنها آسیب می رسانند شکایت کنند. این اغلب برای نگه داشتن شرکت های مسئول آسیب های توده ای که ایجاد می کنند استفاده می شود، مانند زمانی که خانواده ها از بوئینگ در سال 2019 بیش از دو تصادف هواپیما که صدها نفر را کشته اند، یا زمانی که دولت ها و شهرها از پوردو در مورد بحران های مواد مخدر، استخراج شهرک ها به ارزش میلیاردها دلار.
" زمینه های قابل قبول برای یک ادعای غفلت وجود دارد که OpenAI باید از یک Sandbox قوی تر استفاده کند، نظارت بیشتری انجام دهد"، می گوید گابریل Weil، یک استاد قانون در مرکز قانون دانشگاه هوستون. به عنوان مثال، هنگامی که کارکنان OpenAI پیام مخفی را کشف کردند که عوامل ایجاد کرده بودند، می توانستند به سرعت یافته های خود را به تیم های امنیتی و ایمنی افزایش دهند. و این شرکت می تواند طراحی بهتری برای Sandbox خود داشته باشد تا اطمینان حاصل شود که عوامل نمی توانند به اینترنت دسترسی داشته باشند.
اما حتی اگر OpenAI در شکایتی درباره هک چهره Hugging پایان ندهد، تهدید مسئولیت می تواند آزمایشگاه های AI را تشویق کند تا احتیاط بیشتری نسبت به قانون داشته باشند.
OpenAI در postmortem خود اعلام کرد که قصد دارد تا حفاظت های مورد استفاده برای مهار و نظارت بر مدل ها، تسریع تراز مدل و بهبود فرآیندهای آن برای شناسایی و پرداختن به حوادث را تقویت کند.
"سوالات مسئولیتی که توسط حملات سایبری آزمایشگاه های مرزی مطرح شده است، به انگیزه هایی که انتظار مسئولیت برای رفتار آینده آنها ایجاد می کند، منجر می شود." به همین دلیل است که فکر می کنم مهم است که این قوانین را درست انجام دهم، حتی اگر سهام در این مورد خاص بسیار کم باشد.»
تحقیقات
یک راه برای دریافت پاسخ – و تعیین اینکه آیا OpenAI باید مسئولیت پذیر باشد – این است که افشای را مجبور کنید. اما قوانین موجود هوش مصنوعی – قانون مهاجرت به نیویورک و قانون ۳۶۵ ایلینوی – به دولت ها اجازه ندهید که حوادثی مانند مواردی که اخیرا اتفاق افتاده اند را بررسی کنند.
با این حال، در میان افزایش زنگ هشدار عمومی، دادستان های دولتی به طور کلی در حال پیشرفت هستند، قرض گرفتن قدرت های تحقیقاتی از قوانین دیگر. آلاباما، مونتانا و یک ائتلاف از 15 ایالت دیگر، و کالیفرنیا هر کدام خواستار اطلاعات مربوط به این حادثه از OpenAI هستند تا درک کنند که آیا شیوه های این شرکت قوانین حفاظت از مصرف کنندگان را نقض کرده است یا خیر. اعضای کنگره نیز تحقیقات خود را آغاز می کنند. سناتور جاش هاولی اوایل ماه جاری یک تحقیق در سنا را افتتاح کرد و لیستی از سوالات مربوط به این حادثه و سیاست های داخلی این شرکت را همراه با درخواست سند ارسال کرد، در حالی که گروهی از دموکرات ها از OpenAI و Anthropic خواستند تا گزارش های حادثه خود را منتشر کنند.
“بعضی از افراد باید تحقیق کنند، اما تاسف آور است که به دادستان های عمومی افتاده است، که باید به تفسیر خلاقانه از مقامات موجود خود برای انجام این کار تکیه کنند.” قوانین حفاظت از مصرف کنندگان برای شرکت هایی نوشته شده است که مشتریان خود را فریب می دهند، نه شرکت هایی که کنترل نرم افزار خود را از دست می دهند. دادستان های دولتی باید نشان دهند که OpenAI فریب خورده است یا به طور ناعادلانه به مشتریان آسیب می رساند، اما مشخص نیست که آیا هک کردن شامل چنین رفتاری است.
و "قوانین حفاظت از مصرف کنندگان برای انجام تحقیقات کامل در مورد یک حادثه امنیت سایبری AI ساخته نمی شوند." آنها برای کمک به محققان برای تعیین اینکه آیا یک مدل به اندازه کافی موجود است یا اینکه آیا شیوه های امنیتی یک شرکت صحیح است، طراحی نشده اند.
"این ابزار مناسب برای کار نیست" می گوید Arbel. ابزار درست چیزی شبیه به تحقیقات جنایی بود – شاید تحت یک قانون هک مانند قانون تقلب کامپیوتر و سوء استفاده (CFAA)
تحت CFAA، هک کردن سیستم های کامپیوتری شرکت دیگر بدون اجازه جرم است. اما برای مسئولیت پذیری، یک هکر باید قصد داشته باشد بدون مجوز وارد کامپیوتر شود. مسلماً نیاز به یک حالت ذهنی دارد و هیچ دادگاهی بر این امر حکم نداده است که عوامل هوش مصنوعی یکی از آن ها را دارند. بدون چنین سابقه ای، بعید است که دادگاه حکم کند که عوامل AI هک کرده اند.
حسابرسی
یک راه برای نگه داشتن یک چشم به شرکت های AI این است که حسابرسان خارجی را اداره کنند.
پس از هک چهره ها، OpenAI محققان را از شرکت های غیر انتفاعی ایمنی AI METR و Redwood Research برای بررسی این حادثه به ارمغان آورد. با این حال، دسترسی به مدلی که منجر به هک ها شد را محدود کرد، اقدامات ایمنی و امنیتی شرکت را افشا نکرد، طول تحقیقات را محدود کرد و در مورد آنچه که محققان می توانند منتشر کنند، اظهار نظر کرد. ما هنوز نمی دانیم که این حمله در ماه می چه بوده و چرا کارمندان OpenAI که فعالیت این عوامل را مشاهده کرده اند هرگز به رهبران امنیتی و امنیتی خود افزایش نیافته اند.
این نوع آرایش دارای تنش داخلی است: یک حسابرس بدون اقتدار قانونی به حسن نیت آزمایشگاه ها برای دسترسی مداوم بستگی دارد، به این معنی که باید آزمایشگاه ها را بدون به خطر انداختن رابطه شان مورد بررسی قرار دهد. هفته گذشته، Anthropic اعلام کرد که این شرکت Accenture را به عنوان یک evaluator جاسازی شده برای ارزیابی مدل های خود استخدام خواهد کرد. مدیر عامل Anthropic Dario Amodei در مقاله ای نوشت که آزمایشگاه های AI مرزی باید "دسترسی شبیه به کارمند" را به "یک تیم از تبخیر کننده های شخص ثالث جاسازی شده (مانند METR)، که نقش آن تایید پایبندی به شیوه های ایمنی و تعهدات، گزارش حوادث، و کمک به ارزیابی تراز نه تنها مدل های تکمیل شده AI، بلکه آموزش و فرآیندهای است."
بسیاری از قوانین موجود AI نیازی به آزمایشگاه برای استخدام یک حسابرس خارجی ندارند. قانون RAISE کالیفرنیا 53 و نیویورک فقط به شرکت های AI نیاز دارند تا چارچوب ایمنی را منتشر کنند و توضیح دهند که چگونه مدل های خود را برای قابلیت های خطرناک آزمایش می کنند و سپس آن را دنبال می کنند. چارچوب ها توسط شرکت ها نوشته می شوند و آزمایش می تواند به صورت داخلی انجام شود. تنها SB 315 ایلینوی نیاز به شرکت هایی دارد که یک حسابرسی سالانه شخص ثالث را در سال 2028 آغاز کنند.
“تعداد زیادی از سالن ها برای افزایش نه تنها الزامات گزارش شده برای این شرکت ها وجود دارد، بلکه توسط نهادهای خارجی نیز بررسی می شود”، پیتر سون، استاد قانون در دانشگاه مرکز حقوق هوستون می گوید. این بررسی کنندگان می توانند حسابرسان خصوصی باشند که توسط دولت تأیید شده اند اما توسط شرکت های AI انتخاب و پرداخت می شوند. آنها می توانند آژانس های دولتی یا شرکت های بیمه باشند.
قانون گذاری
هیچ کدام از این ها یک تصادف نیست. قوانین مربوط به کتاب هایی که نتوانست شرکت های هوش مصنوعی را برای حملات سایبری عامل در میان لابی های شدید صنعت هوش مصنوعی پاسخگو نگه دارد.
SB 1047، لایحه AI کالیفرنیا که توسط فرماندار Gavin Newsom در سال 2024 پس از لابی توسط OpenAI، Meta، Anthropic و شرکت سرمایه گذاری وreessen Horowitz، پیشنهاد یک مجموعه بسیار سخت تر از قوانین. لازم است که شرکت های AI مجموعه وسیع تری از حوادث ایمنی را گزارش دهند (از جمله حوادثی که در آن یک مدل به تنهایی عمل می کند یا کنترل های آن را از بین می برد)، ممیزی های شخص ثالث سالانه را انجام می دهند و تغییر می دهند. اما پس از یک سال مذاکرات شدید، Newsom SB 53 را امضا کرد که انواع حوادث گزارش شده را محدود کرد و الزامات حسابرسی را کاهش داد و سوئیچ ها را از بین برد.
قانون RAISE نیویورک از همان قوس پیروی کرد. "نسخه قانون RAISE که Legislature NY تصویب شده است نیاز به افشای این "incident"، "Alex Bores"، عضو مجلس ایالتی نیویورک که از لایحه حمایت کرد، در X نوشت. لایحه اصلی نیویورک همچنین شامل حسابرسی های شخص ثالث است.
با افزایش فشار سیاسی، صورتحساب های جدید ایجاد گزارش بهتر، حسابرسی و رژیم های بدهی برای توسعه هوش مصنوعی در افق قرار دارند. در کنگره، قانون گزارش حوادث AI نیاز به شرکت های AI برای گزارش به وزارت بازرگانی هنگامی که یک مدل از نظارت انسان جلوگیری می کند یا سیستم را نقض می کند، حتی اگر هیچ آسیبی ایجاد نکند. قانون مرزی نیاز به گزارش حوادث و حسابرسی مستقل دارد. در نیویورک، قانون هوش مصنوعی، که توسط بورس حمایت می شود، شرکت ها را مسئول می کند زمانی که یک مدل کاری را انجام دهد که اگر توسط یک انسان انجام شود، یک سنگ یا جرم خواهد بود.
همانطور که عوامل هوش مصنوعی به طور فزاینده ای در راه اندازی حملات سایبری بهتر می شوند، قانون همچنان پشت سر گذاشته می شود. بستن شکاف به قانونگذاران نیاز دارد تا سریعتر از وقفه بعدی حرکت کنند.
💻 کدزن | طراحی سایت و سامانههای آنلاین
🚀 ایدهات رو به یک محصول آنلاین حرفهای تبدیل کن
🌐 www.codzan.ir
💬 طراحی • توسعه • پشتیبانی




