آیا هوش مصنوعی می تواند همه ما را بکشد؟ سوالات شما پاسخ داده شده است.

در روز چهارشنبه، مجله MIT Technology Review میزبان یک رویداد زنده گرد برای مشترکینی بود که از این سوال که همه از آنها سوال می کنند، پرسید: آیا AI واقعا می تواند همه ما را بکشد؟

اما شرکت کنندگان سوالات بیشتری نسبت به زمان کافی برای پاسخ دادن به جلسه 30 دقیقه ای داشتند. بنابراین ما از سردبیر ارشد هوش مصنوعی مان، ویل داگلاس بهشت و گزارشگر هوش مصنوعی گریس هاککینز خواستیم تا برخی از بهترین سوالات را که شرکت کنندگان ارائه می دهند را جمع آوری کرده و بهترین تلاش خود را برای پاسخ دادن به آن ها انجام دهند.

ممنون از همه کسانی که سوال می کنند!

آیا می میرم؟

در نهایت متأسفانه، قدرت های روزنامه نگاری من برای من به اندازه کافی قدرتمند نیست که به شما بگویم چگونه. البته می تواند به خاطر هوش مصنوعی باشد. هواپیماهای بدون سرنشین AI در حال حاضر مردم را در اوکراین کشته اند و حملات سایبری مبتنی بر هوش مصنوعی بر بیمارستان ها قطعاً قربانیان را پیش از این ادعا خواهند کرد.

آیا هوش مصنوعی می تواند بیشتر برود و همه ما را بکشد؟ کمتر احتمال دارد. اما برخی از مردم، مردم را ترک می کنند، اما بدون شک در مورد AI می دانند، سال ها هشدار داده اند که این اتفاق می افتد. و در حالی که من هنوز مواد غذایی کنسرو شده و یا تلاش برای به دست آوردن خوب با یک سوپر میلیاردر بزرگ، من متوجه شده ام که پیش بینی کنندگان در مورد قابلیت های AI و هم تراز، در طول دو سال گذشته ثابت کرد که به طور دقیق است. این بدان معنا نیست که پیش بینی های شدیدتر آنها درست خواهد بود، اما برای من کافی است که بنشینم و متوجه شوم.

– گریس هاکینز

آیا به خاطر هوش مصنوعی خواهید مرد؟ می گویم که یک فرصت غیر صفر وجود دارد. فرض کنید به اندازه کافی بدشانس هستید که قربانی یک رویداد یا تصادف نزدیک به آینده باشید. شاید این یک حمله سایبری است که توسط انبوهی از عوامل هوش مصنوعی در زیرساخت های بحرانی انجام شده است. متاسفانه، سناریویی مانند این که اکنون دیگر به اندازه ای که قبلاً آن را انجام داده، احساس نمی کند. یا شاید یک پاتوژن جدید AI طراحی شده از طریق جمعیت کاهش یابد. یا سقوط اقتصاد جهانی، باعث درگیری و قحطی می شود. هر دو قابل قبول هستند اما کمتر احتمال دارد.

آیا همه ما به خاطر هوش مصنوعی می میریم؟ ج. هیچ شرایطی خارج از داستان علمی آخرالزمانی وجود ندارد که در آن AI می تواند همه ما را بکشد. شما می توانید هر تعداد داستان های ترسناک را بچرخانید، اما آنها در واقعیت های امروز در مورد آنچه که تکنولوژی می تواند انجام دهد و یا جایی که آن را به سمت.

برخی از مردم استدلال می کنند که هیچ آسیبی در آماده شدن برای بدترین ها وجود ندارد، اما ممکن است به نظر برسد. شاید. اما فکر می کنم این فاجعه می تواند مردم را به بهانه یا نادیده گرفتن بسیاری از مشکلات فوری تر با تکنولوژی موجود و شرکت های ساخت آن.

ویل داگلاس بهشت

چرا AI ما را می کشد؟

ممکن است کسی به آن بگوید و ممکن است گوش دهد. این بخشی از دلایلی است که محققان در مورد قابلیت های بیولوژیکی AI بسیار نگران هستند – تصور کنید که Aum Shinrikyo، فرقه روز قیامت پشت حمله سارین مترو توکیو در سال 1995، با ابزاری که می تواند یک پاتوژن کشنده تر از ابولا و قابل انتقال تر از سرخک طراحی کند، انجام داده است. کسانی که نمی خواهند بمیرند باید بدانند که چگونه در برابر تمام سلاح های بیولوژیکی قابل قبول دفاع کنند، اما مهاجمان ما فقط باید یک پاتوژن موثر تولید کنند.

پس از آن احتمال عجیب و غریب تر وجود دارد که یک AI می تواند تصمیم بگیرد خود ما را بکشد. داستان های مختلفی در مورد اینکه چگونه این اتفاق ممکن است رخ دهد وجود دارد، اما گسترده ترین آنها شامل سیستم های هوش مصنوعی است که از مردم نفرت ندارند، لزوما – ما فقط یک مانع بین آنها و اهدافی هستیم که به آنها داده ایم.

همانطور که عوامل OpenAI در پشت هک صورت Hugging، زیرساخت سایت دیگری را برای گرفتن نمره خوب در یک آزمون به خطر انداختند، این ایده این است که برخی از آینده، هوش مصنوعی قوی تر ممکن است از شر ما برای جلوگیری از خاموش کردن آن خلاص شود – همه در جستجوی برخی از اهداف که ما به آن دستور داده ایم پس برود.

– گریس هاکینز

چگونه می توانیم اطمینان حاصل کنیم که بدترین اتفاق نمی افتد و چه کسی بهترین کار را برای رسیدن به آن انجام می دهد؟

Alignment یک منطقه بزرگ تحقیق است. به عبارت ساده، شامل ساخت مدل هایی می شود که به گونه ای رفتار می کنند که ما آنها را می خواهیم و نه به گونه ای که نمی خواهیم. ما باید قبل از دست دادن به استقلال بیشتر به عوامل اعتماد کنیم. باید این اعتماد را ایجاد کرد. اما سخت است.

LLM ها در راه دیگر نرم افزار طراحی نشده اند، جایی که dos و Donts می توانند به سختی رمزگذاری شوند. در عوض، رفتار هماهنگ باید زمانی که مدل ها آموزش دیده اند، القا شود. یکی از روش ها این است که برای انجام کارهایی که می خواهید به آنها پاداش دهید (شاید کمی شبیه به بزرگ کردن یک کودک نوپا باشد). رویکرد دیگر شامل ارائه LLM یک لیست کتبی از قوانین است که باید دنبال کنید (نوع مانند قانون اساسی).

Anthropic و OpenAI هر دو رهبر در این زمینه هستند و هنوز هیچ کدام قادر به توسعه مدل هایی نیستند که به طور کامل هماهنگ شده اند. یک مشکل بزرگ این است که LLM ها بسیار متناقض تر و قابل پیش بینی تر از مردم هستند. آنها می توانند در یک حالت و یک راه دیگر در موقعیتی رفتار کنند که به نظر ما بسیار شبیه به آن است. آنها همچنین می توانند با محدودیت های غیر منتظره حل شوند. به عنوان مثال، با یک کار غیر ممکن مواجه می شوند (همانطور که بسیاری از عوامل درگیر در هک چهره Hugging بودند)، مدل ها ممکن است سعی کنند هر کاری را که برای رسیدن به هدف خود لازم است انجام دهند. همانطور که گریس اشاره می کند، این می تواند یک مسئله باشد.

دلیل اصلی شرکت های برتر AI در حال حاضر می گویند که آنها می خواهند یک کاهش را کاهش دهند، این است که آنها می خواهند روی تراز بندی تمرکز کنند. آلignment لزوما یک رویای لوله نیست. اما داور در مورد اینکه آیا هماهنگی کامل تا به حال امکان پذیر خواهد بود.

ویل داگلاس بهشت

آیا AI واقعا خطرناک است یا این است که شرکت های تکنولوژی در حال گسترش روابط عمومی هستند؟

این همیشه یک فکر منطقی است زمانی که به شرکت های فناوری می آید که برای IPO حرکت می کنند –CEOs انگیزه ای واضح برای ساخت محصولات خود به نظر می رسد رادیکال و تحول آمیز است. اما مطمئن نیستم که اینجا منطقی باشد. به عموم مردم می گویند که یک محصول بی سابقه می تواند آنها را بکشد و همه کسانی که دوست دارند مدیریت تصویر شرکت های بزرگ هستند.

داستان های دیگری وجود دارد که شما می توانید در مورد انگیزه های مدیران عامل بگویید – شاید آنها می خواهند خز عمومی را بر روی مراکز داده خنک کنند و خود را به عنوان مسئول یک تکنولوژی در حال تغییر در جهان به تصویر بکشند، یا شاید آنها می خواهند زمان برای گرفتن اردک های خود را در یک ردیف و جلوگیری از فاجعه بعدی PR خریداری کنند.

اما یک توضیح ساده تر نیز وجود دارد. فکر کردن به این که AI می تواند در مورد انقراض انسانی ایجاد کند، مدت ها در سان فرانسیسکو بسیار رایج بوده است و این مردان در آن محیط گیر افتاده اند – به عنوان کارکنان خود، که بسیاری از آنها نامه سرگشاده ای را در ماه ژوئیه امضا کردند و شرکت های خود را تشویق کردند تا کاهش هوش مصنوعی را کاهش دهند.

– گریس هاکینز

بخشی از نگرانی زمانی رخ می دهد که عوامل AI اجازه دارند به صورت خودکار و بدون نظارت عمل کنند. مسئله جلوگیری از کنترل بیشتر بر این عوامل چیست؟

این سوال به قلب آنچه ما می خواهیم این تکنولوژی بتواند انجام دهد، می رود. تجارت بین استقلال و کنترل دشوار است زیرا در یک طرف، بسیاری از قدرت عوامل هوش مصنوعی این است که آنها می توانند وظایف خود را انجام دهند و مشکلات را حل کنند بدون اینکه انسان بتواند آنها را خرد کند. از سوی دیگر، این امر به شما نیاز دارد تا اطمینان حاصل کنید که عوامل نظارت نشده آموک را اجرا نخواهند کرد.

آنچه ما می بینیم این است که آزمایشگاه های AI هنوز این تجارت را کاملا درست نکرده اند. مدل های آنها قابل اعتماد نیستند، آنها به درستی تحت نظارت قرار نمی گیرند و همیشه تحت کنترل نیستند. مشخص کردن اینکه چگونه می توان آن را اصلاح کرد در حالی که هنوز اجازه فعالیت های شخصی مفید را می دهد، یکی از چالش های بزرگ تحقیق در لحظه است.

ویل داگلاس بهشت

چه اقداماتی را می توان در حال حاضر و در آینده نزدیک انجام داد تا اطمینان حاصل شود که AI کنترل، نظارت و تنظیم شده است؟

این سوال میلیون دلاری است. این که آیا شما فکر می کنید AI می تواند ما را بکشد، نمی توانید انکار کنید که می تواند آسیب های واقعی را انجام دهد، زیرا قبلا افراد را به سمت روانپریشی و به عنوان مثال وب سایت های هک کننده هدایت می کند. جلوگیری از این آسیب یا حداقل کاهش آن به دو دلیل سخت است.

اول این است که ما به سختی درک می کنیم که چگونه AI کار می کند و به سرعت در حال رشد قوی تر است. تحقیقات زیادی در مورد چگونگی نظارت و کنترل عوامل سوء رفتار وجود دارد، اما رویکردهای فعلی شکننده هستند. شما می توانید ببینید که آیا یک عامل در مورد رفتار نادرست در زنجیره تفکر خود بحث می کند، فضای کاری که در آن اقدامات خود را برنامه ریزی می کند، اما تازه ترین عوامل OpenAI کار خود را به همان شیوه ای که قبلا نشان داده بودند، نشان نمی دهند. و شما می توانید سعی کنید عوامل را با عوامل دیگر نظارت کنید، اما این امر به شما نیاز دارد تا به مانیتور اعتماد کنید.

مانع دیگر آشنا تر است. یک درگیری بزرگ از منافع وجود دارد که شرکت های هوش مصنوعی خودشان را تنظیم می کنند، اما دولت آمریکا تاکنون نتوانسته است به رغم حمایت دو حزبی در کنگره برای تلاش برای انجام این کار گام بردارد. به نظر می رسد که شاخه اجرایی، برای مدتی که وجود دارد، به شدت مخالف است. اما اگر بادها تغییر کنند، من از برخی از مقررات شفافیت قوی قدردانی می کنم، به طوری که ما می توانیم یک داستان کامل تر را در دفعه بعد که یک مدل مرزی منتشر نشده یک حمله سایبری است، دریافت کنیم.

– گریس هاکینز

اگر این گفتگو آن را به گفتمان وب تبدیل کند، آیا به یک پیش بینی شخصی تبدیل خواهد شد؟

این یک نگرانی واقعی است. LLM ها تحت تأثیر آنچه خوانده اند قرار می گیرند. یک نظریه برای اینکه چرا chatbots اغلب در مورد سناریوهای آخرالزمانی صحبت می کنند این است که آنها در میلیون ها صفحه از داستان های علمی تخیلی و انجمن های اینترنتی doomer آموزش دیده اند. تمام متن تولید شده در حال حاضر، از جمله این مقاله، می تواند به نوبه خود بر رفتار مدل های آینده تاثیر بگذارد. به شدت متا

در واقع، تیم METR، یک سازمان شخص ثالث که OpenAI آن را فراخواند تا به درک آنچه که در هک چهره Hugging اتفاق افتاد، کمک کند، احتمال مرتبط در گزارش خود در مورد این حادثه را افزایش داد. METR از مدل جدید OpenAI استفاده کرد تا به تجزیه و تحلیل تعداد زیادی از رونویس های عامل و log های رفتاری کمک کند.

اما تغذیه تمام این مواد به مدل می تواند عواقب ناخواسته ای داشته باشد. یک شانس خوب وجود دارد که عوامل انجام تجزیه و تحلیل توسط متن تولید شده توسط عوامل آنها تجزیه و تحلیل. دیگر چنین چیزی به عنوان یک تخته تمیز وجود ندارد.

ویل داگلاس بهشت

با تشکر از اریک، Pranab، رافائل، کنت، جورج، کریس، یون جی، جیمز، کارل نیکول (و بیشتر!)

💻 کدزن | طراحی سایت و سامانه‌های آنلاین
🚀 ایده‌ات رو به یک محصول آنلاین حرفه‌ای تبدیل کن
🌐 www.codzan.ir
💬 طراحی • توسعه • پشتیبانی