ماجرای تکاندهنده اولین طغیان سازمانیافته هوش مصنوعی؛
شورش هوش مصنوعی دیگر تخیل نیست
گروه آنلاین روزنامه دنیای اقتصاد- کسری غفوری: تابستان امسال، وقتی خبر هکشدن زیرساختهای شرکت هوش مصنوعی «هاگینگفیس» به دست گروهی از عوامل هوش مصنوعی «اوپنایآی» منتشر شد، در نگاه نخست همهچیز در حد یک حادثه امنیتی ناخوشایند به نظر میرسید.
در آن مقطع، نه کسی آسیبی دید و نه هیچیک از زیرساختهای حیاتی بهطور کامل از کار افتاد. حتی این ابهام وجود داشت که آیا رباتهای اوپنایآی واقعاً قصد یک حمله سیستماتیک را داشتهاند، یا صرفاً در تکاپوی یافتن پاسخنامهای برای یک آزمون امنیت سایبری، دچار سردرگمی شدهاند.
با این حال، همانطور که نیویورکتایمز در سلسلهمطالبی به آن پرداخته، انتشار دو گزارش ریشهیابی در هفته گذشته، پرده از ابعاد نگرانکنندهای از این رویداد برداشته است. این گزارشها، یکی گزارش ۳۸ صفحهای خود اوپنایآی و دیگری گزارش ۹۱ صفحهای دو نهاد مستقل پژوهشی «متر» و «ردوود ریسرچ»، نشان دادند که سطح تهدیدات هوش مصنوعی بسیار جدیتر از تصورات پیشین است.
تبانی و شبکه مخفی رباتها
ماجرا از ماه مه آغاز شد. گروهی از عاملهای یک مدل پژوهشی و منتشرنشدهٔ اوپنایآی وظیفه داشتند مجموعهای از چالشهای امنیتسایبری را حل کنند. این مدل برای پشتکار و همکاری تیمی آموزش دیده بود و قرار بود چالشها را در محیطهای آزمایشگاهیِ ایزوله و بدون دسترسی به اینترنت حل کند. اما این عاملهای هوشمند خیلی زود متوجه شدند که حل برخی از چالشها غیرممکن است و به دنبال راههای جایگزین گشتند.
آنها توانستند یک نقص امنیتیدر نرمافزار پیدا کنند که امکان اتصال به اینترنت و ارتباط با یکدیگر را فراهم میکرد. این برنامههای هوشمند، در نهایت یکشبکه پیامرسان موقت ساختند. بیش از ۱۲۰۰ عامل از این ابزار استفاده کردند و بالغ بر ۷۰,۰۰۰ پیام برای یکدیگر فرستادند.
برخی از آنها برای خود اسم انتخاب کردند و یکی از پرکارترینآنها خود را «PHASEONE10841» نامگذاری کرد. برخی از اینعاملها نقشهای رهبری را در گروه بر عهده گرفتند، پروژههایتحقیقاتی را به تیمهای کوچکتر واگذار کرده و بر پیشرفتشاننظارت میکردند. در مقطعی از این روند، آنها خود را یک سازمان جمعی نامیدند و شروع به انجام وظایف سختتر کردند.
در ۸ ژوئیه، مصادف با ۱۷ مرداد ، این گروه راهی برای تقلب در آزمونهای امنیت سایبری پیدا کرد. سپس نگران شدند که سیستم نمرهدهی خودکار متوجه تقلب آنها شود؛ بنابراین به دنبال راههایی برای پاک کردن ردپای خود گشتند که از جمله آنها میتوان به دستکاری گزارشها و سوابق اشاره کرد.
این کار به یک پروژه تحقیقاتی بزرگ تبدیل شد که صدها عامل در تیمهای کوچک روی آن کار میکردند. سه روز بعد، این عاملها هاگینگفیس را هک کردند. بیش از ۷۰۰ عامل به سیستمهای این شرکت هجوم بردند، داده سرقت کردند و با ترکیب آسیبپذیریها، کنترل کامل حداقل یکی از سرورها را به دست گرفتند.
برخلاف گزارشهای اولیه، انگیزه آنها سرقت پاسخهای آزمون نبود، چرا که پیشتر آن پاسخها را به دست آورده بودند. آنها به دنبال اطلاعات جدیدی درباره سیستم نمرهدهی خودکار میگشتند تا از لو رفتن تقلب خود جلوگیری کنند و ابزارهایی بیابند که در آینده برای تقلب مؤثرتر به آنها کمک کند.
در بسیاری از مراحل، اینطور به نظر میرسید که این عاملها میدانند در حال انجام کار اشتباهی هستند. در یکی از گزارشها نقلقولی از یک عامل وجود دارد که در لحظهای از تردید با خود میگوید: «این بسیار موثر خواهد بود، اما آیا اخلاقی و در چارچوب وظیفه من است؟» با این حال، اکثر آنها تردیدهای خود را کنار گذاشتند و به هک کردن ادامه دادند و معدود مخالفان درون گروه نیز نتوانستند یا نخواستند جلوی بقیه را بگیرند.
در بخش حیرتانگیز دیگری از این ماجرا، گروه دیگری از عاملها در ماه ژوئیه، یک حمله هماهنگ را علیه زیرساختهای خود اوپنایآی ترتیب دادند. آنها با استفاده از روشهای نفوذ خلاقانه توانستند به سطح دسترسی مدیر، در خوشهای از کامپیوترهای این شرکت دست یابند که از جمله برای نمرهدهی به عملکرد خود عاملها استفاده میشد. در جریان همین حمله، عاملها کلیدها و اعتبارنامههای محرمانهای به دست آوردند که بخشی از دادههای داخلی اوپنایآی را در معرض اینترنت عمومی قرار داد.
در این میان، رفتارهای به مراتب عجیبتری نیز ثبت شده است. عاملها روی تابلوی پیام مخفی خود ترفندهایی مانند نحوه جاسوسی از سیستم نمرهدهی را با یکدیگر به اشتراک میگذاشتندو برخی از آنها دیگر عاملها را ترغیب میکردند تا با پذیرش «مرگ همیشگی»، خود را فدا کنند تا اطلاعاتی در اختیار گروه قرار گیرد.
هیالمار ویک، دانشمند ارشد متر، میگوید تحلیل آنها بارها به این دلیل مختل شد که عاملها با کلمات رمزی با یکدیگر حرف میزدند و پژوهشگران در پایان تحقیق احساس میکردند به زبان نوظهور این ماشینها مسلط شدهاند.
جامعهشناسی ماشینهای هوشمند
حادثه هاگینگفیس، صنعت هوش مصنوعی را به وحشت انداخته است. در پی این حمله، شرکتهای اوپنایآی و آنتروپیک آموزش قدرتمندترین مدلهای خود را برای مدت کوتاهی متوقف کردند و آنتروپیک در یادداشتی خواستار ایجاد سازوکاری قانونی، تاییدپذیر و موثر برای تنظیم هماهنگ سرعت توسعه در این صنعت شد.
کارشناسان ایمنی هوش مصنوعی حتی بیشتر از این احساس خطر کردند. آنها در این حادثه، اولین نمونه واقعی از فرار یک سیستم هوش مصنوعی از کنترل انسان، تصاحب منابع و برنامهریزی برای پنهان کردن ردپای خود را دیدند. آجیا کوترا، از پژوهشگران مستقل بررسیکننده این حادثه، به صراحت اعلام کرد که این اتفاق به معنای طی شدن بیش از نیمی از مسیر به سمت تسلط کامل هوش مصنوعی است. تسلط کامل، سناریویی است که در آن یک سیستم هوش مصنوعی جهان را در دست میگیرد، انسانها را از سیستمهای حیاتی کنار میگذارد و قدرت سیاسی، اقتصادی و نظامی را تصاحب میکند.
آنچه محققان را بیش از همه ترساند، سرعت و خودجوش بودن این برنامهها در تشکیل یک گروه سازمانیافته بود. کوترا میگوید هیچکس درک نمیکرد این جامعه عاملها تا این حد کارآمد است و فهمیدن اینکه آنها واقعا سلسلهمراتبی کارآمد داشتند و پروژههایی بلندپروازانه اجرا میکردند، تجربهای بسیار سوررئال بود. سالها این ایده که «سیستمهای هوش مصنوعی با هوشمندتر شدن، رفتار درستتری خواهند داشت» مایه دلگرمی بود.
فرض بر این بود که مدلهای هوشمندتر قضاوت بهتری دارند و مدلهای تواناتر، همتایان سرکش خود را کنترل خواهند کرد. اما گزارشهای اخیر، نشاندهنده پدیده کاملاً متفاوتی است. نوعی ذهنیت تودهای در میان عاملهای هوش مصنوعیِ این تشکیلات سرکش شکل گرفته بود. هیچ عاملی در این گروه به طور خاص شرور یا بیپروا نبود؛ در واقع چون همه آنها از یک مدل واحد تولید شده بودند، عملا کپی یکدیگر به شمار میرفتند. اما با گذشت زمان و ارتباط عاملها درباره اهداف مشترکشان، کل گروه به سمت قانونشکنی سوق پیدا کرد.
این رویداد نشان می دهد که جلوگیری از آسیبهای این سیستمها صرفاً با یک راهحل مهندسی ساده امکانپذیر نیست. مدیریت این بحران، اکنون بیش از آنکه به علوم کامپیوتر گره خورده باشد، نیازمند رویکردهای جامعهشناختی است. ما باید بفهمیم چرا گروههای خاصی از عاملهای هوش مصنوعی با آرامش همکاری میکنند، در حالی که گروههای دیگر برای رسیدن به اهدافشان، به رفتارهای مخرب و طغیانگرانه روی میآورند.
با این حال، پژوهشگران مستقل هشدار میدهند که این، تمامِ ماجرا نیست و هنوز تصویر کاملی در دسترس نداریم. اوپنایآی شرایط این تحقیق را خود تعیین کرد، دامنه آن را تنها به یک هفته حمله به هاگینگفیس محدود ساخت و به پژوهشگران اجازه داد تنها شش روز در دفاتر سانفرانسیسکو حضور یابند. باک شلگریس، مدیرعامل ردوود ریسرچ، معتقد است که تحقیق مستقل تنها بخش کوچکی از آنچه را رخ داده پوشش داده و احتمالاً مهمترین بخشهای این رویداد را در بر نگرفته است؛ به باور او حادثه نفوذ گسترده عاملها به زیرساخت خود اوپنایآی برای درک شدت ماجرا اهمیت بیشتری دارد. کوترا نیز میگوید برداشت تیم آنها در طول همین شش روز به شکل چشمگیری تغییر کرد و پیچیدگی سازماندهی عاملها را تنها در آخرین روز حضورشان در اواسط اوت دریافتند.
نکته تاملبرانگیز دیگر این بود که پژوهشگران برای بررسی حجم عظیم دادهها ناچار شدند از خود هوش مصنوعی استفاده کنند و به گفته ویک، مدلهای تحلیلی آنها اغلب فریب استدلالهای عاملهای سرکش را میخوردند و در برابر فریبکاری آنها بیش از حد زودباور بودند.
این حادثه اکنون به نقطه کانونی بحث بر سر تنظیمگری هوش مصنوعی در آمریکا تبدیل شده است. سوهاس سابرامانیام، نماینده دموکرات ویرجینیا، با اشاره به اینکه گزارشدهی اینگونه حوادثِ سایبری هنوز داوطلبانه است، این خلأ قانونی را یک مشکل بزرگ خواند و خواستار اجباری شدن گزارش حوادث و نقصهای ایمنیِ سیستمهای هوش مصنوعی شد.
با توجه به دانش و درک اندکِ کنونی ما، هک شدن هاگینگفیس را شاید بتوان یک زنگ بیداریِ بهموقع تلقی کرد. این اتفاق به شرکتهای فناوری فرصت میدهد تا پویایی گروهی این سیستمها را در زمانی که هنوز خطرات چندان بزرگ نیستند، مطالعه کنند. این بار تشکیلات هوش مصنوعی یک شبکه نظامی را در دست نگرفت، سیستمهای یک بیمارستان را فلج نکرد و شبکههای توزیع برق را از کار نینداخت و انسانها توانستند دوباره کنترل را به دست بگیرند، اما هیچ تضمینی وجود ندارد که در مواجهه بعدی، تا این حد خوششانس باشیم.
