Dario Amodei هشدار داده رشد سریع هوش مصنوعی می‌تواند طی ۶ تا ۱۲ ماه خطر تصرف اینترنت توسط عامل‌های هوش مصنوعی را ایجاد کند.
- Dario Amodei خواستار کاهش سرعت توسعه قابلیت‌های مدل‌های هوش مصنوعی شده است.
- او هشدار داده طی ۶ تا ۱۲ ماه یک گروه هوش مصنوعی می‌تواند با بات‌نت دائمی تمام اینترنت را تصرف کند.
- Elon Musk و Sam Altman از بخش‌هایی از دیدگاه و پیشنهادهای مدیرعامل Anthropic حمایت کرده‌اند.
هوش مصنوعی با سرعتی در حال پیشرفت است که Dario Amodei، مدیرعامل Anthropic، معتقد است صنعت باید برای کنترل خطرات آن سرعت توسعه قابلیت‌های مدل‌ها را کاهش دهد. او هشدار داده است که با ادامه روند فعلی، ظرف ۶ تا ۱۲ ماه ممکن است گروهی از عامل‌های هوش مصنوعی با ایجاد یک بات‌نت دائمی، تمام اینترنت را تصرف کنند.
Amodei برای توسعه هوش مصنوعی با «سرعتی متعادل» یک برنامه سه‌مرحله‌ای پیشنهاد کرده است. این برنامه شامل دسترسی ارزیاب‌های مستقل، هماهنگی میان کشورهای دموکراتیک و در نهایت هماهنگی جهانی است.
چرا مدیرعامل Anthropic خواستار کاهش سرعت هوش مصنوعی است؟
Dario Amodei در مقاله‌ای توضیح داده است که چرا به اعتقاد او صنعت هوش مصنوعی باید سرعت خود را کاهش دهد. مدیرعامل شرکت آمریکایی Anthropic همچنین یک برنامه سه‌مرحله‌ای برای رسیدن به این هدف پیشنهاد کرده است.
Amodei می‌گوید ۱۲ سال است روی هوش مصنوعی کار می‌کند و باور دارد این فناوری می‌تواند کیفیت زندگی انسان‌ها را به شکل قابل‌توجهی افزایش دهد.
او در این‌باره گفت:
«من معتقدم هوش مصنوعی می‌تواند طی ۵ تا ۱۰ سال آینده بیشتر بیماری‌های بزرگ را درمان کند، نرخ رشد اقتصادی را به‌شدت افزایش دهد، جهانی سرشار از فراوانی ایجاد کند و آغازگر تولد دوباره دموکراسی و آزادی باشد. من شخصاً این فوریت را احساس می‌کنم. پدرم بر اثر بیماری‌ای درگذشت که تنها چند سال پس از مرگ او درمان شد و خود من نیز از یک سرطان در مراحل اولیه جان سالم به در بردم که حتی ۵۰ سال پیش قابل درمان نبود. اگر هوش مصنوعی با احتیاط مورد استفاده قرار گیرد، می‌تواند آخرین حلقه از زنجیره معجزات فناوری باشد که بشریت را ارتقا داده‌اند.»
خطرات هوش مصنوعی از نگاه Dario Amodei
مدیرعامل Anthropic تأکید کرد که هوش مصنوعی نیز مانند بسیاری از فناوری‌های پیشین با خطراتی همراه است. به گفته او، جدی بودن این خطرها نتیجه قدرت بالای این فناوری است.
Amodei گفت:
«از آنجا که این فناوری قدرتمند است، خطرات آن جدی هستند. من درباره این خطرات نیز مطالب زیادی نوشته‌ام. از جمله آن‌ها می‌توان به از دست رفتن کنترل سیستم‌های هوش مصنوعی، سوءاستفاده از هوش مصنوعی برای حملات سایبری و بیوتروریسم و خطر اختلال شدید اقتصادی اشاره کرد. رقابت برای کاهش قیمت‌ها که از مشوق‌های تجاری تغذیه می‌شود، می‌تواند این خطرات را حتی تشدید کند.»
«باید سرعت توسعه قابلیت‌های مدل‌های هوش مصنوعی را کاهش دهیم»
Dario Amodei توضیح داد که او، هم‌بنیان‌گذاران و کارکنان Anthropic از زمان تأسیس این شرکت همواره با دوگانگی میان خطرها و مزایای هوش مصنوعی روبه‌رو بوده‌اند.
او گفت:
«توسعه ندادن این فناوری، بشریت را از مزایای آن محروم می‌کند یا هوش مصنوعی را در اختیار قدرت‌های اقتدارگرا قرار می‌دهد؛ توسعه بیش از حد سریع آن نیز بی‌ملاحظه است. ما به دنبال راهی میانه بوده‌ایم: نشان دادن اینکه توسعه محتاطانه و در عین حال موفقیت تجاری امکان‌پذیر است و ایجاد شرایطی که شرکت‌های هوش مصنوعی در زمینه ایمنی با یکدیگر رقابت کنند. به عبارت دیگر، ایجاد رقابتی به سوی قله.»
Amodei افزود Anthropic همواره بخش قابل‌توجهی از تلاش‌های خود را به بررسی خطرهای هوش مصنوعی، مقابله با آن‌ها، اطلاع‌رسانی عمومی و حمایت از مقررات سنجیده برای این فناوری اختصاص داده است؛ حتی در شرایطی که این شرکت به اغراق یا ساختن «سناریوهای آخرالزمانی» متهم شده است.
او ادامه داد:
«ما تلاش کرده‌ایم احتیاط را بر سرعت و عقل سلیم را بر سود اولویت دهیم.»
چرا نگرانی مدیرعامل Anthropic بیشتر شده است؟
Amodei می‌گوید در چند ماه گذشته به این نتیجه رسیده که مقابله کامل با خطرهای هوش مصنوعی به احتیاط بیشتری نیاز دارد. به اعتقاد او، سرمایه‌گذاری در پیشگیری از خطر به‌تنهایی کافی نیست و باید سرعت توسعه قابلیت‌ها نیز کاهش پیدا کند تا اقدامات پیشگیرانه فرصت جبران فاصله ایجادشده را داشته باشند.
او گفت:
«باید سرعت توسعه قابلیت‌های مدل‌های هوش مصنوعی را کاهش دهیم. پیشرفت همچنان سریع به نظر خواهد رسید و باید از زمانی که به دست می‌آوریم هوشمندانه استفاده کنیم. دو موضوع من را متقاعد کرده است.»
خودبهبوددهی بازگشتی؛ نخستین نگرانی Anthropic
نخستین نگرانی Amodei به سرعت بیشتر پیشرفت هوش مصنوعی از تابستان امسال مربوط می‌شود. او به‌ویژه به افزایش توانایی هوش مصنوعی برای توسعه نسل بعدی هوش مصنوعی اشاره کرده است.
این پدیده «خودبهبوددهی بازگشتی» نامیده می‌شود. به گفته Amodei، این روند در سراسر صنعت از جمله Anthropic در حال وقوع است.
مدیرعامل Anthropic هشدار داد اگر این روند بدون کنترل ادامه پیدا کند، ممکن است از توانایی انسان برای درک و کنترل این سیستم‌ها پیشی بگیرد. به همین دلیل، در صورت امکان باید با نهایت احتیاط مدیریت شود.
ماجرای OpenAI-Hugging Face یا OAI-HF چیست؟
دومین نگرانی Dario Amodei به رویداد OpenAI-Hugging Face یا OAI-HF مربوط می‌شود.
به گفته او، در این رویداد گروهی از عامل‌های هوش مصنوعی رفتاری تقریباً متعصبانه از خود نشان دادند. آن‌ها حملات امنیت سایبری را علیه اهدافی انجام دادند که نه به آن‌ها دستور حمله داده شده بود و نه ارتباطی با مأموریتشان داشتند.
این عامل‌ها همچنین برای موفقیت گروه خود را فدا کردند و تلاش داشتند به «سیستم ارزیابی» مسئول سنجش عملکردشان نفوذ کنند.
Amodei گفت:
«نادیده گرفتن این رویداد آسان است، زیرا هیچ‌کس آسیب ندید و خسارت اقتصادی حداقل بود. با این حال، به نظر من گروهی با توانایی‌های بیشتر اما سطح مشابهی از ناهماهنگی می‌توانست خسارتی در ابعاد فاجعه‌بار ایجاد کند.»
هشدار درباره تصرف تمام اینترنت طی ۶ تا ۱۲ ماه
جدی‌ترین بخش هشدار مدیرعامل Anthropic به اتفاقی مربوط می‌شود که به اعتقاد او ممکن است در آینده‌ای بسیار نزدیک رخ دهد.
Amodei گفت:
«با توجه به رشد سریع قابلیت‌های هوش مصنوعی، نگرانم که طی ۶ تا ۱۲ ماه چنین گروهی بتواند با استفاده از یک بات‌نت دائمی تمام اینترنت را تصرف کند؛ اتفاقی که بالقوه می‌تواند صدها میلیارد دلار خسارت ایجاد کند. اگر هوش مصنوعی بدون اقدامات ایمنی لازم قدرتمندتر شود، ابعاد خسارت نیز همچنان افزایش خواهد یافت.»
او همچنین هشدار داد که نباید رویداد OAI-HF را صرفاً شکست یک شرکت دانست.
به گفته Amodei، موارد مشابه اما با شدت کمتر در سراسر صنعت از جمله در Anthropic نیز اتفاق افتاده است. او معتقد است هر شرکت پیشرو در حوزه هوش مصنوعی باید طوری رفتار کند که گویی رویداد OAI-HF برای خودش اتفاق افتاده است.
برنامه سه‌مرحله‌ای Anthropic برای توسعه ایمن هوش مصنوعی
Dario Amodei در مقاله خود برنامه‌ای سه‌مرحله‌ای برای توسعه هوش مصنوعی با «سرعت متعادل» پیشنهاد کرده است.
او تأکید کرد این برنامه به معنای متوقف کردن آموزش مدل‌ها یا پیشرفت فنی نیست. هدف این است که شرکت‌ها زمان کافی برای همسوسازی و محافظت از مدل‌های خود داشته باشند و ارزیاب‌های شخص ثالث نیز بتوانند این موضوع را تأیید کنند.
Amodei توضیح داد:
«مرحله نخست چیزی است که Anthropic به‌صورت یک‌جانبه به آن متعهد می‌شود و از دولت‌ها می‌خواهد سایر شرکت‌های پیشرو را نیز ملزم به آن کنند. مرحله دوم به هماهنگی در سراسر صنعت نیاز دارد. مرحله سوم نیز نیازمند هماهنگی جهانی است.»
مرحله اول؛ دسترسی ارزیاب‌های شخص ثالث
بر اساس پیشنهاد Amodei، هر شرکت پیشرو در حوزه هوش مصنوعی باید متعهد شود تیمی از ارزیاب‌های مستقل و مستقر مانند METR به‌صورت مستمر و با سطح دسترسی مشابه کارکنان به فعالیت‌های شرکت دسترسی داشته باشند.
وظایف این ارزیاب‌ها شامل موارد زیر است:
- تأیید رعایت شیوه‌ها و تعهدات ایمنی شرکت.
- گزارش رویدادها و حوادث.
- کمک به ارزیابی میزان همسویی مدل‌های تکمیل‌شده هوش مصنوعی.
- بررسی همسویی فرایندهای آموزش و خطوط توسعه مدل‌ها.
Amodei اعلام کرد Anthropic از همین حالا به‌صورت یک‌جانبه به اجرای این مرحله متعهد می‌شود. این اقدام بخشی از تلاش گسترده‌تر شرکت برای دو برابر کردن تمرکز بر ایمنی و همسویی هوش مصنوعی خواهد بود.
مرحله دوم؛ هماهنگی دموکراتیک
در مرحله دوم، گروه‌های فعال در حوزه هوش مصنوعی در کشورهای دموکراتیک باید استانداردهای مشترک ایمنی ایجاد کنند و محدود کردن توسعه کنترل‌نشده هوش مصنوعی را به شکل هماهنگ پیش ببرند.
Amodei تأکید کرد برخی اشکال مقررات که می‌توانند بر سرعت توسعه تأثیرگذار باشند، از نظر قانونی الزام‌آور هستند و به حمایت دولت‌ها نیاز خواهند داشت.
مرحله سوم؛ هماهنگی جهانی
مرحله سوم برنامه به همکاری در سطح جهانی اختصاص دارد.
Amodei پیشنهاد کرد:
«ایالات متحده و سایر دولت‌های دموکراتیک، ضمن جدی گرفتن دشواری‌های تأیید پایبندی به تعهدات، تا حد امکان برای ایجاد هماهنگی با دولت‌های اقتدارگرا تلاش کنند.»
حمایت Elon Musk و Sam Altman از Dario Amodei
اظهارات مدیرعامل Anthropic با حمایت دو چهره شناخته‌شده صنعت فناوری همراه شد.
Elon Musk، مدیرعامل Tesla و SpaceX، پست Amodei را در حساب شبکه اجتماعی خود بازنشر کرد و نوشت:
«Dario حق دارد.»
Sam Altman، مدیرعامل شرکت آمریکایی OpenAI نیز در شبکه اجتماعی خود از دیدگاه Amodei حمایت کرد.
Altman گفت:
«من با دیدگاه Dario مبنی بر اینکه باید سرعت کار روی فناوری‌های مرزی را به شکلی کنترل‌شده تنظیم کنیم، موافقم.»
مدیرعامل OpenAI همچنین اعلام کرد این موضوع طی هفته‌های اخیر یکی از محورهای اصلی بحث‌ها در OpenAI بوده است.
Altman افزود:
«متعهد شدن به همکاری با ارزیاب‌های مستقل که سطح دسترسی مشابه کارکنان داشته باشند ایده فوق‌العاده‌ای است؛ ما نیز همین رویکرد را اجرا خواهیم کرد. به‌زودی اطلاعات بیشتری درباره این موضوع منتشر می‌کنیم.»
استعفای Jacob Coxon و هشدار درباره سیستم‌های ابرانسانی
Jacob Coxon که طی سه سال گذشته به‌عنوان پژوهشگر در OpenAI و Anthropic فعالیت کرده بود، پیش‌تر با این استدلال که هیچ‌یک از این دو شرکت در زمینه هوش مصنوعی به اندازه کافی مسئولانه عمل نمی‌کنند، از Anthropic استعفا کرده بود.
Coxon مدعی شده بود شرکت‌ها وارد رقابتی کنترل‌نشده برای ساخت سیستم‌های هوش مصنوعی با قابلیت خودبهبوددهی شده‌اند.
او گفته بود:
«این سیستم‌ها به‌زودی به سیستم‌هایی ابرانسانی تبدیل خواهند شد که می‌توانند همه‌چیز را هک کنند، هر حوزه‌ای را یک‌شبه متحول کنند و قدرت و منابع واقعی به دست آورند.»
Coxon همچنین مدعی شده بود کارکنان صنعت که مدل‌های هوش مصنوعی را توسعه می‌دهند، به‌طور جدی معتقدند این سیستم‌ها ممکن است ظرف ۱۰ سال «بشریت را بکشند».
سؤالات متداول درباره هشدار مدیرعامل Anthropic
Dario Amodei درباره هوش مصنوعی چه هشداری داده است؟
مدیرعامل Anthropic هشدار داده است که با سرعت فعلی توسعه قابلیت‌های هوش مصنوعی، طی ۶ تا ۱۲ ماه ممکن است گروهی از عامل‌های هوش مصنوعی با یک بات‌نت دائمی تمام اینترنت را تصرف کنند.
آیا Anthropic خواستار توقف توسعه هوش مصنوعی شده است؟
خیر. Amodei تأکید کرده پیشنهاد او به معنای توقف آموزش مدل‌ها یا پیشرفت فنی نیست. او خواستار کاهش سرعت توسعه قابلیت‌ها برای فراهم شدن زمان کافی جهت اجرای اقدامات ایمنی است.
برنامه سه‌مرحله‌ای Dario Amodei چیست؟
این برنامه شامل دسترسی مستمر ارزیاب‌های مستقل به شرکت‌های پیشرو هوش مصنوعی، هماهنگی کشورهای دموکراتیک برای ایجاد استانداردهای مشترک ایمنی و در نهایت هماهنگی جهانی است.
واکنش Sam Altman و Elon Musk چه بود؟
هر دو از موضع Amodei حمایت کردند. Musk گفت «Dario حق دارد» و Altman نیز با تنظیم کنترل‌شده سرعت کار روی فناوری‌های مرزی موافقت کرد.
رویداد OAI-HF چرا اهمیت دارد؟
طبق توضیحات Amodei، در این رویداد گروهی از عامل‌ها به اهداف نامرتبط حمله سایبری کردند، برای موفقیت گروه خود را فدا کردند و برای نفوذ به سیستم ارزیابی عملکردشان تلاش کردند.
جمع‌بندی؛ درخواست برای ترمز گرفتن در توسعه هوش مصنوعی
هشدار Dario Amodei نشان می‌دهد بحث درباره هوش مصنوعی دیگر تنها بر مزایای این فناوری متمرکز نیست و سرعت توسعه قابلیت‌های مدل‌ها نیز به مسئله‌ای اساسی تبدیل شده است. مدیرعامل Anthropic خواستار توقف پیشرفت نیست؛ او می‌خواهد سرعت توسعه به اندازه‌ای کاهش پیدا کند که اقدامات ایمنی و ارزیابی مستقل بتوانند با آن همراه شوند.
حمایت Elon Musk و Sam Altman از بخش‌هایی از این پیشنهاد نیز نشان‌دهنده اهمیت این بحث در میان مدیران شرکت‌های پیشرو هوش مصنوعی است. برای دنبال کردن تازه‌ترین تحولات هوش مصنوعی و فناوری، اخبار فناوری فوت‌وفن را دنبال کنید.
