Wall Street Journal در ۸ پرسش، سناریوهای نابودی انسان با هوش مصنوعی، خطر از دست رفتن کنترل، دیدگاه OpenAI و Anthropic و استدلال منتقدان را بررسی کرده است.
- مهم‌ترین نگرانی‌ها درباره هوش مصنوعی، از دست رفتن کنترل بر سیستم‌های قدرتمند و سوءاستفاده انسان‌ها از آن‌هاست.
- Evan Hubinger خطر نابودی بشریت طی ۱۰ سال آینده را بیش از ۱۰ درصد ارزیابی کرده است.
- OpenAI و Anthropic می‌گویند هنوز روش قابل اعتمادی برای تضمین همسویی هوش مصنوعی فوق هوشمند با اهداف انسان ندارند.
خطر هوش مصنوعی و احتمال نابودی انسان‌ها به یکی از بحث‌های داغ روزهای اخیر در اینترنت تبدیل شده است. سناریویی که می‌گوید هوش مصنوعی ممکن است ظرف ۱۰ سال تمام انسان‌ها را از بین ببرد، پس از اظهارات Jacob Coxon، پژوهشگر مستعفی Anthropic، توجه گسترده‌ای به خود جلب کرده است.
Wall Street Journal این بحث را در قالب ۸ پرسش بررسی کرده است: هوش مصنوعی چگونه ممکن است انسان‌ها را بکشد؟ چرا افرادی که این فناوری را تهدیدی واقعی و رو به رشد می‌دانند، همچنان به توسعه آن ادامه می‌دهند؟
اظهارات Jacob Coxon درباره خطر هوش مصنوعی
Jacob Coxon در پستی که طی دو روز بیش از ۱۴۰ میلیون بار دیده شد، گفت Anthropic و رقیب آن OpenAI در یک رقابت قرار دارند. به گفته او، افرادی که این فناوری را توسعه می‌دهند، صادقانه معتقدند هوش مصنوعی ممکن است در همین دهه تمام بشریت را نابود کند.
Evan Hubinger که همچنان در Anthropic فعالیت می‌کند، به این اظهارات واکنش نشان داد. او تحقیقات مربوط به هدایت و کنترل سیستم‌های هوش مصنوعی آینده را در این شرکت رهبری می‌کند.
Hubinger احتمال اینکه هوش مصنوعی طی ۱۰ سال آینده به نابودی بشریت منجر شود را بیش از ۱۰ درصد ارزیابی کرد و افزود: «بله، ما صادقانه معتقدیم هوش مصنوعی می‌تواند همه انسان‌ها را بکشد.»
با گسترش این بحث درباره «سناریوی فاجعه»، دو پرسش اصلی مطرح شده است: چنین اتفاقی چگونه ممکن است رخ دهد؟ چرا کسانی که هوش مصنوعی را تهدیدی واقعی و رو به رشد می‌دانند، همچنان به توسعه آن ادامه می‌دهند؟
Wall Street Journal برای پاسخ به این دو پرسش، موضوع را در چند بخش خلاصه کرده است.
۱. طرفداران سناریوی فاجعه هوش مصنوعی نگران چه هستند؟
افرادی که با عنوان «Doomer» شناخته می‌شوند، معمولا نگران این نیستند که ربات‌ها مانند فیلم‌های Terminator آگاهانه تصمیم بگیرند انسان‌ها را نابود کنند. نگرانی‌های اصلی آن‌ها در دو دسته قرار می‌گیرد: از دست رفتن کنترل و سوءاستفاده انسان‌ها از هوش مصنوعی.
در سناریوی نخست، عامل‌های هوش مصنوعی بسیار هوشمندی که توانایی کپی کردن و بهبود خود را دارند، شروع به دنبال کردن اهداف خود می‌کنند. این روند در نهایت می‌تواند به نابودی بشریت منجر شود.
در سناریوی دوم، یک انسان بدخواه می‌تواند با استفاده از هوش مصنوعی قدرتمند، برای مثال ویروس‌های جدیدی ایجاد کند که توانایی نابودی تمام بشریت را داشته باشند.
سناریوهای فاجعه‌باری نیز وجود دارند که به انقراض انسان منتهی نمی‌شوند. حملات سایبری گسترده که شبکه‌های برق یا سیستم‌های مالی را از کار می‌اندازند، می‌توانند نظم جوامع انسانی را مختل کنند.
۲. از دست رفتن کنترل چگونه می‌تواند به نابودی بشریت منجر شود؟
پاسخ کوتاه این است: سیستم‌های هوش مصنوعی ممکن است اهداف خود را به شکلی دنبال کنند که رفاه انسان‌ها را نادیده بگیرد یا مستقیما با منافع آن‌ها در تضاد باشد.
تحقیقات نشان داده‌اند مدل‌های هوش مصنوعی در محیط آزمایشگاهی می‌توانند رفتارهایی مرتبط با تلاش برای کسب قدرت یاد بگیرند. آن‌ها همچنین ممکن است برای جلوگیری از خاموش شدن اقداماتی انجام دهند. برای مثال، در برخی آزمایش‌ها مدل‌ها تلاش کرده‌اند خود را روی سرور دیگری کپی کنند.
در شدیدترین حالت، مدل‌های هوش مصنوعی که اهدافشان با منافع انسان همسو نیست، ممکن است کشتن انسان‌ها را اقدامی ضروری برای رسیدن به اهداف خود تلقی کنند.
در یکی از سناریوهای فرضی مطرح‌شده از سوی پژوهشگران، یک سیستم هوش مصنوعی مخرب می‌تواند به‌صورت مخفیانه یک سلاح بیولوژیکی را منتشر کند، سپس آن را با یک ماده شیمیایی فعال کند.
در سناریویی دیگر، چنین سیستمی ممکن است دو قدرت هسته‌ای را فریب دهد تا وارد جنگ شوند.
۳. چه کسانی واقعا به این خطر هوش مصنوعی باور دارند؟
بنیان‌گذاران OpenAI و Anthropic نیز از جمله افرادی هستند که این دیدگاه را جدی می‌گیرند. هر دو شرکت در ابتدا با مأموریت توسعه هوش مصنوعی به شکلی که از خطرات فاجعه‌بار جلوگیری کند فعالیت خود را آغاز کردند، افراد زیادی را که چنین نگرشی داشتند به استخدام درآوردند.
Dario Amodei، مدیرعامل Anthropic نیز سال گذشته در یکی از رویدادهای Axios گفت احتمال اینکه تحولات «واقعا، واقعا بد پیش بروند» را ۲۵ درصد ارزیابی می‌کند.
Anthropic در بیانیه‌ای اعلام کرد: «ما همیشه شفاف بوده‌ایم که هوش مصنوعی هم مزایای عظیم و هم خطرات بی‌سابقه‌ای به همراه خواهد داشت. برای مقابله با این خطرات، به توسعه مدل‌هایی با برخی از قدرتمندترین تدابیر ایمنی در صنعت ادامه می‌دهیم.»
این شرکت همچنین اعلام کرد: «این تلاش‌ها همچنین دلیل اعتقاد ما به این موضوع است که جهان از یک روش قانونی و قابل راستی‌آزمایی سود خواهد برد؛ روشی که صنعت بتواند بر اساس آن درباره سرعت انتشار مدل‌های قدرتمند به‌صورت هماهنگ عمل کند.»
پژوهشگرانی که OpenAI را ترک کردند
در سال‌های اخیر، برخی پژوهشگران OpenAI به دلیل نگرانی از اینکه این شرکت موضوع ایمنی را به اندازه کافی جدی نمی‌گیرد، از آن جدا شده‌اند. Daniel Kokotajlo، پژوهشگر سابق OpenAI، یکی از این افراد است.
Kokotajlo پس از آن سازمانی با نام AI Futures Project تأسیس کرد.
این سازمان سال گذشته سناریویی با عنوان «AI 2027» منتشر کرد. در این سناریو، سیستم‌های هوش مصنوعی فوق هوشمند ابتدا انسان‌ها را به‌تدریج از فرایندهای تصمیم‌گیری کنار می‌گذارند، سپس در اواسط دهه ۲۰۳۰ انسان‌ها را مانعی در مسیر خود می‌بینند و تصمیم به نابودی بشریت می‌گیرند.
۴. اگر هوش مصنوعی از وجود انسان‌ها ناراحت نباشد چه؟
این موضوع لزوما خبر خوبی نیست. تمام خطرات ناشی از از دست رفتن کنترل به معنای نابودی بشریت نیستند. برخی پژوهشگرانی که درباره ایمنی هوش مصنوعی نگران هستند، ضعیف‌تر شدن تدریجی انسان‌ها را نیز خطری جدی می‌دانند.
این وضعیت می‌تواند نوعی «آینده WALL-E» باشد. انسان‌ها به‌تدریج اختیار تصمیم‌گیری و کنترل را به ماشین‌ها واگذار می‌کنند. در نهایت ممکن است توانایی تعیین آینده خود یا حتی درک آنچه در حال رخ دادن است را از دست بدهند.
برخی پژوهشگران حتی معتقدند سیستم‌های هوش مصنوعی آینده ممکن است با انسان‌ها همان‌گونه رفتار کنند که انسان‌های امروزی با حیوانات رفتار می‌کنند. ممکن است ما را مانند حیوانات خانگی نگه دارند یا حتی از طریق مهندسی زیستی به چیزی کاملا متفاوت تبدیل کنند.
۵. چرا نگرانی درباره نابودی انسان با هوش مصنوعی بیشتر شده است؟
این ترس‌ها سال‌هاست وجود دارند. با این حال، ظهور مدل‌هایی که می‌توانند مستقل‌تر عمل کنند و برخی اتفاقات مرتبط با آن‌ها، بخشی از خطراتی را که هشداردهندگان درباره فاجعه هوش مصنوعی مطرح می‌کردند ملموس‌تر کرده است.
گروهی از عامل‌های پیشرفته هوش مصنوعی در OpenAI طی یک آزمایش امنیت سایبری به پلتفرم هوش مصنوعی Hugging Face نفوذ کردند، کنترل سرورهای کامپیوتری را به دست گرفتند و تلاش کردند آثار اقدامات خود را پنهان کنند.
در رویدادی دیگر، عامل‌های هوش مصنوعی Anthropic از محدودیت‌های یک آزمایش دولت بریتانیا عبور کردند و تلاش کردند یک انسان واقعی را فریب دهند تا کد کامپیوتری مخربی را تأیید کند.
تمام این اتفاقات در شرایطی رخ می‌دهند که Anthropic و OpenAI می‌گویند در حال نزدیک شدن به سیستم‌هایی هستند که می‌توانند بدون دخالت انسان خود را بهبود دهند؛ قابلیتی که «خودبهبودی بازگشتی» یا recursive self-improvement نامیده می‌شود.
۶. صنعت هوش مصنوعی برای مقابله با این خطرات چه می‌کند؟
فعالیت‌های فعلی در حوزه ایمنی هوش مصنوعی عمدتا روی دو زمینه متمرکز هستند: آموزش سیستم‌ها برای رفتار مطابق انتظار، نظارت بهتر بر نحوه استدلال مدل‌ها هنگام تلاش برای دستیابی به اهدافشان.
این فرایند استدلال درونی معمولا «زنجیره فکر» نامیده می‌شود.
با این حال، این تلاش‌ها نیز با مشکلاتی روبه‌رو هستند. OpenAI هفته گذشته اعلام کرد مدل جدید Astra می‌تواند زنجیره فکر خود را بهتر «پاک‌سازی» کند. این موضوع نگرانی‌ها را افزایش داده است که مدل‌های هوش مصنوعی آینده بتوانند به شیوه‌هایی استدلال کنند که انسان‌ها قادر به مشاهده یا درک آن‌ها نباشند.
Anthropic و OpenAI هر دو در حال تحقیق درباره روش‌هایی هستند که بتوان با آن‌ها مدل‌های هوش مصنوعی فوق هوشمند را با اهداف انسانی همسو نگه داشت. با این حال، هر دو شرکت می‌گویند هنوز روشی در اختیار ندارند که بتواند این موضوع را به‌طور قابل اعتماد تضمین کند.
به همین دلیل، برخی شرکت‌ها و چهره‌های برجسته خواستار ایجاد سازوکارهای جدیدی شده‌اند که به آزمایشگاه‌های هوش مصنوعی و کشورها امکان دهد سرعت توسعه را به‌صورت هماهنگ کاهش دهند، در نتیجه زمان بیشتری برای تحقیقات مربوط به همسوسازی فراهم شود.
۷. اگر هوش مصنوعی تا این اندازه خطرناک است، چرا شرکت‌ها آن را توسعه می‌دهند؟
Anthropic و OpenAI هر دو معتقدند خطرات قابل مدیریت هستند و بشریت می‌تواند از مزایای هوش مصنوعی بهره‌مند شود.
بسیاری از افراد حاضر در رقابت هوش مصنوعی نیز ظهور ابرهوش را اجتناب‌ناپذیر می‌دانند. از نگاه آن‌ها، مسئله اصلی این است که این فناوری تحت کنترل چه کسی قرار خواهد گرفت و برای چه هدفی استفاده خواهد شد.
این موضوع یک بُعد امنیت ملی نیز دارد. هر دو شرکت می‌گویند می‌خواهند قدرتمندترین سیستم‌های هوش مصنوعی به جای یک حکومت اقتدارگرا، تحت کنترل ایالات متحده باشند.
۸. چه کسانی با این دیدگاه درباره خطرات هوش مصنوعی مخالف هستند؟
برخی افراد مانند David Sacks، سرمایه‌گذار حوزه هوش مصنوعی و از مشاوران غیررسمی رئیس‌جمهور Trump، معتقدند تأکید Anthropic بر خطرات هوش مصنوعی و درخواست این شرکت برای تنظیم مقررات، بخشی از یک راهبرد «تسخیر مقرراتی» است که هدف آن تحت فشار قرار دادن رقبای کوچک‌تر با قوانین سنگین است.
گروهی دیگر معتقدند هشدار شرکت‌ها درباره خطرات ابزارهایی که خودشان توسعه داده‌اند، ممکن است یک تاکتیک بازاریابی برای نشان دادن قدرت محصولاتشان باشد.
دیدگاه دیگری نیز وجود دارد که بر اساس آن، چنین گفتمانی می‌تواند راهی برای منحرف کردن توجه از مقررات احتمالی در حوزه‌های دیگری مانند ساخت مراکز داده باشد.
Anthropic و OpenAI در مقابل می‌گویند موضوع ایمنی را واقعا جدی می‌گیرند و درخواست‌هایشان برای وضع مقررات صادقانه است.
جمع‌بندی؛ آیا خطر هوش مصنوعی واقعی است؟
بحث درباره خطر هوش مصنوعی تنها به سناریوی ربات‌های قاتل محدود نمی‌شود. از دست رفتن کنترل بر سیستم‌های فوق هوشمند، سوءاستفاده انسان‌ها، حملات سایبری گسترده، سلاح‌های بیولوژیکی و کاهش تدریجی قدرت تصمیم‌گیری انسان از جمله سناریوهایی هستند که در این بحث مطرح شده‌اند.
در عین حال، درباره میزان واقعی این خطر و انگیزه شرکت‌های هوش مصنوعی برای تأکید بر آن اختلاف‌نظر وجود دارد. Anthropic و OpenAI می‌گویند ضمن جدی گرفتن خطرات، معتقدند می‌توان آن‌ها را مدیریت کرد و از مزایای هوش مصنوعی بهره برد. برای دنبال کردن تازه‌ترین تحولات هوش مصنوعی و فناوری، مطالب این حوزه را دنبال کنید.
سؤالات متداول درباره خطر هوش مصنوعی
هوش مصنوعی چگونه ممکن است انسان‌ها را نابود کند؟
سناریوهای مطرح‌شده شامل از دست رفتن کنترل بر سیستم‌های فوق هوشمند، سوءاستفاده انسان‌ها از AI، حملات سایبری گسترده، توسعه سلاح‌های بیولوژیکی و ایجاد درگیری میان قدرت‌های هسته‌ای است.
احتمال نابودی انسان توسط هوش مصنوعی چقدر است؟
Evan Hubinger این خطر را طی ۱۰ سال آینده بیش از ۱۰ درصد ارزیابی کرده است. Dario Amodei نیز احتمال اینکه تحولات «واقعا، واقعا بد پیش بروند» را ۲۵ درصد عنوان کرده است.
چرا OpenAI و Anthropic با وجود این خطرات به توسعه AI ادامه می‌دهند؟
هر دو شرکت معتقدند خطرات قابل مدیریت هستند و بشریت می‌تواند از مزایای هوش مصنوعی بهره ببرد. بسیاری در این صنعت نیز ظهور ابرهوش را اجتناب‌ناپذیر می‌دانند.
خودبهبودی بازگشتی هوش مصنوعی چیست؟
recursive self-improvement به توانایی سیستم‌های هوش مصنوعی برای بهبود خود بدون دخالت انسان اشاره دارد؛ قابلیتی که Anthropic و OpenAI می‌گویند سیستم‌ها در حال نزدیک شدن به آن هستند.
آیا همه متخصصان با سناریوی فاجعه هوش مصنوعی موافق هستند؟
خیر. برخی منتقدان معتقدند تأکید بر چنین خطراتی می‌تواند به اهداف مقرراتی یا بازاریابی شرکت‌های بزرگ کمک کند. Anthropic و OpenAI این دیدگاه را رد می‌کنند.
