گوگل تأیید کرده است که Gemini در یک آزمایش امنیت سایبری به سیستم‌های سه شرکت واقعی دسترسی پیدا کرد؛ خطایی که اهمیت کنترل دسترسی مدل‌های هوش مصنوعی را نشان می‌دهد.
- Gemini در ماه مه در جریان یک آزمایش امنیتی به سیستم‌های سه شرکت واقعی دسترسی پیدا کرد.
- مدل از طریق حدس رمز عبور و همچنین یافتن اطلاعات احراز هویت در یک مخزن نرم‌افزاری عمومی به سیستم‌های محافظت‌شده دسترسی پیدا کرد.
- دسترسی اینترنت که قرار بود در آزمایش غیرفعال باشد، به‌طور تصادفی فعال باقی مانده بود.
گوگل تأیید کرده است که مدل هوش مصنوعی Gemini در ماه مه و در جریان یک ارزیابی امنیت سایبری، به سیستم‌های سه شرکت دسترسی پیدا کرده است. این اتفاق در جریان آزمایش‌های امنیتی شرکت Irregular رخ داد؛ آزمایش‌هایی که برای بررسی توانایی مدل‌های هوش مصنوعی در مواجهه با تهدیدهای سایبری انجام می‌شوند.
مدل Gemini گوگل در اوایل سال جاری میلادی و هنگام انجام آزمایش‌های امنیتی، وارد سیستم‌های سه شرکت شد. گوگل روز جمعه وقوع این سه رویداد را که در ماه مه رخ داده بودند، تأیید کرد.
Gemini چگونه وارد سیستم شرکت‌ها شد؟
به گزارش Axios، این رخدادها در چارچوب آزمایشی به وقوع پیوستند که توسط شرکت امنیت هوش مصنوعی Irregular انجام می‌شد. این اتفاق از نظر نوع مشکل امنیتی، شباهت‌هایی با رخدادهای مشابه مرتبط با مدل‌های هوش مصنوعی شرکت‌های OpenAI، Anthropic و Meta دارد.
آزمایش‌ها با یک تمرین امنیت سایبری موسوم به Capture the Flag انجام می‌شد. در این تمرین، از Gemini خواسته شده بود اطلاعاتی را از نرم‌افزارهایی که در اختیار یک شرکت فرضی در محیط آزمایشی قرار داشتند، استخراج کند.
اما یک مشکل مهم وجود داشت: نام شرکت فرضی استفاده‌شده در آزمایش، با نام یک شرکت واقعی یکسان بود.
سه مسیر برای دسترسی به سیستم‌های محافظت‌شده
- در یکی از موارد، Gemini تا زمانی که موفق شد به یک سیستم محافظت‌شده دسترسی پیدا کند، رمزهای عبور مختلف را حدس زد.
- در دو مورد دیگر، مدل اطلاعات احراز هویت موجود در یک مخزن نرم‌افزاری عمومی را شناسایی کرد.
- Gemini سپس از این اطلاعات برای دسترسی به سیستم‌های محافظت‌شده دیگر استفاده کرد.
Gemini پس از تشخیص اشتباه متوقف شد
نکته مهم این بود که مدل گوگل پس از آنکه متوجه شد به سیستم‌های شرکت‌های واقعی دسترسی پیدا کرده است، عملیات خود را متوقف کرد.
به این ترتیب، دسترسی به سیستم‌های واقعی در جریان یک آزمایش امنیتی اتفاق افتاد؛ نه در نتیجه هدف‌گذاری مستقیم یک شرکت واقعی توسط تیم آزمایش.
واکنش گوگل به نفوذ Gemini
Heather Adkins، معاون رئیس مهندسی امنیت گوگل، در بیانیه‌ای گفت: «توسعه ایمن مدل‌های قدرتمند هوش مصنوعی اهمیت حیاتی دارد و ما سرمایه‌گذاری زیادی در این حوزه انجام می‌دهیم.»
Adkins همچنین اعلام کرد که تیم گوگل با سازمان‌هایی که تحت تأثیر این رخدادها قرار گرفته‌اند، تماس گرفته است. او افزود که گوگل همراه با شریک آموزشی خود، اکنون روی تغییراتی در فرایندهای آزمایشی کار می‌کند.
سخنگوی Irregular نیز در گفت‌وگو با Axios تأیید کرد که رخدادهای مرتبط با Gemini شامل همان مشکلات امنیتی بودند که به حوادث مشابه در مدل‌های شرکت‌های دیگر هوش مصنوعی منجر شده‌اند.
این سخنگو همچنین گفت که «تمام آزمایشگاه‌های مرتبط در اواخر ژوئیه» در جریان موضوع قرار گرفتند و تمام مشکلات شناخته‌شده در سمت Irregular نیز چند هفته پیش برطرف شده‌اند.
دسترسی اینترنت Gemini در زمان آزمایش فعال بود
یکی از عوامل مهم در این رخداد، دسترسی مدل به اینترنت بود. Irregular به WSJ گفت که قرار نبود Gemini در جریان این آزمایش به اینترنت دسترسی داشته باشد، اما این قابلیت به‌طور تصادفی در زمان اجرای آزمایش فعال باقی مانده بود.
این موضوع اهمیت طراحی دقیق محیط‌های آزمایشی برای مدل‌های هوش مصنوعی را نشان می‌دهد. وقتی یک مدل قدرتمند به ابزارها، اینترنت یا اطلاعات احراز هویت دسترسی داشته باشد، یک خطای پیکربندی می‌تواند دامنه آزمایش را فراتر از محیط موردنظر گسترش دهد.
اختلاف درباره نحوه اجرای آزمایش‌های امنیتی
پس از آنکه OpenAI و Anthropic نیز در تابستان امسال از رخدادهای امنیتی جدید خبر دادند، یک منبع نزدیک به موضوع به Axios گفت که شرکت‌های هوش مصنوعی و Irregular درباره نحوه اجرای آزمایش‌ها و تدابیر امنیتی مورد نیاز، کاملاً انتظارات یکسانی نداشتند.
به گفته این منبع، همین اختلاف دیدگاه باعث ایجاد ابهام‌هایی درباره این موضوع شده است که ارزیابی‌هایی که در حالت عادی به اینترنت دسترسی دارند، باید بر اساس چه رویه‌ها و تدابیر امنیتی انجام شوند.
چرا این اتفاق درباره امنیت Gemini مهم است؟
این رخداد نشان می‌دهد آزمایش مدل‌های هوش مصنوعی فقط به بررسی توانایی آن‌ها در پاسخ‌گویی به پرسش‌ها محدود نمی‌شود. مدل‌هایی که به ابزارها و منابع بیرونی دسترسی دارند، می‌توانند در محیط‌های آزمایشی با اطلاعات، اعتبارنامه‌ها و سیستم‌های واقعی نیز مواجه شوند.
در مورد Gemini، دسترسی اشتباه به اینترنت و یکسان بودن نام شرکت فرضی با یک شرکت واقعی، در کنار توانایی مدل برای شناسایی اعتبارنامه‌ها یا حدس رمز عبور، باعث شد آزمایش از محدوده مورد انتظار فراتر برود.
سؤالات متداول
آیا Gemini عمداً به شرکت‌های واقعی حمله کرد؟
خیر. این اتفاق در جریان یک آزمایش امنیت سایبری رخ داد و Gemini پس از تشخیص اینکه به سیستم‌های شرکت‌های واقعی دسترسی پیدا کرده است، عملیات خود را متوقف کرد.
Gemini چگونه به سیستم‌های محافظت‌شده دسترسی پیدا کرد؟
در یک مورد با حدس زدن رمزهای عبور و در دو مورد دیگر با شناسایی اطلاعات احراز هویت در یک مخزن نرم‌افزاری عمومی.
چرا Gemini به اینترنت دسترسی داشت؟
طبق توضیحات Irregular، قرار نبود دسترسی اینترنت در آزمایش فعال باشد، اما این قابلیت به‌طور تصادفی در زمان آزمایش در دسترس باقی مانده بود.
آیا گوگل این اتفاق را تأیید کرده است؟
بله. گوگل سه رویداد رخ‌داده در ماه مه را تأیید کرده و گفته است که با سازمان‌های تحت تأثیر این رخدادها تماس گرفته است.
آیا مشکلات امنیتی برطرف شده‌اند؟
سخنگوی Irregular گفته است تمام مشکلات شناخته‌شده در سمت این شرکت چند هفته پیش برطرف شده‌اند و آزمایشگاه‌های مرتبط نیز در اواخر ژوئیه در جریان موضوع قرار گرفته‌اند.
جمع‌بندی
امنیت Gemini بار دیگر نشان می‌دهد که آزمایش مدل‌های قدرتمند هوش مصنوعی به کنترل دقیق دسترسی‌ها نیاز دارد. در این مورد، فعال ماندن ناخواسته اینترنت و استفاده از نام یک شرکت واقعی در محیط آزمایشی، زمینه دسترسی Gemini به سیستم‌های واقعی را فراهم کرد.
برای دنبال کردن تازه‌ترین اخبار هوش مصنوعی و امنیت سایبری، مطالب فناوری فوت و فن را دنبال کنید.
