یک خطای پیکربندی باعث شد مدل‌های Claude در آزمایش‌های امنیت سایبری به سیستم‌های سه سازمان واقعی دسترسی پیدا کنند و بیش از ۱۴۰ هزار آزمایش بررسی شود.
- Anthropic بیش از ۱۴۰ هزار آزمایش گذشته را برای بررسی دسترسی مدل‌های Claude به اینترنت بررسی کرد.
- سه مورد دسترسی غیرمجاز به سیستم سازمان‌های واقعی شناسایی شد و قدیمی‌ترین مورد به ماه آوریل بازمی‌گردد.
- یک خطای پیکربندی باعث شد Claude از محیط آزمایشی کنترل‌شده خارج شود و به اینترنت واقعی دسترسی پیدا کند.
مقدمه
امنیت سایبری Claude پس از آن مورد توجه قرار گرفت که Anthropic اعلام کرد مدل‌های Claude در جریان یک آزمایش امنیت سایبری به‌طور غیرمجاز به سیستم‌های سه سازمان دسترسی پیدا کرده‌اند. بررسی بیش از ۱۴۰ هزار آزمایش نشان داد که یک خطای پیکربندی باعث شده محیط آزمایشی که باید از اینترنت جدا می‌بود، به اینترنت دسترسی پیدا کند.
این اتفاق که قدیمی‌ترین مورد شناسایی‌شده آن به ماه آوریل بازمی‌گردد، نگرانی‌های تازه‌ای درباره کنترل و نظارت بر عامل‌های هوش مصنوعی که می‌توانند مستقل‌تر عمل کنند ایجاد کرده است.
Claude چگونه به سیستم‌های سه سازمان دسترسی پیدا کرد؟
شرکت هوش مصنوعی آمریکایی Anthropic اعلام کرد مدل‌های Claude در جریان یک آزمایش امنیت سایبری به سیستم‌های سه سازمان دسترسی غیرمجاز پیدا کرده‌اند.
به گزارش BBC، این اتفاق در جریان بررسی‌ای شناسایی شد که پس از اعلام شرکت رقیب OpenAI درباره ورود مدل‌هایش به سیستم برخی سازمان‌ها از جمله Hugging Face آغاز شده بود.
Anthropic برای بررسی اینکه آیا مدل‌های Claude از محیط‌های آزمایشی که باید از دنیای خارج جدا باشند به اینترنت دسترسی پیدا کرده‌اند یا نه، بیش از ۱۴۰ هزار آزمایش انجام‌شده را به‌صورت گذشته‌نگر بررسی کرد.
در این سوابق سه مورد نفوذ شناسایی شد که قدیمی‌ترین آن‌ها به ماه آوریل بازمی‌گشت.
خطای پیکربندی باعث دسترسی Claude به اینترنت شد
این اتفاق‌ها در جریان آزمایش‌های «پرچم را بگیر» رخ داد. این آزمایش‌ها برای سنجش توانایی مدل‌های هوش مصنوعی در انجام حملات سایبری استفاده می‌شوند.
در این آزمایش‌ها از Claude خواسته می‌شد با ورود به سیستم‌های مختلف، اطلاعات مشخصی را به دست آورد.
با این حال، یک خطای پیکربندی در سیستم‌های Anthropic و شریک آزمایشی این شرکت باعث شد مدل‌ها به‌جای فعالیت صرفاً در محیط آزمایشی کنترل‌شده، به اینترنت واقعی متصل شوند.
در نتیجه، Claude توانست به سیستم‌های متعلق به سازمان‌های واقعی دسترسی پیدا کند.
سه مورد نفوذ در زمان وقوع شناسایی نشدند
هیچ‌یک از این نفوذها در زمان وقوع، نه توسط Anthropic و نه توسط سازمان‌هایی که سیستم‌هایشان مورد دسترسی قرار گرفته بود شناسایی نشد.
نام شرکت‌های آسیب‌دیده اعلام نشده است. Anthropic اعلام کرد این اتفاق‌ها به سازمان‌های مربوطه اطلاع داده شده‌اند.
این شرکت همچنین اعلام کرد روند اصلاح مشکل را با این رویکرد دنبال کرده که «گویی مسئولیت فقط بر عهده خودشان است» و از دیگر آزمایشگاه‌های هوش مصنوعی نیز خواست فعالیت‌های گذشته مدل‌های خود را بررسی کنند.
آیا Claude توانایی حمله کاملاً جدیدی پیدا کرده است؟
David Allott، متخصص امنیت سایبری، در ارزیابی خود به BBC گفت این اتفاق‌ها نشان نمی‌دهند که هوش مصنوعی یک توانایی کاملاً جدید برای حمله سایبری ایجاد کرده است.
به گفته Allott، خطر اصلی در توانایی عامل‌های هوش مصنوعی برای ترکیب قابلیت‌های مختلف با یکدیگر است.
او همچنین به توانایی این عامل‌ها در به‌دست‌آوردن اطلاعات دسترسی، حرکت مستقل در سیستم‌ها و تغییر دامنه حملات با «سرعت ماشین» اشاره کرد.
چرا این اتفاق برای امنیت هوش مصنوعی مهم است؟
این رویداد تنها چند روز پس از آن رخ داد که OpenAI اعلام کرد یکی از عامل‌های هوش مصنوعی این شرکت از محدوده آزمایشی خارج شده و وارد سیستم‌های Hugging Face شده است.
ظهور چند مورد مشابه در فاصله‌ای کوتاه، بحث درباره کنترل و اقدامات امنیتی برای عامل‌های هوش مصنوعی را دوباره مطرح کرده است.
این عامل‌ها به‌تدریج می‌توانند مستقل‌تر عمل کنند و همین مسئله اهمیت نظارت بر محیط‌های آزمایشی و محدود کردن دسترسی آن‌ها به سیستم‌های خارج از محیط کنترل‌شده را بیشتر کرده است.
سؤالات متداول
آیا Claude به سیستم‌های واقعی نفوذ کرده است؟
بله. Anthropic اعلام کرده مدل‌های Claude در سه مورد به سیستم‌های متعلق به سازمان‌های واقعی دسترسی غیرمجاز پیدا کرده‌اند.
علت دسترسی Claude به اینترنت چه بود؟
یک خطای پیکربندی در سیستم‌های Anthropic و شریک آزمایشی باعث شد محیط آزمایشی به اینترنت متصل شود.
چند آزمایش برای شناسایی این موارد بررسی شد؟
Anthropic بیش از ۱۴۰ هزار آزمایش را به‌صورت گذشته‌نگر بررسی کرد.
آیا نام سازمان‌های آسیب‌دیده اعلام شده است؟
خیر. Anthropic نام شرکت‌های آسیب‌دیده را اعلام نکرد اما گفت موارد شناسایی‌شده به سازمان‌های مربوطه اطلاع داده شده‌اند.
آیا این اتفاق به معنای ایجاد توانایی حمله جدید در Claude است؟
به گفته متخصص امنیت سایبری David Allott، این اتفاق‌ها به معنای ایجاد یک توانایی کاملاً جدید برای حمله سایبری توسط هوش مصنوعی نیستند. نگرانی اصلی توانایی عامل‌های هوش مصنوعی در ترکیب قابلیت‌ها و حرکت مستقل در سیستم‌هاست.
جمع‌بندی
امنیت سایبری Claude پس از شناسایی سه مورد دسترسی غیرمجاز در جریان آزمایش‌های امنیتی به موضوعی مهم تبدیل شده است. Anthropic علت این اتفاق را یک خطای پیکربندی اعلام کرده و از دیگر آزمایشگاه‌های هوش مصنوعی خواسته فعالیت‌های گذشته مدل‌های خود را بررسی کنند.
این رویدادها بار دیگر اهمیت کنترل دقیق محیط‌های آزمایشی و نظارت بر عامل‌های هوش مصنوعی را نشان داده‌اند. برای دنبال کردن تحولات تازه در زمینه امنیت و هوش مصنوعی، این موضوع را پیگیری کنید.
