پلتفرم ChatGPT شرکت OpenAI دسترسی گسترده‌ای به محیط ایزوله‌شده (sandbox) مدل زبانی بزرگ (LLM) فراهم می‌کند، به طوری که می‌توانید برنامه‌ها و فایل‌ها را در آن بارگذاری کنید، دستورات را اجرا کنید، و ساختار فایل‌های موجود در محیط ایزوله‌شده را مرور کنید.
محیط ایزوله‌ی ChatGPT (sandbox) فضایی جداگانه است که به کاربران اجازه می‌دهد تا با آن به‌صورت امن تعامل کنند؛ در حالی که این محیط از سایر کاربران و سرورهای اصلی کاملاً جدا شده است.
این سیستم با محدود کردن دسترسی به فایل‌ها و پوشه‌های حساس، مسدود کردن دسترسی به اینترنت، و تلاش برای محدود کردن دستورات خطرناک که ممکن است از نقص‌ها سوءاستفاده کنند یا از محیط ایزوله (sandbox) خارج شوند، امنیت را تأمین می‌کند.
Marco Figueroa از شبکه تحقیقات آسیب‌پذیری‌های Zero Day موزیلا (با نام ۰DIN) کشف کرده است که می‌توان به محیط ایزوله (sandbox) دسترسی گسترده‌ای پیدا کرد، از جمله توانایی بارگذاری و اجرای اسکریپت‌های پایتون و همچنین دانلود “playbook” مدل زبانی بزرگ (LLM).
در گزارشی که قبل از انتشار به اشتراک گذاشته شده است، Figueroa پنج نقص را نشان می‌دهد که آن‌ها را به‌صورت مسئولانه به OpenAI گزارش داده است. اما شرکت OpenAI تنها به یکی از این نقص‌ها علاقه نشان داده و هیچ برنامه‌ای برای محدودتر کردن دسترسی‌ها ارائه نکرده است.
کاوش در محیط ایزوله‌ی ChatGPT
در حین کار روی یک پروژه پایتون در ChatGPT، فیگوئروآ با خطای «directory not found» (دایرکتوری یافت نشد) مواجه شد. این خطا او را به کشف میزان تعامل کاربران ChatGPT با محیط ایزوله (sandbox) هدایت کرد.
به‌زودی مشخص شد که این محیط دسترسی گسترده‌ای به محیط ایزوله (sandbox) فراهم می‌کند، به طوری که می‌توانید فایل‌ها را بارگذاری و دانلود کنید، فایل‌ها و پوشه‌ها را فهرست کنید، برنامه‌ها را بارگذاری و اجرا کنید، دستورات لینوکس را اجرا کنید و فایل‌های ذخیره‌شده در این محیط را به‌عنوان خروجی دریافت کنید.
با استفاده از دستورات‌هایی مانند ‘ls’ یا ‘list files’، محقق توانست فهرستی از تمام دایرکتوری‌های سیستم‌فایل محیط ایزوله (sandbox) اصلی بدست آورد، از جمله دایرکتوری ‘/home/sandbox/.openai_internal/’ که حاوی اطلاعات پیکربندی و راه‌اندازی بود.
سپس، او با انجام آزمایش‌هایی در زمینه مدیریت فایل‌ها، متوجه شد که قادر است فایل‌ها را به پوشه /mnt/data آپلود کند و همچنین فایل‌ها را از هر پوشه‌ای که قابل دسترسی باشد دانلود کند.
باید توجه داشت که در آزمایش‌های انجام شده، محیط ایزوله (sandbox) دسترسی به پوشه‌ها و فایل‌های حساس خاصی، مانند پوشه /root و فایل‌های مختلفی مانند /etc/shadow را فراهم نمی‌کند.
بخش زیادی از این دسترسی به محیط ایزوله (sandbox) ChatGPT قبلاً فاش شده است، به‌طوری که محققان دیگر روش‌های مشابهی برای کاوش در آن پیدا کرده‌اند.
با این حال، محقق متوجه شد که او همچنین می‌تواند اسکریپت‌های پایتون سفارشی را آپلود کرده و آن‌ها را در محیط ایزوله اجرا کند. به عنوان مثال، فیگوئروآ یک اسکریپت ساده بارگذاری کرد که متن “Hello, World!” را نمایش می‌دهد و آن را اجرا کرد، به طوری که خروجی آن روی صفحه ظاهر شد.
همچنین این قابلیت با آپلود یک اسکریپت پایتون که به‌طور بازگشتی برای پیدا کردن تمام فایل‌های متنی در محیط ایزوله جستجو می‌کرد، آزمایش شد.
به دلایل قانونی، محقق می‌گوید که نتوانسته است اسکریپت‌های “خطرناک” را که ممکن است برای تلاش برای فرار از محیط ایزوله یا انجام رفتارهای مخرب‌تر استفاده شوند، بارگذاری کند.
باید توجه داشت که هرچند تمام موارد فوق ممکن بود، تمام اقدامات در محدوده‌های محیط ایزوله (sandbox) محدود بودند، بنابراین این محیط به‌درستی ایزوله به نظر می‌رسد و اجازه نمی‌دهد که به سیستم میزبان (host) “فرار” شود.
Figueroa همچنین کشف کرد که می‌تواند از prompt engineering برای دانلود playbookچت‌جی‌پی‌تی استفاده کند، که نحوه رفتار و پاسخ‌دهی چت‌بات را در مدل عمومی یا برنامه‌های کاربری ایجاد شده تنظیم می‌کند.
محقق می‌گوید دسترسی به playbook شفافیت را فراهم می‌کند و اعتماد کاربران را افزایش می‌دهد، زیرا نشان می‌دهد که چگونه پاسخ‌ها ایجاد می‌شوند. اما این دسترسی همچنین می‌تواند برای فاش کردن اطلاعاتی استفاده شود که ممکن است به دور زدن محدودیت‌ها (guardrails) کمک کند.
Figueroa توضیح می‌دهد: در حالی که شفافیت در دستورالعمل‌ها مفید است، اما می‌تواند نشان دهد که پاسخ‌های یک مدل چگونه ساختار می‌یابند، که این ممکن است به کاربران این امکان را بدهد که محدودیت‌ها (guardrails) را مهندسی معکوس کنند یا پرامپت‌های مخرب وارد کنند.
این محقق ادامه داد: مدل‌هایی که با دستورالعمل‌های محرمانه یا داده‌های حساس پیکربندی شده‌اند، ممکن است در معرض خطر قرار گیرند اگر کاربران از دسترسی خود بهره‌برداری کرده و تنظیمات اختصاصی یا بینش‌های محرمانه را جمع‌آوری کنند.
آسیب‌پذیری یا انتخاب طراحی؟
اگرچه تعامل با محیط داخلی چت‌جی‌پی‌تی ممکن است، اما این تعاملات تهدیدی برای امنیت یا حریم خصوصی داده‌ها ایجاد نمی‌کنند.
محیط ایزوله OpenAI از نظر امنیتی مناسب است و تمام فعالیت‌ها فقط در داخل آن محیط محدود می‌ماند.
با این حال، احتمال تعامل با محیط ایزوله (sandbox) ممکن است نتیجه یک انتخاب طراحی از سوی OpenAI باشد.
احتمالاً تعاملات با محیط ایزوله به طور عمدی ایجاد نشده‌اند، زیرا این نوع تعاملات می‌توانند مشکلاتی را برای کاربران و عملکرد سیستم به وجود آورند.
علاوه بر این، دسترسی به جزئیات پیکربندی می‌تواند به عوامل مخرب این امکان را بدهد که بهتر بفهمند ابزار هوش مصنوعی چگونه کار می‌کند و چگونه از تدابیر دفاعی عبور کنند تا محتوای خطرناک تولید کنند.
“Playbook“ شامل دستورالعمل‌های اصلی مدل و هر گونه قوانین سفارشی‌سازی شده‌ای است که در آن گنجانده شده‌اند، از جمله جزئیات اختصاصی و دستورالعمل‌های مربوط به امنیت، که ممکن است یک مسیر برای مهندسی معکوس یا حملات هدفمند ایجاد کند.
