Google Gemini به هکرها اجازه می‌دهد از خلاصه‌های ایمیل برای حملات فیشینگ استفاده کنند

آسیب‌پذیری در Google Gemini برای Workspace که به مهاجمین اجازه می‌دهد خلاصه‌های ایمیل‌های مخرب ایجاد کنند

حملات فیشینگ از طریق خلاصه‌های ایمیل در Google Gemini for Workspace ممکن است شامل دستورالعمل‌ها یا هشدارهای مخرب باشند که کاربران را به سایت‌های فیشینگ هدایت می‌کنند بدون اینکه از پیوست‌ها یا لینک‌های مستقیم استفاده کنند.

این حملات از “indirect prompt injections” استفاده می‌کنند که در داخل یک ایمیل مخفی شده و توسط Gemini هنگام تولید خلاصه پیام اطاعت می‌شود.

با وجود گزارش‌های مشابه حملات prompt injection از سال ۲۰۲۴ و اقدامات ایمنی برای مسدود کردن پاسخ‌های گمراه‌کننده، این تکنیک همچنان موفق عمل می‌کند.

حمله از طریق Gemini

یک حمله prompt injection به مدل Google Gemini از طریق ۰din، برنامه Mozilla برای کشف آسیب‌پذیری‌های ابزارهای هوش مصنوعی مولد، توسط پژوهشگر Marco Figueroa، مدیر برنامه‌های GenAI Bug Bounty در Mozilla افشا شد.

فرآیند حمله شامل ایجاد یک ایمیل با دستورالعملی نامرئی برای Gemini است. مهاجم می‌تواند دستور مخرب را در انتهای متن پیام با استفاده از HTML و CSS مخفی کند که اندازه فونت را صفر کرده و رنگ آن را سفید می‌سازد.

دستور مخرب در Gmail نمایش داده نخواهد شد، و چون هیچ پیوست یا لینکی وجود ندارد، احتمال بالایی وجود دارد که پیام به صندوق ورودی هدف مورد نظر برسد.

اگر گیرنده ایمیل را باز کرده و از Gemini بخواهد که خلاصه‌ای از ایمیل ایجاد کند، ابزار هوش مصنوعی گوگل، دستور مخفی را تجزیه کرده و از آن پیروی خواهد کرد.

نمونه‌ای که Figueroa ارائه داده، نشان می‌دهد که Gemini دستور مخفی را دنبال کرده و هشدار امنیتی مربوط به به خطر افتادن رمز عبور Gmail کاربر را شامل می‌شود، به همراه یک شماره تلفن پشتیبانی.

چون بسیاری از کاربران احتمالاً خروجی‌های Gemini را به عنوان بخشی از قابلیت‌های Google Workspace قابل اعتماد می‌دانند، احتمال اینکه این هشدار به عنوان یک اخطار معتبر شناخته شود به جای یک “malicious injection” بسیار زیاد است.

Figueroa چندین روش شناسایی و کاهش ریسک ارائه می‌دهد که تیم‌های امنیتی می‌توانند برای جلوگیری از چنین حملاتی به کار ببرند. یکی از روش‌ها حذف، خنثی‌سازی یا نادیده گرفتن محتوایی است که برای مخفی شدن در متن ایمیل طراحی شده است.

روش دیگر، پیاده‌سازی یک فیلتر پس‌پردازش است که خروجی Gemini را برای پیام‌های فوری، URL‌ها یا شماره‌های تلفن اسکن کرده و پیام را برای بررسی بیشتر علامت‌گذاری می‌کند.

همچنین کاربران باید بدانند که خلاصه‌های Gemini نباید به عنوان مرجع معتبر در مورد هشدارهای امنیتی در نظر گرفته شوند.

BleepingComputer با Google تماس گرفته است تا در مورد تدابیر دفاعی برای جلوگیری یا کاهش چنین حملاتی سوال کند، و یک سخنگوی شرکت ما را به یک پست وبلاگ گوگل در مورد تدابیر امنیتی علیه حملات prompt injection ارجاع داد.

سخنگوی گوگل به BleepingComputer گفت: “ما به طور مداوم دفاع‌های قوی خود را از طریق تمرین‌های red-teaming تقویت می‌کنیم تا مدل‌های خود را برای مقابله با این نوع حملات خصمانه آموزش دهیم.”

نماینده شرکت به BleepingComputer توضیح داد که برخی از تدابیر کاهش ریسک در حال پیاده‌سازی یا به زودی به اجرا در خواهند آمد.

سخنگوی گوگل افزود که این شرکت هیچ مدرکی از حوادثی که Gemini را به روش نشان داده شده در گزارش Figueroa دستکاری کرده باشند، مشاهده نکرده است.