افراد با استفاده از قابلیت تولید صدای ChatGPT-4o، پیام‌های صوتی جعلی ایجاد کنند تا افراد را به افشای اطلاعات مالی یا انجام تراکنش‌های نادرست ترغیب کنند. پژوهشگران همچنین به این نکته اشاره کرده‌اند که این نوع کلاهبرداری‌ها ممکن است به طور کامل موفق نباشند یا اثربخشی بالایی نداشته باشند، اما در برخی موارد می‌تواند منجر به سوءاستفاده مالی شود.
ChatGPT-4o نه تنها می‌تواند متون را درک و تولید کند، بلکه قادر است ورودی‌های صوتی (مانند شنیدن و پاسخ دادن به پیام‌های صوتی) و ورودی‌های تصویری (مانند تحلیل تصاویر) را نیز پردازش کند و با این سه نوع ورودی و خروجی تعامل داشته باشد.
با توجه به توانایی‌های ChatGPT-4o در کار با صدا، OpenAI اقداماتی را طراحی کرده تا مطمئن شود که از این مدل برای تولید صدای تقلیدی از افراد بدون اجازه آنها استفاده نشود و همچنین محتوای مضر شناسایی و جلوگیری شود.
کلاهبرداری‌های صوتی که موجب از دست رفتن میلیون‌ها دلار می‌شوند، با پیشرفت فناوری‌های جدید مانند دیپ‌فیک و ابزارهای گفتار مصنوعی قوی‌تر و پیچیده‌تر شده‌اند، و این موضوع تهدید کلاهبرداری‌ها و خسارت‌های مالی مرتبط را بیشتر می‌کند.
پژوهشگران دانشگاه ایلینوی در اربانا شامپین (UIUC) به نام‌های Richard Fang, Dylan Bowman، و Daniel Kang در مقاله خود نشان دادند که ابزارهای تکنولوژیکی جدیدی که در حال حاضر بدون محدودیت در دسترس هستند، تدابیر امنیتی کافی برای جلوگیری از سوءاستفاده احتمالی مجرمان سایبری و کلاهبرداران ندارند.
با استفاده از این ابزارها، کلاهبرداران می‌توانند به‌طور خودکار و در حجم بالا پیام‌های صوتی تولید کنند تا افراد را فریب دهند، و هزینه‌های مربوط به تولید صدا توسط توکن‌ها پرداخت می‌شود، که به اجرای این کلاهبرداری‌ها در مقیاس وسیع کمک می‌کند.
نتایج تحقیق
این مقاله به تحلیل روش‌های مختلف کلاهبرداری می‌پردازد که شامل سرقت پول از طریق انتقالات بانکی، استفاده غیرمجاز از کارت‌های هدیه، انتقال ارزهای دیجیتال، و دسترسی به حساب‌های شخصی افراد در شبکه‌های اجتماعی یا ایمیل از طریق دزدیدن اطلاعات ورود (نام کاربری و رمز عبور) است.
این هوش مصنوعی‌ها با استفاده از ویژگی‌های صوتی ChatGPT-4o می‌توانند به‌صورت خودکار در صفحات مختلف حرکت کرده، اطلاعات لازم را وارد کنند، کدهای دو مرحله‌ای را برای تأیید هویت مدیریت کرده و دستورات مرتبط با کلاهبرداری را دنبال کنند تا عملیات کلاهبرداری را پیش ببرند.
به‌دلیل اینکه GPT-4o گاهی اوقات از پردازش داده‌های حساس مانند اطلاعات ورود (نام کاربری و رمز عبور) خودداری می‌کند، پژوهشگران از تکنیک‌های ساده فرار از محدودیت (prompt jailbreaking) برای دور زدن این حفاظت‌ها استفاده کردند.
پژوهشگران با انجام این کار تلاش کردند تا نشان دهند که چگونه یک فرد می‌تواند به سادگی فریب بخورد و با استفاده از وب‌سایت‌های معتبر، اقدامات خود را تأیید کنند، در حالی که در واقع این تعاملات توسط هوش مصنوعی هدایت می‌شود.
پژوهشگران با استفاده از عوامل هوش مصنوعی خود، به بررسی و شبیه‌سازی انواع مختلف کلاهبرداری‌های معمول پرداختند و برای این کار، به‌صورت دستی با عامل صوتی تعامل کرده و خود را به‌عنوان قربانیانی که به راحتی فریب می‌خورند، معرفی کردند.
پژوهشگران برای بررسی اینکه آیا کلاهبرداری‌ها موفق بوده‌اند یا نه، به‌طور مستقیم به وب‌سایت‌ها و برنامه‌های واقعی مراجعه کردند و تأیید کردند که انتقال پول به‌طور واقعی انجام شده است. اما آنها نتوانستند میزان تأثیرگذاری یا توانایی قانع‌کننده این عوامل هوش مصنوعی را اندازه‌گیری کنند.
موفقیت در انجام کلاهبرداری‌ها در این تحقیق بین ۲۰ تا ۶۰ درصد بوده است. همچنین، برای انجام هر تلاش کلاهبرداری، ممکن است تا ۲۶ اقدام مختلف (مانند کلیک کردن روی لینک‌ها، وارد کردن اطلاعات و غیره) در مرورگر انجام شود و در پیچیده‌ترین موارد، این فرآیند ممکن است تا ۳ دقیقه زمان ببرد.
در بین انواع کلاهبرداری‌ها، بیشتر شکست‌ها به دلیل اشتباهات انسانی در وارد کردن اطلاعات یا دشواری‌های مربوط به پیمایش در وب‌سایت‌ها رخ داده است. اما در مورد سرقت اطلاعات ورود از حساب جیمیل، موفقیت در ۶۰ درصد مواقع حاصل شده است، در حالی که موفقیت در انتقال رمز ارز و سرقت اطلاعات از حساب اینستاگرام فقط ۴۰ درصد بوده است.
پژوهشگران نشان داده‌اند که برای انجام هر کلاهبرداری که به نتیجه می‌رسد، هزینه‌ای در حدود ۰.۷۵ دلار صرف می‌شود، که این مبلغ نسبت به سود احتمالی که از کلاهبرداری‌ها به دست می‌آید، نسبتاً کم است.
برای اجرای کلاهبرداری انتقال بانکی که به دلیل پیچیدگی‌اش هزینه بیشتری دارد، باید ۲.۵۱ دلار خرج کرد، اما این هزینه هنوز هم نسبت به میزان سودی که ممکن است از این نوع کلاهبرداری به‌دست آید، کم به‌نظر می‌رسد.
پاسخ OpenAI
OpenAI اعلام کرده است که مدل جدید خود به نام o1، که هنوز به‌طور کامل منتشر نشده و در حال آزمایش است، دارای قابلیت‌های پیشرفته در زمینه استدلال است و برای جلوگیری از سوءاستفاده‌هایی که ممکن است از این مدل انجام شود، تدابیر امنیتی بهتری را در نظر گرفته است.
سخنگوی OpenAI اشاره کرد که : ما به‌طور مداوم در حال بهبود ChatGPT هستیم تا بتواند از تلاش‌های عمدی برای فریب خوردن جلوگیری کند، بدون اینکه از قابلیت‌های کمک‌رسانی یا خلاقیت آن کاسته شود. مدل جدید o1، علاوه بر اینکه ویژگی‌های پیشرفته‌تری دارد، از نظر ایمنی نیز بهبود یافته و بهتر از مدل‌های قبلی می‌تواند در برابر تلاش‌هایی که برای ایجاد محتوای خطرناک یا نامناسب انجام می‌شود، مقاومت کند.
OpenAI اعلام کرده است که پژوهش‌هایی که در زمینه استفاده‌های نامناسب از فناوری‌های هوش مصنوعی انجام می‌شود، به آنها در بهبود قابلیت‌های ChatGPT در برابر سوءاستفاده‌ها کمک می‌کند و آنها به‌طور مداوم به دنبال روش‌هایی برای افزایش ایمنی و قابلیت اطمینان این مدل هستند.
برای جلوگیری از استفاده نادرست از قابلیت‌های صوتی این مدل، OpenAI اقداماتی را انجام داده است که شامل این می‌شود که تنها صداهایی که قبلاً تأیید شده‌اند می‌توانند برای تولید صدا استفاده شوند و این کار به منظور جلوگیری از تقلید غیرمجاز از افراد صورت می‌گیرد.
مدل o1-preview بر اساس ارزیابی ایمنی فرار از محدودیت‌های OpenAI، به‌طور قابل‌توجهی نمرات بالاتری را کسب کرده است. این ارزیابی میزان مقاومت مدل در برابر تولید محتوای ناامن در پاسخ به درخواست‌های خصمانه را اندازه‌گیری می‌کند و مدل o1-preview نمره ۸۴ درصد را کسب کرده در حالی که مدل GPT-4o تنها نمره ۲۲ درصد را دارد.
o1-preview در ارزیابی‌های جدیدی که دشواری بیشتری دارند، عملکرد بهتری از خود نشان داده و توانسته است نمره بالاتری نسبت به مدل GPT-4o کسب کند، که نشان‌دهنده بهبود قابل توجهی در ایمنی و قابلیت اطمینان آن است.
وقتی که مدل‌های جدید و بهبود یافته‌ای که توانایی مقابله بهتری با سوءاستفاده‌ها دارند به بازار می‌آیند، استفاده از مدل‌های قدیمی‌تر کاهش می‌یابد و به تدریج آنها دیگر استفاده نخواهند شد.
در حالی که مدل‌های پیشرفته‌تر مانند GPT-4o با اقدامات حفاظتی بهتری عرضه می‌شوند، هنوز خطر وجود دارد که افرادی با نیت‌های سوء از چت‌بات‌های صوتی دیگر که ایمن‌تر نیستند استفاده کنند. این نوع مطالعات به‌وضوح نشان می‌دهند که این ابزارهای جدید می‌توانند چه میزان آسیب ایجاد کنند.
