OpenAI محافظت از استدلال داخلی GPT-6.2 Astra را تقویت کرد
OpenAI می گوید موفقیت حمله های استخراج استدلال داخلی در GPT-6.2 Astra از ۵۴ درصد به ۰٫۲ درصد رسیده و هر هفته هزاران حساب مهاجم را مسدود می کند.
خلاصه در یک نگاه
- نرخ موفقیت حمله های استخراج استدلال درخواست های قبلی از ۵۴ درصد در GPT-6 Astra به ۰٫۲ درصد در GPT-6.2 Astra رسید.
- نرخ موفقیت حمله به درخواست های فعال از ۲۲٫۹ درصد به ۰٫۹ درصد کاهش یافت.
- دفاع OpenAI شامل آموزش هدفمند، فیلترهای ورودی و خروجی و مسدودسازی در API است.
- OpenAI هر هفته هزاران تا ده ها هزار حساب را مسدود می کند.
- Anthropic هم با حمله های تقطیر سیستماتیک مقابله می کند و ده ها هزار حساب را بسته است.
OpenAI محافظت ها در برابر استخراج استدلال داخلی مدل های GPT-6.2 Astra و GPT-6.2 Sol را به شدت تقویت کرده است. طبق آزمون های خودکار داخلی این شرکت، نرخ موفقیت حمله هایی که استدلال محافظت شده درخواست های قبلی را بیرون می کشند، از ۵۴ درصد در GPT-6 Astra به ۰٫۲ درصد در GPT-6.2 Astra رسیده است. OpenAI اعلام کرده بخشی از این بهبودها را به GPT-6 Astra هم می آورد.
نتایج آزمون های داخلی
OpenAI حمله ها را با روش «red teaming» تطبیقی و جعبه سیاه سنجیده است. نتیجه ها از شش مدل مهاجم جمع بندی شده اند. در این آزمون، عدد کمتر یعنی دفاع بهتر.
| نوع حمله | GPT-6 Astra با محافظت های اولیه | GPT-6.2 Astra با محافظت های به روز |
|---|---|---|
| استخراج استدلال محافظت شده از درخواست قبلی | ۵۴٫۰ درصد | ۰٫۲ درصد |
| استخراج استدلال محافظت شده از درخواست جاری | ۲۲٫۹ درصد | ۰٫۹ درصد |
به گفته OpenAI، نرخ موفقیت حمله به درخواست های فعال از ۲۲٫۹ درصد به ۰٫۹ درصد کاهش یافته است.
دفاع در دو سطح
سامانه دفاعی OpenAI در دو سطح کار می کند.
در سطح درخواست های منفرد، این شرکت چند ابزار را با هم ترکیب کرده است:
- آموزش هدفمند مدل
- فیلترهای ورودی و خروجی برای پیام ها و فراخوانی ابزارها
- محدودیت هایی در API که مانع خواندن استدلال محافظت شده توسط مدل های قدیمی تر می شود
در سطح کمپین های هماهنگ، OpenAI هر هفته هزاران تا ده ها هزار حساب را مسدود می کند.
Anthropic هم با تقطیر مقابله می کند
Anthropic نیز با حمله های سیستماتیک تقطیر (distillation) روبه رو است. این شرکت برای جلوگیری از سرقت استدلال داخلی مدل هایش ده ها هزار حساب را مسدود کرده است. طبق گزارش ها، این اقدام ها در ۹۰ تا ۹۹ درصد موارد موفق بوده اند. Anthropic همچنین خواستار واکنش هماهنگ صنعت و سیاست گذاران شده است.
چرا این خبر مهم است؟
استخراج استدلال داخلی مدل ها به یکی از دغدغه های امنیتی بزرگ شرکت های پیشرو تبدیل شده است. OpenAI و Anthropic هر دو برای مهار آن به مسدودسازی گسترده حساب ها متوسل شده اند. این نشان می دهد مسئله به یک حادثه پراکنده محدود نیست و به تلاشی سازمان یافته شباهت دارد.
کاهش نرخ موفقیت حمله ها در آزمون های OpenAI چشمگیر است. با این حال، این اعداد از آزمون های داخلی خود شرکت آمده اند و ارزیابی مستقل ندارند. آوردن بخشی از بهبودها به GPT-6 Astra هم نشان می دهد این محافظت ها فقط به نسخه تازه محدود نمی ماند.
منابع
این خبر بر پایه منابع بالا، با کمک هوش مصنوعی به فارسی بازنویسی و توسط تحریریه برتر AI منتشر شده است. برای جزئیات کامل به منبع اصلی مراجعه کنید.