METR نمودار افق زمانی هوش مصنوعی را با وظایف قضاوت محور به روز کرد
گزارش تازه METR نشان می دهد پیشرفت مدل ها در کدنویسی ادامه دارد، اما در وظایف نیازمند قضاوت، مانند طراحی ارزیابی، هنوز از انسان عقب اند.
خلاصه در یک نگاه
- METR نمودار افق زمانی خود را با وظایف طولانی تر و بازتر به روز کرد.
- در وظایف قابل راستی آزمایی مانند کدنویسی، پیشرفت مدل ها همچنان نمایی است.
- هیچ یک از ارزیابی های طراحی شده توسط مدل ها برای پژوهش METR مفید نبود.
- Opus 5.5 در طراحی ارزیابی به سطح «در مرز بالاتر از معیار» رسید.
- کارشناسان می گویند پاسخ قطعی درباره خودکارسازی پژوهش هوش مصنوعی هنوز دور است.
METR، سازمان غیرانتفاعی ارزیابی هوش مصنوعی، گزارشی تازه منتشر کرده است. بر پایه این گزارش، بخشی از توانایی های هوش مصنوعی همچنان با روندی نمایی بهتر می شود. در عین حال، مدل ها در وظایفی که به قضاوت نیاز دارند، به اندازه کدنویسی خوب نیستند.
گزارش به روزرسانی «نمودار افق زمانی» METR است. این نمودار بسیار دست به دست شد و به دلیل پیچیدگی معیارهایش، بارها هم نادرست تفسیر شد.
نمودار افق زمانی چه بود؟
METR مدل ها را با مجموعه بزرگی از وظایف می سنجید که انسان ها هم آن ها را انجام داده بودند. دشواری هر وظیفه با مدت زمانی سنجیده می شد که آزمایش کنندگان انسانی برای تکمیلش لازم داشتند. سپس مدل ها بر اساس طول وظایفی که می توانستند انجام دهند رتبه می گرفتند.
نمودار نشان می داد سامانه های هوش مصنوعی سریع پیشرفت می کنند. طول وظایفی که مدل های پیشرو با موفقیت انجام می دادند، هر چهار ماه دو برابر می شد.
وظایف تازه و نتایج
نسخه جدید وظایف بیشتری دارد. بعضی از آن ها بسیار طولانی تر از وظایف مجموعه اول اند و بعضی دیگر بازتر و کم تعریف ترند. این تغییر اهمیت دارد، چون مدل ها در وظایف «قابل راستی آزمایی» بهتر آموزش می بینند. در این وظایف می توان خودکار بررسی کرد که سامانه موفق شده یا نه. پژوهشگران با یادگیری تقویتی مسیرهای عصبی مؤثر در موفقیت را تقویت و مسیرهای مؤثر در شکست را تضعیف می کنند. به همین دلیل مدل ها در کدنویسی و ریاضیات قوی شده اند.
اعمال این روش درباره وظایفی مانند انتخاب مسیر پژوهشی تازه دشوارتر است. در مجموعه جدید METR دو نمونه از این وظایف آمده است:
- طراحی ارزیابی: مدل ها باید ارزیابی های تازه ای برای پژوهش METR طراحی کنند و کارکنان انسانی نتیجه را نمره بدهند. با اینکه پیشرفته ترین مدل ها در مهندسی نرم افزار از تقریباً همه انسان ها بهترند، هیچ یک از ارزیابی های طراحی شده توسط مدل ها برای پژوهش METR مفید ارزیابی نشد.
- نمره دهی به استدلال های فلسفی: این وظیفه توان قضاوت مدل ها را می سنجد. در گزارش آمده که کارکنان METR درباره ارتباط آن با خودکارسازی پژوهش و توسعه هوش مصنوعی اختلاف نظر دارند. در این وظیفه هم مدل ها از انسان ها ضعیف تر بودند.
نشانه هایی از بهبود هم دیده می شود. برخی مدل های تازه مانند Opus 5.5 در وظایف طراحی ارزیابی معمولاً به سطحی می رسند که METR آن را «در مرز بالاتر از معیار» می نامد. این نتایج هنوز برای پژوهش METR قابل استفاده نیست، اما امیدوارکننده است. یک سال پیش همه مدل ها در دسته «به روشنی پایین تر از معیار» بودند.
دیدگاه کارشناسان
سایاش کاپور (Sayash Kapoor)، دانشمند کامپیوتر و استاد آینده UC Berkeley، می گوید ارزیابی های هوش مصنوعی باید خلاق تر شوند و گسترش دامنه ارزیابی ها را تغییری مثبت می داند. او از ضعف مدل ها در وظایف بازتر شگفت زده نشده است. در پیش چاپی از ماه اوت، او و همکارانش گزارش داده بودند که مدل ها هنوز نمی توانند به تنهایی پژوهش علوم کامپیوتر انسانی را بازتولید کنند. به باور او «سلیقه پژوهشی»، یعنی توان انتخاب پرسش ها، فرضیه ها و آزمایش های امیدبخش، گلوگاه مهم خودکارسازی پژوهش هوش مصنوعی خواهد بود. دیگران معتقدند مدل هایی که روی وظایف ساده تر و قابل راستی آزمایی آموزش دیده اند، سرانجام وظایف باز را هم انجام خواهند داد.
نجونگ کیم (Najoung Kim)، زبان شناس و دانشمند کامپیوتر در دانشگاه بوستون، می گوید بهبود مشاهده شده برای وضعیت فعلی معنا دارد، اما هنوز مطمئن نیست چگونه باید آن را به آینده تعمیم داد. مت پوتز (Matt Putz) از کارکنان فنی METR هم می گوید این وظایف ذاتاً سخت تر مطالعه و کمّی سازی می شوند و به باور او روندهای شفاف و پایداری مانند وظایف ساده تر برایشان به دست نخواهد آمد.
محدودیت های روش شناختی هم وجود دارد. زمان انجام وظایف در گزارش جدید بیشتر تخمینی است، چون پرداخت پول به افراد برای وظایفی که صدها ساعت طول می کشد یا فقط چند متخصص توان انجامشان را دارند، بسیار پرهزینه و زمان بر است. در وظیفه استدلال فلسفی نیز بیشتر استدلال ها را فقط یک نفر نمره داده و مدل ها بر اساس میزان توافق با همان فرد سنجیده می شوند. به همین دلیل METR تعداد کمی از این وظایف را در گزارش آورده است.
چرا این خبر مهم است؟
پژوهش و توسعه هوش مصنوعی این روزها موضوعی داغ است. METR اوایل همین ماه گزارش دیگری منتشر کرد که بخش های زیادی از آن حذف شده بود. این گزارش ادعا می کرد هوش مصنوعی ممکن است سرعت پیشرفت هوش مصنوعی را در Anthropic دو برابر کرده باشد. این ادعا نگرانی هایی ایجاد کرد که شرکت، که اخیراً عرضه اولیه سهام پرسروصدایی داشت، به زودی به «خودبهبودی بازگشتی کامل» برسد؛ وضعیتی که در آن سامانه ها بدون دخالت انسان جانشینان خود را طراحی می کنند.
نتایج تازه نشان می دهد وظایف قضاوت محور، که برای چنین سناریویی حیاتی اند، هنوز نقطه ضعف مدل ها هستند. OpenAI نیز در یک پست وبلاگی روز چهارشنبه گزارش داد مدل هایش در وظایف واقعی که کارکنانش به آن ها می سپارند، ضعیف تر از وظایف ساده تر و قابل راستی آزمایی مجموعه اولیه METR عمل می کنند.
پیشرفت در وظایف قابل راستی آزمایی کند نشده است و نتایج Opus 5.5 نشانه بهبود در وظایف بازتر است. با این حال کارشناسان تأکید می کنند هنوز پاسخ قطعی درباره اینکه خودکارسازی پژوهش هوش مصنوعی آمدنی است و با چه سرعتی، در دسترس نیست. کاپور می گوید حرکت به سوی وظایف باز امیدوارکننده است، اما برای درک کامل تر کارهای بسیار بیشتری باید انجام شود.
منابع
این خبر بر پایه منابع بالا، با کمک هوش مصنوعی به فارسی بازنویسی و توسط تحریریه برتر AI منتشر شده است. برای جزئیات کامل به منبع اصلی مراجعه کنید.