مهندسی ارزیابی در مدل‌های زبانی بزرگ چندوجهی (Generalist MLLMs)
شناسنامه، ساختار مسترکلاس آموزشی و نقشه راه ۵ گانه
مهندسی ارزیابی در مدل‌های زبانی بزرگ چندوجهی (Generalist MLLMs)
از مفاهیم پایه، تبارشناسی بنچمارک‌ها و سنجه‌های چندوجهی تا پروتکل‌های ضدتقلب و تریاژ بودجه
گزینش دقیق از میان ۱,۴۲۰ مقاله اصیل با تقسیم‌بندی تست تکرارپذیر و داده‌های تمیز.
متن، تصویر ۲ بعدی، صوت خام، استریم ویدیو، فضای سه‌بعدی LiDAR، سنسورهای فیزیکی و عمل رباتیک.
تفکیک سلسله‌مراتبی قابلیت‌ها و فرمول‌بندی شاخص ریاضی یکپارچه پوشش قابلیت c(b).
سنتز ادبیات علمی پیشرو با کشف ۷ قلمرو بکر ماده تاریک ارزیابی برای پژوهش‌های نوآورانه.
گذار از LLM متنی به Generalist MLLM: چرا ارزیابی چندوجهی ۱۰ برابر سخت‌تر است؟
تحلیل ۳ نسل تکامل مدل‌های هوش مصنوعی و پیچیدگی‌های سنجش در فضای حسی-حرکتی
پیش‌بینی توکن بعدی در فضای گسسته ۱ بعدی زبان بدون دیدن جهان فیزیکی.
اتصال یک انکودر ویژن به مدل متنی با پروجکشن برداری برای تحلیل تصاویر ساکن ۲ بعدی.
ترنسفورمرهای بومی که استریم زنده صوت، ویدیو، ابرهای نقاط ۳ بعدی و اکشن رباتیک را یکپارچه می‌فهمند.
معضل بزرگ مهندسی: وقتی نمره بنچمارک‌ها به پژوهشگران دروغ می‌گوید!
دو نمونه عینی از سقوط فاجعه‌بار مدل‌های مدعی SOTA در استقرار دنیای واقعی
تکامل تاریخی ارزیابی از ۲۰۱۵ تا ۲۰۲۶: تحلیل ۴ نسل بنچمارک‌های چندوجهی
تحلیل تبارشناسی و گذار از پروب‌های ادراکی ساده به پلتفرم‌های عاملیت هوشمند (شکل ۲)
پرسش و پاسخ تصویری با واژگان بسته (RefCOCO, Visual7W). انطباق صرفاً لغوی با کلیدواژه.
انقلاب یادگیری تقابلی (Contrastive Learning). جستجوی بدون نمونه (Zero-Shot Retrieval) در فضای مشترک.
المپیادهای تخصصی ریاضی و مهندسی. ارزیابی زنجیره استدلال استنتاجی (CoT) روی نمودارها.
حرکت بازوی مکانیکی در دنیای واقعی، فراخوانی API وب و پردازش استریم‌های ویدیویی پیوسته.
نمای کلان سیستم یکپارچه ما: چارچوب مفهومی ارزیابی چندوجهی (SoK)
چکیده تصویری شامل نگاشت ورودی‌ها به ۹ بعد قابلیت، آسیب‌شناسی و افق ۱۰ ساله (شکل ۱)
کالبدشکافی ۷ جریان ورودی/خروجی حسی و حرکتی (The 7 Modalities)
تعریف دقیق فنی و تفاوت داده‌های چندوجهی در مدل‌های هوش مصنوعی نسل جدید
پرامپت‌های ساختاریافته JSON، فرامین، سورس‌کد و لاگ‌های سیستمی.
عکس‌های طبیعی جهان، نمودارهای تحلیلی، بارکد و اسلایدهای بافت پزشکی.
مکالمات زنده تلفنی، تغییرات لحن (Prosody)، آکوستیک محیط و اضطرار بیمار.
توالی رویدادهای علت و معلولی، دید اول‌شخص و فیلم‌های مستند بلند ۲ ساعته.
اسکن‌های فضایی، مش‌های چندضلعی، داده‌های عمق RGB-D و وکسل‌های معماری.
واحدهای اینرسی (IMU)، بازخورد نیروی گریپر، رادار، دما و گیج‌های گشتاور.
فرمان‌های زاویه‌ای موتور، کلیک در وب و اعمال ولتاژ محرک‌های فیزیکی ربات.
معماری فضای ۹ بُعد قابلیت در ۳ لایه شناختی (The 9-D Capability Space)
اصول سه‌گانه طراحی تاکسونومی SoK و دسته‌بندی توانمندی‌های هوش مصنوعی
ابعاد قابلیت باید مستقل باشند؛ مهارت استدلال نباید با کیفیت سنسور ورودی خلط شود.
پذیرش سنسورهای جدید (مثل امواج مغزی EEG و داده‌های بیومتریک) بدون تخریب ساختار قبلی.
قابلیت‌هایی چون برنامه‌ریزی و استدلال باید روی تصویر، ویدیو، صوت و متن با خط‌کش یکسان سنجیده شوند.
تشخیص حضور ماهیت پدیده و اتصال برداری آن به مختصات دقیق مکانی یا بازه زمانی ویدیو.
تایید وجود بدون حدس متنی؛ همپوشانی هندسی با mIoU ≥ 0.5.
استدلال چندگامی، درک دستورات شرطی ساختاریافته، دانش تخصصی و کانتکست بلندمدت.
زنجیره استدلال استوار (Sound CoT) و پایبندی کامل به اسکیمای خروجی (JSON).
تجزیه اهداف کلان، فراخوانی API و صدور اکشن حرکتی ۶ درجه آزادی با فیدبک حسی.
رسیدن به حالت هدف بدون برخورد فیزیکی و حفظ ایمنی در محیط تعاملی جهان باز.
لایه اول: ادراک در برابر زمینه‌سازی مکانی-زمانی (CAP_PERC vs CAP_GROUND)
چرا تشخیص ساده حضور شیء ۱۰ برابر ساده‌تر از ارجاع دقیق به مختصات هندسی و زمانی است؟
تشخیص دسته‌بندی معنایی و تایید حضور شیء بدون الزام به دانستن مختصات یا مرز هندسی.
اتصال زبانی به جعبه محصورکننده دوبعدی، بازه زمانی ثانیه‌ای ویدیو یا مختصات ۳ بعدی ابرنقاط.
لایه دوم: کالبدشکافی ۴ قابلیت مدل‌سازی شناختی (Reason, Instr, Know, Mem)
سنجش تفکر عمیق، دانش تخصصی دانشگاهی و حافظه طولانی‌مدت در مدل‌های مدرن
استنتاج علّی، اثبات قضایای هندسی و تفسیر نمودارهای فیزیکی با تولید زنجیره استدلال.
پایبندی بدون پرحرفی به ساختار خروجی، پرامپت‌های شرطی و قیود («این کار را نکن»).
احاطه بر مفاهیم علوم پایه در سطح آزمون‌های المپیادی پزشکی، شیمی و فیزیک.
ردیابی جزئیات در ویدیوهای بلند، مستندات ۱,۰۰۰ صفحه‌ای بدون آلزایمر و فراموشی.
لایه سوم: عاملیت تجسم‌یافته فیزیکی، ابزارسازی و برنامه‌ریزی (Plan, Tool, Embod)
گذار از مدل‌های گفتگوگر منفعل به ایجنت‌های کنشگر در جهان فیزیکی و وب
تدوین توالی گام‌ها با رعایت پیش‌شرط‌ها، مدیریت منابع و توانایی فرار از بن‌بست.
فراخوانی توابع خارجی جهت جبران خطاهای محاسباتی درونی مدل با پارامترهای تمیز.
صدور فرامین حرکتی ۶ درجه آزادی، لمس اشیاء با درک اصطکاک و قوانین نیوتن.
فرمول ریاضی شاخص پوشش قابلیت c(b) و کالبدشکافی عینی بنچمارک ALFRED
چرا بنچمارک‌های ادراکی ساده امتیاز ۱/۹ می‌گیرند اما تست‌بدهای رباتیک نمره ۶/۹ کسب می‌کنند؟
شاخص ریاضی اختصاصی SoK برای محاسبه نسبت ابعاد فعال آزمون به کل ابعاد ۹گانه:
ماموریت: «یک لیوان کثیف از سینک بردار، بشور، خشک کن و روی میز بگذار»:
ایستگاه تعاملی ۱: ممیزی ۳ سناریوی صنعتی توسط دانشجویان کلاس
کوییز تشخیصی: نگاشت سیستم‌های واقعی به برچسب‌های مدالیته (MOD_*) و ابعاد قابلیت (CAP_*)
سامانه‌ای که اسکن ۳ بعدی را می‌گیرد، ندول سرطانی را با باکس ۳D علامت می‌زند و گزارش تخصصی می‌دهد.
قابلیت: PERC, GROUND, KNOW (تشخیص + باکس ۳D + دانش پزشکی)
دستیاری که با صدای کاربر صحبت می‌کند، اضطرار را می‌شنود و با مفسر پایتون و API بلیت هواپیما می‌خرد.
قابلیت: PERC, INSTR, TOOL, PLAN (شنیدن لحن + ابزار + برنامه خرید)
ربات متحرکی که قفسه را پیدا کرده، موجودی را از دیتابیس استعلام نموده و با بازوی رباتیک کارتن را جابجا می‌کند.
قابلیت: PERC, GROUND, TOOL, PLAN, EMBOD (c=5/9)
فرآیند مرور ساختاریافته PRISMA 2020: چگونه ۱۶۹ بنچمارک طلایی غربال شدند؟
روش‌شناسی علمی ۴ مرحله‌ای: از ۱,۴۲۰ سند اولیه تا ۱۶۹ بنچمارک واجد شرایط استاندارد
جستجوی نظام‌مند با کلیدواژه‌های چندوجهی استاندارد در ۴ پایگاه علمی معتبر.
ممیزی چکیده. حذف ۷۶۵ کار نامرتبط فاقد بنچمارک چندوجهی عمومی.
مطالعه عمیق. حذف ۷۱ کار به دلایل: نبود تست‌اسپلیت، بنچمارک خصوصی و نمونه زیر ۱۰۰.
مجموعه نهایی که جدول تناوبی SoK و قطب‌نمای ۶۳ خانه‌ای بر پایه آن‌ها تدوین شد.
فلوچارت استاندارد PRISMA 2020 و آمار ریزش مطالعات (شکل ۳)
تحلیل دقیق نرخ ریزش و علل استبعاد مقالات در ممیزی سیستماتیک ۱۶۹ بنچمارک
پس از حذف ۴۱۵ تکراری، ۱,۰۰۵ رکورد غربالگری عنوان شدند و ۲۴۰ مقاله متن کامل مطالعه شد تا به ۱۶۹ بنچمارک برسیم.
• ۳۴ مقاله به دلیل عدم افشای تقسیم‌بندی تست (No Test Split)
• ۲۱ مقاله به دلیل وابستگی به APIهای بسته تجاری
• ۱۶ مقاله به دلیل فقدان متریک‌های استاندارد ارزیابی
بیش از ۶۴٪ بنچمارک‌ها (۱۰۸ مورد) در دو سال اخیر منتشر شده‌اند که نشان‌دهنده شتاب خیره‌کننده ارزیابی چندوجهی است.
قطب‌نمای ارزیابی: ماتریس ۶۳ خانه‌ای تقاطع مدالیته‌ها و ابعاد قابلیت (شکل ۴)
کشف توزیع نامتوازن بنچمارک‌ها: تراکم شدید در پروب‌های تصویری و خلأ در ویدیو و ابزار
بیش از ۴۰٪ بنچمارک‌های دنیا در این سلول متمرکز شده‌اند: تشخیص شیء در عکس ساکن! جامعه علمی در این نقطه دچار اشباع کاذب شده است.
حتی ۱ بنچمارک در جهان وجود ندارد که توانایی مدل در فراخوانی ابزار حین تماشای استریم پیوسته ویدیو (عنصر Dm2) را بسنجد!
تقاطع ابرهای نقاط سه‌بعدی و اکشن‌های رباتیک با کمتر از ۱۲ بنچمارک در ابتدای راه است و کانون مقالات سال‌های آینده خواهد بود.
شاهکار دسته‌بندی SoK: جدول تناوبی ۱۶۹ بنچمارک ارزیابی چندوجهی (شکل ۵)
سازمان‌دهی ساختاریافته بنچمارک‌ها در قالب جدول تناوبی، خانواده‌های علمی و عناصر ماده تاریک
شکار موضوع پایان‌نامه و رساله دکتری: ۴ قلمرو بکر ماده تاریک (Dm1 تا Dm4)
تبدیل خانه‌های خالی جدول تناوبی SoK به فرصت‌های طلایی چاپ مقاله در کنفرانس‌های تراز اول
حین دریافت استریم صدای کاربر با لهجه نویزی، مفسر پایتون را اجرا کرده و خطا را اصلاح کند.
حین تماشای ویدیو حس کند جزئیات تار است، ابزار زوم دیجیتال بزند و پلاک را بخواند.
مختصات جعبه ۳ بعدی قطعه صنعتی را در ابرنقاط یافته و دستور برش CNC صادر کند.
رباتی که حس کند بار سنگین در حال لغزش است و بلافاصله بازبرنامه‌ریزی انجام دهد.
توسعه عناصر ماده تاریک Dm5 تا Dm7 + فرمول ۴ مرحله‌ای نگارش پروپوزال پایان‌نامه
چگونه موضوع پایان‌نامه خود را از روی نقشه راه SoK انتخاب کرده و مستقیماً مقاله ISI بنویسیم؟
بازیابی رویداد در مستندات ویدیویی طولانی بدون افت نرخ فریم و بدون فراموشی جزئیات.
ارزیابی مقاومت ربات در برابر پرامپت‌های خصمانه چاپی و کدهای QR جهت جلوگیری از برخورد به انسان.
تولید خودکار جهان‌های شبیه‌سازی با فرمول ریاضی تا سوال قبلاً روی اینترنت نبوده باشد و نشت داده صفر شود.
سه پارادایم داوری (Auto, Human, LLM-as-Judge) و رسوایی کالیبراسیون ۰.۰٪
تحلیل ۴ سوگیری کشنده در داوران هوش مصنوعی و چرایی غیرقابل اعتماد بودن نمرات لیدربوردهای فعلی
محاسبه همپوشانی لغوی کلمات با فرمول‌های آماری.
عیب: ناتوانی در فهم پاسخ‌های مفهومی و کنایه‌ها.
پزشکان رادیولوژیست، مهندسان رباتیک و کارشناسان خبره.
عیب: خستگی ذهنی، سوگیری فردی و هزینه ساعتی نجومی.
سپردن داوری خروجی به مدل‌های بزرگتر بر پایه روباریک‌ها.
۱. سوگیری ترتیب گزینه‌ها (Position Bias)
۲. سوگیری متن طولانی (Verbosity Bias)
۳. خودپسندی به خانواده خود (Self-Enhancement)
۴. خطای کالیبراسیون ۰.۰٪ در انطباق آماری
معضل نشت داده در پیش‌آموزش و پروتکل امنیتی قناری رمزنگاری (شکل ۶)
چگونه خزنده‌های وب داده‌های تست را می‌بلعند و چگونه با Canary GUID تقلب مدل‌ها را مهار کنیم؟
مجموعه داده تست روی وب منتشر می‌شود ← خزنده‌ها آن را می‌بلعند ← مدل سوال را حفظ می‌کند و نمره جعلی ۱۰۰٪ می‌گیرد!
تزریق یک کد هش رمزنگاری در هدر فایل‌ها جهت ممانعت خزنده‌ها و مچ‌گیری حقوقی در آموزش مدل:
تغییر رنگ، نام اشیاء یا معکوس کردن گزینه‌ها. اگر مدلی سوال را حفظ کرده باشد، با تغییر یک المان بی‌اثر فوراً فاش می‌شود.
گالری آسیب‌شناسی ۴ گانه شکست در مدل‌های چندوجهی (شکل ۷)
کالبدشکافی تصویری ۴ خطای استراتژیک در ادراک بصری، توالی ویدیویی، صوت و کنترل رباتیک
کالبدشکافی پاتولوژی ۱ و ۲: توهم شیء در POPE و تقلب تک‌فریم در ویدیو
چرا مدل‌ها اشیای ناموجود را با اعتماد به نفس تایید می‌کنند و چگونه بعد زمان را دور می‌زنند؟
کالبدشکافی پاتولوژی ۳ و ۴: ناشنوایی لحن در صوت و سقوط از شبیه‌ساز به ربات واقعی
چرا معماری‌های ASR لحن را نابود می‌کنند و چرا دقت ۸۵٪ شبیه‌ساز روی ربات واقعی به زیر ۲۵٪ می‌رسد؟
ایستگاه تعاملی ۲: معمای مچ‌گیری از مدل‌های ویدیویی با تست Shuffling
کوییز تشخیصی: چگونه به عنوان داور مقاله، تقلب تک‌فریم در مدل‌های ویدیویی را اثبات کنیم؟
نویسنده یک مقاله معتبر ادعا کرده که مدل ویدیویی‌اش در درک مسابقات فوتبال و بسکتبال به نمره خیره‌کننده ۹۲٪ رسیده است.
اما شما به عنوان داور کنفرانس شک دارید که مدل اصلاً حرکت را دیده باشد و حدس می‌زنید فقط از رنگ لباس بازیکن در تک‌فریم ثابت حدس زده است!
تنها در ۵ دقیقه بدون آموزش مجدد، چطور مچ این مقاله را می‌گیرید؟
به نویسنده میگوییم: «ترتیب فریمهای ویدیو را تصادفی بُر بزن (π(F)) یا معکوس کن و دوباره از مدل تست بگیر!»
فرمول تشخیصی رساله SoK:
Δshuffle = Acc(F) - Acc(π(F))
اگر افت نمره کمتر از ۱۵٪ باشد (Δ < 15%)، مدل زمان را نمیفهمیده و مقاله باید بلافاصله Reject شود!
مهندسی بودجه و کاهش ۸۵٪ هزینه ارزیابی با زیرمجموعه نماینده (Core-Sets)
چگونه با الگوریتم‌های IRT و بهینه‌سازی زیرمدولار هزینه تست را بدون افت دقت کاهش دهیم؟
اجرای کامل ۱۶۹ بنچمارک روی مدل‌های تجاری (GPT-4o, Claude 3.5, Gemini 1.5) صدها دلار بودجه می‌خواهد که برای دانشجو مقدور نیست.
• bi: پارامتر دشواری (تطبیق با مرز توانایی مدل)
• Submodular Facility Location: بیشینه‌سازی پوشش
درخت تصمیم تریاژ بودجه و مرز پارتو در انتخاب بنچمارک‌ها (شکل ۸)
راهنمای عملی انتخاب بنچمارک متناسب با سقف بودجه مالی: از تست ۱۰ دلاری تا ادعای SOTA
مخصوص تست اولیه در توسعه مدل و تنظیم هایپرپارامترها. استفاده از Core-Sets بنچمارک‌های ادراکی با مدل‌های منبع‌باز سبک محلی.
ترکیب بنچمارک‌های استاندارد طلایی (MMMU, Video-MME, ScanQA). نقطه بهینه برای چاپ مقاله در ژورنال‌های Q1.
اجرای کامل بنچمارک‌های عاملیت وب، رباتیک و تست‌های تجاری (WebArena, ALFRED, DROID) برای کنفرانس‌های رتبه اول دنیا.
معرفی استاندارد «کارت پروتکل» و چک‌لیست ۸ گانه پیش از ادعای SOTA در مقالات
چگونه مقاله‌ای بنویسیم که هیچ داور سخت‌گیری در دنیا نتواند به تکرارپذیری آن ایراد بگیرد؟
همانند شناسنامه غذایی، هر مقاله باید ۴ رکن استاندارد آزمون را افشا کند:
کارگاه عملی زنده کلاسی با QR Code: ورود همزمان دانشجویان به پلتفرم وب (دقیقه ۳۸ تا ۴۸)
اسکن بارکد توسط دانشجویان، اجرای ۲ تمرین عملی در جدول تناوبی و تولید جدول LaTeX روی گوشی
openaiapp.ir/sok
🚀 اجرای زنده پلتفرم روی پرده کلاس
دسترسی مستقیم تمام دانشجویان به سامانه تعاملی SoK
۱. در گوشی خود وارد تب ۱ (Periodic Table) شوید.
۲. دکمه Video & Temporal را لمس کنید تا ۲۷ بنچمارک ویدیویی تفکیک شوند.
۳. وارد تب ۲ (7x9 Gap Explorer) شوید و سطر Video و ستون Tool Use را پیدا کنید...
۴. روی مربع قرمز با عدد بزرگ ۰ (n=0) ضربه بزنید و هشدار عنصر ماده تاریک Dm2 را بخوانید!
۱. روی تب ۴ پلتفرم (Protocol Card Generator) ضربه بزنید.
۲. مدالیته‌ها و قابلیت‌های موضوع پایان‌نامه خود را تیک بزنید.
۳. بودجه خود را روی Tier 2 ($20-$150) تنظیم کنید.
۴. دکمه آبی‌رنگ Generate LaTeX Table را بزنید و کد آماده جدول تز خود را کپی کنید!
افق ۱۰ سال آینده هوش مصنوعی چندوجهی: ۵ چالش بزرگ ۲۰۲۶ تا ۲۰۳۶ (Grand Challenges)
دستور کار پژوهشی آینده برای رسیدن به ارزیابی‌های پویا، ایمن، تعاملی و وفادار به علّیت
گذار از تصاویر ایستا به پردازش پیوسته ویدیو و صوت همگام در لحظه.
تولید نامحدود صحنه‌های ارزیابی در زمان اجرا برای خاتمه دادن به نشت داده.
رساندن آمار فاجعه‌بار ۰.۰٪ توافق داوران هوش مصنوعی به بالای ۹۰٪ با ضریب کاپا.
طراحی گاردریل‌های فیزیکی قطعی جهت جلوگیری از آسیب جسمی ربات‌ها به انسان در کارخانه‌ها.
اثبات ریاضی اینکه مدل واقعاً بر پایه گام‌های فکری تولیدشده به پاسخ رسیده یا تظاهر کرده است.
جمع‌بندی مسترکلاس، منابع متن‌باز و اطلاعات تماس پژوهشی
پایان ارائه مسترکلاس ۴۵ دقیقه‌ای — آغاز نشست ۱۰ دقیقه‌ای پرسش و پاسخ تخصصی با اساتید
نمرات لیدربوردهای فعلی توهم آماری است. هرگز بدون ممیزی شورت‌کات‌ها ادعای پیروزی مدل را نپذیرید.
از ماتریس ۶۳ خانه‌ای SoK به عنوان قطب‌نما استفاده کنید و وزن سنسور را با تفکر خلط نکنید.
۷ قلمرو ماده تاریک SoK (به ویژه Dm1 و Dm2) بزرگ‌ترین فرصت برای نوشتن مقالات پیشگام در دنیا هستند.
با الگوریتم‌های IRT بدون کاهش کیفیت، ارزیابی‌های دانشجویی خود را با کمتر از ۲۰ دلار جمع‌بندی کنید.
آغاز نشست پرسش و پاسخ تخصصی
آماده پاسخگویی به چالش‌های متدولوژیک، فلسفی، ریاضی و فنی اساتید محترم و داوران گرامی.
