پشت پرده هوش مصنوعی | قسمت ۴۲: تفاوت مدل Dense و MoE چیست؟

تا اینجا در مجموعه «پشت پرده هوش مصنوعی» بخش زیادی از مطالب را به معماری Mixture of Experts یا MoE اختصاص دادیم. دیدیم که در این معماری، Router می‌تواند برای هر توکن فقط بخشی از Expertها را انتخاب کند.

اما یک سؤال مهم وجود دارد:

آیا همه مدل‌های زبانی از معماری MoE استفاده می‌کنند؟

پاسخ کوتاه خیر است.

مدل‌های زبانی را می‌توان با معماری‌های مختلفی طراحی کرد و یکی از تفاوت‌های مهم میان آن‌ها، نحوه استفاده از پارامترهای مدل هنگام پردازش هر توکن است.

مدل Dense چیست؟

یکی از رویکردهای مهم در طراحی مدل‌های زبانی، Dense Model یا مدل متراکم است.

در یک مدل Dense، تقریباً تمام بخش‌های اصلی مدل برای پردازش هر توکن فعال هستند.

یعنی وقتی یک توکن وارد مدل می‌شود، بخش بزرگی از پارامترهای مدل در محاسبات مربوط به آن مشارکت می‌کنند.

به زبان ساده:

خروجی → پردازش  → بخش‌های اصلی مدل →توکن

در این معماری، برخلاف MoE، معمولاً قرار نیست Router برای هر توکن فقط چند بخش خاص از مدل را انتخاب کند.

مدل MoE چیست؟

در مقابل، MoE یا Mixture of Experts رویکرد متفاوتی دارد.

در این معماری، مدل به چند بخش تخصصی‌تر به نام Expert تقسیم می‌شود.

وقتی یک توکن وارد مدل می‌شود، Router بررسی می‌کند که کدام Expertها برای پردازش آن مناسب‌تر هستند.

سپس فقط بخشی از Expertها فعال می‌شوند.

بنابراین همه بخش‌های مدل برای هر توکن به‌صورت هم‌زمان فعال نیستند.

تفاوت مدل Dense و MoE چیست؟

اگر بخواهیم تفاوت این دو معماری را خیلی ساده بیان کنیم:

Dense Model

تقریباً همه بخش‌های مدل برای پردازش هر توکن فعال هستند.

MoE Model

برای هر توکن فقط بخشی از Expertها فعال می‌شوند.

در نتیجه، تفاوت اصلی فقط در تعداد پارامترهای مدل نیست؛ بلکه در نحوه فعال شدن این پارامترها هنگام پردازش نیز هست.

آیا مدل MoE همیشه محاسبات کمتری دارد؟

نه لزوماً به این معنی که کل مدل محاسبات کمی انجام می‌دهد.

نکته مهم این است که در یک مدل MoE ممکن است تعداد کل پارامترها بسیار زیاد باشد، اما برای پردازش هر توکن فقط بخشی از این پارامترها فعال شوند.

برای مثال، فرض کنید یک مدل تعداد بسیار زیادی پارامتر دارد.

اگر معماری آن Dense باشد، بخش بسیار بزرگی از این پارامترها هنگام پردازش هر توکن درگیر می‌شوند.

اما در یک مدل MoE، ممکن است تعداد کل پارامترها بیشتر باشد، ولی فقط تعدادی از Expertها برای هر توکن فعال شوند.

بنابراین تعداد کل پارامترها به‌تنهایی مشخص نمی‌کند که برای هر توکن چه مقدار محاسبه انجام می‌شود.

چرا این تفاوت اهمیت دارد؟

وقتی درباره اندازه مدل‌های هوش مصنوعی صحبت می‌کنیم، معمولاً اولین چیزی که توجه ما را جلب می‌کند تعداد پارامترهاست.

اما این عدد به‌تنهایی برای درک هزینه محاسباتی مدل کافی نیست.

معماری مدل مشخص می‌کند که چه مقدار از این ظرفیت در هر مرحله واقعاً مورد استفاده قرار می‌گیرد.

در یک مدل Dense، بخش بزرگی از مدل برای هر توکن فعال می‌شود.

در یک مدل MoE، تنها بخشی از Expertها برای هر توکن انتخاب می‌شوند.

به همین دلیل، ممکن است یک مدل از نظر تعداد کل پارامترها بسیار بزرگ باشد، اما میزان پارامترهای فعال در هر مرحله محدودتر باشد.

آیا پارامتر بیشتر یعنی مدل بهتر؟

باز هم پاسخ لزوماً مثبت نیست.

تعداد پارامترها یکی از معیارهایی است که برای توصیف اندازه مدل استفاده می‌شود، اما کیفیت و توانایی یک مدل فقط به این عدد وابسته نیست.

معماری مدل نیز اهمیت زیادی دارد؛ زیرا تعیین می‌کند این پارامترها چگونه و در چه زمانی مورد استفاده قرار بگیرند.

بنابراین وقتی دو مدل را مقایسه می‌کنیم، بهتر است فقط به تعداد کل پارامترها نگاه نکنیم.

یک مقایسه ساده

برای جمع‌بندی تفاوت دو معماری:

این جدول نشان می‌دهد که تعداد کل پارامترها و تعداد پارامترهای فعال در هر توکن دو مفهوم متفاوت هستند.

جمع‌بندی

پس پاسخ سؤال «تفاوت مدل Dense و MoE چیست؟» این است که این دو معماری در نحوه استفاده از بخش‌های مختلف مدل با یکدیگر تفاوت دارند.

در Dense Model، تقریباً همه بخش‌های اصلی مدل برای پردازش هر توکن فعال هستند.

اما در MoE Model، Router برای هر توکن تعدادی از Expertها را انتخاب می‌کند و فقط همان بخش‌ها در پردازش فعال می‌شوند.

به همین دلیل:

تعداد پارامترهای بیشتر لزوماً به معنی محاسبات بیشتر برای هر توکن نیست.

معماری مدل تعیین می‌کند چه مقدار از پارامترهای آن در هر مرحله واقعاً فعال باشند.

درباره فیلاگر | جامعه هوش مصنوعی ایران