پشت پرده هوش مصنوعی | قسمت ۵۰: حالا پشت پرده مدل‌های هوش مصنوعی رو می‌شناسیم

بعد از ۵۰ قسمت، به پایان مجموعه «پشت پرده هوش مصنوعی» رسیدیم؛ مجموعه‌ای که از ساده‌ترین مفاهیم شروع شد و قدم‌به‌قدم به بخش‌های پیچیده‌تر مدل‌های هوش مصنوعی رسید.

هدف از ابتدا این بود که وقتی با یک مدل هوش مصنوعی صحبت می‌کنیم، پاسخ آن را فقط یک خروجی ساده روی صفحه نبینیم؛ بلکه بدانیم چه فرایندهایی پشت این پاسخ اتفاق می‌افتند.

در طول این مجموعه، مفاهیم مختلفی را از پایه بررسی کردیم.

از Token تا تولید پاسخ

در قسمت‌های ابتدایی، با مفهوم Token و نحوه تولید پاسخ آشنا شدیم. دیدیم که مدل‌های زبانی چگونه متن را به واحدهایی قابل پردازش تبدیل می‌کنند و بر اساس اطلاعات موجود، پاسخ را به‌صورت مرحله‌به‌مرحله تولید می‌کنند.

اما برای درک عملکرد یک مدل، شناخت Token به‌تنهایی کافی نبود و لازم بود به بخش‌های عمیق‌تر آن برویم.

Training، Parameters و Attention

در ادامه به مفاهیمی مانند Training، Parameters و Attention رسیدیم.

Training فرایندی است که طی آن مدل با استفاده از داده‌ها یاد می‌گیرد. Parameters بخش‌هایی از مدل هستند که در طول آموزش تنظیم می‌شوند و نقش مهمی در رفتار و توانایی‌های مدل دارند.

Attention نیز به مدل کمک می‌کند هنگام پردازش اطلاعات، ارتباط میان بخش‌های مختلف ورودی را در نظر بگیرد.

این مفاهیم، بخشی از پایه‌های اصلی عملکرد مدل‌های امروزی هستند.

Inference و سرعت مدل

بعد از آموزش، مدل باید بتواند از آموخته‌های خود برای تولید پاسخ استفاده کند؛ فرایندی که با مفهوم Inference شناخته می‌شود.

در این بخش دیدیم که سرعت اجرای مدل به عوامل مختلفی وابسته است؛ از اندازه و معماری مدل گرفته تا میزان محاسبات، بهینه‌سازی نرم‌افزاری و نحوه استفاده از سخت‌افزار.

همچنین با مفاهیمی مانند TTFT و Tokens per Second آشنا شدیم که برای بررسی سرعت پاسخ‌گویی مدل اهمیت دارند.

MoE، Router و Expertها

در ادامه، وارد معماری‌های پیچیده‌تری شدیم و درباره Mixture of Experts یا MoE صحبت کردیم.

در این معماری، مدل از چند Expert تشکیل شده و یک Router مشخص می‌کند که برای هر ورودی، کدام Expertها در پردازش نقش داشته باشند.

از اینجا با مفاهیمی مانند Top-k Routing، Load Imbalance، Expert Capacity و Token Dropping نیز آشنا شدیم.

این مفاهیم نشان دادند که افزایش ظرفیت یک مدل لزوماً به معنی فعال بودن تمام بخش‌های آن برای هر Token نیست.

GPU، Batching و Serving

اما اجرای مدل فقط به معماری آن محدود نمی‌شود.

در بخش دیگری از مجموعه، به نقش GPU و محدودیت‌هایی مانند Memory Bandwidth پرداختیم و دیدیم که استفاده از چند GPU نیز لزوماً باعث افزایش خطی سرعت نمی‌شود؛ زیرا ارتباط و جابه‌جایی داده میان GPUها اهمیت دارد.

بعد به Batching و Continuous Batching رسیدیم؛ روش‌هایی که امکان پردازش مؤثرتر درخواست‌های مختلف را فراهم می‌کنند.

در نهایت نیز با مفهوم Serving آشنا شدیم؛ یعنی مجموعه روش‌ها و زیرساخت‌هایی که برای ارائه مدل به کاربران و پردازش درخواست‌های آن‌ها استفاده می‌شوند.

ارزیابی مدل‌ها

در قسمت‌های پایانی، یک سؤال مهم را بررسی کردیم:

از کجا بفهمیم یک مدل واقعاً خوب است؟

اینجا با Evaluation و Benchmarking آشنا شدیم و دیدیم که مدل‌ها می‌توانند در زمینه‌هایی مانند درک و تولید متن، استدلال، کدنویسی، ریاضیات و پیروی از دستورها ارزیابی شوند.

اما یک نکته مهم وجود دارد: امتیاز بالاتر در یک Benchmark لزوماً به معنی بهتر بودن مدل در همه کاربردها نیست.

عملکرد واقعی مدل می‌تواند به عواملی مانند نوع وظیفه، کیفیت پاسخ، سرعت، هزینه اجرا و شرایط استفاده بستگی داشته باشد.

حالا پشت یک پاسخ ساده چه می‌گذرد؟

اگر تمام این مسیر را کنار هم قرار دهیم، تصویری بسیار متفاوت از یک پاسخ ساده هوش مصنوعی به دست می‌آید:

داده آموزش مدل محاسبه تولید پاسخ ارزیابی

چیزی که روی صفحه به شکل چند جمله ساده دیده می‌شود، نتیجه مجموعه‌ای از فرایندها، محاسبات، معماری‌ها و زیرساخت‌های مختلف است.

شناخت این فرایندها کمک می‌کند مدل‌های هوش مصنوعی را فقط از زاویه «ابزاری که جواب می‌دهد» نگاه نکنیم.

هدف «پشت پرده هوش مصنوعی» چه بود؟

هدف این مجموعه، ورود قدم‌به‌قدم به همین لایه‌های پشت پرده بود؛ از مفاهیم پایه‌ای مانند Token شروع کردیم و به موضوعاتی مانند Attention، Inference، MoE، GPU، Batching، Serving و Evaluation رسیدیم.

در این مسیر، هدف این نبود که فقط اصطلاحات جدید یاد بگیریم؛ بلکه تلاش شد ارتباط میان این مفاهیم را ببینیم و بفهمیم هر کدام چه نقشی در عملکرد مدل دارند.

حالا بعد از ۵۰ قسمت، می‌توانیم با نگاه متفاوتی به یک مدل هوش مصنوعی نگاه کنیم.

نه فقط به‌عنوان یک ابزار، بلکه به‌عنوان مجموعه‌ای از داده، آموزش، پارامترها، محاسبات، معماری، سخت‌افزار و زیرساخت که در نهایت یک پاسخ تولید می‌کند.

جمع‌بندی

مجموعه «پشت پرده هوش مصنوعی» با هدف آشنایی قدم‌به‌قدم با سازوکار مدل‌های هوش مصنوعی آغاز شد و حالا در قسمت ۵۰ به پایان می‌رسد.

از Token و تولید پاسخ شروع کردیم و به Training، Parameters، Attention، Inference، MoE، Router، Expertها، GPU، Batching، Serving و ارزیابی مدل‌ها رسیدیم.

در این مسیر یاد گرفتیم که پشت یک پاسخ ساده، فرایندهای پیچیده‌ای در جریان هستند.

پایان این مجموعه، پایان یادگیری نیست. 💜

مجموعه بعدی به‌زودی…

درباره فیلاگر | جامعه هوش مصنوعی ایران