پشت پرده هوش مصنوعی | قسمت ۴۷: Serving مدل هوش مصنوعی چیست؟

وقتی درباره سرعت مدل‌های هوش مصنوعی صحبت می‌کنیم، معمولاً به این فکر می‌کنیم که یک مدل با چه سرعتی می‌تواند پاسخ تولید کند.

اما در دنیای واقعی، مسئله کمی پیچیده‌تر است.

فرض کنید یک مدل هوش مصنوعی قرار است به هزاران کاربر به‌صورت هم‌زمان پاسخ دهد.

در این شرایط، دیگر فقط سرعت خود مدل اهمیت ندارد. سیستم باید بتواند تعداد زیادی درخواست را مدیریت کند، منابع سخت‌افزاری را به شکل مناسبی مصرف کند و در زمان قابل‌قبول به کاربران پاسخ دهد.

اینجاست که مفاهیمی مانند Serving، Latency و Throughput اهمیت پیدا می‌کنند.

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» دیدیم که روش‌هایی مانند Speculative Decoding می‌توانند فرایند تولید پاسخ توسط مدل را سریع‌تر کنند.

حالا می‌خواهیم یک قدم جلوتر برویم و ببینیم وقتی یک مدل قرار است در قالب یک سرویس واقعی در اختیار کاربران قرار بگیرد، چه چالش‌هایی به وجود می‌آید.

Serving مدل هوش مصنوعی چیست؟

Serving به مجموعه روش‌ها و زیرساخت‌هایی گفته می‌شود که یک مدل هوش مصنوعی را برای پاسخ‌گویی به درخواست کاربران اجرا و مدیریت می‌کنند.

وقتی یک مدل فقط روی یک کامپیوتر اجرا می‌شود، ممکن است تمرکز اصلی روی اجرای خود مدل باشد.

اما در یک سرویس واقعی، شرایط متفاوت است.

سیستم باید درخواست‌های کاربران را دریافت کند، آن‌ها را به مدل برساند، منابع سخت‌افزاری را مدیریت کند و نتیجه را دوباره به کاربر برگرداند.

بنابراین، اجرای مدل فقط بخشی از مسئله است.

Latency چیست؟

یکی از معیارهای مهم در سرویس‌دهی مدل‌های هوش مصنوعی، Latency است.

Latency را می‌توان به زبان ساده، مدت زمانی دانست که یک درخواست برای دریافت پاسخ نیاز دارد.

برای مثال، اگر کاربر یک درخواست ارسال کند و سیستم پس از دو ثانیه پاسخ را شروع کند، این زمان بخشی از تجربه کاربر محسوب می‌شود.

هرچه Latency کمتر باشد، سیستم از دید کاربر سریع‌تر به نظر می‌رسد.

اما کاهش Latency همیشه به‌تنهایی کافی نیست.

ممکن است یک سیستم برای یک کاربر بسیار سریع باشد، اما وقتی تعداد کاربران افزایش پیدا می‌کند، عملکرد آن تغییر کند.

Throughput چیست؟

معیار مهم دیگر Throughput است.

Throughput نشان می‌دهد یک سیستم در یک بازه زمانی مشخص، چند درخواست یا چند توکن را می‌تواند پردازش کند.

برای مثال، اگر یک زیرساخت بتواند در یک ثانیه تعداد زیادی توکن تولید کند، Throughput بالاتری دارد.

این معیار به‌خصوص زمانی اهمیت پیدا می‌کند که تعداد کاربران زیاد باشد.

چون در یک سرویس واقعی، هدف فقط این نیست که یک درخواست سریع پاسخ بگیرد؛ بلکه سیستم باید بتواند تعداد زیادی درخواست را مدیریت کند.

تفاوت Latency و Throughput چیست؟

این دو مفهوم به یک موضوع مربوط هستند، اما یکسان نیستند.

Latency بیشتر به این سؤال پاسخ می‌دهد:

یک درخواست چقدر طول می‌کشد تا پاسخ بگیرد؟

در حالی که Throughput به این سؤال مربوط می‌شود:

سیستم در یک بازه زمانی، چه مقدار درخواست یا توکن می‌تواند پردازش کند؟

بنابراین ممکن است یک سیستم برای یک درخواست عملکرد بسیار خوبی داشته باشد، اما در پردازش تعداد زیادی درخواست هم‌زمان با محدودیت مواجه شود.

چرا تعداد کاربران اهمیت دارد؟

فرض کنید یک مدل هوش مصنوعی روی یک GPU قدرتمند اجرا می‌شود و یک درخواست را با سرعت مناسبی پردازش می‌کند.

حالا اگر صدها یا هزاران کاربر هم‌زمان درخواست ارسال کنند، وضعیت کاملاً متفاوت می‌شود.

منابع پردازشی و حافظه باید بین درخواست‌های مختلف مدیریت شوند.

در نتیجه، سیستم باید بتواند بین عوامل مختلف تعادل برقرار کند:

🔹 سرعت پاسخ‌گویی

🔹 تعداد کاربران

🔹 منابع سخت‌افزاری

🔹 تعداد درخواست‌های هم‌زمان

به همین دلیل، Serving مدل‌های هوش مصنوعی یک مسئله مهم در سیستم‌های واقعی محسوب می‌شود.

چرا یک مدل سریع، لزوماً یک سرویس سریع نیست؟

این نکته بسیار مهم است.

ممکن است یک مدل روی یک سیستم قدرتمند با سرعت زیادی اجرا شود، اما وقتی همان مدل باید به تعداد زیادی کاربر پاسخ دهد، مسائل دیگری وارد ماجرا شوند.

مدیریت درخواست‌ها، استفاده از GPU، حافظه، زمان انتظار و میزان درخواست‌های هم‌زمان همگی می‌توانند روی تجربه نهایی کاربر تأثیر بگذارند.

بنابراین باید بین سرعت مدل و ظرفیت سرویس‌دهی سیستم تفاوت قائل شویم.

جمع‌بندی

پس Serving مدل هوش مصنوعی فقط اجرای یک مدل برای تولید پاسخ نیست.

در یک سرویس واقعی، زیرساخت باید بتواند مدل را اجرا کند و هم‌زمان درخواست‌های کاربران مختلف را مدیریت کند.

برای بررسی عملکرد چنین سیستمی، معیارهایی مانند Latency و Throughput اهمیت زیادی دارند.

Latency نشان می‌دهد یک درخواست چقدر برای دریافت پاسخ زمان نیاز دارد، در حالی که Throughput مشخص می‌کند سیستم در یک بازه زمانی چه مقدار درخواست یا توکن می‌تواند پردازش کند.

به زبان ساده:

Latency → سرعت پاسخ به یک درخواست

Throughput → ظرفیت پردازش درخواست‌های بیشتر

بنابراین یک مدل ممکن است به‌تنهایی بسیار سریع باشد، اما تبدیل آن به یک سرویس برای هزاران کاربر، نیازمند زیرساخت و مدیریت منابع بسیار بیشتری است.

درباره فیلاگر | جامعه هوش مصنوعی ایران