پشت پرده هوش مصنوعی | قسمت ۴۳: Batching در هوش مصنوعی چیست؟

وقتی تعداد زیادی کاربر به‌صورت هم‌زمان از یک مدل هوش مصنوعی استفاده می‌کنند، یک سؤال مهم درباره نحوه اجرای مدل به وجود می‌آید:

مدل چگونه می‌تواند صدها یا حتی هزاران درخواست را مدیریت کند؟

اگر هر درخواست به‌صورت کاملاً جداگانه پردازش شود، ممکن است بخشی از ظرفیت سخت‌افزار در بسیاری از مراحل بلااستفاده باقی بماند.

در این قسمت از مجموعه «پشت پرده هوش مصنوعی» می‌خواهیم با یکی از روش‌های مهم برای استفاده بهتر از منابع محاسباتی آشنا شویم:

Batching

Batching در هوش مصنوعی چیست؟

Batching به روشی گفته می‌شود که در آن چند درخواست به‌جای پردازش کاملاً جداگانه، در قالب یک مجموعه یا Batch قرار می‌گیرند و مدل آن‌ها را به‌صورت هم‌زمان پردازش می‌کند.

برای مثال، فرض کنید چند کاربر در فاصله زمانی نزدیک به یکدیگر درخواست خود را به یک مدل ارسال کنند.

به‌جای اینکه سخت‌افزار ابتدا درخواست اول را به‌طور کامل پردازش کند، سپس سراغ درخواست دوم برود و همین روند را ادامه دهد، می‌توان این درخواست‌ها را در یک Batch قرار داد و از ظرفیت سخت‌افزار به شکل کارآمدتری استفاده کرد.

به زبان ساده:

پردازش هم‌زمان → یک Batch →  چند درخواست

این روش یکی از تکنیک‌های مهم در سیستم‌های پردازش مدل‌های هوش مصنوعی است.

چرا Batching اهمیت دارد؟

پردازش مدل‌های زبانی به محاسبات زیادی نیاز دارد و سخت‌افزارهایی مانند GPU باید حجم زیادی از عملیات را انجام دهند.

اگر درخواست‌ها یکی‌یکی و کاملاً جداگانه پردازش شوند، ممکن است ظرفیت محاسباتی سخت‌افزار به‌طور کامل مورد استفاده قرار نگیرد.

Batching کمک می‌کند چند درخواست در کنار یکدیگر پردازش شوند و استفاده از منابع سخت‌افزاری افزایش پیدا کند.

در نتیجه، سیستم می‌تواند درخواست‌های بیشتری را در یک بازه زمانی مشخص پردازش کند.

Batching چه مزایایی دارد؟

استفاده از Batching در سرویس‌های هوش مصنوعی می‌تواند چند مزیت مهم داشته باشد.

استفاده بهتر از سخت‌افزار

وقتی چند درخواست با هم پردازش می‌شوند، ظرفیت سخت‌افزار بهتر مورد استفاده قرار می‌گیرد.

این موضوع به‌خصوص در سرویس‌هایی که تعداد زیادی کاربر هم‌زمان دارند اهمیت زیادی دارد.

افزایش Throughput

یکی از معیارهای مهم در سیستم‌های هوش مصنوعی Throughput است.

Throughput به‌طور ساده نشان می‌دهد یک سیستم در یک بازه زمانی مشخص چه مقدار کار یا چه تعداد درخواست را می‌تواند پردازش کند.

Batching می‌تواند با استفاده بهتر از منابع محاسباتی، ظرفیت پردازش درخواست‌های سیستم را افزایش دهد.

پردازش تعداد بیشتری درخواست

هدف Batching فقط این نیست که یک پاسخ خاص سریع‌تر تولید شود.

هدف مهم‌تر این است که سیستم بتواند با منابع موجود، تعداد بیشتری درخواست را پردازش کند.

این موضوع برای سرویس‌های عمومی هوش مصنوعی که کاربران زیادی به‌صورت هم‌زمان از آن‌ها استفاده می‌کنند، اهمیت زیادی دارد.

آیا درخواست‌ها همیشه هم‌زمان می‌رسند؟

اینجا یک مشکل دیگر وجود دارد.

در دنیای واقعی، کاربران دقیقاً در یک زمان مشخص درخواست‌های خود را ارسال نمی‌کنند.

ممکن است یک درخواست همین حالا برسد، درخواست دیگری چند لحظه بعد و درخواست سوم کمی دیرتر.

اگر سیستم فقط منتظر بماند تا تعداد مشخصی درخواست جمع شود و سپس یک Batch تشکیل دهد، ممکن است کاربران برای شروع پردازش منتظر بمانند.

به همین دلیل، در سرویس‌های واقعی روش‌های پیشرفته‌تری مورد استفاده قرار می‌گیرند.

Continuous Batching چیست؟

یکی از این روش‌ها Continuous Batching یا Batchینگ پیوسته است.

در این روش، سیستم مجبور نیست یک Batch را از ابتدا تا انتها ثابت نگه دارد.

درخواست‌های جدید می‌توانند در حین اجرای Batch وارد سیستم شوند و در زمان مناسب به فرایند پردازش اضافه شوند.

به این ترتیب، سیستم می‌تواند منابع سخت‌افزاری را به شکل پویاتری مدیریت کند.

این رویکرد برای سرویس‌هایی که درخواست‌های کاربران به‌صورت مداوم وارد آن‌ها می‌شوند، اهمیت زیادی دارد.

Batching و سرعت پاسخ چه تفاوتی دارند؟

یک نکته مهم این است که افزایش Throughput لزوماً به معنی کاهش زمان پاسخ هر درخواست نیست.

Batching بیشتر با هدف استفاده بهتر از منابع و پردازش درخواست‌های بیشتر انجام می‌شود.

بنابراین ممکن است یک سیستم با Batching بتواند تعداد بسیار بیشتری درخواست را در یک بازه زمانی پردازش کند، بدون اینکه هدف اصلی آن کاهش زمان پاسخ یک درخواست منفرد باشد.

جمع‌بندی

پس Batching در هوش مصنوعی روشی برای قرار دادن چند درخواست در یک مجموعه و پردازش هم‌زمان آن‌هاست.

این روش باعث می‌شود سخت‌افزار بهتر مورد استفاده قرار بگیرد و سیستم بتواند درخواست‌های بیشتری را پردازش کند.

در سرویس‌های واقعی، Continuous Batching امکان می‌دهد درخواست‌های جدید در حین اجرای فرایند پردازش وارد سیستم شوند و منابع محاسباتی به شکل پویاتری مورد استفاده قرار بگیرند.

به زبان ساده:

Batching یعنی استفاده بهتر از ظرفیت سخت‌افزار برای پردازش تعداد بیشتری درخواست.

درباره فیلاگر | جامعه هوش مصنوعی ایران