پشت پرده هوش مصنوعی | قسمت 26: چرا بعضی مدل‌ها سریع‌تر پاسخ می‌دهند؟

وقتی از دو مدل هوش مصنوعی یک سؤال یکسان می‌پرسیم، ممکن است یکی تقریباً بلافاصله پاسخ را شروع کند، در حالی که مدل دیگر چند ثانیه بیشتر منتظر بماند. حتی گاهی دو مدل با کیفیت مشابه، سرعت پاسخ‌گویی کاملاً متفاوتی دارند.

همین موضوع باعث می‌شود این سؤال مطرح شود:

چرا بعضی مدل‌های هوش مصنوعی سریع‌تر از بقیه پاسخ می‌دهند؟

آیا سرعت بیشتر فقط به قوی‌تر بودن سخت‌افزار مربوط می‌شود یا عوامل دیگری هم در این موضوع نقش دارند؟

در این قسمت بررسی می‌کنیم سرعت پاسخ مدل‌های زبانی چگونه اندازه‌گیری می‌شود و چه عواملی بر آن تأثیر می‌گذارند.

Inference در هوش مصنوعی چیست؟

در قسمت‌های قبل دیدیم که مدل‌های زبانی پاسخ را توکن‌به‌توکن تولید می‌کنند.

فرآیندی که طی آن یک مدل آموزش‌دیده، ورودی کاربر را پردازش می‌کند و پاسخ تولید می‌کند، Inference نام دارد.

به زبان ساده، Inference همان مرحله‌ای است که مدل از دانشی که در زمان آموزش یاد گرفته استفاده می‌کند تا برای سؤال کاربر پاسخ مناسب بسازد.

در این مرحله، پارامترهای مدل تغییر نمی‌کنند و مدل فقط محاسبات لازم برای تولید خروجی را انجام می‌دهد.

چه عواملی روی سرعت پاسخ ChatGPT تأثیر می‌گذارند؟

سرعت تولید پاسخ فقط به یک عامل وابسته نیست و چندین بخش مختلف در آن نقش دارند.

۱. اندازه و معماری مدل

هرچه مدل بزرگ‌تر باشد، معمولاً برای انجام محاسبات به منابع بیشتری نیاز دارد.

البته معماری مدل نیز اهمیت زیادی دارد و یک طراحی بهینه می‌تواند سرعت پاسخ‌گویی را افزایش دهد.

۲. میزان محاسبات موردنیاز

پیچیدگی سؤال و حجم پردازش موردنیاز می‌تواند روی مدت‌زمان تولید پاسخ اثر بگذارد.

هرچه محاسبات بیشتری لازم باشد، زمان بیشتری نیز صرف تولید پاسخ خواهد شد.

۳. بهینه‌سازی‌های نرم‌افزاری

روش اجرای مدل، نوع موتور استنتاج و بهینه‌سازی‌های نرم‌افزاری نیز می‌توانند سرعت نهایی را بهبود دهند.

به همین دلیل، دو مدل با اندازه مشابه ممکن است عملکرد متفاوتی از نظر سرعت داشته باشند.

۴. تعداد توکن‌های ورودی و خروجی

اگر متن ورودی طولانی باشد یا مدل پاسخ مفصلی تولید کند، زمان لازم برای پردازش و تولید خروجی نیز افزایش پیدا می‌کند.

سرعت پاسخ مدل چگونه اندازه‌گیری می‌شود؟

برای مقایسه سرعت مدل‌های هوش مصنوعی، معمولاً از چند معیار استاندارد استفاده می‌شود.

Time to First Token (TTFT)

این معیار نشان می‌دهد مدل چه مدت زمان نیاز دارد تا اولین توکن پاسخ را تولید کند.

هرچه مقدار TTFT کمتر باشد، کاربر سریع‌تر احساس می‌کند مدل پاسخ را آغاز کرده است.

Tokens per Second

این معیار نشان می‌دهد مدل پس از شروع پاسخ، در هر ثانیه چند توکن تولید می‌کند.

هرچه این مقدار بیشتر باشد، پاسخ با سرعت بالاتری نمایش داده می‌شود.

آیا مدل سریع‌تر همیشه بهتر است؟

خیر.

سرعت بیشتر همیشه به معنی کیفیت بهتر پاسخ نیست.

گاهی یک مدل برای ارائه پاسخ دقیق‌تر، محاسبات بیشتری انجام می‌دهد و در نتیجه کمی کندتر عمل می‌کند.

در مقابل، برخی مدل‌ها برای افزایش سرعت، از معماری‌ها و بهینه‌سازی‌هایی استفاده می‌کنند که هدف آن‌ها کاهش زمان تولید پاسخ است.

بنابراین هنگام مقایسه مدل‌های هوش مصنوعی، بهتر است علاوه بر سرعت، کیفیت پاسخ‌ها نیز در نظر گرفته شود.

جمع‌بندی

پاسخ سؤال «چرا بعضی مدل‌ها سریع‌تر پاسخ می‌دهند؟» این است که سرعت پاسخ‌گویی به عوامل مختلفی مانند اندازه و معماری مدل، میزان محاسبات، بهینه‌سازی‌های نرم‌افزاری و تعداد توکن‌های ورودی و خروجی بستگی دارد.

در مرحله Inference، مدل با استفاده از پارامترهای آموزش‌دیده، پاسخ را تولید می‌کند و معیارهایی مانند Time to First Token (TTFT) و Tokens per Second برای اندازه‌گیری سرعت آن به کار می‌روند.

بنابراین، سرعت پاسخ فقط به بزرگی یا کوچکی مدل وابسته نیست؛ بلکه طراحی مدل و نحوه اجرای آن نیز نقش مهمی در تجربه کاربر دارند.

درباره فیلاگر | جامعه هوش مصنوعی ایران