پشت پرده هوش مصنوعی | قسمت 18: مدل هوش مصنوعی چگونه احتمال توکن بعدی را محاسبه می‌کند؟

وقتی با ChatGPT صحبت می‌کنیم، شاید به نظر برسد که مدل خیلی سریع می‌فهمد چه کلمه‌ای باید در ادامه جمله قرار بگیرد. اما پشت این پاسخ سریع، مجموعه‌ای عظیم از محاسبات ریاضی در حال انجام است.

در قسمت‌های قبل از مجموعه «پشت پرده هوش مصنوعی» گفتیم که مدل‌های زبانی مانند ChatGPT متن را به‌صورت توکن‌به‌توکن تولید می‌کنند. همچنین دیدیم که تنظیماتی مانند Temperature می‌توانند روی نحوه انتخاب توکن‌ها و میزان تنوع پاسخ تأثیر بگذارند.

اما یک سؤال مهم همچنان باقی می‌ماند:

مدل از کجا می‌فهمد کدام توکن احتمال بیشتری برای ادامه جمله دارد؟

چطور از بین هزاران گزینه ممکن، یک گزینه را انتخاب می‌کند؟

در این قسمت قدم‌به‌قدم به سراغ یکی از بخش‌های مهم فرآیند تولید متن می‌رویم: محاسبه احتمال توکن بعدی.

مدل چگونه توکن بعدی را پیش‌بینی می‌کند؟

فرض کنید یک جمله را به مدل می‌دهید:

«امروز هوا خیلی…»

مدل باید حدس بزند چه چیزی می‌تواند ادامه مناسبی برای این جمله باشد.

گزینه‌های مختلفی ممکن است وجود داشته باشند:

• خوب
• سرد
• گرم
• عالی
• بد

مدل برای هر کدام از این گزینه‌ها یک میزان سازگاری با متن قبلی در نظر می‌گیرد.

البته در یک مدل واقعی، این فرآیند بسیار پیچیده‌تر از یک مثال ساده است و تعداد گزینه‌های قابل بررسی می‌تواند بسیار زیاد باشد.

مدل با استفاده از شبکه عصبی خود، اطلاعاتی را که تاکنون دریافت کرده پردازش می‌کند و برای توکن‌های مختلف امتیازهایی در نظر می‌گیرد.

این امتیازها چه معنایی دارند؟

امتیازهایی که مدل برای گزینه‌های مختلف محاسبه می‌کند، نشان می‌دهند هر توکن تا چه اندازه می‌تواند ادامه مناسبی برای متن فعلی باشد.

برای مثال، تصور کنید مدل با یک جمله مواجه شده و چند گزینه احتمالی برای ادامه آن دارد.

ممکن است یک توکن امتیاز بالاتری دریافت کند و گزینه دیگری امتیاز پایین‌تری داشته باشد.

در نهایت، مدل بر اساس همین امتیازها و فرآیند انتخاب، یکی از گزینه‌ها را برای ادامه متن انتخاب می‌کند.

آیا همیشه محتمل‌ترین توکن انتخاب می‌شود؟

نه لزوماً.

همان‌طور که در قسمت ۱۷ درباره Temperature صحبت کردیم، نحوه انتخاب توکن می‌تواند تحت تأثیر تنظیمات مختلف قرار بگیرد.

اگر مدل همیشه فقط گزینه‌ای را انتخاب کند که بیشترین احتمال را دارد، پاسخ‌ها می‌توانند بسیار قابل پیش‌بینی و تکراری شوند.

اما وقتی امکان انتخاب از میان چند گزینه محتمل وجود داشته باشد، مدل می‌تواند پاسخ‌های متنوع‌تری تولید کند.

بنابراین فرآیند تولید پاسخ فقط به این محدود نمی‌شود که:

«بیشترین احتمال را پیدا کن و همان را انتخاب کن.»

بلکه نحوه نمونه‌برداری و تنظیمات تولید متن نیز می‌توانند روی نتیجه نهایی تأثیر بگذارند.

آیا مدل یک لیست آماده از کلمات دارد؟

ممکن است تصور کنیم ChatGPT یک فهرست بزرگ از کلمات در اختیار دارد و هنگام پاسخ دادن، فقط یکی از آن‌ها را انتخاب می‌کند.

اما چنین توضیحی بیش از حد ساده‌سازی شده است.

مدل ابتدا متن ورودی را از طریق شبکه عصبی پردازش می‌کند. سپس بر اساس محاسبات انجام‌شده، برای توکن‌های مختلف امتیازهایی ایجاد می‌شود.

در نهایت، این امتیازها به یک توزیع احتمال تبدیل شده و فرآیند انتخاب توکن انجام می‌شود.

بنابراین، مدل در هر مرحله بر اساس وضعیت فعلی متن و محاسبات شبکه عصبی، یک پیش‌بینی جدید ایجاد می‌کند.

چرا این فرآیند در کسری از ثانیه انجام می‌شود؟

یکی از نکات شگفت‌انگیز درباره مدل‌های زبانی بزرگ، سرعت بسیار بالای آن‌هاست.

تمام این محاسبات باید برای هر توکن انجام شوند و پاسخ نهایی ممکن است شامل صدها یا هزاران توکن باشد.

برای انجام چنین حجم عظیمی از محاسبات در مدت کوتاه، مدل‌ها به سخت‌افزارهای قدرتمندی مانند GPUها و شتاب‌دهنده‌های تخصصی نیاز دارند.

به همین دلیل است که اجرای مدل‌های بزرگ هوش مصنوعی به زیرساخت محاسباتی بسیار قدرتمندی نیاز دارد.

جمع‌بندی

پس وقتی ChatGPT می‌خواهد یک پاسخ تولید کند، به‌سادگی یک کلمه را از یک فهرست آماده انتخاب نمی‌کند.

متن ورودی ابتدا توسط شبکه عصبی پردازش می‌شود و مدل برای گزینه‌های مختلف، امتیازهایی محاسبه می‌کند. سپس این امتیازها به احتمال تبدیل می‌شوند و مدل بر اساس این احتمالات، توکن بعدی را انتخاب می‌کند.

این فرآیند برای هر توکن دوباره تکرار می‌شود تا در نهایت پاسخ کامل شکل بگیرد.

در قسمت بعدی مجموعه «پشت پرده هوش مصنوعی» بررسی می‌کنیم که مدل دقیقاً چگونه به هر توکن امتیاز می‌دهد و چه چیزی باعث می‌شود یک گزینه از گزینه دیگر مناسب‌تر باشد؟

نظر شما چیست؟
به نظر شما این حجم از محاسبات برای تولید یک پاسخ ساده چقدر شگفت‌انگیز است؟

درباره فیلاگر | جامعه هوش مصنوعی ایران

فیلاگر، جامعه هوش مصنوعی ایران، مرجعی برای آموزش، تحلیل و بررسی فناوری‌های نوین هوش مصنوعی است. در مجموعه «پشت پرده هوش مصنوعی» تلاش می‌کنیم مفاهیم پیچیده AI را با زبانی ساده برای علاقه‌مندان فارسی‌زبان توضیح دهیم.

پشت پرده هوش مصنوعی | قسمت ۱
پشت پرده هوش مصنوعی | قسمت ۲
پشت پرده هوش مصنوعی | قسمت ۳
پشت پرده هوش مصنوعی | قسمت ۴
پشت پرده هوش مصنوعی | قسمت ۵
پشت پرده هوش مصنوعی | قسمت ۶
پشت پرده هوش مصنوعی | قسمت ۷
پشت پرده هوش مصنوعی | قسمت ۸
پشت پرده هوش مصنوعی | قسمت ۹
پشت پرده هوش مصنوعی | قسمت ۱۰
پشت پرده هوش مصنوعی | قسمت ۱۱
پشت پرده هوش مصنوعی | قسمت ۱۲
پشت پرده هوش مصنوعی | قسمت ۱۳
پشت پرده هوش مصنوعی | قسمت ۱۴
پشت پرده هوش مصنوعی | قسمت ۱۵
پشت پرده هوش مصنوعی | قسمت ۱۶
پشت پرده هوش مصنوعی | قسمت ۱۷