پشت پرده هوش مصنوعی | قسمت 22: مدل چطور یک پاسخ کامل را کلمه‌به‌کلمه می‌سازد؟

وقتی ChatGPT یک پاسخ کامل و چند جمله‌ای تولید می‌کند، شاید تصور کنیم مدل از ابتدا کل پاسخ را آماده کرده و سپس آن را یک‌جا نمایش می‌دهد.

اما فرآیند تولید پاسخ در مدل‌های زبانی به این شکل نیست.

مدل پاسخ را به‌صورت مرحله‌به‌مرحله و توکن‌به‌توکن می‌سازد.

اما یک سؤال مهم وجود دارد:

مدل چطور یک پاسخ کامل را کلمه‌به‌کلمه می‌سازد؟

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» دیدیم که مدل با استفاده از روش‌هایی مثل Top-k و Top-p مشخص می‌کند از بین گزینه‌های احتمالی، کدام توکن‌ها شانس انتخاب داشته باشند.

اما انتخاب یک توکن، پایان کار نیست.

مدل همان توکن را به متن اضافه می‌کند و دوباره کل فرآیند را برای انتخاب توکن بعدی انجام می‌دهد.

این چرخه بارها تکرار می‌شود تا در نهایت پاسخ کامل شکل بگیرد.

پاسخ مدل چگونه مرحله‌به‌مرحله ساخته می‌شود؟

برای درک بهتر فرآیند تولید پاسخ، می‌توانیم آن را به چند مرحله ساده تقسیم کنیم.

در ابتدا، مدل متن و اطلاعات موجود را پردازش می‌کند و احتمال گزینه‌های مختلف را برای توکن بعدی محاسبه می‌کند.

سپس یکی از گزینه‌های احتمالی انتخاب می‌شود.

بعد از انتخاب، توکن جدید به متن پاسخ اضافه می‌شود.

حالا مدل دوباره همین فرآیند را برای انتخاب توکن بعدی انجام می‌دهد.

بنابراین چرخه تولید پاسخ به این شکل ادامه پیدا می‌کند:

محاسبه احتمال‌ها
انتخاب توکن بعدی
اضافه شدن توکن به پاسخ
محاسبه دوباره برای توکن بعدی

این مراحل بارها و بارها تکرار می‌شوند.

در نتیجه، پاسخی که در نهایت از ChatGPT دریافت می‌کنیم، حاصل مجموعه‌ای از انتخاب‌های متوالی است که در کنار یکدیگر قرار گرفته‌اند.

چرا انتخاب یک توکن پایان کار نیست؟

فرض کنید مدل در یک مرحله، توکن بعدی را انتخاب کرده است.

با انتخاب این توکن، فرآیند تولید متوقف نمی‌شود.

مدل باید تصمیم بگیرد بعد از این توکن چه چیزی قرار بگیرد.

بنابراین، توکن انتخاب‌شده به متن اضافه می‌شود و مدل دوباره شرایط جدید را بررسی می‌کند.

حالا متن کمی طولانی‌تر شده و مدل باید بر اساس متن جدید، توکن بعدی را انتخاب کند.

این فرآیند به همین شکل ادامه پیدا می‌کند.

یعنی هر توکن جدیدی که تولید می‌شود، بخشی از زمینه‌ای می‌شود که مدل برای انتخاب توکن بعدی از آن استفاده می‌کند.

به همین دلیل، پاسخ نهایی به‌صورت توکن‌به‌توکن ساخته می‌شود.

یک مثال ساده از تولید پاسخ

فرض کنید از ChatGPT می‌پرسید:

«هوش مصنوعی چیست؟»

مدل برای شروع پاسخ، یک توکن را انتخاب می‌کند.

سپس بر اساس متن موجود، توکن بعدی را انتخاب می‌کند.

بعد توکن جدید دیگری اضافه می‌شود و مدل دوباره احتمال گزینه‌های مختلف را محاسبه می‌کند.

این فرآیند ادامه پیدا می‌کند تا چندین توکن در کنار هم قرار بگیرند و یک جمله شکل بگیرد.

سپس مدل همین فرآیند را برای ساخت جمله‌های بعدی ادامه می‌دهد.

در نهایت، مجموعه این توکن‌ها در کنار یکدیگر قرار می‌گیرند و یک پاسخ کامل را تشکیل می‌دهند.

پس پاسخ نهایی یک‌باره ساخته نمی‌شود؛ بلکه نتیجه تعداد زیادی انتخاب متوالی است.

آیا مدل کل پاسخ را از ابتدا آماده کرده است؟

معمولاً نه.

یکی از نکات مهم درباره مدل‌های زبانی این است که پاسخ در طول فرآیند تولید ساخته می‌شود.

مدل ابتدا یک توکن را انتخاب می‌کند، سپس آن را به متن اضافه می‌کند و بعد برای انتخاب توکن بعدی دوباره فرآیند محاسبه و انتخاب را انجام می‌دهد.

این روند تا زمانی که پاسخ کامل شود ادامه پیدا می‌کند.

بنابراین، وقتی یک پاسخ چند جمله‌ای را از ChatGPT دریافت می‌کنیم، این پاسخ نتیجه یک فرآیند مرحله‌به‌مرحله است.

هر توکن جدید بخشی از پاسخ را تشکیل می‌دهد و در نهایت، تمام این بخش‌ها در کنار یکدیگر یک متن کامل را می‌سازند.

تولید توکن‌به‌توکن چه اهمیتی دارد؟

درک این فرآیند کمک می‌کند نحوه عملکرد مدل‌های زبانی را بهتر بشناسیم.

وقتی ChatGPT یک متن کامل تولید می‌کند، پاسخ نهایی یک متن آماده نیست که مدل فقط آن را از یک حافظه بیرون بکشد.

مدل در طول فرآیند تولید، مرحله‌به‌مرحله جلو می‌رود و برای هر مرحله، توکن بعدی را انتخاب می‌کند.

به بیان ساده، مدل ابتدا یک توکن را انتخاب می‌کند، سپس با توجه به متن موجود، توکن بعدی را انتخاب می‌کند و این روند را ادامه می‌دهد.

به همین شکل، یک پاسخ کوتاه یا حتی یک متن طولانی می‌تواند از کنار هم قرار گرفتن تعداد زیادی توکن ساخته شود.

نکته مهم

مدل معمولاً کل پاسخ را از ابتدا آماده نکرده و بعد آن را یک‌جا نمایش نمی‌دهد؛ بلکه پاسخ در طول فرآیند تولید، به‌صورت گام‌به‌گام و توکن‌به‌توکن ساخته می‌شود.

به همین دلیل، تولید یک پاسخ کامل را می‌توان مجموعه‌ای از انتخاب‌های متوالی دانست که هر مرحله، مرحله بعدی را شکل می‌دهد.

جمع‌بندی

مدل‌های زبانی مانند ChatGPT پاسخ‌های خود را به‌صورت مرحله‌به‌مرحله و توکن‌به‌توکن تولید می‌کنند.

در این فرآیند، ابتدا احتمال گزینه‌های مختلف محاسبه می‌شود و یک توکن انتخاب می‌شود. سپس همان توکن به متن اضافه می‌شود و مدل دوباره فرآیند را برای انتخاب توکن بعدی انجام می‌دهد.

این چرخه بارها تکرار می‌شود تا پاسخ نهایی شکل بگیرد.

بنابراین، اگر بخواهیم خیلی ساده توضیح دهیم:

مدل یک پاسخ کامل را از ابتدا آماده نمی‌کند؛ بلکه آن را مرحله‌به‌مرحله و توکن‌به‌توکن می‌سازد.

درباره فیلاگر | جامعه هوش مصنوعی ایران