پشت پرده هوش مصنوعی | قسمت 23: توکن پایان چیست؟

وقتی با ChatGPT یا دیگر مدل‌های زبانی هوش مصنوعی صحبت می‌کنیم، معمولاً پاسخ را به شکل یک متن کامل مشاهده می‌کنیم. اما همان‌طور که در قسمت‌های قبلی مجموعه «پشت پرده هوش مصنوعی» دیدیم، مدل این پاسخ را از ابتدا به‌صورت یک متن کامل آماده نمی‌کند.

مدل پاسخ را توکن‌به‌توکن تولید می‌کند.

یعنی ابتدا یک توکن انتخاب می‌شود، سپس مدل بر اساس متن موجود، توکن بعدی را پیش‌بینی می‌کند. این فرایند بارها تکرار می‌شود تا پاسخ کامل شکل بگیرد.

اما یک سؤال مهم وجود دارد:

مدل از کجا می‌فهمد که پاسخ باید تمام شود؟

اگر مدل فقط به پیش‌بینی توکن بعدی ادامه دهد، از کجا متوجه می‌شود که دیگر نیازی به تولید توکن‌های بیشتر نیست؟

اینجاست که مفهوم توکن پایان (EOS) اهمیت پیدا می‌کند.

توکن پایان (EOS) چیست؟

EOS مخفف End-of-Sequence به معنی پایان دنباله است.

در مدل‌های زبانی، توکن پایان یک علامت ویژه است که می‌تواند نشان‌دهنده پایان یک دنباله از توکن‌ها باشد.

برای درک ساده‌تر موضوع، تصور کنید مدل در حال تولید یک پاسخ است و مانند همیشه، در هر مرحله توکن بعدی را پیش‌بینی می‌کند.

مدل ممکن است به نقطه‌ای برسد که پیش‌بینی کند پاسخ دیگر ادامه پیدا نکند و زمان پایان دنباله فرا رسیده است.

در چنین شرایطی، تولید توکن پایان می‌تواند به سیستم نشان دهد که فرآیند تولید باید متوقف شود.

بنابراین، به‌صورت ساده می‌توان گفت:

مدل توکن بعدی را پیش‌بینی می‌کند.

پاسخ به‌صورت مرحله‌به‌مرحله ساخته می‌شود.

مدل همچنان توکن‌های جدید تولید می‌کند.

در نقطه مناسب، توکن پایان تولید می‌شود.

سیستم تولید پاسخ را متوقف می‌کند.

آیا EOS یک کلمه معمولی است؟

خیر.

یکی از نکات مهم درباره توکن پایان EOS این است که نباید آن را با یک کلمه عادی مثل «تمام شد» اشتباه گرفت.

EOS یک توکن ویژه است که برای مشخص کردن پایان یک دنباله استفاده می‌شود.

به همین دلیل، وقتی مدل به این توکن می‌رسد، سیستم می‌تواند متوجه شود که دیگر نباید تولید متن را ادامه دهد.

در واقع، EOS بخشی از سازوکار تولید متن در مدل‌های زبانی است و به فرآیند تولید کمک می‌کند تا یک نقطه توقف داشته باشد.

مدل چگونه یاد می‌گیرد چه زمانی به پایان برسد؟

در زمان آموزش مدل، داده‌های متنی به شکل دنباله‌هایی از توکن‌ها در اختیار آن قرار می‌گیرند.

مدل در طول فرآیند آموزش یاد می‌گیرد که چگونه این دنباله‌ها را پردازش و ادامه دهد.

در این ساختار، توکن پایان نیز می‌تواند به‌عنوان بخشی از دنباله در نظر گرفته شود.

در نتیجه، مدل به‌مرور یاد می‌گیرد که در چه شرایطی احتمال پایان یک دنباله بیشتر است.

برای مثال، یک پاسخ ممکن است پس از ارائه توضیح موردنیاز به پایان برسد، در حالی که یک پاسخ دیگر به دلیل نیاز به توضیحات بیشتر، توکن‌های بیشتری تولید کند.

البته پایان پاسخ همیشه فقط به EOS وابسته نیست و سیستم‌های تولید متن می‌توانند محدودیت‌ها و شرایط توقف دیگری نیز داشته باشند.

آیا هر پاسخ ChatGPT با EOS تمام می‌شود؟

نه لزوماً به یک شکل واحد.

در یک سیستم تولید متن، توقف می‌تواند به دلایل مختلفی اتفاق بیفتد. برای مثال، ممکن است مدل به یک توکن پایان برسد یا تولید پاسخ به دلیل رسیدن به حداکثر تعداد توکن‌های مجاز متوقف شود.

بنابراین، توکن پایان یکی از سازوکارهای مهم برای مشخص کردن پایان دنباله است، اما تنها عامل تعیین‌کننده برای توقف تولید نیست.

این موضوع نشان می‌دهد که تولید پاسخ در مدل‌های زبانی فقط انتخاب توکن‌ها نیست؛ بلکه سیستم باید فرآیند تولید را مدیریت کند و در زمان مناسب آن را متوقف کند.

چرا توکن پایان مهم است؟

اگر سازوکاری برای مشخص کردن پایان پاسخ وجود نداشته باشد، مدل نمی‌داند چه زمانی باید تولید متن را متوقف کند.

در چنین شرایطی، فرآیند تولید می‌تواند بدون یک نقطه پایان مشخص ادامه پیدا کند.

توکن‌هایی مانند EOS کمک می‌کنند مدل و سیستم تولید بدانند که دنباله به پایان رسیده است.

به زبان ساده، می‌توان گفت:

EOS یکی از علامت‌هایی است که به سیستم می‌گوید: «تولید این دنباله به پایان رسیده است.»

جمع‌بندی

پس اگر بخواهیم به سؤال «توکن پایان چیست؟» پاسخ دهیم، می‌توان گفت:

توکن پایان یا EOS (End-of-Sequence) یک توکن ویژه است که می‌تواند پایان یک دنباله از توکن‌ها را مشخص کند.

مدل‌های زبانی پاسخ را توکن‌به‌توکن تولید می‌کنند و در طول این فرآیند، زمانی که شرایط پایان فراهم شود، تولید پاسخ می‌تواند متوقف شود.

بنابراین، پاسخ‌هایی که در ChatGPT مشاهده می‌کنیم، فقط با پیش‌بینی توکن‌های جدید ساخته نمی‌شوند؛ بلکه فرآیند تولید باید در نقطه‌ای مناسب نیز متوقف شود.

این سازوکار یکی از بخش‌های مهم درک نحوه تولید متن توسط مدل‌های هوش مصنوعی است.

درباره فیلاگر | جامعه هوش مصنوعی ایران