پشت پرده هوش مصنوعی | قسمت 20: چرا ChatGPT همیشه محتمل‌ترین توکن را انتخاب نمی‌کند؟

وقتی ChatGPT یک پاسخ تولید می‌کند، شاید تصور کنیم مدل همیشه ساده‌ترین کار را انجام می‌دهد: یعنی کلمه‌ای که بیشترین احتمال را دارد انتخاب می‌کند.

اما اگر این‌طور بود، پاسخ‌های مدل خیلی سریع تکراری و قابل پیش‌بینی می‌شدند.

پس یک سؤال مهم مطرح می‌شود:

اگر یک توکن بیشترین احتمال را دارد، چرا مدل همیشه همان گزینه را انتخاب نمی‌کند؟

در قسمت‌های قبل از مجموعه «پشت پرده هوش مصنوعی» گفتیم که مدل‌های زبانی برای تولید متن، ابتدا احتمال گزینه‌های مختلف را محاسبه می‌کنند. سپس بر اساس این احتمال‌ها، توکن بعدی را انتخاب می‌کنند.

اما مرحله انتخاب همیشه به معنی برداشتن گزینه‌ای با بیشترین احتمال نیست.

 در این قسمت با مفهوم Sampling در هوش مصنوعی آشنا می‌شویم؛ روشی که باعث می‌شود مدل‌ها بتوانند پاسخ‌های متنوع‌تر و طبیعی‌تری تولید کنند.

اگر همیشه بیشترین احتمال انتخاب شود چه اتفاقی می‌افتد؟

فرض کنید مدل برای ادامه یک جمله چنین احتمال‌هایی داشته باشد:

• گزینه A → ۷۰٪
• گزینه B → ۲۰٪
• گزینه C → ۱۰٪

اگر مدل همیشه گزینه A را انتخاب کند، تقریباً در هر شرایطی یک مسیر ثابت را دنبال خواهد کرد.

این روش باعث می‌شود پاسخ‌ها:

• قابل پیش‌بینی‌تر شوند.
• تنوع کمتری داشته باشند.
• گاهی حالت ماشینی و تکراری پیدا کنند.

برای بعضی کاربردها مانند تولید متن‌های دقیق یا پاسخ‌های رسمی، این رفتار می‌تواند مفید باشد؛ اما برای بسیاری از کاربردهای خلاقانه مناسب نیست.

Sampling در هوش مصنوعی چیست؟

Sampling روشی است که در آن مدل به جای انتخاب قطعی محتمل‌ترین گزینه، از بین گزینه‌های مختلف بر اساس احتمال آن‌ها انتخاب می‌کند.

یعنی گزینه‌ای که احتمال بیشتری دارد، شانس بیشتری برای انتخاب شدن دارد؛ اما گزینه‌های دیگر کاملاً حذف نمی‌شوند.

در مثال بالا:

• گزینه A احتمال بیشتری دارد.
• گزینه B احتمال کمتری دارد.
• گزینه C احتمال بسیار کمتری دارد.

اما هر سه گزینه ممکن است در شرایط مناسب انتخاب شوند.

به همین دلیل، اگر یک سؤال مشابه را چند بار از ChatGPT بپرسید، ممکن است پاسخ‌ها از نظر جمله‌بندی یا مثال‌ها کمی متفاوت باشند.

آیا انتخاب تصادفی است؟

خیر.

یکی از برداشت‌های اشتباه درباره مدل‌های زبانی این است که تصور کنیم آن‌ها کاملاً تصادفی پاسخ می‌دهند.

اما فرآیند تولید متن کاملاً تصادفی نیست.

مدل ابتدا با استفاده از شبکه عصبی خود، احتمال گزینه‌های مختلف را محاسبه می‌کند. سپس انتخاب از بین این گزینه‌ها با توجه به همان احتمال‌ها انجام می‌شود.

بنابراین، پاسخ نهایی نتیجه ترکیب دو عامل است:

• محاسبات احتمالی مدل
• روش انتخاب از بین گزینه‌های موجود

چرا تنوع پاسخ‌ها اهمیت دارد؟

فرض کنید از یک مدل هوش مصنوعی برای نوشتن داستان، تولید ایده یا طراحی یک کمپین تبلیغاتی استفاده می‌کنید.

اگر مدل همیشه فقط محتمل‌ترین گزینه را انتخاب کند، ممکن است پاسخ‌ها بیش از حد مشابه و قابل پیش‌بینی شوند.

اما وجود تنوع در انتخاب باعث می‌شود مدل بتواند:

• ایده‌های متفاوت‌تری ارائه دهد.
• ترکیب‌های جدیدی از مفاهیم بسازد.
• پاسخ‌هایی طبیعی‌تر تولید کند.

البته این تنوع باید کنترل شود؛ زیرا انتخاب بیش از حد آزاد می‌تواند باعث کاهش دقت پاسخ‌ها شود.

ارتباط Sampling با تنظیمات مدل

در مدل‌های هوش مصنوعی، روش‌های مختلفی برای کنترل میزان تنوع پاسخ وجود دارد.

یکی از این تنظیمات همان Temperature است که در قسمت قبل بررسی کردیم.

Temperature روی نحوه توزیع احتمال‌ها و میزان آزادی مدل در انتخاب گزینه‌های مختلف تأثیر می‌گذارد.

به همین دلیل، تغییر این تنظیم می‌تواند باعث شود پاسخ‌ها:

• دقیق‌تر و قابل پیش‌بینی‌تر شوند.
• یا متنوع‌تر و خلاقانه‌تر باشند.

جمع‌بندی

مدل‌های هوش مصنوعی همیشه ساده‌ترین مسیر را انتخاب نمی‌کنند.

آن‌ها ابتدا احتمال توکن‌های مختلف را محاسبه می‌کنند و سپس با استفاده از روش‌هایی مانند Sampling، یکی از گزینه‌های موجود را انتخاب می‌کنند.

این فرآیند باعث می‌شود پاسخ‌های مدل نه کاملاً ثابت باشند و نه کاملاً تصادفی.

به زبان ساده:

هوش مصنوعی بین احتمال و تنوع تعادل ایجاد می‌کند تا پاسخ‌هایی طبیعی‌تر تولید کند.

در قسمت بعدی مجموعه «پشت پرده هوش مصنوعی» بررسی می‌کنیم که چه تنظیماتی تعیین می‌کنند مدل چقدر خلاق یا محافظه‌کار پاسخ بدهد.

درباره فیلاگر | جامعه هوش مصنوعی ایران

فیلاگر، جامعه هوش مصنوعی ایران، مرجعی برای آموزش، تحلیل و بررسی فناوری‌های نوین هوش مصنوعی است. در مجموعه «پشت پرده هوش مصنوعی» تلاش می‌کنیم مفاهیم پیچیده AI را با زبانی ساده برای علاقه‌مندان فارسی‌زبان توضیح دهیم.

پشت پرده هوش مصنوعی | قسمت ۱
پشت پرده هوش مصنوعی | قسمت ۲
پشت پرده هوش مصنوعی | قسمت ۳
پشت پرده هوش مصنوعی | قسمت ۴
پشت پرده هوش مصنوعی | قسمت ۵
پشت پرده هوش مصنوعی | قسمت ۶
پشت پرده هوش مصنوعی | قسمت ۷
پشت پرده هوش مصنوعی | قسمت ۸
پشت پرده هوش مصنوعی | قسمت ۹
پشت پرده هوش مصنوعی | قسمت ۱۰
پشت پرده هوش مصنوعی | قسمت ۱۱
پشت پرده هوش مصنوعی | قسمت ۱۲
پشت پرده هوش مصنوعی | قسمت ۱۳
پشت پرده هوش مصنوعی | قسمت ۱۴
پشت پرده هوش مصنوعی | قسمت ۱۵
پشت پرده هوش مصنوعی | قسمت ۱۶
پشت پرده هوش مصنوعی | قسمت ۱۷
پشت پرده هوش مصنوعی | قسمت ۱۸
پشت پرده هوش مصنوعی | قسمت ۱۹