پشت پرده هوش مصنوعی | قسمت 19: مدل هوش مصنوعی چگونه احتمال هر توکن را محاسبه می‌کند؟

وقتی ChatGPT یک پاسخ تولید می‌کند، پشت هر کلمه‌ای که می‌بینیم یک فرآیند پیچیده ریاضی اتفاق می‌افتد.

مدل قبل از انتخاب هر توکن، گزینه‌های مختلف را بررسی می‌کند و تلاش می‌کند مناسب‌ترین ادامه برای متن را پیدا کند.

اما یک سؤال مهم وجود دارد:

مدل از کجا می‌فهمد کدام توکن احتمال بیشتری برای انتخاب شدن دارد؟

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» گفتیم که مدل‌های زبانی قبل از انتخاب توکن بعدی، گزینه‌های مختلف را بررسی می‌کنند و برای هرکدام میزان سازگاری با متن فعلی را محاسبه می‌کنند.

اما این امتیازها چگونه به احتمال تبدیل می‌شوند؟

در این قسمت با یکی از مراحل مهم تولید متن در مدل‌های زبانی آشنا می‌شویم: تبدیل امتیازهای مدل به احتمال انتخاب توکن.

مدل قبل از انتخاب توکن چه کاری انجام می‌دهد؟

فرض کنید یک مدل هوش مصنوعی بخواهد جمله زیر را ادامه دهد:

«امروز هوا بسیار …»

مدل با گزینه‌های مختلفی روبه‌رو می‌شود:

• خوب
• سرد
• گرم
• عالی
• نامناسب

اما مدل به‌صورت مستقیم نمی‌گوید کدام کلمه درست است.

ابتدا متن ورودی را پردازش می‌کند و برای تعداد بسیار زیادی از توکن‌های ممکن، یک مقدار عددی محاسبه می‌کند.

این مقادیر نشان می‌دهند هر توکن چقدر می‌تواند با متن قبلی هماهنگ باشد.

Logits چیست؟

به امتیازهای خامی که مدل برای توکن‌های مختلف تولید می‌کند، Logits گفته می‌شود.

Logits در واقع نشان‌دهنده میزان تمایل مدل به انتخاب هر گزینه هستند.

اما یک نکته مهم وجود دارد:

Logits هنوز احتمال واقعی نیستند.

یعنی اگر یک توکن Logit بالاتری داشته باشد، به این معنی نیست که مدل مستقیماً می‌گوید آن توکن مثلاً ۷۰ درصد احتمال انتخاب دارد.

این امتیازها باید ابتدا به یک شکل قابل فهم‌تر تبدیل شوند.

تبدیل Logits به احتمال با Softmax

برای تبدیل این امتیازهای خام به احتمال، مدل‌های هوش مصنوعی از روشی به نام Softmax استفاده می‌کنند.

Softmax کمک می‌کند امتیازهای مختلف به مقادیری تبدیل شوند که مجموع آن‌ها برابر با ۱ باشد و بتوان آن‌ها را به‌عنوان احتمال در نظر گرفت.

به این ترتیب، مدل می‌تواند ببیند هر توکن چه سهمی از احتمال انتخاب را دارد.

برای مثال، به‌صورت ساده ممکن است بعد از این فرآیند، مدل چنین احتمالاتی داشته باشد:

• «امروز» → ۵۰٪
• «فردا» → ۳۰٪
• «دیروز» → ۱۵٪
• سایر گزینه‌ها → ۵٪

این اعداد فقط یک مثال ساده هستند، اما مفهوم کلی فرآیند را نشان می‌دهند.

آیا مدل فقط یک توکن را بررسی می‌کند؟

خیر.

یکی از ویژگی‌های مهم مدل‌های زبانی بزرگ این است که برای هر مرحله، تعداد بسیار زیادی گزینه را بررسی می‌کنند.

مدل در هر لحظه یک سؤال ساده از خود نمی‌پرسد:

«کدام کلمه را انتخاب کنم؟»

بلکه مجموعه بزرگی از محاسبات انجام می‌دهد تا مشخص کند هر گزینه چقدر با متن موجود هماهنگ است.

به همین دلیل، حتی انتخاب یک کلمه ساده می‌تواند نتیجه میلیون‌ها محاسبه داخلی باشد.

آیا مدل از یک فهرست آماده کلمات استفاده می‌کند؟

خیر.

ممکن است تصور کنیم ChatGPT یک فرهنگ لغت بزرگ دارد و هنگام پاسخ دادن فقط یک کلمه را از آن انتخاب می‌کند.

اما مدل‌های زبانی این‌گونه کار نمی‌کنند.

آن‌ها بر اساس الگوهایی که در زمان آموزش یاد گرفته‌اند، وضعیت فعلی متن را بررسی می‌کنند و احتمال گزینه‌های مختلف را محاسبه می‌کنند.

بنابراین، هر توکن جدید نتیجه یک فرآیند پیش‌بینی است، نه پیدا کردن یک پاسخ ذخیره‌شده.

چرا احتمال‌ها اهمیت دارند؟

وجود احتمال‌های مختلف باعث می‌شود مدل بتواند پاسخ‌های متنوع تولید کند.

اگر مدل فقط یک مسیر قطعی داشت، همه پاسخ‌ها بسیار مشابه و قابل پیش‌بینی می‌شدند.

اما وجود چند گزینه احتمالی به مدل اجازه می‌دهد بسته به شرایط، پاسخ‌هایی متفاوت ایجاد کند.

البته نحوه انتخاب نهایی از بین این احتمال‌ها نیز اهمیت زیادی دارد؛ موضوعی که در قسمت بعدی بررسی خواهیم کرد.

جمع‌بندی

پس پاسخ سؤال «مدل چگونه احتمال هر توکن را محاسبه می‌کند؟» این است:

مدل ابتدا متن را پردازش می‌کند و برای توکن‌های مختلف امتیازهایی به نام Logits تولید می‌کند. سپس با استفاده از روش‌هایی مانند Softmax این امتیازها به احتمال تبدیل می‌شوند.

در نهایت، مدل بر اساس این احتمال‌ها تصمیم می‌گیرد کدام توکن به‌عنوان ادامه متن انتخاب شود.

بنابراین، ChatGPT کلمات را از یک لیست آماده پیدا نمی‌کند؛ بلکه در هر لحظه با محاسبات ریاضی، محتمل‌ترین ادامه متن را تولید می‌کند.

در قسمت بعدی مجموعه «پشت پرده هوش مصنوعی» بررسی می‌کنیم که اگر یک توکن احتمال بیشتری دارد، چرا گاهی مدل یک گزینه با احتمال کمتر را انتخاب می‌کند؟

درباره فیلاگر | جامعه هوش مصنوعی ایران

فیلاگر، جامعه هوش مصنوعی ایران، مرجعی برای آموزش، تحلیل و بررسی فناوری‌های نوین هوش مصنوعی است. در مجموعه «پشت پرده هوش مصنوعی» تلاش می‌کنیم مفاهیم پیچیده AI را با زبانی ساده برای علاقه‌مندان فارسی‌زبان توضیح دهیم.

پشت پرده هوش مصنوعی | قسمت ۱
پشت پرده هوش مصنوعی | قسمت ۲
پشت پرده هوش مصنوعی | قسمت ۳
پشت پرده هوش مصنوعی | قسمت ۴
پشت پرده هوش مصنوعی | قسمت ۵
پشت پرده هوش مصنوعی | قسمت ۶
پشت پرده هوش مصنوعی | قسمت ۷
پشت پرده هوش مصنوعی | قسمت ۸
پشت پرده هوش مصنوعی | قسمت ۹
پشت پرده هوش مصنوعی | قسمت ۱۰
پشت پرده هوش مصنوعی | قسمت ۱۱
پشت پرده هوش مصنوعی | قسمت ۱۲
پشت پرده هوش مصنوعی | قسمت ۱۳
پشت پرده هوش مصنوعی | قسمت ۱۴
پشت پرده هوش مصنوعی | قسمت ۱۵
پشت پرده هوش مصنوعی | قسمت ۱۶
پشت پرده هوش مصنوعی | قسمت ۱۷
پشت پرده هوش مصنوعی | قسمت ۱۸