پشت پرده هوش مصنوعی | قسمت 14: مدل هوش مصنوعی در زمان آموزش چه چیزی یاد می‌گیرد؟

وقتی درباره آموزش یک مدل هوش مصنوعی صحبت می‌کنیم، معمولاً یک تصویر ساده در ذهن شکل می‌گیرد؛ اینکه مدل مثل یک انسان کتاب‌ها، مقاله‌ها و متن‌های مختلف را می‌خواند و اطلاعات را در حافظه خود ذخیره می‌کند.

اما واقعیت بسیار متفاوت است.

یک مدل هوش مصنوعی مانند ChatGPT کتاب‌ها را مثل انسان مطالعه نمی‌کند، جمله‌ها را حفظ نمی‌کند و یک آرشیو از متن‌های آموزشی درون خود نگه نمی‌دارد.

پس سؤال اصلی اینجاست:

وقتی یک مدل هوش مصنوعی آموزش می‌بیند، دقیقاً چه چیزی یاد می‌گیرد؟

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» گفتیم که GPU فقط فرآیند محاسبات آموزش مدل را سریع‌تر می‌کند. اما خود آموزش چه تغییری در مدل ایجاد می‌کند؟

آیا هوش مصنوعی متن‌ها را حفظ می‌کند؟

یکی از رایج‌ترین تصورات اشتباه درباره مدل‌های هوش مصنوعی این است که فکر کنیم آن‌ها تمام کتاب‌ها، مقاله‌ها و متن‌هایی را که دیده‌اند، داخل خود ذخیره می‌کنند.

اما مدل‌های زبانی بزرگ به این شکل کار نمی‌کنند.

برای مثال، وقتی یک مدل با میلیون‌ها جمله آموزش می‌بیند، قرار نیست نسخه‌ای از تمام آن جمله‌ها را درون خود نگه دارد تا بعداً آن‌ها را پیدا کند.

در عوض، مدل تلاش می‌کند الگوهای موجود در داده‌ها را یاد بگیرد.

این الگوها شامل مواردی مانند:

• ارتباط بین کلمات
• ساختار جمله‌ها
• رابطه بین مفاهیم
• الگوهای زبانی
• روش‌های مختلف بیان اطلاعات

هستند.

فرآیند آموزش مدل چگونه انجام می‌شود؟

در ساده‌ترین حالت، آموزش یک مدل زبانی با یک هدف شروع می‌شود:

پیش‌بینی توکن بعدی.

مدل یک بخش از متن را دریافت می‌کند و تلاش می‌کند حدس بزند چه چیزی باید بعد از آن قرار بگیرد.

برای مثال، اگر مدل جمله‌ای مانند:

«تهران پایتخت کشور …»

را ببیند، تلاش می‌کند توکن بعدی را پیش‌بینی کند.

اگر پیش‌بینی اشتباه باشد، مدل متوجه می‌شود که تنظیمات داخلی آن نیاز به اصلاح دارد.

در این مرحله، مقدار بسیار کوچکی از پارامترهای مدل تغییر می‌کنند تا در آینده احتمال پیش‌بینی درست افزایش پیدا کند.

پارامترها چگونه تغییر می‌کنند؟

همان‌طور که در قسمت‌های قبل گفتیم، پارامترها مجموعه‌ای از اعداد هستند که ارتباطات مختلف در مدل را مشخص می‌کنند.

در طول آموزش:

1. مدل یک نمونه از داده را دریافت می‌کند.
2. یک پیش‌بینی انجام می‌دهد.
3. میزان خطا بررسی می‌شود.
4. پارامترها کمی تغییر می‌کنند.
5. این فرآیند دوباره تکرار می‌شود.

این چرخه ممکن است میلیون‌ها یا میلیاردها بار انجام شود.

نتیجه این تغییرات کوچک، مدلی است که به‌تدریج توانایی بیشتری در تشخیص الگوهای زبان پیدا می‌کند.

مدل دقیقاً چه چیزی را یاد می‌گیرد؟

مدل هوش مصنوعی در طول آموزش، اطلاعات را مانند یک فایل ذخیره نمی‌کند.

بلکه یاد می‌گیرد که:

• چه کلماتی معمولاً کنار هم قرار می‌گیرند.
• چه مفاهیمی به یکدیگر مرتبط هستند.
• چگونه یک جمله ساخته می‌شود.
• چگونه پاسخ‌های مختلف بر اساس یک سؤال شکل می‌گیرند.

به همین دلیل، می‌توان گفت مدل ساختار و الگوهای داده‌ها را یاد می‌گیرد، نه خود داده‌ها را به شکل مستقیم.

چرا این نوع یادگیری مهم است؟

اگر مدل فقط متن‌های آموزشی را حفظ می‌کرد، نمی‌توانست پاسخ‌های جدید تولید کند.

اما چون الگوها را یاد گرفته است، می‌تواند در موقعیت‌هایی که قبلاً دقیقاً ندیده، پاسخ‌هایی جدید ایجاد کند.

برای مثال، یک مدل می‌تواند درباره موضوعی ترکیبی پاسخ تولید کند؛ حتی اگر همان جمله دقیقاً در داده‌های آموزشی وجود نداشته باشد.

این توانایی از یادگیری روابط و الگوهای موجود در داده‌ها به وجود می‌آید.

آیا مدل بعد از آموزش همچنان یاد می‌گیرد؟

خیر.

پس از پایان مرحله آموزش، پارامترهای اصلی مدل ثابت می‌شوند.

زمانی که شما با ChatGPT گفتگو می‌کنید، مدل در همان لحظه پارامترهای خود را تغییر نمی‌دهد.

پاسخ‌ها بر اساس دانشی تولید می‌شوند که مدل در مرحله آموزش به دست آورده است.

البته برخی سیستم‌ها می‌توانند با روش‌های مختلف مانند به‌روزرسانی مدل یا آموزش تکمیلی تغییر کنند، اما این فرآیند جدا از مکالمه روزمره با کاربر است.

جمع‌بندی

پس پاسخ سؤال «مدل هوش مصنوعی در زمان آموزش چه چیزی یاد می‌گیرد؟» این است:

مدل هوش مصنوعی جمله‌ها و کتاب‌ها را مانند انسان حفظ نمی‌کند؛ بلکه با مشاهده حجم بزرگی از داده‌ها، الگوهای موجود در زبان و ارتباط بین مفاهیم را در قالب تغییر پارامترهای خود یاد می‌گیرد.

آموزش یک مدل در واقع فرآیند تنظیم میلیاردها پارامتر است تا مدل بتواند پیش‌بینی‌های دقیق‌تری انجام دهد و پاسخ‌های مرتبط‌تری تولید کند.

در قسمت بعدی مجموعه «پشت پرده هوش مصنوعی» بررسی می‌کنیم که اگر مدل فقط الگوها را یاد گرفته است، پس چگونه می‌تواند جمله‌ها و پاسخ‌های کاملاً جدید تولید کند؟

نظر شما چیست؟
به نظر شما یادگیری الگوها می‌تواند باعث ایجاد رفتارهایی شبیه خلاقیت شود؟

درباره فیلاگر | جامعه هوش مصنوعی ایران

فیلاگر، جامعه هوش مصنوعی ایران، مرجعی برای آموزش، تحلیل و بررسی فناوری‌های نوین هوش مصنوعی است. در مجموعه «پشت پرده هوش مصنوعی» تلاش می‌کنیم مفاهیم پیچیده AI را با زبانی ساده برای علاقه‌مندان فارسی‌زبان توضیح دهیم.

پشت پرده هوش مصنوعی | قسمت ۱
پشت پرده هوش مصنوعی | قسمت ۲
پشت پرده هوش مصنوعی | قسمت ۳
پشت پرده هوش مصنوعی | قسمت ۴
پشت پرده هوش مصنوعی | قسمت ۵
پشت پرده هوش مصنوعی | قسمت ۶
پشت پرده هوش مصنوعی | قسمت ۷
پشت پرده هوش مصنوعی | قسمت ۸
پشت پرده هوش مصنوعی | قسمت ۹
پشت پرده هوش مصنوعی | قسمت ۱۰
پشت پرده هوش مصنوعی | قسمت ۱۱
پشت پرده هوش مصنوعی | قسمت ۱۲
پشت پرده هوش مصنوعی | قسمت ۱۳