پشت پرده هوش مصنوعی | قسمت 11: Attention در هوش مصنوعی چگونه کار می‌کند؟

وقتی با مدل‌هایی مثل ChatGPT صحبت می‌کنیم، یکی از ویژگی‌هایی که باعث می‌شود پاسخ‌ها مرتبط و طبیعی به نظر برسند، توانایی مدل در تشخیص بخش‌های مهم یک متن است.

اما یک سؤال مهم وجود دارد:

Attention در هوش مصنوعی چگونه کار می‌کند و چطور به مدل کمک می‌کند روی اطلاعات مهم تمرکز کند؟

در قسمت قبل از مجموعه «پشت پرده هوش مصنوعی» گفتیم که مدل‌های زبانی بزرگ فقط به اندازه Context Window اهمیت نمی‌دهند؛ بلکه باید بتوانند از میان حجم زیادی از اطلاعات، بخش‌های مرتبط را پیدا کنند.

این قابلیت با مکانیزمی به نام Attention (توجه) امکان‌پذیر می‌شود.

Attention در هوش مصنوعی چیست؟

در زبان انسان، وقتی یک جمله را می‌خوانیم، همه کلمات اهمیت یکسانی ندارند.

برای مثال، اگر کسی بگوید:

«من دیروز کتابی درباره هوش مصنوعی خواندم و نویسنده آن تجربه زیادی در این حوزه داشت.»

اگر سؤال این باشد که «موضوع کتاب چه بود؟»، مغز ما بیشتر روی عبارت «هوش مصنوعی» تمرکز می‌کند، نه روی تمام کلمات جمله.

مدل‌های هوش مصنوعی نیز برای پردازش متن نیاز دارند چنین ارتباط‌هایی را پیدا کنند.

مکانیزم Attention به مدل کمک می‌کند مشخص کند کدام بخش‌های متن برای تولید پاسخ اهمیت بیشتری دارند.

Attention چگونه کار می‌کند؟

وقتی شما یک سؤال از ChatGPT می‌پرسید، متن ورودی ابتدا به بخش‌های کوچک‌تری به نام توکن (Token) تقسیم می‌شود.

سپس مدل بررسی می‌کند که هر توکن چه ارتباطی با سایر بخش‌های متن و سؤال فعلی دارد.

به زبان ساده، مدل برای هر بخش از متن یک میزان اهمیت در نظر می‌گیرد.

توکن‌هایی که ارتباط بیشتری با موضوع سؤال دارند، وزن بیشتری دریافت می‌کنند و تأثیر بیشتری روی پاسخ نهایی خواهند داشت.

در مقابل، بخش‌هایی که ارتباط کمتری دارند، وزن پایین‌تری خواهند داشت.

چرا وزن‌دهی به توکن‌ها مهم است؟

فرض کنید یک گفت‌وگوی بسیار طولانی درباره یک پروژه دارید.

در ابتدای گفتگو اطلاعات زیادی درباره هدف پروژه، نیازها و محدودیت‌ها گفته شده است. چندین پیام بعد، شما یک سؤال جدید می‌پرسید.

مدل باید بتواند از میان هزاران توکن موجود، اطلاعاتی را پیدا کند که برای پاسخ فعلی مهم‌تر هستند.

اگر همه کلمات ارزش یکسانی داشتند، پردازش متن‌های طولانی بسیار دشوار می‌شد.

Attention باعث می‌شود مدل بتواند ارتباط‌ها را بهتر پیدا کند و روی اطلاعات مرتبط‌تر تمرکز داشته باشد.

آیا Attention یعنی مدل اطلاعات را حفظ می‌کند؟

خیر.

یکی از برداشت‌های اشتباه درباره Attention این است که تصور کنیم این مکانیزم باعث ذخیره کردن یا به خاطر سپردن اطلاعات می‌شود.

اما Attention چنین کاری انجام نمی‌دهد.

این مکانیزم فقط مشخص می‌کند که هنگام تولید پاسخ، کدام بخش‌های متن باید اهمیت بیشتری داشته باشند.

به عبارت دیگر، Attention مانند یک سیستم اولویت‌بندی عمل می‌کند، نه مانند حافظه.

مدل همچنان بر اساس پارامترهای آموزش‌دیده و اطلاعات موجود در Context پاسخ تولید می‌کند.

نقش Attention در ChatGPT چیست؟

مدل‌های زبانی بزرگ با حجم عظیمی از متن کار می‌کنند. بدون مکانیزمی برای تشخیص ارتباط بین کلمات، تولید پاسخ‌های دقیق و طبیعی بسیار دشوار خواهد بود.

Attention به مدل کمک می‌کند:

• ارتباط بین کلمات را بهتر تشخیص دهد.
• معنی جمله‌ها را در کنار هم بررسی کند.
• اطلاعات مرتبط را از میان متن پیدا کند.
• پاسخ‌هایی هماهنگ‌تر با سؤال کاربر تولید کند.

به همین دلیل، Attention یکی از مهم‌ترین ایده‌هایی است که باعث پیشرفت مدل‌های زبانی مدرن شده است.

آیا Attention محدودیت هم دارد؟

بله.

اگرچه Attention قدرت زیادی به مدل‌های هوش مصنوعی داده، اما پردازش حجم بسیار زیادی از توکن‌ها به منابع محاسباتی زیادی نیاز دارد.

هرچه متن طولانی‌تر باشد و مدل بزرگ‌تر باشد، محاسبات بیشتری لازم است.

به همین دلیل، اجرای مدل‌های بزرگ هوش مصنوعی به سخت‌افزارهای قدرتمند و زیرساخت‌های پیشرفته نیاز دارد.

جمع‌بندی

پس پاسخ سؤال «Attention در هوش مصنوعی چگونه کار می‌کند؟» این است:

Attention مکانیزمی است که به مدل کمک می‌کند میزان ارتباط بین بخش‌های مختلف متن را بررسی کند و هنگام تولید پاسخ، روی اطلاعات مهم‌تر تمرکز داشته باشد.

این قابلیت باعث می‌شود مدل‌های زبانی مانند ChatGPT بتوانند ارتباط بین کلمات، جمله‌ها و مفاهیم را بهتر درک کنند.

اما Attention به معنی حافظه یا ذخیره اطلاعات نیست؛ بلکه فقط یک روش هوشمند برای اولویت‌بندی اطلاعات هنگام پردازش متن است.

در قسمت بعدی مجموعه «پشت پرده هوش مصنوعی» بررسی می‌کنیم که چرا مدل‌های بزرگ هوش مصنوعی برای اجرا به سخت‌افزارهای قدرتمند نیاز دارند و چه چیزی باعث سنگینی پردازش آن‌ها می‌شود.

نظر شما چیست؟
به نظر شما آیا توانایی تمرکز روی اطلاعات مهم، شبیه کاری است که مغز انسان هنگام خواندن یک متن انجام می‌دهد؟

درباره فیلاگر | جامعه هوش مصنوعی ایران

فیلاگر، جامعه هوش مصنوعی ایران، مرجعی برای آموزش، تحلیل و بررسی فناوری‌های نوین هوش مصنوعی است. در مجموعه «پشت پرده هوش مصنوعی» تلاش می‌کنیم مفاهیم پیچیده AI را با زبانی ساده برای علاقه‌مندان فارسی‌زبان توضیح دهیم.

پشت پرده هوش مصنوعی | قسمت ۱
پشت پرده هوش مصنوعی | قسمت ۲
پشت پرده هوش مصنوعی | قسمت ۳
پشت پرده هوش مصنوعی | قسمت ۴
پشت پرده هوش مصنوعی | قسمت ۵
پشت پرده هوش مصنوعی | قسمت ۶
پشت پرده هوش مصنوعی | قسمت ۷
پشت پرده هوش مصنوعی | قسمت ۸
پشت پرده هوش مصنوعی | قسمت ۹
پشت پرده هوش مصنوعی | قسمت ۱۰