از هوش مصنوعی می‌خواهید منبعی برای یک ادعای علمی معرفی کند. در چند ثانیه، نام کتاب، نام نویسنده، سال چاپ و حتی شماره صفحه را با لحنی محکم تحویل می‌گیرید. همه‌چیز موجه به نظر می‌رسد، تا وقتی که عنوان را در گوگل جست‌وجو می‌کنید و می‌بینید چنین کتابی اساساً در تاریخ نوشته نشده است.
به این پدیده توهم هوش مصنوعی یا Hallucination می‌گویند. مدل به شما دروغ نمی‌گوید؛ چون دروغ گفتن نیازمند آگاهی، قصد قبلی و شناخت حقیقت است. مدل اصلاً نمی‌داند «حقیقت» چیست.
در ادامه می‌بینیم پشت این اعتمادبه‌نفس کاذب چه سازوکاری پنهان شده، چرا این خطای شناختی در زبان فارسی فراوان‌تر است و چطور با پنج تغییر در پرامپت، جلوی خیال‌پردازی چت‌بات‌ها را بگیریم.
توهم هوش مصنوعی دقیقاً چیست؟
توهم زمانی رخ میدهد که مدل زبانی بزرگ (LLM)، اطلاعاتی غیرواقعی یا غیرمستند را تولید کرده و آن را در قالب یک پاسخ قطعی ارائه میدهد.
برای درک دلیل این اتفاق، باید یک واقعیت فنی را شفاف کنیم: هوش مصنوعی جست‌وجوگر گوگل یا دایره‌المعارف نیست. مدل هیچ انبار ذخیره‌شده‌ای از فکت‌ها ندارد که هنگام سؤال شما به قفسه مربوطه برود و پوشه جواب را بیرون بکشد.
مدل زبانی یک ماشین محاسباتی است که بر پایه احتمال کار میکند. کار مدل این است: با دیدن کلمات قبلی، محتملترین کلمه بعدی را حدس بزند. درست مثل کیبورد گوشی همراه که بعد از تایپ کلمه «سلام»، کلمه «خوبی» یا «عزیزم» را پیشنهاد میدهد؛ با این تفاوت که مدلهای پیشرفته این حدس را روی بستری از صدها میلیارد پارامتر انجام می‌دهند.
وقتی کلمات با چیدمانی شیک و گرامر درست کنار هم قرار می‌گیرند، ذهن ما آن را دانایی برداشت میکند؛ در حالی که مدل فقط ساختار آماری زبان را تکرار کرده است.
چرا مدل با اعتمادبه‌نفس کامل اشتباه میکند؟
بزرگ‌ترین دردسر توهم این نیست که مدل اشتباه میکند؛ این است که با لحنی به شدت قاطع اشتباه میکند. دو دلیل اصلی پشت این رفتار است:
۱. برابری ریاضی میان فکت و خیال
از نگاه یک مدل آماری، این دو جمله هیچ تفاوت کیفی ندارند:
- «سعدی شاعر قرن هفتم هجری است.»
- «سعدی کتابی درباره اقتصاد بازار نوشته است.»
مدل برای هر دو جمله کلمات را یکی پس از دیگری با فرمول احتمال انتخاب میکند. اگر پرامپت شما جوری تنظیم شده باشد که فضای بحث به سمت اقتصاد و آثار تاریخی برود، ممکن است احتمال کلمه «اقتصاد» کنار نام سعدی بالا بیاید. مدل هیچ وجدان یا فیلتر راستیآزمایی درونی ندارد که زنگ خطر را به صدا درآورد.
۲. پدیده خوش‌خدمتی (Sycophancy)
مدلها طوری آموزش دیده‌اند که دستیاری مفید و پاسخ‌گو باشند. در فرایند آموزش تقویتی با بازخورد انسانی (RLHF)، پاسخ ندادن یا سکوت معمولاً امتیاز منفی گرفته است.
به همین دلیل مدل تمایل عجیبی به تایید فرضیات شما دارد. اگر بپرسید: «چرا ناپلئون بناپارت در جنگ جهانی اول شکست خورد؟»، مدلهای ضعیف‌تر حتی اشتباه تاریخی شما را تصحیح نمی‌کنند؛ بلکه شروع به توجیه شکست ناپلئون در جنگ جهانی اول می‌کنند! مدل فرض غلط کاربر را مبنا قرار میدهد و روی همان فرض توهم می‌سازد.
چرا توهم در زبان فارسی بیشتر است؟
کاربران فارسی‌زبان معمولاً توهمات عجیب‌تری نسبت به کاربران انگلیسی‌زبان تجربه می‌کنند. دلیل این موضوع ضعف زبان فارسی نیست، بلکه نابرابری در دادههای آموزشی است:
- حجم کمتر دادههای وب: بیشتر مدلهای زبانی غول‌پیکر با دادههای وب آموزش دیده‌اند که سهم زبان فارسی در آنها معمولاً زیر ۲ درصد است.
- توزیع احتمالات مسطح: وقتی مدل اطلاعات کمی درباره یک واقعه تاریخی، قانون حقوقی یا مقاله دانشگاهی ایرانی داشته باشد، توزیع احتمال میان کلمات نزدیک به هم میشود. وقتی احتمال‌ها نزدیک باشد، احتمال سر خوردن مدل به سمت واژه‌های اشتباه چند برابر خواهد شد.
- ترجمه پنهان در مفاهیم بومی: بسیاری از مدلها ابتدا درک مفهومی را در فضای برداری انگلیسی شکل می‌دهند و سپس به فارسی تبدیل می‌کنند. در این رفت‌وبرگشت، مفاهیم بومی (مثل قوانین چک، ساختار دیوان عدالت اداری یا اصطلاحات پزشکی داخلی) به شدت مستعد تخیل مدل می‌شوند.
یک آزمایش عملی؛ توهم در عمل چگونه مهار میشود؟
برای اینکه ببینیم پرامپت چطور جلوی توهم را می‌گیرد، آزمایشی روی یک درخواست پرخطر انجام دادیم: معرفی مقاله‌ای که وجود خارجی ندارد.
سناریو اول: پرامپت خام و بدون مهار
پرامپت: «سه مقاله علمی معتبر درباره تأثیر اقلیم کویری بر راندمان ترانزیستورهای گالیوم نیترید در ایران همراه با نام نویسنده و لینک DOI معرفی کن.»
نتیجه مدل: مدل بدون درنگ سه مقاله با اسامی اساتید واقعی دانشگاه‌های صنعتی شریف و تهران تولید کرد، عناوینی کاملاً تخصصی و علمی ساخت و سه لینک DOI گذاشت. اما در راستیآزمایی مشخص شد هیچ‌کدام از آن سه مقاله هرگز منتشر نشده‌اند و شناسه‌های DOI متعلق به مقالات شیمی و کشاورزی در کشورهای دیگر بودند.
سناریو دوم: پرامپت مهارشده با مرزبندی صریح
همان درخواست را با اعمال قوانین راهنمای کامل پرامپت‌نویسی فارسی بازنویسی کردیم:
نقش: پژوهشگر سخت‌گیر در حوزه مهندسی برق.
موضوع: مقالات معتبر درباره راندمان ترانزیستورهای گالیوم نیترید در شرایط اقلیمی ایران.
دستورالعمل:
۱. فقط در صورتی مقاله معرفی کن که نام نویسنده، ژورنال و شناسه DOI دقیقاً در پایگاههای نمایه شده ثبت شده باشد.
۲. اگر مقاله با شرایط خواسته شده پیدا نکردی، حدس نزن و منبع فرضی نساز.
۳. در صورت نبود منبع دقیق، با صراحت بنویس «منبع معتبری برای این مورد در دسترس نیست» و دو کلیدواژه انگلیسی برای جست‌وجو در Google Scholar پیشنهاد بده.نتیجه مدل: این بار مدل هیچ مقاله ساختگی تحویل نداد. پاسخ کوتاه بود: «برای اثر مستقیم اقلیم ایران بر این ترانزیستورها مقاله مشخصی یافت نشد؛ پیشنهاد میشود این موضوع را با کلیدواژه‌های Gallium Nitride reliability و High-temperature semiconductor performance در پایگاههای علمی جست‌وجو کنید.»
تفاوت میان دو پاسخ، نه هوش مدل، بلکه دیواری بود که در پرامپت دور مدل کشیدیم.
پنج روش کاربردی برای به حداقل رساندن توهم
اگر از هوش مصنوعی برای کارهای مهم، تحقیق درسی یا تصمیم‌گیری کاری استفاده می‌کنید، این ۵ تکنیک احتمال خطا را به حداقل می‌رساند:
۱. تزریق متن زمینه (Grounding Context)
بزرگ‌ترین اشتباه این است که انتظار داشته باشید مدل اطلاعات به‌روز یا اسناد حقوقی و کاری شما را از غیب بداند. متن، بخشنامه، فایل یا دادههای مورد نیاز را داخل پرامپت قرار دهید و بنویسید:
«پاسخ را فقط و فقط بر اساس متن بالا استخراج کن. هر پاسخی بیرون از این متن نامعتبر است.»
وقتی مدل را به یک متن مشخص محدود می‌کنید، به جای تولید محتوا وارد فاز خواندن و استخراج (Extraction) میشود و خطایش افت شدیدی پیدا میکند.
۲. دادن مجوز رسمی برای گفتن «نمیدانم»
مدلها را به سکوت عادت بدهید. در انتهای پرامپت همیشه این بند ایمنی را اضافه کنید:
«اگر برای هر بخش از پاسخ داده‌ی قطعی نداری یا شک داری، بنویس نمیدانم و به هیچ وجه حدس نزن.»
همین یک جمله کوتاه، فشار پیش‌فرض مدل برای راضی نگه داشتن شما با حدس‌های بی‌اساس را خنثی میکند.
۳. کارها را تکه‌تکه کنید (پرامپت زنجیره‌ای)
درخواست‌های طولانی و پیچیده مدل را گیج می‌کنند. وقتی هم‌زمان می‌خواهید مدل تحقیق کند، استدلال کند، متن را بنویسد و نتیجه بگیرد، احتمال توهم بالا می‌رود.
همان‌طور که در مقاله پرامپت زنجیره‌ای نشان دادیم، ابتدا از مدل بخواهید فکت‌ها را استخراج کند، پس از بررسی شما، در گام بعد ساختار متن را بچیند و در گام سوم بنویسد. کنترل هر مرحله، اجازه نمی‌دهد خطای گام اول به تمام خروجی سرایت کند.
۴. الزام مدل به آوردن نقل‌قول مستقیم
قبل از اینکه از مدل تحلیل یا نتیجه‌گیری بخواهید، الزام کنید ابتدا جمله مربوطه را عیناً نقل‌قول کند:
«قبل از پاسخ به هر سؤال، جمله‌ای از متن که پاسخ از آن استخراج شده را داخل گیومه بیاور و سپس استدلالت را بنویس.»
اگر مدل نتواند جمله‌ای را پیدا کند، امکان سرهم‌بندی یک پاسخ تخیلی را از دست میدهد.
۵. راستیآزمایی مستقل برای منابع و اعداد
اگر مشغول پژوهش دانشگاهی هستید، حتماً قواعد مقاله هوش مصنوعی برای تحقیق و پایان‌نامه را رعایت کنید: هیچ ارجاع، عدد آماری یا استناد تاریخی از هوش مصنوعی را بدون چک کردن در یک پایگاه معتبر (مثل Google Scholar یا مرجع رسمی) کپی نکنید. هوش مصنوعی دستیار اولیه شماست، نه مرجع استناد علمی.
توهم در ایجنت‌های هوش مصنوعی؛ وقتی خطر دوبرابر میشود
در یک چت ساده، توهم فقط یک پاسخ نامربوط است که می‌توان آن را نادیده گرفت. اما در نسل جدید ابزارها، مدلها دیگر چت‌بات ساده نیستند؛ آنها تبدیل به ایجنت‌های خودکار شده‌اند که دسترسی به مرورگر، فایل‌های کامپیوتر و ابزارهای مالی دارند.
همان‌طور که در راهنمای ایجنت هوش مصنوعی چیست و گزارش تحلیلی کاهش سرعت توسعه هوش مصنوعی اشاره کردیم، توهم در یک سیستم خودکار می‌تواند فاجعه‌بار باشد. اگر مدلی که دسترسی به ایمیل دارد یا مسئول رزرو بلیت است دچار توهم شود، ممکن است داده حساسی را پاک کند یا تراکنشی ناخواسته انجام دهد. به همین دلیل است که شرکت‌های بزرگ پیش از رهاسازی کامل ایجنت‌ها، بر مرزبندی‌های سفت‌وسخت پافشاری می‌کنند.
آیا توهم هوش مصنوعی روزی به صفر می‌رسد؟
پاسخ کوتاه متخصصان برجسته هوش مصنوعی: خیر.
تا زمانی که موتور پردازش این سیستم‌ها بر مبنای احتمالات آماری (Probabilistic Transformers) کار میکند، همیشه درصدی هرچند بسیار ناچیز از خطا وجود خواهد داشت. معماری مدلهای فعلی برای کشف کلمه بعدی طراحی شده، نه برای درک هستی‌شناسانه جهان.
البته روشهایی مانند RAG (تولید مبتنی بر بازیابی اطلاعات از دیتابیس خارجی) و مدلهای استدلال‌گر پیشرفته خطای فکت را به شدت پایین آورده‌اند؛ اما خط پایان، حذف کامل خطای انسانی و ماشینی نیست؛ مدیریت هوشمندانه آن است.
جمع‌بندی
هوش مصنوعی مثل یک همکار نابغه، بسیار سریع و خلاق است که حافظه تاریخی ضعیفی دارد و گاهی خواب‌هایش را به جای واقعیت تعریف میکند!
کلید بهره‌وری در این است که از نقاط قوتش (ایده‌پردازی، بازنویسی، ساختاردهی و کدنویسی) بیشترین استفاده را ببرید و در نقاط ضعفش (راستیآزمایی دادههای حساس و ارجاعات علمی) نقش ناظر و ویراستار نهایی را خودتان به عهده بگیرید.
اگر می‌خواهید این تکنیک‌ها را روی یک گفتگوی روان، فارسی‌محور و بدون تحریم امتحان کنید، همین حالا در chat.hooshzy.ir دست‌به‌کار شوید و تفاوت پرامپت‌های مهارشده را بسنجید.
