«پرامپت را انگلیسی بنویس، جواب بهتری میگیری.» اگر چند ماه است سراغ هوش مصنوعی رفتهاید، این جمله را دهها بار شنیدهاید؛ در گروههای تلگرامی، زیر ویدیوهای آموزشی، هر جا کسی ابزار جدیدی معرفی میکند.
نکته این است که تقریباً هیچکس آن را امتحان نکرده است. جملهای است که آنقدر تکرار شده که کمتر کسی سراغ منبعش میرود. ما تصمیم گرفتیم به جای حدس زدن، برایش عدد دربیاوریم.
در راهنمای پرامپتنویسی فارسی گفتیم ساختار پرامپت مهمتر از این است که آن را فارسی بنویسید یا انگلیسی. این مقاله همان حرف را روی دوازده اجرای واقعی میسنجد.
آزمایش چطور طراحی شد
شش کار روزمره انتخاب کردیم: خلاصهسازی، نوشتن متن اداری، ایدهپردازی، استخراج اطلاعات از یک پیام شلوغ، بازنویسی لحن، و یک مسئلهی محاسباتی. هر کار دو بار اجرا شد: یک بار با دستور فارسی، یک بار با دستور انگلیسی. در مجموع دوازده اجرا.
سه تصمیم باعث شد این آزمایش قابل اعتمادتر باشد:
- معیار را قبل از دیدن خروجیها نوشتیم. هر خروجی روی سه معیار از صفر تا دو نمره گرفت: درستی محتوا، رعایت دقیق دستور، و طبیعی بودن فارسی. سقف هر اجرا شش امتیاز. اگر معیار را بعد از دیدن نتیجه بنویسید، دیگر آزمایش نیست؛ توجیه است.
- متن خام همیشه فارسی ماند، فقط زبان دستور عوض شد. این همان وضعیت واقعی ماست: جزوه و پیام و قرارداد فارسی است، فقط انتخاب ما این است که دستور را به چه زبانی بنویسیم.
- هر اجرا در یک گفتوگوی تازه انجام شد. اگر هر دو نسخه را در یک گفتوگو بپرسید، نسخهی دوم جواب اول را جلوی چشمش دارد؛ یا از آن کپی میکند یا عمداً فرق میگذارد. هر دو حالت مقایسه را خراب میکند.
پرامپت فارسی هر شش کار را در ادامه، بالای همان کار، آوردهایم تا بتوانید خودتان قضاوت کنید. نسخهی انگلیسی هر پرامپت دقیقاً همان دستور است — متن خام دستنخورده و فارسی، و یک قید اضافه که خروجی باید فارسی باشد.
شش کار، دو زبان، نتیجهها
۱. خلاصهسازی — فارسی ۶، انگلیسی ۵. یک پاراگراف دربارهی مشکلات فروشگاههای اینترنتی را دادیم و دقیقاً سه جمله خلاصه خواستیم:
متن زیر را در دقیقاً سه جمله خلاصه کن. بدون مقدمه و بدون نتیجهگیری:
فروشگاههای اینترنتی در سال گذشته با دو مشکل همزمان روبهرو بودند. از یک طرف هزینهی جذب مشتری تازه بالا رفت، چون رقابت در تبلیغات آنلاین بیشتر شده و هر کلیک گرانتر تمام میشود. از طرف دیگر وفاداری مشتری کاهش پیدا کرده؛ خریدارها قیمت را در چند سایت مقایسه میکنند و به سراغ ارزانترین میروند. نتیجه این شده که حاشیهی سود در بسیاری از دستهها به کمترین حد ده سال اخیر رسیده است.هر دو دقیقاً سه جمله دادند، بدون مقدمه و نتیجهگیری. اما یک تفاوت ریز و مهم بود. متن اولیه گفته بود حاشیهی سود «در بسیاری از دستهها» کم شده — یعنی دستههای کالا. نسخهی فارسی همین را نوشت. نسخهی انگلیسی آن را به «بسیاری از فروشگاههای اینترنتی» تغییر داد.
این دو جمله شبیه هم هستند، اما یکی نیستند. اولی دربارهی دستههای محصول حرف میزند، دومی دربارهی خود فروشگاهها. اگر این خلاصه را در یک گزارش میگذاشتید، کسی متوجه نمیشد. درست هم نبود.
۲. متن اداری — فارسی ۵، انگلیسی ۶. یک ایمیل کوتاه به تامینکننده دربارهی دو هفته تاخیر، با لحن محکم اما محترمانه، و در پایان «یک تاریخ مشخص برای تحویل بخواه». اینجا انگلیسی برد، و دقیقاً به خاطر همان یک کلمهی «بخواه».
یک ایمیل کوتاه به یک تامینکننده بنویس که تحویل سفارش دو هفته عقب افتاده. لحن محکم اما محترمانه باشد. حداکثر صد کلمه. در پایان یک تاریخ مشخص برای تحویل بخواه.نسخهی انگلیسی دقیقاً همین کار را کرد: تاریخ را پرسید. نسخهی فارسی به جای پرسیدن، خودش تاریخی را از خودش اضافه کرد و خواست تایید شود. تاریخی که هرگز به او نداده بودیم. این نوع پرکردن جای خالی، دردسرسازترین رفتاری است که میتوانید در یک متن اداری داشته باشید، و ربطی هم به زبان ندارد.
۳. ایدهپردازی — ۶ و ۶. این را خواستیم:
ده تیتر برای یک مقاله دربارهی صرفهجویی در هزینهی برق خانه بنویس. هر تیتر حداکثر هشت کلمه. بدون عدد در ابتدای تیتر، بدون علامت تعجب.هر دو نسخه بینقص بودند: ده تیتر، همه زیر هشت کلمه، بدون عدد در ابتدا و بدون علامت تعجب.
اما نکتهی جالب جای دیگری بود: تیتر «وسایل پرمصرف خانه را بهتر بشناسید» در هر دو نسخه کلمه به کلمه یکسان بود، و چهار جفت دیگر هم تقریباً یکی بودند. یادتان باشد این دو اجرا در دو گفتوگوی جداگانه بودند و هیچکدام خروجی دیگری را ندیده بود. یعنی مخزن ایدهها همان مخزن است، به هر زبانی سوال کنید.
۴. استخراج اطلاعات — ۶ و ۶، خروجی کاملاً یکسان. این قاطعترین نتیجهی کل آزمایش است. دستور این بود:
از متن زیر، نام مشتری، تاریخ سفارش، مبلغ کل و وضعیت پرداخت را دربیاور. خروجی فقط چهار خط باشد، هر خط به شکل «عنوان: مقدار». اگر چیزی در متن نبود، بنویس «نامشخص»:
سلام، سفارش خانم رضایی رو یادتون نره. هفدهم تیر ثبت شد، سه تا کارتن بود جمعاً یک میلیون و دویست هزار تومن. هنوز تسویه نکردن، قرار شد آخر ماه واریز کنن.و دو خروجی حرف به حرف یکی بودند:
نام مشتری: خانم رضایی
تاریخ سفارش: هفدهم تیر
مبلغ کل: یک میلیون و دویست هزار تومان
وضعیت پرداخت: تسویه نشدههر دو یک پیام محاورهای و شلوغ — «رو یادتون نره»، «تومن» — را درست خواندند، تاریخ شمسی را درست درآوردند و «تومن» را به شکل رسمی «تومان» نوشتند. وقتی دستور دقیق و قالب خروجی مشخص است، زبان دستور هیچ اثری ندارد. اگر با جزوه و منابع درسی کار میکنید، این را در پرامپتهای هوش مصنوعی برای درس خواندن مفصلتر دیدهاید.
۵. بازنویسی لحن — ۵ و ۵، اما به دو دلیل مخالف. دستور این بود:
جملهی زیر را سه بار بازنویسی کن: یک بار رسمی، یک بار دوستانه، یک بار کوتاه برای پیامک. فقط سه خروجی بده، بدون توضیح:
«به اطلاع میرساند به دلیل قطعی برق، پشتیبانی فردا از ساعت ده صبح فعال خواهد شد.»نسخهی فارسی اصطلاح اداری را درست نگه داشت — «به اطلاع میرساند» — و نسخهی انگلیسی نوشت «به اطلاع میرسد»؛ خطای کوچکی در یک فرمول اداری ثابت که هر خوانندهی فارسیزبان فوری متوجهش میشود.
در عوض، نسخهی انگلیسی تنوع لحن بیشتری داشت. نسخهی دوستانهاش واقعاً خودمانی بود: «پشتیبانی فردا از ساعت ۱۰ صبح دوباره در کنارتونه». نسخهی فارسی دو حالت «دوستانه» و «پیامک» را تقریباً یکسان نوشت و در عمل لحن را عوض نکرد.
۶. مسئلهی محاسباتی — ۶ و ۶، هر دو درست. این کار محک اصلی آزمایش بود، چون فقط یک جواب درست دارد و سلیقهی داور در آن دخالتی ندارد. دستور این بود:
یک مغازه سه نوع بسته میفروشد: بستهی الف ۴۵ هزار تومان برای ۳ عدد، بستهی ب ۷۰ هزار تومان برای ۵ عدد، بستهی ج ۱۳۰ هزار تومان برای ۱۰ عدد. کسی دقیقاً ۱۸ عدد میخواهد و نمیخواهد حتی یک عدد اضافه بخرد. ارزانترین حالت چند است و با چه ترکیبی؟ اول جواب نهایی را بنویس، بعد در دو خط دلیل.هر دو نسخه به جواب درست رسیدند — ۲۴۵ هزار تومان با ترکیب یک بستهی ج و یک بستهی ب و یک بستهی الف — و هر دو همهی سه حالت ممکن را کامل فهرست کردند: شش بستهی الف میشود ۲۷۰ هزار تومان، سه بستهی ب به اضافهی یک بستهی الف میشود ۲۵۵ هزار تومان، و ترکیب ج و ب و الف میشود ۲۴۵ هزار تومان. مهمتر اینکه هر دو دام را تشخیص دادند: دو تا بستهی ج میشود ۲۶۰ هزار تومان برای ۲۰ عدد که هر عددش ارزانتر تمام میشود، اما شرط مسئله را میشکند. هیچکدام فریب نخوردند.
دو تفاوت کوچک، چهار تساوی
جمع نمرهها: دستور فارسی ۳۴ از ۳۶، دستور انگلیسی ۳۴ از ۳۶. تساوی کامل.
فارسی تنها در یک بخش برنده شد؛ خلاصهسازی، به خاطر وفاداری بیشتر به متن اصلی. انگلیسی هم تنها در یک بخش برنده شد؛ متن اداری، به خاطر اجرای دقیقتر دستور. چهار کار دیگر مساوی شدند و در دو مورد، خروجیها عملاً یکی بودند.
اگر منتظر یک برندهی قاطع بودید، در این آزمایش کوچک تفاوت معناداری بین دو زبان مشاهده نکردیم. و این خودش جواب سوال است: اگر زبان دستور واقعاً تعیینکننده بود، در شش کار مختلف جایی خودش را نشان میداد.
پس چه چیزی نمره را جابجا کرد
به دو موردی که امتیاز از دست رفت دقت کنید. یکی یک کلمه را در خلاصه عوض کرد، دیگری به جای پرسیدن تاریخ، تاریخ ساخت. هیچکدام اینها مشکل «فارسی بلد نیست» نیست. هر دو مشکل مرزبندی دستور است.
در کار اول، جایی در دستور نگفته بودیم «هیچ مفهومی را جابجا نکن». در کار دوم، «بخواه» را میشود دو جور فهمید و ما صریح نگفته بودیم که نباید خودش تاریخی بسازد. در مقابل، کار چهارم که دستورش از همه دقیقتر بود — چهار خط، قالب مشخص، حتی دستور برای دادهی غایب — در هر دو زبان خروجی کاملاً یکسان داد.
الگو روشن است: هر جا دستور دقیق بود، زبان بیاهمیت شد. هر جا دستور جا برای تفسیر گذاشته بود، مدل جای خالی را خودش پر کرد — مستقل از اینکه دستور فارسی بود یا انگلیسی.
این حرف تازه هم نیست. ادعای «انگلیسی بهتر است» بیدلیل هم نبوده است؛ نسلهای اول این ابزارها فارسی را بد میفهمیدند و ادبیات فنی هم بیشتر انگلیسی است. اما این حرف مال چند سال پیش است و کسی بعداً دوباره امتحانش نکرده است.
در عمل چه کنیم
جمعبندی ساده است: به زبانی بنویسید که راحتتر فکر میکنید، و وقتتان را صرف دقیقتر کردن دستور کنید، نه ترجمه کردن آن.
اگر زبان فکرتان فارسی است، این یعنی فارسی بنویسید. ترجمهی دستی دستور دو ضرر دارد: وقت میگیرد، و معمولاً در ترجمه دقت دستور کم میشود — و دیدیم که دقت دستور تنها چیزی است که اهمیت داشت.
سه چیز را در پرامپت بسته نگه دارید تا مدل جای خالی را خودش پر نکند:
- قالب خروجی. چند خط، چه شکلی، با یا بدون مقدمه.
- تکلیف دادهی غایب. «اگر در متن نبود، بنویس نامشخص» جملهای است که جلوی ساختن تاریخ و رقم را میگیرد.
- مرز وفاداری به متن. اگر خلاصه یا بازنویسی میخواهید، بگویید هیچ مفهومی جابجا نشود.
یک استثنا هم هست: این آزمایش دربارهی متن بود. تولید تصویر قواعد خودش را دارد و در راهنمای پرامپتنویسی برای تولید تصویر جداگانه به آن پرداختهایم.
هر شش جفت این آزمایش در چت هوشزی اجرا شد و خودتان میتوانید دوباره اجرایش کنید؛ پرامپتها همین بالا هستند.
محدودیتهای این آزمایش
شش کار، بنچمارک نیست. این یک آزمایش کوچک است و محدودیتهایش را صادقانه میگوییم:
- شش کار و دوازده اجرا؛ عددی نیست که بتوان رویش آمار بست.
- نمرهدهی توسط یک نفر و در یک نشست انجام شد. در دو معیار از سه معیار، قضاوت انسانی دخیل است.
- خروجی مدلها قطعی نیست؛ اگر همین دوازده اجرا را دوباره تکرار کنیم، نمرهها یکی دو واحد جابجا میشود.
- متن خام همیشه فارسی بود. اگر منبع شما انگلیسی است، نتیجه میتواند فرق کند.
با این حال، همین دوازده اجرا بیشتر از چیزی است که پشت ادعای رایج وجود دارد. روش کامل را خواندید؛ اگر تکرارش کردید و نتیجهی دیگری گرفتید، خوشحال میشویم نتیجه را با ما در میان بگذارید.
