سبد خرید شما خالی است.
چطور استفاده از محتوای سایت برای آموزش هوش مصنوعی را کنترل کنیم؟ راهنمای robots.txt در ۲۰۲۶
10دقیقه
آنچه در این مقاله می‌خوانید [پنهان‌سازی]
آیا محتوایی که در سایت منتشر می‌کنید می‌تواند برای آموزش مدل‌های هوش مصنوعی استفاده شود؟ اگر صاحب سایت، تولیدکننده محتوا، مدیر سئو یا ناشر دیجیتال هستید، خبر جدید OpenAI برایتان اهمیت دارد. این شرکت در ۳۰ اکتبر ۲۰۲۶ (۸ آبان ۱۴۰۵) اعلام کرد که از یک سیگنال مشترک در فایل robots.txt برای اعلام ترجیح صاحبان سایت درباره استفاده از محتوا در آموزش مدل‌های مولد پشتیبانی خواهد کرد. اما نکته مهم این است که پشتیبانی جدید هنوز اجرا نشده و OpenAI وعده پیاده‌سازی آن را در ماه‌های آینده داده است.
در این راهنمای کاربردی پلی‌مدیا، خبر رسمی را از قابلیت‌های همین امروز جدا می‌کنیم؛ تفاوت ربات‌های OpenAI را توضیح می‌دهیم؛ نمونه کد قابل فهم برای وردپرس می‌دهیم و بررسی می‌کنیم چطور می‌شود هم درباره آموزش مدل تصمیم گرفت و هم ناخواسته فرصت دیده‌شدن در جست‌وجوی ChatGPT را از بین نبرد.
پاسخ کوتاه: فعلاً برای OpenAI می‌توانید با قوانین مخصوص
GPTBot در robots.txt ترجیح خود درباره خزش مرتبط با آموزش مدل را اعلام کنید. سیگنال جدید و مشترک __usage_ai-training در یک پیش‌نویس منتشر شده و به‌گفته OpenAI در ماه‌های آینده پشتیبانی می‌شود. این دو را با ربات جست‌وجوی OAI-SearchBot اشتباه نگیرید.خبر ۳۰ اکتبر ۲۰۲۶ دقیقاً چیست؟
تا پیش از این، مدیر سایت برای بیان ترجیح خود معمولاً باید ربات‌ها و سیاست‌های هر شرکت هوش مصنوعی را جداگانه بررسی می‌کرد. OpenAI اعلام کرده که از یک نشانه مشترک و داوطلبانه در robots.txt حمایت می‌کند تا صاحبان سایت بتوانند انتخاب مربوط به استفاده از محتوا برای آموزش مدل‌های مولد را به چند ارائه‌دهنده شرکت‌کننده منتقل کنند. این خبر بخشی از گفت‌وگوهای گروه کاری AI Preferences در IETF است.
در اطلاعیه رسمی، OpenAI صریحاً می‌گوید این سازوکار جایگزین تنظیمات فعلی ربات‌هایش نمی‌شود. همچنین زمان دقیق فعال‌شدن آن اعلام نشده و قرار است پس از پیاده‌سازی، اطلاعات تکمیلی منتشر شود. بنابراین هر تیتر یا آموزشی که ادعا می‌کند «از امروز همه هوش مصنوعی‌ها ملزم به رعایت کد جدید هستند» نادرست است.
منابع دست‌اول این خبر عبارت‌اند از اطلاعیه OpenAI در ۳۰ اکتبر ۲۰۲۶ و متن پیش‌نویس فنی Training Preference Signal که در همان روز به‌روزرسانی شده است.
سیگنال جدید __usage_ai-training در robots.txt چیست؟
فایل robots.txt معمولاً در ریشه دامنه، مثلاً در نشانی example.com/robots.txt قرار دارد. ربات‌ها می‌توانند قوانین آن را بخوانند تا بدانند صاحب سایت چه درخواست‌هایی برای خزش یا استفاده از محتوا دارد. در پیش‌نویس جدید، یک شناسه مخصوص سیاست استفاده از محتوا به نام __usage_ai-training پیشنهاد شده است؛ نه یک دستور تازه برای تغییر ساختار robots.txt.
این شناسه در خط User-agent می‌آید و قوانین Allow و Disallow زیر آن ترجیح ناشر را برای مسیرهای گوناگون مشخص می‌کنند. برای مثال، اگر ناشر مخالف استفاده از محتوای بیشتر سایت برای آموزش مدل مولد باشد ولی اجازه استفاده از پوشه مشخصی را بدهد، نمونه‌ای شبیه مثال پیش‌نویس چنین است:
User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/تفسیر: صاحب سایت ترجیح خود را علیه استفاده از محتوای کل سایت در آموزش مدل‌های مولد اعلام می‌کند، جز مسیر /press-kit/. این فقط نمونه آموزشی یک سند در حال توسعه است؛ نباید آن را به‌عنوان استاندارد نهایی، قانون الزام‌آور یا قابلیت فعال‌شده در تمام سرویس‌ها معرفی کرد.
سند فنی همچنین روشن می‌کند که این توکن دستور مستقیم برای جلوگیری از خزش نیست. یک سرویس ممکن است ترجیح ناشر را برای تصمیم درباره استفاده از محتوای دریافت‌شده تفسیر کند، درحالی‌که تنظیمات خزش همان قوانین شناسه ربات مربوطه باقی می‌مانند. پیش‌نویس IETF به‌عنوان «Internet-Draft فردی» منتشر شده و هنوز RFC نهایی نیست.
سه ربات OpenAI که مدیر سایت باید بشناسد
یکی از رایج‌ترین خطاها این است که «عدم استفاده از محتوا برای آموزش» با «عدم نمایش سایت در پاسخ‌های ChatGPT» یکسان فرض شود. در مستند رسمی ربات‌های OpenAI این موارد نقش‌های متفاوتی دارند:
| ربات | کارکرد اصلی | نکته برای مدیر سایت |
|---|---|---|
GPTBot | خزش محتوایی که ممکن است برای آموزش مدل‌های مولد استفاده شود | با Disallow می‌توان ترجیح عدم استفاده از محتوای خزیده‌شده برای آموزش را اعلام کرد. |
OAI-SearchBot | نمایش صفحات در نتایج جست‌وجوی ChatGPT | مسدودکردن آن می‌تواند نمایش صفحه در پاسخ‌های جست‌وجوی ChatGPT را محدود کند. |
ChatGPT-User | دسترسی به صفحه در پی درخواست مستقیم کاربر | خزش خودکار معمول نیست و به گفته OpenAI ممکن است قوانین robots.txt برای این بازدیدها اعمال نشوند. |
آموزش فعلی: جلوگیری از استفاده محتوای سایت برای آموزش مدل‌های OpenAI
اگر سیاست محتوایی شما اجازه استفاده از صفحات عمومی در آموزش مدل‌های پایه OpenAI را نمی‌دهد، راه فعلی و مستند، اعلام ترجیح از طریق GPTBot است. فرض کنید می‌خواهید GPTBot کل سایت را خزش نکند اما اجازه دهید ربات جست‌وجوی ChatGPT برای کشف مطالب عمومی به سایت دسترسی داشته باشد:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /این مثال پیشنهاد یکسان برای همه وب‌سایت‌ها نیست. سایت‌هایی که مایل به مشارکت در آموزش مدل هستند، لازم نیست همین محدودیت را اضافه کنند. اگر وب‌سایت شما قبلاً گروه‌های متعددی در robots.txt دارد، بهتر است بدون بررسی ترتیب و سازگاری قوانین، متن را کورکورانه در فایل جای‌گذاری نکنید؛ خطا در این فایل می‌تواند روی دسترسی خزنده‌ها تأثیر بگذارد.
گام ۱: فایل robots.txt سایت را پیدا کنید
نشانی https://yourdomain.com/robots.txt را باز کنید و متن فعلی را در جایی امن ذخیره کنید. بررسی کنید آیا سایت توسط وردپرس، افزونه سئو یا CDN فایلی مجازی تولید می‌کند یا یک فایل واقعی روی هاست وجود دارد. اگر به یک robots.txt مجازی نگاه می‌کنید، روش اصلاح آن ممکن است با ویرایش مستقیم فایل روی سرور متفاوت باشد.
گام ۲: سیاست خود را مشخص کنید
قبل از تغییر تنظیمات، به سه سؤال پاسخ بدهید: آیا می‌خواهید محتوای شما برای آموزش مدل‌های مولد استفاده شود؟ آیا می‌خواهید صفحاتتان در جست‌وجوهای مبتنی بر هوش مصنوعی دیده شوند؟ آیا برخی مسیرها مانند خبرها و صفحه معرفی خدمات، سیاست متفاوتی دارند؟ این تصمیم باید به هدف نشر، حقوق محتوا و استراتژی جذب بازدید سایت شما وابسته باشد.
گام ۳: فقط قانون لازم را تغییر دهید
اگر هدف شما محدودکردن آموزش مدل OpenAI است، گروه مربوط به GPTBot را بررسی کنید. برای دیده‌شدن در جست‌وجوی ChatGPT، تنظیمات OAI-SearchBot را جداگانه ارزیابی کنید. OpenAI نوشته تغییرات robots.txt برای سامانه جست‌وجوی آن ممکن است حدود ۲۴ ساعت زمان نیاز داشته باشد تا اعمال شوند؛ این زمان وعده رتبه‌گرفتن یا ایندکس‌شدن نیست.
گام ۴: نسخه اصلاح‌شده را آزمایش و ثبت کنید
بعد از ذخیره، URL فایل را دوباره باز کنید و از نبود خطای نگارشی مطمئن شوید. تاریخ تغییر، متن قبلی و دلیل تجاری آن را ثبت کنید. سپس در لاگ‌های دسترسی هاست، رفتار ربات‌های مربوطه را پایش کنید؛ صرف وجود یک خط Disallow در robots.txt تضمین نمی‌کند همه سرویس‌ها یا ربات‌های ناشناس آن را رعایت کنند.
راهنمای ویژه وردپرس: robots.txt را از کجا ویرایش کنیم؟
در وردپرس ممکن است تنظیمات robots.txt در افزونه سئو، افزونه امنیتی یا فایل روی هاست مدیریت شود. قبل از هر ویرایش، افزونه‌های نصب‌شده و فایل واقعی سرور را بررسی کنید تا دو منبع متناقض ایجاد نشود. مسیر منو و امکانات دقیق بسته به افزونه و نسخه تغییر می‌کند؛ بنابراین به‌جای فرض یک مسیر ثابت، بخش مدیریت فایل robots.txt یا تنظیمات فنی افزونه فعال خود را پیدا کنید.
چنانچه سایتتان علاوه‌بر SEO از اتصال هوش مصنوعی به وردپرس هم استفاده می‌کند، راهنمای امنیت اتصال ChatGPT به وردپرس و آموزش اتصال ChatGPT به وردپرس با MCP را مطالعه کنید. این آموزش‌ها درباره دسترسی مدیریتی هستند و جایگزین تنظیمات ربات‌های عمومی سایت نیستند.
آیا بستن GPTBot به سئو و ورودی سایت ضربه می‌زند؟
نه لزوماً. OpenAI به‌صورت رسمی تأکید می‌کند تنظیمات GPTBot و OAI-SearchBot مستقل از هم هستند. بنابراین می‌توانید ترجیح مربوط به آموزش مدل را محدود کنید و درعین‌حال امکان دیده‌شدن در جست‌وجوی ChatGPT را باز نگه دارید. البته هیچ تنظیمی به‌تنهایی تضمین‌کننده نمایش، رتبه یا ارجاع نیست؛ کیفیت محتوا، دسترسی‌پذیری سایت و عوامل جست‌وجو نیز اهمیت دارند.
در مقابل، اگر OAI-SearchBot را مسدود کنید، طبق مستندات OpenAI صفحات شما در پاسخ‌های جست‌وجوی ChatGPT نمایش داده نمی‌شوند، هرچند ممکن است لینک ناوبری به آن‌ها وجود داشته باشد. این موضوع برای کسب‌وکارهایی که به ورودی ارگانیک و کشف برند اهمیت می‌دهند، تصمیمی راهبردی است.
نکته دیگر اینکه __usage_ai-training طبق پیش‌نویس یک «سیگنال ترجیح استفاده» است، نه ابزار تنظیم ایندکس گوگل، نه تگ noindex و نه قانون جلوگیری از کپی محتوا. بنابراین ادعای «اضافه‌کردن سیگنال جدید باعث افزایش رتبه گوگل می‌شود» پشتوانه رسمی ندارد. برای ارتقای کیفیت محتوای سایت می‌توانید راهنمای تولید محتوا با هوش مصنوعی و گردش‌کار مدیریت محتوای وردپرس با ChatGPT را هم بخوانید.
جدول تصمیم‌گیری سریع برای مدیر سایت
| هدف شما | چه چیزی را بررسی کنید؟ | محدودیت |
|---|---|---|
| اعلام ترجیح علیه استفاده برای آموزش OpenAI | GPTBot | وابسته به رعایت سیاست توسط سرویس |
| حفظ امکان حضور در جست‌وجوی ChatGPT | OAI-SearchBot | اجازه دسترسی، تضمین نمایش نیست |
| اعلام یک ترجیح مشترک به چند ارائه‌دهنده | __usage_ai-training | در ۱ نوامبر ۲۰۲۶ هنوز سازوکار در مرحله پیاده‌سازی است |
۵ اشتباه رایج درباره robots.txt و آموزش هوش مصنوعی
- یکسان فرض‌کردن آموزش مدل و جست‌وجو: دو هدف و دو تنظیم متفاوت‌اند.
- فکرکردن به اینکه سیگنال مشترک همین حالا نزد همه اجرا شده: اعلام پشتیبانی با تکمیل استقرار یکسان نیست.
- اعتمادکردن به robots.txt برای حفاظت از محتوای محرمانه: این فایل عمومی است؛ اطلاعات حساس باید با احراز هویت و کنترل دسترسی محافظت شوند.
- کپی بی‌بررسی همه کدهای اینترنت: قوانین اضافی ممکن است مسیرهای مهم سایت را ناخواسته محدود کنند.
- برداشت حقوقی قطعی از یک ترجیح فنی: این آموزش درباره کنترل فنی و سیاست اعلام‌شده است؛ درباره مالکیت فکری یا اختلاف حقوقی، مشاوره تخصصی لازم است.
آیا هوش مصنوعی می‌تواند هم محتوا را پیدا کند و هم از آن آموزش نبیند؟
در سازوکار اعلام‌شده OpenAI، امکان تفکیک ترجیح آموزش از دسترسی جست‌وجو وجود دارد. همین تفکیک برای ناشران و کسب‌وکارها مهم است: ممکن است بخواهید مقاله آموزشی‌تان به مخاطبان تازه معرفی شود، اما ترجیح بدهید در مجموعه داده آموزشی مدل‌های پایه استفاده نشود. البته نتیجه نهایی به رفتار هر ارائه‌دهنده، سیاست‌های فعلی، قراردادهای احتمالی و تحول استانداردها بستگی دارد. در پیش‌نویس IETF نیز تصریح شده توافق‌های خصوصی ممکن است بر ترجیحات اعلام‌شده اثر بگذارند.
اگر تازه مدیریت وب‌سایت و تولید محتوای آموزشی را آغاز کرده‌اید، نقشه راه ۳۰ روزه یادگیری هوش مصنوعی و اسکیل مقاله‌نویسی فارسی و سئو می‌توانند برای طراحی فرایند محتوایی منظم مفید باشند.
سؤالات متداول درباره ربات‌های AI و فایل robots.txt
۱. آیا OpenAI از ۳۰ اکتبر ۲۰۲۶ سیگنال مشترک را اجرا کرده است؟
خیر. در تاریخ ۳۰ اکتبر پشتیبانی آینده از سیگنال اعلام شده و شرکت گفته پیاده‌سازی در ماه‌های بعد انجام خواهد شد. زمان نهایی فعال‌سازی هنوز اعلام نشده است.
۲. شناسه سیگنال مشترک دقیقاً چیست؟
در پیش‌نویس فنی منتشرشده با عنوان Training Preference Signal، شناسه __usage_ai-training تعریف شده است. ساختار فعلی ممکن است طی فرایند استانداردسازی تغییر کند.
۳. تفاوت GPTBot و OAI-SearchBot چیست؟
GPTBot به خزش محتوایی مربوط است که ممکن است برای آموزش مدل‌های مولد OpenAI استفاده شود؛ OAI-SearchBot برای قابلیت جست‌وجوی ChatGPT است. قوانینشان مستقل‌اند.
۴. اگر GPTBot را ببندم، سایت از نتایج گوگل حذف می‌شود؟
مسدودکردن GPTBot به‌خودی‌خود دستور حذف از گوگل نیست؛ ولی باید سایر گروه‌های robots.txt، تنظیمات ایندکس و وضعیت فنی سایت را جدا بررسی کنید. هر تغییری در فایل اصلی باید آزمایش شود.
۵. آیا می‌توانم فقط یک پوشه سایت را برای آموزش مجاز کنم؟
در مثال پیش‌نویس، Allow: /press-kit/ استثنایی برای یک مسیر تعریف می‌کند. توجه کنید که این منطق فعلاً در قالب یک Internet-Draft آمده و اجرای آن توسط ارائه‌دهندگان باید جداگانه بررسی شود.
۶. آیا اضافه‌کردن robots.txt مانع سرقت محتوا می‌شود؟
خیر. robots.txt ابزار اعلام ترجیح به ربات‌های همکار است؛ سد امنیتی، DRM یا جایگزین کنترل دسترسی نیست. محتوای محرمانه را پشت احراز هویت نگه دارید.
۷. برای استفاده از این تنظیمات به Rank Math یا Yoast نیاز دارم؟
نه الزاماً. robots.txt یک فایل/پاسخ استاندارد وب است. افزونه سئو می‌تواند ویرایش آن را آسان کند، اما امکان و روش دقیق بستگی به پیکربندی وردپرس و هاست دارد.
۸. آیا سیگنال جدید رتبه سایتم را در ChatGPT بهتر می‌کند؟
هیچ منبع رسمی چنین وعده‌ای نمی‌دهد. این سیگنال برای اعلام ترجیح درباره استفاده آموزشی است. دیده‌شدن در جست‌وجو به OAI-SearchBot و عوامل دیگر وابسته است.
۹. ChatGPT-User هم همیشه از robots.txt پیروی می‌کند؟
خیر؛ مستند OpenAI می‌گوید چون برخی از این بازدیدها در پاسخ به درخواست کاربر انجام می‌شوند، ممکن است قوانین robots.txt درباره‌شان اعمال نشوند.
جمع‌بندی: الان چه تصمیمی بهتر است؟
خبر ۳۰ اکتبر یک گام در جهت ساده‌ترشدن اعلام ترجیح ناشران درباره آموزش هوش مصنوعی است، نه پایان بحث حقوق محتوا و نه اجرای فوری یک استاندارد نهایی. برای تصمیم امروز، اول هدف کسب‌وکار خود را روشن کنید؛ سپس GPTBot و OAI-SearchBot را مستقل بررسی کنید و خبرهای پیاده‌سازی سیگنال مشترک را از منبع رسمی دنبال کنید.
برای استراتژی سئو و تولید محتوای هوش مصنوعی کمک می‌خواهید؟
اگر درباره تنظیم ربات‌های سایت، امنیت اتصال ابزارهای AI یا طراحی محتوای سئوشده برای برندتان سؤال دارید، از تیم پلی‌مدیا مشاوره بگیرید. مسئله اصلی شما را بررسی می‌کنیم و مسیر متناسب با سایت را پیشنهاد می‌دهیم.
منابع رسمی و زمان بررسی
- OpenAI: Making it easier for websites to express AI training preferences — منتشرشده ۳۰ اکتبر ۲۰۲۶.
- IETF Datatracker: Machine-Readable Training Preference Signal — پیش‌نویس نسخه ۰۰، ۳۰ اکتبر ۲۰۲۶.
- OpenAI Developers: Overview of OpenAI Crawlers — مرجع توضیح نقش ربات‌ها.
آخرین راستی‌آزمایی: ۱ نوامبر ۲۰۲۶. این مطلب آموزشی است، نه توصیه حقوقی؛ درباره وضعیت نهایی استاندارد و پیاده‌سازی ارائه‌دهندگان، منابع رسمی را دنبال کنید.
