این فایل در واقع یک راهنما برای رباتهایی است که از سایت شما بازدید میکنند.
اول اینکه فایل باید در مسیر روت قرار بگیرد مثلا :
https://abasbagheri.ir/robots.txt
خب شما با این فایل یک سری دستور به رباتهایی مثل ربات گوگل میدهید که در سایت شما چگونه رفتار کنند. مثلا اگر شما میخواهید هیچ کدام از صفحه هایتان توسط ربات گوگل بازدید نشود از دستور زیر استفاده میکنید :
User-agent: Googlebot
Disallow: /
با دستور User-agent ابتدا مشخص میکنید که برای کدام ربات در حال نوشتن دستور هستید. مثلا درقطعه کد بالا به Googlebot دستور دادیم. حالا فرض میکنیم نمیخواهیم به ربات تبلیغات گوگل هم اجازه دسترسی به سایت خودمون رو بدیم.
User-agent: Googlebot
User-agent: AdsBot-Google
Disallow: /
خب الان ما به دوتا ربات دستور دادیم که وب سایت ما رو بررسی نکنند. خب اگه بخوایم به همه رباتها چنین دستوری بدهیم بجای اسم ربات از * استفاده خواهیم کرد.
User-agent: *
Disallow: /
با قطعه کد بالا دسترسی به هیچ رباتی نخواهیم داد.
اما خب ما میخواهیم رباتهای گوگل وب سایت ما رو بررسی و ایندکس کنند فقط بخشی از مسیرها مثل مسیر مدیریت بررسی نشوند.
User-agent: *
Allow : /
Disallow: /admin/
Disallow: /junk/
Disallow: /user/
در قطعه کد بالا مشخص کردیم که تمامی رباتها اجازه بازید از صفحات ما را بجز سه مسیر admin ، junk و user دارند.
User-agent: Googlebot-news
Allow: /
User-agent: *
Disallow: /
در قطعه کد بالا اجازه دسترسی فقط به ربات Googlebot-news دادیم.
User-agent: Googlebot
Disallow: /
User-agent: *
Allow: /
در قطعه کد بالا به هم رباتها بجز ربات Googlebot اجاز دسترسی به وب سایت خود را میدهیم.
مثلا ما میخواهیم ربات گوگل تصاویر jpg ما رو بررسی و ایندکس نکنند. از دستورات زیر در فایل robot.txt استفاده میکنیم :
User-agent: Googlebot
Disallow: /*.jpg$
دستور بعدی که در فایل robots.txt از آن استفاده میکنیم، دستور Sitemap هست. ما با این دستور نقشه وب سایت خود را برای رباتها مشخص میکنیم.
User-agent: Googlebot
Sitemap: https://example.com/sitemap.xml
Sitemap: http://www.example.com/sitemap.xml
خب پس چند مورد دستور اصلی داریم.
دستور User-agent : با این دستور مشخص میکنیم که به کدام ربات دستور میدهیم.
دستور Allow : با این دستور مشخص میکنیم که ربات به کدام مسیرها اجازه دسترسی دارد.
دستور Disallow : با این دستور مشخص میکنیم که ربات به کدام مسیر اجازه دسترسی ندارد.
دستور Sitemap : نقشه سایت خود را برای رباتها مشخص میکنیم.
برای مثال بیشتر میتوانید از لینکهای زیر استفاده کنید