اول اینکه فایل باید در مسیر روت قرار بگیرد مثلا :
خب شما با این فایل یک سری دستور به رباتهایی مثل ربات گوگل میدهید که در سایت شما چگونه رفتار کنند. مثلا اگر شما میخواهید هیچ کدام از صفحه هایتان توسط ربات گوگل بازدید نشود از دستور زیر استفاده میکنید :
با دستور User-agent ابتدا مشخص میکنید که برای کدام ربات در حال نوشتن دستور هستید. مثلا درقطعه کد بالا به Googlebot دستور دادیم. حالا فرض میکنیم نمیخواهیم به ربات تبلیغات گوگل هم اجازه دسترسی به سایت خودمون رو بدیم.
خب الان ما به دوتا ربات دستور دادیم که وب سایت ما رو بررسی نکنند. خب اگه بخوایم به همه رباتها چنین دستوری بدهیم بجای اسم ربات از * استفاده خواهیم کرد.
با قطعه کد بالا دسترسی به هیچ رباتی نخواهیم داد.
اما خب ما میخواهیم رباتهای گوگل وب سایت ما رو بررسی و ایندکس کنند فقط بخشی از مسیرها مثل مسیر مدیریت بررسی نشوند.
در قطعه کد بالا مشخص کردیم که تمامی رباتها اجازه بازید از صفحات ما را بجز سه مسیر admin ، junk و user دارند.
در قطعه کد بالا اجازه دسترسی فقط به ربات Googlebot-news دادیم.
در قطعه کد بالا به هم رباتها بجز ربات Googlebot اجاز دسترسی به وب سایت خود را میدهیم.
مثلا ما میخواهیم ربات گوگل تصاویر jpg ما رو بررسی و ایندکس نکنند. از دستورات زیر در فایل robot.txt استفاده میکنیم :
دستور بعدی که در فایل robots.txt از آن استفاده میکنیم، دستور Sitemap هست. ما با این دستور نقشه وب سایت خود را برای رباتها مشخص میکنیم.
خب پس چند مورد دستور اصلی داریم.
دستور User-agent : با این دستور مشخص میکنیم که به کدام ربات دستور میدهیم.
دستور Allow : با این دستور مشخص میکنیم که ربات به کدام مسیرها اجازه دسترسی دارد.
دستور Disallow : با این دستور مشخص میکنیم که ربات به کدام مسیر اجازه دسترسی ندارد.
دستور Sitemap : نقشه سایت خود را برای رباتها مشخص میکنیم.
برای مثال بیشتر میتوانید از لینکهای زیر استفاده کنید