فايل robots.txt به معناي اين نيست كه موتورهاي جستجو ملزم به رعايت قوانين موجود در آن هستند برخي اوقات موتورهاي جستجو از اين قوانين پيروي نمي كنند. ولي فايل robots.txt يكي از روشهايي است كه مي توان ورود موتورهاي جستجو به سايت را كنترل نمود.

اين مسئله براي وب سايت ها بسيار مهم است با توجه به اينكه موتورهاي جستجو بارها و بارها به وب سايت مراجعه مي كنند به كدام قسمت هاي سايت دسترسي داشته باشد و به كدام قسمت هاي سايت دسترسي نداشته باشند و در برخي اوقات اطلاعات حساسي در وب سايت ها وجود دارد كه موتورهاي جستجو نبايد به آنها دسترسي داشته باشند كه يكي از روشهاي كنترل دسترسي استفاده از فايل robots.txt است.

ساختار فايل robots.txt
ساختار فايل robots.txt بسيار ساده و در عين حال منعطف پذير است. فايل robots.txt از يكسري user agents و فايلها و دايركتورهاي disallowed تشكيل شده است. در واقع اين فايل بصورت زير است:

User-agent:

Disallow:

با User-agent مي توان خزنده هاي موتورهاي جستجو كه مي توانند به سايت دسترسي داشته باشند  را مشخص نمود.

با Disallow مي توان ليست فايلها يا دايركتوري هايي را كه مي خواهيم موتورهاي جستجو به آنها دسترسي نداشته باشند را مشخص نمود.

برخي نمونه هاي فايل robots.txt
مسدود كردن دسترسي خزنده هاي موتورهاي جستجو به كل محتويات سايت

User-agent: *

Disallow: /
مسدود كردن دسترسي خزنده هاي موتورهاي جستجو به يك دايركتوري مشخص

User-agent: Googlebot

Disallow: /no-google/

مسدود كردن دسترسي خزنده هاي موتورهاي جستجو به يك صفحه مشخص

User-agent: Googlebot

Disallow: /no-google/blocked-page.html

پارامترهاي نقشه سايت

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

اضافه كردن فايل robots.txt به گوگل وبمستر تولز

جهت اضافه كردن فايل robots.txt به گوگل وبمستر تولز مي توانيد بصورت زير عمل نماييد:

ابتدا توسط اكانت خود وارد گوگل وبمستر تولز شويد و از منوي Crawl روي زير منوي robots.txt Tester كليك نماييد.

در اديتوري كه در سمت راست صفحه نمايش داده مي شود مي توانيد محتواي فايل robots.txt را وارد نماييد و سپس دكمه submit را كليك كنيد.

بعد از ارسال شدن محتواي فايل robots.txt به گوگل وب مستر تولز بعد از چند دقيقه محتواي بروزرساني شده نمايش داده خواهد شد.

تست آدرس هاي محدود شده در فايل robots.txt

جهت تست كردن اينكه كدام فايل ها يا دايركتوري ها در فايل robots.txt محدود شده است مي توانيد توسط تست كننده گوگل وبمستر كه در شكل زير نمايش داده شده است استفاده نماييد: