فایل robots.txt مشخص می کند چه مطالبی از سایت توسط Google Crawling دیده شوند و چه مطالبی از دید Crawling دور مانده و ایندکس نشده است.
ایجاد فایل robots.txt ای که به درستی مطالب را مشخص کند و بخش های غیر مطلوب سایت را به خوبی پوشش دهد کار ساده ای نیست، به همین دلیل بسیاری از ساختن این فایل سر باز می زنند. گوگل وبمستر تولز با ارائه robots.txt testing tool این کار را برای افراد آسان ترکرده است.
شما می توانید این ابزار را در گوگل وبمستر تولز در بخش “crawl” ببینید:
در این بخش شما می توانید فایلی که تحت عنوان robots.txt وجود دارد را بررسی کرده و آدرس هایی که فعال هستند و Crawl می تواند آنها را بیابد، پیدا کنید. برای راهنمایی بهتر در مورد دستور العمل های پیچیده بخشهایی به صورت برجسته مشخص شده اند تا شما بتوانید راحت تر به هدف خود دست یابید.
می توانید اطلاعات این فایل را تغییر داده و یا توسط این ابزار آنها را چک کنید. البته فراموش نکنید که لازم است بعد از اعمال تغییرات نسخه تغییر یافته را در سرور آپلود کنید تا تاثیرات مربوط به آن در سایت ظاهر شوند.
علاوه بر آن می توانید نسخه های قدیمی تر را بررسی کرده و مواردی که مانع شدند تا Crawl مطالب سایت را به درستی بیابد، پیدا کنید. برای مثال اگر ربات گوگل برای فایل robots.txt با خطای ۵۰۰ سرور مواجه شد می توانیم از ادامه ی فعالیت Crawl در سایت تا زمان برطرف شدن مشکل جلوگیری کنیم.
پیشنهاد می شود هر زمان که خطا و هشداری برای سایت خود دریافت کردید ابتدا فایل robots.txt مربوطه را مجدد چک کنید. شما می توانید این فایل را با سایر گزارش های وبمستر تولز مقایسه کنید. برای مثال می توانید از ابزار به روز رسانی گوگل برای ارائه ی صفحات مهم سایت خود استفاده کنید و اگر آدرس مسدودی گزارش شده بود با استفاده از تستر فایل robots.txt دلیل بسته شدن آن را ردیابی کرده و مشکل را برطرف کنید.
خطایی که معمولا گزارش می شود مربوط به فایلهای قدیمی تر است که اسکریپت های جاوا یا CSS ها را بلاک کرده است. با بررسی دقیق گزارشات و وضعیت فایل می توانید مشکل را برطرف کنید.
در مجموع ابزارهایی که گوگل هر روزه در اختیار کاربران قرار می دهد به منظور استفاده ی آسان تر آنها از تمامی امکانات موتور جستجو است.
