فايل robots.txt

فايل robots.txt

باسلام

اگر شما مدير يک وبسايت بوده باشيد حتماً با نام robots.txtبرخورد کرده ايد . که امروز ما به برسي آن ميپردازيم .

 

اما اين فايل چي هست ؟

براي اينکه به اين سوال پاسخ دهيم بايد ابتدابدونيم که robot هايوب (خزندگان يا عنکبوتهاي وب) چه هستند در واقع اينان برنامه هاي هستند که بدونتوقف و به صورت خودکار تمام وب را جستجو ميکنند و منابع مختلف مانند صفحات وب يافايل هاي تصويري و ... را شناسايي ميکنند مانند روبات گوگل . در واقع فايل robots.txt  فايل است که ما به وسيله آن اين خزندگان راراهنمايي ميکنيم تا وبسايت مارا بهتر جستجو کنند و مواردي را که به هردليلي ميخواهيم در وب ديده نشوند را مشخص ميکنيم براي ديدن يک نمونه ميتوانيد فايل robots.txt مبروط به سايت سخن به کد راببينيد براي اينکار به اين صورت رفتار ميکنيم :

 

http://www.talktocode.ir/robots.txt

 

يک نکته رو بايد مدنظر گرفت که اين فايل هميشه در دسترس همگان قرار دارد و هرکسي ميتواند اطلاعات آنرا مشاهده کند پس متحوايي را که در آن قرار ميدهيد مورد برسي قرار دهيد زيرا هرکسي ميتواند با مشاهده آن اگرمثلا محل يک فايل حياتي را در آن مشخص کنيم متوجه اي موضوع بشود .

 

چرا بايد آنرا ايجاد کرد ؟

براي مخفي نگه داشتن بخش هاي از سايت که نميخواهيم مورد برسي و شناسايي موتورهاي جستجو مانند Bing و Google قرار بگيرند يامعرفي کردن  محل قرار گيري فايل sitemap ( در مقاله بعديبه برسي آن مي پردازيم ) به موتورهاي جستجو .

 

چگونه آنرا ايجاد کنيم ؟

 

براي ايجاد کردن اين فايل به ابزار خاصي نيازنداريم يک ويرايشگر متن (مانند Notepad) براي ايجاد اين فايل کفايت ميکندو يکسري دستورات بسيار ساده که بصورت زير ازآنها استفاده ميکنيم :

ابتدا مشخص ميکنيم که کدام موتور جستجو را مخاطب قرار ميدهيم

User-agent:*

علامت ستاره به معناي تمام موتورهاي جستجو است ميتوان ان را محدود کرد مثلا فقط روبات گوگل که براي آن از مقدار Googlebot ميتوان استفاده کرد . پس از آن بايد بخش هايي را که نميخواهيم مورد برسي قرار بگيرند مشخص ميکنيم به صورت زير :

disallow:/private/

disallow:/*.js

disallow:/*.jpg

 

در خط اول پوشه private را مشخص ميکنيم که نميخواهيم موتور جستجو به آن دسترسي داشته باشد و در خط دوم وسوم به موتور جستجو ميگوييم که نميخواهيم فايل هاي jpg و js ما را موردبرسي قرار دهد . و براي ساير قسمتها به همين صورت عمل ميکنيم .

همچنين ميتوانيم محل قرار گيري فايل sitemap را به صورت زيربه موتور جستجو مشخص کنيم

sitemap: http://www.talktocode.ir/xml/sitemap

 

اين فايل را بايد در کجا قرار دهيم ؟

محل قرار گيري اين فايل در پوشه ريشه سايت )معمولا root ) ميباشد .

 

اميد وارم که از اين مقاله استفاده کافي برده باشيد .

 

 

دیدگاه خود را به اشتراک بگذارید.

پربازدیدترین مقالات

مشاهده مقالات سایت
توابع تعميم يافته image

توابع تعميم يافته

چهار شنبه / بیست و پنجم / تیر ادامه مطلب
فايل robots.txt image

فايل robots.txt

چهار شنبه / بیست و پنجم / تیر ادامه مطلب