hossein98

سوال در رابطه با محتوا robots.txt

4 پست در این موضوع قرار دارد

سلام دوستان میخواستم بپرسم محتوا robots.txt باید چی باشه من http://parsipuls.com/robots.txt هستش میخواستم بدونم مشکلی نداره درسته ؟؟

به اشتراک گذاری این پست


لینک به پست

از راهنمای گوگل:

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&from=35237&rd=1

برای بلوکه کردن جستجو در کل سایت

Disallow: /

برای مسدود کردن جستجوی یک پوشه

Disallow: /junk-directory/

برای مسدود کردن جستجو در یک صفحه

Disallow: /private_file.html

برای اینکه یک عکس در لیست یافته های گوگل دیده نشود

User-agent: Googlebot-Image

Disallow: /images/dogs.jpg

برای پاک کردن کل عکس های سایت از لیست جستجوی گوگل

User-agent: Googlebot-Image

Disallow: /

برای پاک کردن یک فرمت مشخص (مانند gif) از جستجوی گوگل

User-agent: Googlebot

Disallow: /*.gif$

برای صفحاتی که هنوز مطالبشون در حال تکمیله و یا آماده پذیرش آگهی نیست مطالب این صفحات در نتایج جستجو دیده نمی شه ولی گوگل اونها رو آنالیز می کنه و دسته بندی های لازم رو روشون انجام می ده

User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Allow: /

این بخش آخر مهمترین بخششه و اگر درست پر بشه باعث می شه گوگل به سرعت صفحه رو آنالیز کنه و برای صفحات اول نتیجه جستجو شاخه بندیشون کنه

بهتره سایت ها حداقل شش ماه تا یک سال از شروع منظم کارشون مطالبشون رو در این حالت در اختیار گوگل بگذارندو در این مدت به نتیجه قطعی رموضوع سایت برسند و پاسخگوی مباحث سایت باشند تا در گوگل مرجع شناخته شوند

بهترین نمونه

http://www.google.com/robots.txt

به اشتراک گذاری این پست


لینک به پست
http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization

به اشتراک گذاری این پست


لینک به پست

براي كسب تجربه ميتوني robots.txt سايت هاي مختلف رو ببيني اينجوري:


site.tld/robots.txt

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری