hossein98

سوال در رابطه با محتوا robots.txt

4 پست در این موضوع قرار دارد

سلام دوستان میخواستم بپرسم محتوا robots.txt باید چی باشه من http://parsipuls.com/robots.txt هستش میخواستم بدونم مشکلی نداره درسته ؟؟

1

به اشتراک گذاری این پست


لینک به پست

از راهنمای گوگل:

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&from=35237&rd=1

برای بلوکه کردن جستجو در کل سایت

Disallow: /

برای مسدود کردن جستجوی یک پوشه

Disallow: /junk-directory/

برای مسدود کردن جستجو در یک صفحه

Disallow: /private_file.html

برای اینکه یک عکس در لیست یافته های گوگل دیده نشود

User-agent: Googlebot-Image

Disallow: /images/dogs.jpg

برای پاک کردن کل عکس های سایت از لیست جستجوی گوگل

User-agent: Googlebot-Image

Disallow: /

برای پاک کردن یک فرمت مشخص (مانند gif) از جستجوی گوگل

User-agent: Googlebot

Disallow: /*.gif$

برای صفحاتی که هنوز مطالبشون در حال تکمیله و یا آماده پذیرش آگهی نیست مطالب این صفحات در نتایج جستجو دیده نمی شه ولی گوگل اونها رو آنالیز می کنه و دسته بندی های لازم رو روشون انجام می ده

User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Allow: /

این بخش آخر مهمترین بخششه و اگر درست پر بشه باعث می شه گوگل به سرعت صفحه رو آنالیز کنه و برای صفحات اول نتیجه جستجو شاخه بندیشون کنه

بهتره سایت ها حداقل شش ماه تا یک سال از شروع منظم کارشون مطالبشون رو در این حالت در اختیار گوگل بگذارندو در این مدت به نتیجه قطعی رموضوع سایت برسند و پاسخگوی مباحث سایت باشند تا در گوگل مرجع شناخته شوند

بهترین نمونه

http://www.google.com/robots.txt

10

به اشتراک گذاری این پست


لینک به پست
http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization

5

به اشتراک گذاری این پست


لینک به پست

براي كسب تجربه ميتوني robots.txt سايت هاي مختلف رو ببيني اينجوري:


site.tld/robots.txt

3

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری