jafar1374

روش بلوک کردن آدرس در robots.txt ؟

4 پست در این موضوع قرار دارد

سلام

الان در robots.txt گوگل وب مستر من این موارد هستند :

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Sitemap: http://site.com/sitemap.xml.gz

و پایینشم ی کادره که

URLs Specify the URLs and user-agents to test against.

و اسم سایتم.

اول اینکه می خوام ببینم اینها درست هستند یا نه و دوم اینکه اکه بخوام آدرسی رو در اینجا اضافه کنم به چه شکلی هستش؟

مثلا http://site.com/activity و یا چون قبلا از بادی پرس استفاده می کردم و نوع ادرس به شکل archive بودش و الان ساختار لینک رو عوض کردم می خوام این نوع آدرس دیگه تو گوگل نباشه که خطای 404 بزنه

حالا برای اینکه از طریق robots.txt :

http://site.com/activity و این نوع ادرس رو http://patomatlovers.com/archives/2824 حذف کنم کنم چی به روبوت تکست اضافه کنم ؟

Disallow: /؟؟؟؟؟؟؟؟؟؟؟/

نیاز به راهنمایی شدید

با سپاس

0

به اشتراک گذاری این پست


لینک به پست

404 رو ميشه با ريدايرکت 301 حل کرد

براي بلاک کردن آدرس هم بعد از disallow نام پوشه رو قرار ميديد

مثلا :


Disallow:/activity/

3

به اشتراک گذاری این پست


لینک به پست

روبات تکست برای حذف کردن آدرس نیست بلکه برای استثنا قرار دادن یک آدرس از خزش هست.

اطلاعات بیشتر:

http://www.forum.seomoz.ir/f44/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%86%D9%88%D8%B4%D8%AA%D9%86-robots-txt-%D8%A7%D8%A8%D8%AA%D8%AF%D8%A7%DB%8C%DB%8C-%D8%AA%D8%A7-%D9%BE%DB%8C%D8%B4%D8%B1%D9%81%D8%AA%D9%87-263/

3

به اشتراک گذاری این پست


لینک به پست

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری