elahe1055

فایل robots.txt

3 پست در این موضوع قرار دارد

یه سری مطالب خوندم در موردش من می خوام همه سایت سرچ بشه و ممنوعیت نداشته باشه این کد کافیه

User-agent: *

بعد اگه من نخوام ممنوعیتی بهش بدم از نظر امنیتی مشکل پیش می یاد برای سایتم

چون من می خوام همه نوشته ها و برگه ها و عکس ها رو سرچ کنه گوگل

این اسم سایت هم هست

http://www.shaddone.ir/

اگه کد دیگه هم مهم که اضافه بشه بگید بهم

مگه این فایل برای بهتر دیده شدن در گوگل نیست پس چرا همش باید بهش disallow بهش بدیم

به اشتراک گذاری این پست


لینک به پست

این فایل ربطی به امنیت نداره

اگر این فایل را درست پر نکنید بهتره نباشه

وظیفه این فایل اینه که جلوی اتلاف وقت ربات ها را بگیره و بهشون بگه چه پوشه هایی نمی تونند حاوی مطالب برای نتایج جستجو باشند و اگر قرار باشه ربات را بیشتر به سمت پوشه های بیمورد هدایت کنه خیلی زود وارد بلاک لیست گوگل می شید و از لیست جستنجو حذفتون می کنند

مسلما جستجوی پوشه های ادمین - اینکلود - افزونه ها و قالب ها بجز اتلاف وقت چیزی عایدتون نمی کنه

این نمونه پیشنهادی وردپرسه

بهتره از همین استفاده کنید


Sitemap: http://www.example.com/sitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization

یادتون نره سایت مپ را در خط اول با آدرس سایتتون ست کنید

به اشتراک گذاری این پست


لینک به پست

مگه این فایل برای بهتر دیده شدن در گوگل نیست پس چرا همش باید بهش disallow بهش بدیم

اصولاً همه چیز دیده میشه مگر اینکه شما نخواین دیده بشه - برای همین هم هست نیازی نیست بگید که چه چیزهایی دیده بشن (چون همه چیز بطور پیشفرض دیده میشن) - پس کافیه بگید که چه چیزهایی دیده نشن (Disallow). مثلاً ممکنه شما نیاز داشته باشید تا فایل های امنیتی و یا فولدر ارتباط با بانک خودتون رو برملا نکنید.

و یا خیلی از ابزارهایی که درون سایت شما سرویس های داخلی به سایر بخش های سایتتون میدن و نیازی نیست که دیده بشن.

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری