رفتن به مطلب

فایل Robots.txt


پست های پیشنهاد شده

سلام دوستان

یه نگاهی به محتویات فایل Robots.txt بنده بندازید.


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/plugins/
Disallow: /wp-content/plugins/*
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /show-error-*
Disallow: /xmlrpc.php
Disallow: /comment-page-
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /category/
Disallow: /category/*
Disallow: /category/*/*
Disallow: /category/*/*/
Disallow: /page/
Disallow: /page/*
Disallow: */feed
Disallow: */feed/
Disallow: */feed/atom
Disallow: */feed/atom/
Disallow: */feed/rss
Disallow: */feed/rss/
Disallow: */comments
Disallow: */comments/
Disallow: */comments/feed/
Disallow: */comments/feed
Disallow: /*?*
Disallow: /*?
Disallow: /*/feed/atom/
Disallow: /feed/rss/
Disallow: /comments/feed/
Disallow: /*/feed/
Disallow: /*/*/feed/
Disallow: /*/trackback/
Disallow: /*/?utm_source=rss&
Disallow: /*/?checkout=
Disallow: /*/?checkout=*
Disallow: /*/??utm_source?
Disallow: /*/??utm_source?*
Allow: /wp-content/uploads
User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
Sitemap: http://www.algool.ir/sitemap_index.xml

آیا مشکلی داره ؟

گوگل وبمستر مدام داره پیغام زیر رو میده :

http://www.algool.ir/: Googlebot can't access your site

تعداد ایندکس ها هم مدام داره کم میشه.

لینک به ارسال

تقریبا میشه گفت شما اکثر بخشهای سایت رو برای موتورهای جستجو بستید


Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /category/
Disallow: /category/*
Disallow: /category/*/*
Disallow: /category/*/*/
Disallow: /page/
Disallow: /page/*
Disallow: */feed
Disallow: */feed/
Disallow: */feed/atom
Disallow: */feed/atom/
Disallow: */feed/rss
Disallow: */feed/rss/
Disallow: */comments
Disallow: */comments/
Disallow: */comments/feed/
Disallow: */comments/feed
Disallow: /*?*
Disallow: /*?
Disallow: /*/feed/atom/
Disallow: /feed/rss/
Disallow: /comments/feed/

لینک به ارسال

من پیشنهاد میدم از این استفاده کنید :


User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Sitemap: http://www.yoursite.com/sitemap.xml

لینک به ارسال

تقریبا میشه گفت شما اکثر بخشهای سایت رو برای موتورهای جستجو بستید


Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /category/
Disallow: /category/*
Disallow: /category/*/*
Disallow: /category/*/*/
Disallow: /page/
Disallow: /page/*
Disallow: */feed
Disallow: */feed/
Disallow: */feed/atom
Disallow: */feed/atom/
Disallow: */feed/rss
Disallow: */feed/rss/
Disallow: */comments
Disallow: */comments/
Disallow: */comments/feed/
Disallow: */comments/feed
Disallow: /*?*
Disallow: /*?
Disallow: /*/feed/atom/
Disallow: /feed/rss/
Disallow: /comments/feed/

پارسا جان اگه به فوتر سایت بنده نگاه کنی متوجه میشی کی سایت منو سئو کرده... خودم هم تعجب میکنم چرا همه چیز سایت منو بسته. به قدری هم به تخصص این آدم ایمان دارم که نمیتونم ازش سوال کنم!!!

به نظرت چطور باید باشه ؟

لینک به ارسال

منم همین مشکلو چند روزه دارم

محتوا فایل Robots


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/uploads/ps_auto_sitemap/
Disallow: /wp-content/uploads/catablog/
Disallow: *?replytocom
Disallow: /wp-content/cache/
Disallow: /wp-content/plugins/
Disallow: /wp-content/w3tc/
Disallow: /wp-content/languages/
Disallow: /wp-content/themes/
Disallow: *?SA
Disallow: *?NA
Disallow: *?ND
Disallow: *?DA
Disallow: *?MD
Disallow: *?MA‎
Disallow: *?DD
Disallow: *?SD
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.webhod.ir/sitemap.xml
Sitemap: http://webhod.ir/sitemap_index.xml

البته من از یک کدم استفاده میکردم که مرورگر ie رو ببنده و به یک صفحه دیگه انتقالشون بده اما پس از اینکار عکسی که از وبسایتم تو گوگل وبمستر بود نشون دهنده همون صفحه ای بود که مرورگر ie بهش ریداکت میشد منم اون کد رو برداشتم اما هنوز مشکل حل نشده و ارور

Googlebot can't access your site

هست

محتوا ارور


http://webhod.ir/: Googlebot can't access your siteOct 30, 2013
Over the last 24 hours, Googlebot encountered 54 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 35.3%.
You can see more details about these errors in Webmaster Tools.
Recommended action
If the site error rate is 100%:
Using a web browser, attempt to access http://webhod.ir/robots.txt. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot.
If your robots.txt is a static page, verify that your web service has proper permissions to access the file.
If your robots.txt is dynamically generated, verify that the scripts that generate the robots.txt are properly configured and have permission to run. Check the logs for your website to see if your scripts are failing, and if so attempt to diagnose the cause of the failure.
If the site error rate is less than 100%:
Using Webmaster Tools, find a day with a high error rate and examine the logs for your web server for that day. Look for errors accessing robots.txt in the logs for that day and fix the causes of those errors.
The most likely explanation is that your site is overloaded. Contact your hosting provider and discuss reconfiguring your web server or adding more resources to your website.
If your site redirects to another hostname, another possible explanation is that a URL on your site is redirecting to a hostname whose serving of its robots.txt file is exhibiting one or more of these issues.
After you think you've fixed the problem, use Fetch as Google to fetch http://webhod.ir/robots.txt to verify that Googlebot can properly access your site.
Learn more in our Help Center.

لینک به ارسال

گوگل به ازای بخش هایی که مجاز به دیدنش نیست این پیام رو می ده و این پیام الزاما یک ارور نیست نوعی یاد آوریه

به نظرم فایل شما مشکلی نداره ولی فایل senator ali چرا

یعنی با بستن page


Disallow: /page/
Disallow: /page/*

و تمام صفحات داینامیک


Disallow: /*?*
Disallow: /*?

و همینطور پوشه آپلود رسانه عملا چیزی از سایت باقی نمی مونه

لینک به ارسال

سلام لطفا یه نگاه به فایل ربات منم بندازید ببینید کدی که نوشتم خوبه؟


User-agent: *
Disallow: /contact/
Disallow: /order/
Disallow: /pay/

اینم سایتمه : www.sabz-design.ir

لینک به ارسال

سلام لطفا یه نگاه به فایل ربات منم بندازید ببینید کدی که نوشتم خوبه؟


User-agent: *
Disallow: /contact/
Disallow: /order/
Disallow: /pay/

اینم سایتمه : www.sabz-design.ir

شما از دسترسی به 3 صفحه جلوگیری کردید. همین

لینک به ارسال

شما از دسترسی به 3 صفحه جلوگیری کردید. همین

خب درسته به نظرتون کار خوبی کردم که از ربات های جستجو صفحهات تماس با ما و سفارش و پرداخت آنلاین جلوگیری کردم؟

لینک به ارسال

خب درسته به نظرتون کار خوبی کردم که از ربات های جستجو صفحهات تماس با ما و سفارش و پرداخت آنلاین جلوگیری کردم؟

چندان تفاوتی نداره

میشه گفت نیازم نیست چنین کاری

لینک به ارسال

گوگل به ازای بخش هایی که مجاز به دیدنش نیست این پیام رو می ده و این پیام الزاما یک ارور نیست نوعی یاد آوریه

به نظرم فایل شما مشکلی نداره ولی فایل senator ali چرا

یعنی با بستن page


Disallow: /page/
Disallow: /page/*

و تمام صفحات داینامیک


Disallow: /*?*
Disallow: /*?

و همینطور پوشه آپلود رسانه عملا چیزی از سایت باقی نمی مونه

آقای فخار به نظرتون همون 4 موردی که گفتیید رو پاک کنم بهتر میشه ؟

لینک به ارسال

من از این استقاده می‌کنم ( مورد اولی خود وردپرس ) ولی مشکلی که هست توی سایت زیر جک کردم و هشدار میزنه البته بقیه سایتهای که ربات رو چک میکنن هم همین هشدار رو میدن

http://www.frobee.com/robots-txt-check

و نوشته یک سری از چیزهاش پشتیبانی نمیشه.

اینه


Sitemap: http://p30games.ir/sitemap_index.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /public/plugins/
Disallow: /public/cache/
Disallow: /public/themes/
Disallow: /trackback/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /public/uploads/

حالا میخواستم ببینم مشکلی ایجاد میکنه این یا نه ؟!!!

لینک به ارسال

آقای فخار به نظرتون همون 4 موردی که گفتیید رو پاک کنم بهتر میشه ؟

نمونه ای که پارسای گرامی براتون نوشتن رو استفاده کنید من جواب دوست دیگه ای رو عرض کردم

من از این استقاده می‌کنم ( مورد اولی خود وردپرس ) ولی مشکلی که هست توی سایت زیر جک کردم و هشدار میزنه البته بقیه سایتهای که ربات رو چک میکنن هم همین هشدار رو میدن

http://www.frobee.com/robots-txt-check

و نوشته یک سری از چیزهاش پشتیبانی نمیشه.

اینه


Sitemap: http://p30games.ir/sitemap_index.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /public/plugins/
Disallow: /public/cache/
Disallow: /public/themes/
Disallow: /trackback/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /public/uploads/

حالا میخواستم ببینم مشکلی ایجاد میکنه این یا نه ؟!!!

رباتها دلشون می خواد همه جا رو بگردن و این طبیعیه که وقتی نتونند به یک بخش برند ایراد بگیرند

در واقع کار اصلی روبوتز تکست هم همینه

این پیامها خطا نیست فقط یاد آوریه که چک کنید اگر جایی اشتباهی مسدود شده بازش کنید

لینک به ارسال

خب درسته به نظرتون کار خوبی کردم که از ربات های جستجو صفحهات تماس با ما و سفارش و پرداخت آنلاین جلوگیری کردم؟

اگر منظورتون رعایت امنیته رباتهای جستجوگر ارتباطی به رباتهای هکر و خطرناک ندارند در واقع اینگونه رباتها توجهی به فایل روتز تکست نمی کنند

اینکه می گن به لحاظ امنیتی بهتر بعضی پوشه ها در این فایل مخفی بشند دلیلش اینه که مثلا اگر در پوشه ای مدارک شخصیتون رو نگهداری می کنید این مدارک از طریق سرچ در گوگل مشاهده نشند و نشانی اونها لو نره ولی درگاه بانکی و امثال هم ارتباطی به این فایل ندارند

شما باید از پرت شدن وقت رباتها جلوگیری کنید و مطالب تکراری تحویلشون ندهید مثلا در صفحات بایگانی که ده عنوان پست را ربات می خونه و دوباره در صفحه همون پست هم اون پست رو می خونه و در کش سایت هم همون رو می خونه و ... در صورتیکه نهایتا به یکیشون احتیاج داره و خوندن مابقی صفحات بجز درگیر کردن ترافیک سایت و پایین آوردن سرعت سایت باعث دریافت هشدار از گوگل هم می شه و به ضررتونه

لینک به ارسال

گوگل به ازای بخش هایی که مجاز به دیدنش نیست این پیام رو می ده و این پیام الزاما یک ارور نیست نوعی یاد آوریه

به نظرم فایل شما مشکلی نداره ولی فایل senator ali چرا

یعنی با بستن page


Disallow: /page/
Disallow: /page/*

و تمام صفحات داینامیک


Disallow: /*?*
Disallow: /*?

و همینطور پوشه آپلود رسانه عملا چیزی از سایت باقی نمی مونه

آخه در متن زیر به من اشاره کردید!!!

درضمن پارسا تمام قسمت هایی رو که من بستم رو بهم نشون داد و کدی بهم پیشنهاد نکرده هنوز .

ویرایش شده توسط senator ali
لینک به ارسال

اون چهار مورد رو حذف کنید

در مورد بقیه شون من فکر می کنم لازمه که بسته باشند تا نظر دوستان چی باشه

در مورد feed باید به سایتتون هم نگاه کنید اگر ازتون آر اس اس زیاد گرفته می شه به نظرم باز بگذاریدش تا در جستجو تاثیر بگذاره )(البته ضررهای قبلی را داره ولی فکر کنم منفعتش بیشتر باشه) و فقط مشروط به اینکه از سایتتون آر اس اس زیاد گرفته شده باشه

لینک به ارسال
  • 2 هفته بعد...

واسه منم بی زحمت نظر بدید مشکلی نداشته باشه .


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://rlshd.com/sitemap.xml.gz

به نظرتون یه قسمت هست بنام trackback اون رو ببندم ؟

جاهایی که به امنیت بیشتری نیاز داره رو هم بگید ببندم .

هر جایی که به نظرتون بهتره بسته بشه بگید .

ویرایش شده توسط WP4All
لینک به ارسال

به گفتگو بپیوندید

هم اکنون می توانید مطلب خود را ارسال نمایید و بعداً ثبت نام کنید. اگر حساب کاربری دارید، برای ارسال با حساب کاربری خود اکنون وارد شوید .

مهمان
ارسال پاسخ به این موضوع ...

×   شما در حال چسباندن محتوایی با قالب بندی هستید.   حذف قالب بندی

  تنها استفاده از 75 اموجی مجاز می باشد.

×   لینک شما به صورت اتوماتیک جای گذاری شد.   نمایش به صورت لینک

×   محتوای قبلی شما بازگردانی شد.   پاک کردن محتوای ویرایشگر

×   شما مستقیما نمی توانید تصویر خود را قرار دهید. یا آن را اینجا بارگذاری کنید یا از یک URL قرار دهید.

×
×
  • اضافه کردن...