19 پست در این موضوع قرار دارد

سلام دوستان

یه نگاهی به محتویات فایل Robots.txt بنده بندازید.


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/plugins/
Disallow: /wp-content/plugins/*
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /show-error-*
Disallow: /xmlrpc.php
Disallow: /comment-page-
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /category/
Disallow: /category/*
Disallow: /category/*/*
Disallow: /category/*/*/
Disallow: /page/
Disallow: /page/*
Disallow: */feed
Disallow: */feed/
Disallow: */feed/atom
Disallow: */feed/atom/
Disallow: */feed/rss
Disallow: */feed/rss/
Disallow: */comments
Disallow: */comments/
Disallow: */comments/feed/
Disallow: */comments/feed
Disallow: /*?*
Disallow: /*?
Disallow: /*/feed/atom/
Disallow: /feed/rss/
Disallow: /comments/feed/
Disallow: /*/feed/
Disallow: /*/*/feed/
Disallow: /*/trackback/
Disallow: /*/?utm_source=rss&
Disallow: /*/?checkout=
Disallow: /*/?checkout=*
Disallow: /*/??utm_source?
Disallow: /*/??utm_source?*
Allow: /wp-content/uploads
User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
Sitemap: http://www.algool.ir/sitemap_index.xml

آیا مشکلی داره ؟

گوگل وبمستر مدام داره پیغام زیر رو میده :

http://www.algool.ir/: Googlebot can't access your site

تعداد ایندکس ها هم مدام داره کم میشه.

به اشتراک گذاری این پست


لینک به پست

تقریبا میشه گفت شما اکثر بخشهای سایت رو برای موتورهای جستجو بستید


Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /category/
Disallow: /category/*
Disallow: /category/*/*
Disallow: /category/*/*/
Disallow: /page/
Disallow: /page/*
Disallow: */feed
Disallow: */feed/
Disallow: */feed/atom
Disallow: */feed/atom/
Disallow: */feed/rss
Disallow: */feed/rss/
Disallow: */comments
Disallow: */comments/
Disallow: */comments/feed/
Disallow: */comments/feed
Disallow: /*?*
Disallow: /*?
Disallow: /*/feed/atom/
Disallow: /feed/rss/
Disallow: /comments/feed/

به اشتراک گذاری این پست


لینک به پست

من پیشنهاد میدم از این استفاده کنید :


User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Sitemap: http://www.yoursite.com/sitemap.xml

به اشتراک گذاری این پست


لینک به پست

تقریبا میشه گفت شما اکثر بخشهای سایت رو برای موتورهای جستجو بستید


Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /category/
Disallow: /category/*
Disallow: /category/*/*
Disallow: /category/*/*/
Disallow: /page/
Disallow: /page/*
Disallow: */feed
Disallow: */feed/
Disallow: */feed/atom
Disallow: */feed/atom/
Disallow: */feed/rss
Disallow: */feed/rss/
Disallow: */comments
Disallow: */comments/
Disallow: */comments/feed/
Disallow: */comments/feed
Disallow: /*?*
Disallow: /*?
Disallow: /*/feed/atom/
Disallow: /feed/rss/
Disallow: /comments/feed/

پارسا جان اگه به فوتر سایت بنده نگاه کنی متوجه میشی کی سایت منو سئو کرده... خودم هم تعجب میکنم چرا همه چیز سایت منو بسته. به قدری هم به تخصص این آدم ایمان دارم که نمیتونم ازش سوال کنم!!!

به نظرت چطور باید باشه ؟

به اشتراک گذاری این پست


لینک به پست

منم همین مشکلو چند روزه دارم

محتوا فایل Robots


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/uploads/ps_auto_sitemap/
Disallow: /wp-content/uploads/catablog/
Disallow: *?replytocom
Disallow: /wp-content/cache/
Disallow: /wp-content/plugins/
Disallow: /wp-content/w3tc/
Disallow: /wp-content/languages/
Disallow: /wp-content/themes/
Disallow: *?SA
Disallow: *?NA
Disallow: *?ND
Disallow: *?DA
Disallow: *?MD
Disallow: *?MA‎
Disallow: *?DD
Disallow: *?SD
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.webhod.ir/sitemap.xml
Sitemap: http://webhod.ir/sitemap_index.xml

البته من از یک کدم استفاده میکردم که مرورگر ie رو ببنده و به یک صفحه دیگه انتقالشون بده اما پس از اینکار عکسی که از وبسایتم تو گوگل وبمستر بود نشون دهنده همون صفحه ای بود که مرورگر ie بهش ریداکت میشد منم اون کد رو برداشتم اما هنوز مشکل حل نشده و ارور

Googlebot can't access your site

هست

محتوا ارور


http://webhod.ir/: Googlebot can't access your siteOct 30, 2013
Over the last 24 hours, Googlebot encountered 54 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 35.3%.
You can see more details about these errors in Webmaster Tools.
Recommended action
If the site error rate is 100%:
Using a web browser, attempt to access http://webhod.ir/robots.txt. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot.
If your robots.txt is a static page, verify that your web service has proper permissions to access the file.
If your robots.txt is dynamically generated, verify that the scripts that generate the robots.txt are properly configured and have permission to run. Check the logs for your website to see if your scripts are failing, and if so attempt to diagnose the cause of the failure.
If the site error rate is less than 100%:
Using Webmaster Tools, find a day with a high error rate and examine the logs for your web server for that day. Look for errors accessing robots.txt in the logs for that day and fix the causes of those errors.
The most likely explanation is that your site is overloaded. Contact your hosting provider and discuss reconfiguring your web server or adding more resources to your website.
If your site redirects to another hostname, another possible explanation is that a URL on your site is redirecting to a hostname whose serving of its robots.txt file is exhibiting one or more of these issues.
After you think you've fixed the problem, use Fetch as Google to fetch http://webhod.ir/robots.txt to verify that Googlebot can properly access your site.
Learn more in our Help Center.

به اشتراک گذاری این پست


لینک به پست

گوگل به ازای بخش هایی که مجاز به دیدنش نیست این پیام رو می ده و این پیام الزاما یک ارور نیست نوعی یاد آوریه

به نظرم فایل شما مشکلی نداره ولی فایل senator ali چرا

یعنی با بستن page


Disallow: /page/
Disallow: /page/*

و تمام صفحات داینامیک


Disallow: /*?*
Disallow: /*?

و همینطور پوشه آپلود رسانه عملا چیزی از سایت باقی نمی مونه

به اشتراک گذاری این پست


لینک به پست

سلام لطفا یه نگاه به فایل ربات منم بندازید ببینید کدی که نوشتم خوبه؟


User-agent: *
Disallow: /contact/
Disallow: /order/
Disallow: /pay/

اینم سایتمه : www.sabz-design.ir

به اشتراک گذاری این پست


لینک به پست

سلام لطفا یه نگاه به فایل ربات منم بندازید ببینید کدی که نوشتم خوبه؟


User-agent: *
Disallow: /contact/
Disallow: /order/
Disallow: /pay/

اینم سایتمه : www.sabz-design.ir

شما از دسترسی به 3 صفحه جلوگیری کردید. همین

به اشتراک گذاری این پست


لینک به پست

شما از دسترسی به 3 صفحه جلوگیری کردید. همین

خب درسته به نظرتون کار خوبی کردم که از ربات های جستجو صفحهات تماس با ما و سفارش و پرداخت آنلاین جلوگیری کردم؟

به اشتراک گذاری این پست


لینک به پست

خب درسته به نظرتون کار خوبی کردم که از ربات های جستجو صفحهات تماس با ما و سفارش و پرداخت آنلاین جلوگیری کردم؟

چندان تفاوتی نداره

میشه گفت نیازم نیست چنین کاری

به اشتراک گذاری این پست


لینک به پست

گوگل به ازای بخش هایی که مجاز به دیدنش نیست این پیام رو می ده و این پیام الزاما یک ارور نیست نوعی یاد آوریه

به نظرم فایل شما مشکلی نداره ولی فایل senator ali چرا

یعنی با بستن page


Disallow: /page/
Disallow: /page/*

و تمام صفحات داینامیک


Disallow: /*?*
Disallow: /*?

و همینطور پوشه آپلود رسانه عملا چیزی از سایت باقی نمی مونه

آقای فخار به نظرتون همون 4 موردی که گفتیید رو پاک کنم بهتر میشه ؟

به اشتراک گذاری این پست


لینک به پست

من از این استقاده می‌کنم ( مورد اولی خود وردپرس ) ولی مشکلی که هست توی سایت زیر جک کردم و هشدار میزنه البته بقیه سایتهای که ربات رو چک میکنن هم همین هشدار رو میدن

http://www.frobee.com/robots-txt-check

و نوشته یک سری از چیزهاش پشتیبانی نمیشه.

اینه


Sitemap: http://p30games.ir/sitemap_index.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /public/plugins/
Disallow: /public/cache/
Disallow: /public/themes/
Disallow: /trackback/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /public/uploads/

حالا میخواستم ببینم مشکلی ایجاد میکنه این یا نه ؟!!!

به اشتراک گذاری این پست


لینک به پست

آقای فخار به نظرتون همون 4 موردی که گفتیید رو پاک کنم بهتر میشه ؟

نمونه ای که پارسای گرامی براتون نوشتن رو استفاده کنید من جواب دوست دیگه ای رو عرض کردم

من از این استقاده می‌کنم ( مورد اولی خود وردپرس ) ولی مشکلی که هست توی سایت زیر جک کردم و هشدار میزنه البته بقیه سایتهای که ربات رو چک میکنن هم همین هشدار رو میدن

http://www.frobee.com/robots-txt-check

و نوشته یک سری از چیزهاش پشتیبانی نمیشه.

اینه


Sitemap: http://p30games.ir/sitemap_index.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /public/plugins/
Disallow: /public/cache/
Disallow: /public/themes/
Disallow: /trackback/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /public/uploads/

حالا میخواستم ببینم مشکلی ایجاد میکنه این یا نه ؟!!!

رباتها دلشون می خواد همه جا رو بگردن و این طبیعیه که وقتی نتونند به یک بخش برند ایراد بگیرند

در واقع کار اصلی روبوتز تکست هم همینه

این پیامها خطا نیست فقط یاد آوریه که چک کنید اگر جایی اشتباهی مسدود شده بازش کنید

به اشتراک گذاری این پست


لینک به پست

خب درسته به نظرتون کار خوبی کردم که از ربات های جستجو صفحهات تماس با ما و سفارش و پرداخت آنلاین جلوگیری کردم؟

اگر منظورتون رعایت امنیته رباتهای جستجوگر ارتباطی به رباتهای هکر و خطرناک ندارند در واقع اینگونه رباتها توجهی به فایل روتز تکست نمی کنند

اینکه می گن به لحاظ امنیتی بهتر بعضی پوشه ها در این فایل مخفی بشند دلیلش اینه که مثلا اگر در پوشه ای مدارک شخصیتون رو نگهداری می کنید این مدارک از طریق سرچ در گوگل مشاهده نشند و نشانی اونها لو نره ولی درگاه بانکی و امثال هم ارتباطی به این فایل ندارند

شما باید از پرت شدن وقت رباتها جلوگیری کنید و مطالب تکراری تحویلشون ندهید مثلا در صفحات بایگانی که ده عنوان پست را ربات می خونه و دوباره در صفحه همون پست هم اون پست رو می خونه و در کش سایت هم همون رو می خونه و ... در صورتیکه نهایتا به یکیشون احتیاج داره و خوندن مابقی صفحات بجز درگیر کردن ترافیک سایت و پایین آوردن سرعت سایت باعث دریافت هشدار از گوگل هم می شه و به ضررتونه

به اشتراک گذاری این پست


لینک به پست

گوگل به ازای بخش هایی که مجاز به دیدنش نیست این پیام رو می ده و این پیام الزاما یک ارور نیست نوعی یاد آوریه

به نظرم فایل شما مشکلی نداره ولی فایل senator ali چرا

یعنی با بستن page


Disallow: /page/
Disallow: /page/*

و تمام صفحات داینامیک


Disallow: /*?*
Disallow: /*?

و همینطور پوشه آپلود رسانه عملا چیزی از سایت باقی نمی مونه

آخه در متن زیر به من اشاره کردید!!!

درضمن پارسا تمام قسمت هایی رو که من بستم رو بهم نشون داد و کدی بهم پیشنهاد نکرده هنوز .

ویرایش شده در توسط senator ali

به اشتراک گذاری این پست


لینک به پست

اون چهار مورد رو حذف کنید

در مورد بقیه شون من فکر می کنم لازمه که بسته باشند تا نظر دوستان چی باشه

در مورد feed باید به سایتتون هم نگاه کنید اگر ازتون آر اس اس زیاد گرفته می شه به نظرم باز بگذاریدش تا در جستجو تاثیر بگذاره )(البته ضررهای قبلی را داره ولی فکر کنم منفعتش بیشتر باشه) و فقط مشروط به اینکه از سایتتون آر اس اس زیاد گرفته شده باشه

به اشتراک گذاری این پست


لینک به پست

واسه منم بی زحمت نظر بدید مشکلی نداشته باشه .


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://rlshd.com/sitemap.xml.gz

به نظرتون یه قسمت هست بنام trackback اون رو ببندم ؟

جاهایی که به امنیت بیشتری نیاز داره رو هم بگید ببندم .

هر جایی که به نظرتون بهتره بسته بشه بگید .

ویرایش شده در توسط WP4All

به اشتراک گذاری این پست


لینک به پست

ترک بک نیازی به بستن نداره

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری

  • مطالب مشابه

    • توسط oonchiye
      سلام
      تنظیمات مربوط به افزونه رو انجام دادم برگه ها موجود هستش 
      شرت کد های مربوط هم درسته 
      فقط وقتی دکه پرداخت رو میزنی صفحه تسویه حساب فقز اسم برگه رو میاره 
      مینویسه check uot فقط
      چیکار کنم خیلی لازم دارم 
    • توسط behi13
      با سلام
      دوستام و اساتید محترم یک سوال
      من به سایت دوزبانه با افزونه wpml درست کردم الان یک مشکل هست توی گوگل صفحه اول سایت ایندکس شده و توی فارسی مشکلی ندارم
      ولی توی زبان انگلیسی وقتی توی گوگل به انگلیسی سرچ میکنم بازهم با نام و فارسی میاد
      ممنون میشم من و راهنمایی کنید
    • توسط j1989m
      سلام
      توی قسمت افزودن نوشته و از طریق پرونده های رسانه ای یه عکس انتخاب میکنم و منتشر میکنم. توی سایت عکس رو نشون میده اما این کدها رو هم میاره:
      [caption id="attachment_154" align="aligncenter" width="300"] [/caption]
      درواقع عکس بین دوتا caption بالا قرار میگیره.
      این مشکل توی افزودن برگه نیست.
      لطفا راهنمایی کنید
      خیلی فوریه
      ممنون
    • توسط xboby
      سلام،
      من سایتی با ورد پرس طراحی کردم و می خواهم با:
      یک برنامه تمام پستهای موجود در کانال تلگرامی که بنام آن سایت ایجاد کر ده ام را
      بتوانم از موبایلم دانلود کنم و بعد در آن سایت قرار دهم:
      آیا چنان برنامه ای وجود دارد؟ لطفا راهنمائی ام بفرمائید.
                                   متشکرم
    • توسط دکتر مهندس
      سلام
      من چندتا سایت دارم که همه رو وقتی خواستم به وردپرس 4.7 ارتقا بدم، همگی مشکل دار شدند.
      به این صورت که خود سایت باز میشه اما قسمت مدیریت سایت باز نمیشه و لینکهای بخش مدیریت به این صورت میاد: /wp-admin/upgrade.php?_wp_http_referer=%2Fwp-admin%2F
       
      توی صفحه هم که میاد اینطوری مینویسه: 
       
      The www......ir page isn’t working
      www.......ir is currently unable to handle this request.
      HTTP ERROR 500