SAMAN...23

خطای robot.txt در وب مستر

7 پست در این موضوع قرار دارد

ارسال شده در (ویرایش شده)

سلام خسته نباشید

ببخشید در وب مستر گوگل برام یه پیغام خطا اومده که گفته رباط های گوگل نمیتونن به سایتم دسترسی داشته باشن.مشکل رو از ROBOT.TXT گرفته

چیکار کنم؟این ادرس سایت WWW.NEOPOST.IR

من یه هفته پیش رباط و سایت مپم رو خودم ساختم و عوض کردم چون قبلی مشکل داشت.الان هم هر روز ورودی هام از یه هفته قبل تا الان روزی 5 عدد تقریبا بیشتر شده یعنی ورودی هام خیلی رو به رشد است.چرا پس ایرور گرفته؟

خود گوگل گفته که اگه درصد خطا کمتر از صد در صد هست احتمال داره که به علت مصرف زیاد منابع سرور اینطوری شده باشه با توجه به اینکه درصد خطای من رو 42 درصد گفته بود رفتم سراغ سرور و دیدم هاستم کمبود رم و سی پی یو داره .یعنی اینا رو ارتقا بدم حل میشه؟اخه روبوت ربطی به هاست داره مگه؟

یه مشکل هم اینه که مصرف سی پی یو و رم خیلی بیشتر از حد طبیعی هست همه راهکار های اموزشی رو هم انجام دادم و افزونه های کش رو هم نصب کردم ولی نمیدونم چرا مصرف سی پی یو انقدر بالاست.الان مصرف سی پی یو من برا بازدید روزانه 1700 نفر تقریبا 900 هست طبیعیه؟

ویرایش شده در توسط SAMAN...23
0

به اشتراک گذاری این پست


لینک به پست

توی فایل robots که مشکل خاصی دیده نشد، بجز یک مورد :


Disallow: /wp-content

که پیشنهاد میکنم فولدر wp-content به طور کامل مسدود نشه.

(چون شامل عکس های اپلود شده در فولدر uploads میشه و باعث میشه عکس ها در google images ایندکس نشن.)

درمورد این خط توضیح بیشتری بدید ::

رباط های گوگل نمیتونن به سایتم دسترسی داشته باشن.مشکل رو از ROBOT.TXT گرفته
خود گوگل گفته که اگه درصد خطا کمتر از صد در صد هست احتمال داره که به علت مصرف زیاد منابع سرور اینطوری شده باشه با توجه به اینکه درصد خطای من رو 42 درصد گفته بود

بالاخره مشکل یا باید از robots باشه یا از عدم دسترسی و مشکل هاست.

متن ارور ها رو دقیق بزارید

مشکل احتمال زیاد بخاطر داون شدن سایت هست که می تونه در اثر محدودیت CPU رخ بده.

3

به اشتراک گذاری این پست


لینک به پست

http://www.neopost.ir/: Googlebot can't access your site

November 27, 2013

Over the last 24 hours, Googlebot encountered 34 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 42.5%.

You can see more details about these errors in Webmaster Tools.

Recommended actionIf the site error rate is 100%:

  • Using a web browser, attempt to access http://www.neopost.ir/robots.txt. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot.
  • If your robots.txt is a static page, verify that your web service has proper permissions to access the file.
  • If your robots.txt is dynamically generated, verify that the scripts that generate the robots.txt are properly configured and have permission to run. Check the logs for your website to see if your scripts are failing, and if so attempt to diagnose the cause of the failure.

If the site error rate is less than 100%:

  • Using Webmaster Tools, find a day with a high error rate and examine the logs for your web server for that day. Look for errors accessing robots.txt in the logs for that day and fix the causes of those errors.
  • The most likely explanation is that your site is overloaded. Contact your hosting provider and discuss reconfiguring your web server or adding more resources to your website.
  • If your site redirects to another hostname, another possible explanation is that a URL on your site is redirecting to a hostname whose serving of its robots.txt file is exhibiting one or more of these issues.

After you think you've fixed the problem, use Fetch as Google to fetch http://www.neopost.ir/robots.txt to verify that Googlebot can properly access your site.

Learn more in our Help Center.

این متن نامه گوگل بود

Disallow: /wp-content این رو کلا از روبوت پاک کردم درسته دیگه؟

چیکار کنم مصرف سی پی یو خیلی بیشتر از اندازه ای هست که باید باشه

0

به اشتراک گذاری این پست


لینک به پست

مشکل با این پیشنهادی که دادین و گفتین اون قسمت رو بردارم درست شده.البته فعلا که درست شده و در وب مستر اخطار نمیده حالا نمیدونم بعدا چی میشه ممنون از کمکت دادا

فقط یه سوال.

چرا وقتی مطلب مینویسم بعد از چند دقیقه اون مطلب وارد سایت مپم میشه اما در گوگل وب مستر وقتی میرم سراغ سایت مپ تعداد ایندکس ها در سایت مپ زیاد نمیشه؟

0

به اشتراک گذاری این پست


لینک به پست
چرا وقتی مطلب مینویسم بعد از چند دقیقه اون مطلب وارد سایت مپم میشه اما در گوگل وب مستر وقتی میرم سراغ سایت مپ تعداد ایندکس ها در سایت مپ زیاد نمیشه؟

خب در گوگل وب مستر تعداد ایندکس ها طول میکشه تا به روز بشه

البته می تونین resubmit کنید

ولی نیازی نیست

2

به اشتراک گذاری این پست


لینک به پست

با سلام منم ی مشکل دارم  

عاغا من ی سوال داشتم و ب ی مشکل هم بر خوردم 

من ی سایت خبری راه انداختم به ادرسjahannamaa.ir

بعد تو گوگل و.بمستر هم ثبت کردم کارای افزونه یوآست سئو رو هم براش انجام دادم

اماعنوان سایت من تو خود بخش تظیمان همگانی گذاشتم سایت خبری جهان نما بروزترین سایت خبری

و توضیحاتشم یعنی در بخش درباره سایت نوشتم 

خوب حالا بحث من اینه وقتی تو گوگل سرچ میکنم 

site:jahannamaa.ir

میبینم عنوان سایت من شده سنگ ساختمانی یعنی گوگل اینجوری میگه درحالیکه چیز دیگه ای هس

توضیحات سایتم که من نوشتم اونجا هیچیی ننوشته خودتون هم تست کنید و منو راهنمایی کنید 

در ضمن نقشه سایت هم دارم با تشکر

0

به اشتراک گذاری این پست


لینک به پست

سلام
منم عمین مشکل رو تو گوگل وبمستر برخوردم
اسم سایتم https://alobaner.com
متن ارورم 

Total robots.txt fetch errors

0

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری