رفتن به مطلب

خطای robot.txt در وب مستر


پست های پیشنهاد شده

سلام خسته نباشید

ببخشید در وب مستر گوگل برام یه پیغام خطا اومده که گفته رباط های گوگل نمیتونن به سایتم دسترسی داشته باشن.مشکل رو از ROBOT.TXT گرفته

چیکار کنم؟این ادرس سایت WWW.NEOPOST.IR

من یه هفته پیش رباط و سایت مپم رو خودم ساختم و عوض کردم چون قبلی مشکل داشت.الان هم هر روز ورودی هام از یه هفته قبل تا الان روزی 5 عدد تقریبا بیشتر شده یعنی ورودی هام خیلی رو به رشد است.چرا پس ایرور گرفته؟

خود گوگل گفته که اگه درصد خطا کمتر از صد در صد هست احتمال داره که به علت مصرف زیاد منابع سرور اینطوری شده باشه با توجه به اینکه درصد خطای من رو 42 درصد گفته بود رفتم سراغ سرور و دیدم هاستم کمبود رم و سی پی یو داره .یعنی اینا رو ارتقا بدم حل میشه؟اخه روبوت ربطی به هاست داره مگه؟

یه مشکل هم اینه که مصرف سی پی یو و رم خیلی بیشتر از حد طبیعی هست همه راهکار های اموزشی رو هم انجام دادم و افزونه های کش رو هم نصب کردم ولی نمیدونم چرا مصرف سی پی یو انقدر بالاست.الان مصرف سی پی یو من برا بازدید روزانه 1700 نفر تقریبا 900 هست طبیعیه؟

ویرایش شده توسط SAMAN...23
لینک به ارسال

توی فایل robots که مشکل خاصی دیده نشد، بجز یک مورد :


Disallow: /wp-content

که پیشنهاد میکنم فولدر wp-content به طور کامل مسدود نشه.

(چون شامل عکس های اپلود شده در فولدر uploads میشه و باعث میشه عکس ها در google images ایندکس نشن.)

درمورد این خط توضیح بیشتری بدید ::

رباط های گوگل نمیتونن به سایتم دسترسی داشته باشن.مشکل رو از ROBOT.TXT گرفته
خود گوگل گفته که اگه درصد خطا کمتر از صد در صد هست احتمال داره که به علت مصرف زیاد منابع سرور اینطوری شده باشه با توجه به اینکه درصد خطای من رو 42 درصد گفته بود

بالاخره مشکل یا باید از robots باشه یا از عدم دسترسی و مشکل هاست.

متن ارور ها رو دقیق بزارید

مشکل احتمال زیاد بخاطر داون شدن سایت هست که می تونه در اثر محدودیت CPU رخ بده.

لینک به ارسال

http://www.neopost.ir/: Googlebot can't access your site

November 27, 2013

Over the last 24 hours, Googlebot encountered 34 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 42.5%.

You can see more details about these errors in Webmaster Tools.

Recommended actionIf the site error rate is 100%:

  • Using a web browser, attempt to access http://www.neopost.ir/robots.txt. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot.
  • If your robots.txt is a static page, verify that your web service has proper permissions to access the file.
  • If your robots.txt is dynamically generated, verify that the scripts that generate the robots.txt are properly configured and have permission to run. Check the logs for your website to see if your scripts are failing, and if so attempt to diagnose the cause of the failure.

If the site error rate is less than 100%:

  • Using Webmaster Tools, find a day with a high error rate and examine the logs for your web server for that day. Look for errors accessing robots.txt in the logs for that day and fix the causes of those errors.
  • The most likely explanation is that your site is overloaded. Contact your hosting provider and discuss reconfiguring your web server or adding more resources to your website.
  • If your site redirects to another hostname, another possible explanation is that a URL on your site is redirecting to a hostname whose serving of its robots.txt file is exhibiting one or more of these issues.

After you think you've fixed the problem, use Fetch as Google to fetch http://www.neopost.ir/robots.txt to verify that Googlebot can properly access your site.

Learn more in our Help Center.

این متن نامه گوگل بود

Disallow: /wp-content این رو کلا از روبوت پاک کردم درسته دیگه؟

چیکار کنم مصرف سی پی یو خیلی بیشتر از اندازه ای هست که باید باشه

لینک به ارسال

مشکل با این پیشنهادی که دادین و گفتین اون قسمت رو بردارم درست شده.البته فعلا که درست شده و در وب مستر اخطار نمیده حالا نمیدونم بعدا چی میشه ممنون از کمکت دادا

فقط یه سوال.

چرا وقتی مطلب مینویسم بعد از چند دقیقه اون مطلب وارد سایت مپم میشه اما در گوگل وب مستر وقتی میرم سراغ سایت مپ تعداد ایندکس ها در سایت مپ زیاد نمیشه؟

لینک به ارسال
چرا وقتی مطلب مینویسم بعد از چند دقیقه اون مطلب وارد سایت مپم میشه اما در گوگل وب مستر وقتی میرم سراغ سایت مپ تعداد ایندکس ها در سایت مپ زیاد نمیشه؟

خب در گوگل وب مستر تعداد ایندکس ها طول میکشه تا به روز بشه

البته می تونین resubmit کنید

ولی نیازی نیست

لینک به ارسال
  • 3 سال بعد...

با سلام منم ی مشکل دارم  

عاغا من ی سوال داشتم و ب ی مشکل هم بر خوردم 

من ی سایت خبری راه انداختم به ادرسjahannamaa.ir

بعد تو گوگل و.بمستر هم ثبت کردم کارای افزونه یوآست سئو رو هم براش انجام دادم

اماعنوان سایت من تو خود بخش تظیمان همگانی گذاشتم سایت خبری جهان نما بروزترین سایت خبری

و توضیحاتشم یعنی در بخش درباره سایت نوشتم 

خوب حالا بحث من اینه وقتی تو گوگل سرچ میکنم 

site:jahannamaa.ir

میبینم عنوان سایت من شده سنگ ساختمانی یعنی گوگل اینجوری میگه درحالیکه چیز دیگه ای هس

توضیحات سایتم که من نوشتم اونجا هیچیی ننوشته خودتون هم تست کنید و منو راهنمایی کنید 

در ضمن نقشه سایت هم دارم با تشکر

لینک به ارسال
  • 1 سال بعد...
  • 3 سال بعد...
در در ۱۳۹۲/۹/۱۴ در 10:16، Farzad گفته است :

توی فایل robots که مشکل خاصی دیده نشد، بجز یک مورد :

 

 


Disallow: /wp-content

 

که پیشنهاد میکنم فولدر wp-content به طور کامل مسدود نشه.

(چون شامل عکس های اپلود شده در فولدر uploads میشه و باعث میشه عکس ها در google images ایندکس نشن.)

درمورد این خط توضیح بیشتری بدید ::

بالاخره مشکل یا باید از robots باشه یا از عدم دسترسی و مشکل هاست.

متن ارور ها رو دقیق بزارید

مشکل احتمال زیاد بخاطر داون شدن سایت هست که می تونه در اثر محدودیت CPU رخ بده.

 

در در ۱۳۹۲/۹/۱۴ در 10:16، Farzad گفته است :

توی فایل robots که مشکل خاصی دیده نشد، بجز یک مورد :

 

 


Disallow: /wp-content

 

که پیشنهاد میکنم فولدر wp-content به طور کامل مسدود نشه.

(چون شامل عکس های اپلود شده در فولدر uploads میشه و باعث میشه عکس ها در google images ایندکس نشن.)

درمورد این خط توضیح بیشتری بدید ::

بالاخره مشکل یا باید از robots باشه یا از عدم دسترسی و مشکل هاست.

متن ارور ها رو دقیق بزارید

مشکل احتمال زیاد بخاطر داون شدن سایت هست که می تونه در اثر محدودیت CPU رخ بده.

با سلام . من سایتی که برام ساختن خود دامنه رو که سرچ میکنی توی نتایج پیداش میکنه، ولی زیرش مینویسه اطلاعاتی برای این صفحه در دسترس نیست. آدرس amoozesh   fanni  دات کام . من توی اون قسمت ثبت سایت رفتم اون فایلی که گفت آپلود کردم و وریفای کرد ولی بازم مشکل پابرجاست. سایتم رو چند سال پیش با وردپرس ساختن  -  فایل روبوت رو هرچی میگردم پیدا نمیکنم ولی توی تستر گوگل اینو نشون میده:

 

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://amoozeshfanni.com/wp-sitemap.xml

اگر ممکنه راهنمایی کنید

لینک به ارسال

به گفتگو بپیوندید

هم اکنون می توانید مطلب خود را ارسال نمایید و بعداً ثبت نام کنید. اگر حساب کاربری دارید، برای ارسال با حساب کاربری خود اکنون وارد شوید .

مهمان
ارسال پاسخ به این موضوع ...

×   شما در حال چسباندن محتوایی با قالب بندی هستید.   حذف قالب بندی

  تنها استفاده از 75 اموجی مجاز می باشد.

×   لینک شما به صورت اتوماتیک جای گذاری شد.   نمایش به صورت لینک

×   محتوای قبلی شما بازگردانی شد.   پاک کردن محتوای ویرایشگر

×   شما مستقیما نمی توانید تصویر خود را قرار دهید. یا آن را اینجا بارگذاری کنید یا از یک URL قرار دهید.

×
×
  • اضافه کردن...