sos

مصرف 100% cpu به علت ربات ها

16 پست در این موضوع قرار دارد

چند وقتیه که دنبال راه حل برای کاهش مصرف cpu سایتم هستم که پدرمو در اورده ...

به این گزارش که برای 7 روز گذشته هست نگاه کنید :

http://www.imageupload.co.uk/files/cc2cwwooqetho8y4eh39.png

فقط 4 تا افزونه روی سایتم فعاله :

1. Captcha

2. CloudFlare

3. W3 Total Cache

4. WP-HTML-Compressio

سایت هم روی کلودفار گذاشتم .

هرچی فکر کنید رو انجام دادم . چند روزی هست که روی کلود هست و آمار جالبی دیدم و فکر میکنم مشکل ساایتمو فهمیده باشم که احتمالا به دلیل بازدید بالا هست اما

این بازدید به دلیل ربات ها هست تا بازدید کننده واقعی مثلا برای دیروز این امار صادقه :

regular traffic

1644

crawlers/bots

3299

threats

87

که 3299 تا مربوط به رباتها بود . افزونه ecstate رو نصب کردم توی کمتر از 5 ساعت که از نصبش گزشت آماری دیدم که باعث شد این سوال رو ازتون بپرسم نگاه به امار کنید :

Visits:1646

Pages:28221

RSS: 214

Bots: 17275

یعنی توی این چند ساعت 17275 تا بازدید روبات اومده روی سایتم نمیدونم دقیق هست یانه ؟ اما اگر این طور باشه که وحشتناکه ...

اولا اگر افزونه ی دیگه ای میشناسید که بتونه رباتها رو آمارشونو بده ممنون میشم راهنمایی کنید تا دوباره بررسی کنم ...

اما اگر دو امار بالا رو هم مقایسه کنیم تعداد ربات ها خیلی زیاد هست .

robots.txt سایت رو هم این طور گذاشتم :

User-agent: Googlebot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

User-agent: Adsbot-Google

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: Googlebot-Image

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: Googlebot-Mobile

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: MSNBot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: bingbot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackbackUser-agent: Slurp

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-Agent: Yahoo! Slurp

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

user-agent: Mediapartners-Google

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

Sitemap: http://www.***/sitemap.xml

Sitemap: http://www.***/sitemap.xml.gz

User-agent: *

Disallow: /

دیگه چیزی به ذهنم نمیرسه . بنظرتون چیکار کنم که این ربات ها شرشون کمتر بشه.

ویرایش شده در توسط Morteza

به اشتراک گذاری این پست


لینک به پست

منظورش از روبات فایل robot.txt نیست

احتمالاً شما سایتتونو از بعضی روش ها به 400-500 سایت لینک ساز معرفی نکردید؟ که در اینصورت اونها هم دارن کارشونو می کنند

به اشتراک گذاری این پست


لینک به پست

robots.txt همون فایل تکس هست که در پابلیک قرار میگیره و ربات ها رو هدایت میکنه هست . robot.txt رو نمیدونم چی هست ...

منظورتون بک لینک هست ؟ اگر اره باید بگم نه . اما حالا من باید چیکار کنم که این bots خیرشون کمتر بشه

به نظرم که آماری که این افزونه نشون میده خیلی غیر منتقی و زیاده الان بعد از اینکه من این تاپیک رو زدم امار بازدید این طور شده :

visit : 6000

page :65000

rss : 450

bots : 60000

جالبی و گیج کننده ترین قسمت کار هم اینجاست که من اصلا حتی یه دیدگاه اسپم هم ندارم .

و رباتایی که الان از سایتم بازدید کردن فقط google , bing بودن . هنوز چیز دیگه ای رو ثبت نکرده ...

آیا افزونه یا چیزی سراغ دارید که بشه رباتا رو مدیریت کرد یا اماری دیگه بشه گرفت ...

یا اینکه اگر درخواستی میدن مثلا بعد از چند بار درخواست ورود اشتباه آی پی برای چند دقیقه بلوک بشه ... اصلا نمیدونم چیکار کنم چند ماهی هست درگیر این موضوع هستم و الان تازه فهمیدم مشکل چیه .

ویرایش شده در توسط sos

به اشتراک گذاری این پست


لینک به پست

اخیراً crawl گوگل وبمستر رو افزایش ندادید؟

به اشتراک گذاری این پست


لینک به پست

نه هیچ نغییری ندادم امروزم که متوجه شدم رفتم چکش کردم دیدم اینو نوشته که اصلا اجازه نمیده

Crawl rate

Your site has been assigned special crawl rate settings. You will not be able to change the crawl rate.

من تغییری بدم که همینشم برام علامت سوال بود . اما بینگ رو رفتم از حالت دیفالتش که 50% هست روی مینیموم گزاشتم

شاید ربات دیگه ای هم باشه که نتونسته نشون بده .

ویرایش شده در توسط sos

به اشتراک گذاری این پست


لینک به پست

گوگل آنالیتیک دارید؟ از اونجا هم میتونید بررسی کنید.

به اشتراک گذاری این پست


لینک به پست

بله دارم اونجا که چیزی نمیگه . منظورم از مشخصات آی پی یا Crawl rate هست وگرنه تعداد بازدید بازدید روزانه رو الان همون حدود 5000 تا که کلود گفته بود داده ...

اما الان ecstate تعداد بازدید روباتا تا الان رو به 128000 رسونده و تعداد نمایش page ها رو 159000 تا

به نظرتون چیکار کنم.

به اشتراک گذاری این پست


لینک به پست

ربات که نباید باعث مصرف سی پی یو تا این حد بشه. وگرنه الان سایتهایی پربازدید باید دان بشن.

مشکل شما اید از جای دیگه ایی باشه.

به اشتراک گذاری این پست


لینک به پست

خوب از کجا میتونه باشه ؟ چندتا پیشنهاد بدید بررسی کنم ؟

به اشتراک گذاری این پست


لینک به پست

من که هرچی به ذهنم میومد رو انجام دادم . از نصب وردپرس جدید گرفته تا درون ریزی و برون ریزی یا نصب وردپرس با دیتابیس قدیم و جدید ... تا کم کردن تعداد پلاگینا یا انتقال تصاویر به سابدامین ...

هیچی به ذهنم نمیرسه ... تنها گزینه ای که دیگه الان برام مونده که درحقیقت راه حل نیست پاک کردن صورت مسئله هست اونم اینه که از وردپرس مهاجرت کنم که اونوقت دوتا سوال دیگه به وجود میاد به کجا برم و اینکه چطور وردپرس رو به اون سیستم مدیریت محتوا تبدیل کنم ....

به اشتراک گذاری این پست


لینک به پست

رم سرور شما چقدر هست؟

چه افزونه هایی دارید؟

چون اولین بار هست مشکلی در ربات ها میبینم!

به اشتراک گذاری این پست


لینک به پست

در مورد رم و مشخصات سرور نمیدونم چون الان توی برزخ هستم و سرورم داره با یه سرور دیگه جابه جا میشن به محض انتقال ازشون میپرسم چون نمیشه تیکت داد .

درمورد افزونه هم توی متن اول گفتم . اما الان کل وردپرس رو پاک کردم و دوباره نصب کردم و فقط : Captcha و W3 Total Cache نصب هستن

فکر کنم این دوتا عکس هم کمک کنه : این تنظیمات سایت مپ هست :

moe6uq54v5a8dwa8ihxu.jpg

اینم آمار دیروز کلود :

نگاه کنید همینجوریشم رباتا زیادن :

4wj8z0khtmcxtf0zdzrs.jpg

به اشتراک گذاری این پست


لینک به پست

آدرس سایتتون رو هم قرار میدید برای بررسی ؟

به اشتراک گذاری این پست


لینک به پست

از قالبتون نیست

احتمالا منم همین مشکل داشتم ولی قالب تغییر دادم یه یکمکی حل شده

به اشتراک گذاری این پست


لینک به پست

قالب مشکلی نداره چون حتی دیفالت وردپرس هم همینطوریه .

هاستمو تغییر دادم یعنی صورت مسئله پاک شد ...

عجب بدبختیتی داریما که داریم از وردپرس استفاده میکنیم چراکه هاستیگا به این بهونه که منابع زیادی وردپرس میگیره پول بیشتری در قبال سرور قوی تر میگیرن ...

به اشتراک گذاری این پست


لینک به پست

مشکل شما جالب و عجیبه !

آموزش قدم به قدم امنیت وردپرس رو مطالعه بکنید.

شاید ظاهرا ربط چندانی نداره اما هر کدوم از این پلاگینهای امنیتی رو میتونید برای تست چند ساعتی فعال کنید ببینید چیزی فرق میکنه یا نه ؟

چون بعضی پلاگینها برای جلوگیری از رباتها خوب عمل میکنند.

یه مساله دیگه که به ذهنم میرسه اینه که اگه سایت شما کپی کننده زیاد داشته باشه احتمالا ربات های سایتها اونا برای گرفتن مطلب به سایت شما مراجعه میکنند.

اینو هم بررسی بکنید خوبه.

در صورتی که جواب نگرفتید آدرس سایتتون رو هم بزارید شاید بتونیم دلیل رو پیدا کنیم.

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری

  • مطالب مشابه

    • توسط armakcell
      با سلام بنده در سایتم میخواستم یک ابزارک قرار بدم مانند ابزارک این سایت
      http://powerturk.ir

      اگر داخل این سایت برید در یک قسمت نوشته است آرشیو فول البوم
      بنده این ابزارک را چگونه به دست بیارم؟
      بنده یک تصویر ضمیمه میکنم در صورتی که در سایت وارد نشد

    • توسط amir_hossein
      سلام دوستان من قصد دارم چندتا اسلاید کناره هم به صورت خطی (مثلا 4 تا اسلاید) اواسط صفحه اصلی یا انتهای صفحه قرار بدم.افزونه ای میتونید بهم معرفی کنید برای اینکار؟
    • توسط amir_hossein
      سلام دوستان من قصد دارم چندتا اسلاید کناره هم به صورت خطی (مثلا 4 تا اسلاید) اواسط صفحه اصلی یا انتهای صفحه قرار بدم.افزونه ای میتونید بهم معرفی کنید برای اینکار؟
    • توسط mosi1672
      سلام 
      من یه سایتی دارم که برای همایش علمی مقالات رو با فرمی که با افزونه گرویتی فرم ساخته شده دریافت میکنم.
      خواستم بدونم آیا راهی وجود داره که امار مقالات دریافتی رو به صورت داینامیک و پویا بتونم با روی سایت اصلی نشون بدم؟ البته با ظاهر زیبا
      مثل این سایت تایپ ایران که امار پروژه ها و کاربرانش رو به صورت نمودار دایره ای نشون میده..
      این ادرس سایت :
      ادرس فرم:http://ihsc.bsbmu.ir/maghaleh/
      ادرس سایت:http://ihsc.bsbmu.ir/

      میدونم خیلی ساده گفتم ولی اگر امکان داره راهنمایی بفرمایید
    • توسط rezarnmsh
      با سلام احتیاج به طراحی یک سایت مشابه persiandivx.net با وردپرس دارم افرادی که فرصت  طراحی دارند با ایمیل *** مبلغ و زمان ان را اطلاع دهند با تشکر