رفتن به مطلب

مصرف 100% cpu به علت ربات ها


پست های پیشنهاد شده

چند وقتیه که دنبال راه حل برای کاهش مصرف cpu سایتم هستم که پدرمو در اورده ...

به این گزارش که برای 7 روز گذشته هست نگاه کنید :

http://www.imageupload.co.uk/files/cc2cwwooqetho8y4eh39.png

فقط 4 تا افزونه روی سایتم فعاله :

1. Captcha

2. CloudFlare

3. W3 Total Cache

4. WP-HTML-Compressio

سایت هم روی کلودفار گذاشتم .

هرچی فکر کنید رو انجام دادم . چند روزی هست که روی کلود هست و آمار جالبی دیدم و فکر میکنم مشکل ساایتمو فهمیده باشم که احتمالا به دلیل بازدید بالا هست اما

این بازدید به دلیل ربات ها هست تا بازدید کننده واقعی مثلا برای دیروز این امار صادقه :

regular traffic

1644

crawlers/bots

3299

threats

87

که 3299 تا مربوط به رباتها بود . افزونه ecstate رو نصب کردم توی کمتر از 5 ساعت که از نصبش گزشت آماری دیدم که باعث شد این سوال رو ازتون بپرسم نگاه به امار کنید :

Visits:1646

Pages:28221

RSS: 214

Bots: 17275

یعنی توی این چند ساعت 17275 تا بازدید روبات اومده روی سایتم نمیدونم دقیق هست یانه ؟ اما اگر این طور باشه که وحشتناکه ...

اولا اگر افزونه ی دیگه ای میشناسید که بتونه رباتها رو آمارشونو بده ممنون میشم راهنمایی کنید تا دوباره بررسی کنم ...

اما اگر دو امار بالا رو هم مقایسه کنیم تعداد ربات ها خیلی زیاد هست .

robots.txt سایت رو هم این طور گذاشتم :

User-agent: Googlebot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

User-agent: Adsbot-Google

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: Googlebot-Image

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: Googlebot-Mobile

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: MSNBot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: bingbot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackbackUser-agent: Slurp

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-Agent: Yahoo! Slurp

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

user-agent: Mediapartners-Google

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

Sitemap: http://www.***/sitemap.xml

Sitemap: http://www.***/sitemap.xml.gz

User-agent: *

Disallow: /

دیگه چیزی به ذهنم نمیرسه . بنظرتون چیکار کنم که این ربات ها شرشون کمتر بشه.

ویرایش شده توسط Morteza
لینک به ارسال

منظورش از روبات فایل robot.txt نیست

احتمالاً شما سایتتونو از بعضی روش ها به 400-500 سایت لینک ساز معرفی نکردید؟ که در اینصورت اونها هم دارن کارشونو می کنند

لینک به ارسال

robots.txt همون فایل تکس هست که در پابلیک قرار میگیره و ربات ها رو هدایت میکنه هست . robot.txt رو نمیدونم چی هست ...

منظورتون بک لینک هست ؟ اگر اره باید بگم نه . اما حالا من باید چیکار کنم که این bots خیرشون کمتر بشه

به نظرم که آماری که این افزونه نشون میده خیلی غیر منتقی و زیاده الان بعد از اینکه من این تاپیک رو زدم امار بازدید این طور شده :

visit : 6000

page :65000

rss : 450

bots : 60000

جالبی و گیج کننده ترین قسمت کار هم اینجاست که من اصلا حتی یه دیدگاه اسپم هم ندارم .

و رباتایی که الان از سایتم بازدید کردن فقط google , bing بودن . هنوز چیز دیگه ای رو ثبت نکرده ...

آیا افزونه یا چیزی سراغ دارید که بشه رباتا رو مدیریت کرد یا اماری دیگه بشه گرفت ...

یا اینکه اگر درخواستی میدن مثلا بعد از چند بار درخواست ورود اشتباه آی پی برای چند دقیقه بلوک بشه ... اصلا نمیدونم چیکار کنم چند ماهی هست درگیر این موضوع هستم و الان تازه فهمیدم مشکل چیه .

ویرایش شده توسط sos
لینک به ارسال

نه هیچ نغییری ندادم امروزم که متوجه شدم رفتم چکش کردم دیدم اینو نوشته که اصلا اجازه نمیده

Crawl rate

Your site has been assigned special crawl rate settings. You will not be able to change the crawl rate.

من تغییری بدم که همینشم برام علامت سوال بود . اما بینگ رو رفتم از حالت دیفالتش که 50% هست روی مینیموم گزاشتم

شاید ربات دیگه ای هم باشه که نتونسته نشون بده .

ویرایش شده توسط sos
لینک به ارسال

گوگل آنالیتیک دارید؟ از اونجا هم میتونید بررسی کنید.

لینک به ارسال

بله دارم اونجا که چیزی نمیگه . منظورم از مشخصات آی پی یا Crawl rate هست وگرنه تعداد بازدید بازدید روزانه رو الان همون حدود 5000 تا که کلود گفته بود داده ...

اما الان ecstate تعداد بازدید روباتا تا الان رو به 128000 رسونده و تعداد نمایش page ها رو 159000 تا

به نظرتون چیکار کنم.

لینک به ارسال

ربات که نباید باعث مصرف سی پی یو تا این حد بشه. وگرنه الان سایتهایی پربازدید باید دان بشن.

مشکل شما اید از جای دیگه ایی باشه.

لینک به ارسال

من که هرچی به ذهنم میومد رو انجام دادم . از نصب وردپرس جدید گرفته تا درون ریزی و برون ریزی یا نصب وردپرس با دیتابیس قدیم و جدید ... تا کم کردن تعداد پلاگینا یا انتقال تصاویر به سابدامین ...

هیچی به ذهنم نمیرسه ... تنها گزینه ای که دیگه الان برام مونده که درحقیقت راه حل نیست پاک کردن صورت مسئله هست اونم اینه که از وردپرس مهاجرت کنم که اونوقت دوتا سوال دیگه به وجود میاد به کجا برم و اینکه چطور وردپرس رو به اون سیستم مدیریت محتوا تبدیل کنم ....

لینک به ارسال

رم سرور شما چقدر هست؟

چه افزونه هایی دارید؟

چون اولین بار هست مشکلی در ربات ها میبینم!

لینک به ارسال

در مورد رم و مشخصات سرور نمیدونم چون الان توی برزخ هستم و سرورم داره با یه سرور دیگه جابه جا میشن به محض انتقال ازشون میپرسم چون نمیشه تیکت داد .

درمورد افزونه هم توی متن اول گفتم . اما الان کل وردپرس رو پاک کردم و دوباره نصب کردم و فقط : Captcha و W3 Total Cache نصب هستن

فکر کنم این دوتا عکس هم کمک کنه : این تنظیمات سایت مپ هست :

moe6uq54v5a8dwa8ihxu.jpg

اینم آمار دیروز کلود :

نگاه کنید همینجوریشم رباتا زیادن :

4wj8z0khtmcxtf0zdzrs.jpg

لینک به ارسال
  • 1 ماه بعد...

قالب مشکلی نداره چون حتی دیفالت وردپرس هم همینطوریه .

هاستمو تغییر دادم یعنی صورت مسئله پاک شد ...

عجب بدبختیتی داریما که داریم از وردپرس استفاده میکنیم چراکه هاستیگا به این بهونه که منابع زیادی وردپرس میگیره پول بیشتری در قبال سرور قوی تر میگیرن ...

لینک به ارسال

مشکل شما جالب و عجیبه !

آموزش قدم به قدم امنیت وردپرس رو مطالعه بکنید.

شاید ظاهرا ربط چندانی نداره اما هر کدوم از این پلاگینهای امنیتی رو میتونید برای تست چند ساعتی فعال کنید ببینید چیزی فرق میکنه یا نه ؟

چون بعضی پلاگینها برای جلوگیری از رباتها خوب عمل میکنند.

یه مساله دیگه که به ذهنم میرسه اینه که اگه سایت شما کپی کننده زیاد داشته باشه احتمالا ربات های سایتها اونا برای گرفتن مطلب به سایت شما مراجعه میکنند.

اینو هم بررسی بکنید خوبه.

در صورتی که جواب نگرفتید آدرس سایتتون رو هم بزارید شاید بتونیم دلیل رو پیدا کنیم.

لینک به ارسال

به گفتگو بپیوندید

هم اکنون می توانید مطلب خود را ارسال نمایید و بعداً ثبت نام کنید. اگر حساب کاربری دارید، برای ارسال با حساب کاربری خود اکنون وارد شوید .

مهمان
ارسال پاسخ به این موضوع ...

×   شما در حال چسباندن محتوایی با قالب بندی هستید.   حذف قالب بندی

  تنها استفاده از 75 اموجی مجاز می باشد.

×   لینک شما به صورت اتوماتیک جای گذاری شد.   نمایش به صورت لینک

×   محتوای قبلی شما بازگردانی شد.   پاک کردن محتوای ویرایشگر

×   شما مستقیما نمی توانید تصویر خود را قرار دهید. یا آن را اینجا بارگذاری کنید یا از یک URL قرار دهید.

×
×
  • اضافه کردن...