sos

مصرف 100% cpu به علت ربات ها

16 پست در این موضوع قرار دارد

ارسال شده در (ویرایش شده)

چند وقتیه که دنبال راه حل برای کاهش مصرف cpu سایتم هستم که پدرمو در اورده ...

به این گزارش که برای 7 روز گذشته هست نگاه کنید :

http://www.imageupload.co.uk/files/cc2cwwooqetho8y4eh39.png

فقط 4 تا افزونه روی سایتم فعاله :

1. Captcha

2. CloudFlare

3. W3 Total Cache

4. WP-HTML-Compressio

سایت هم روی کلودفار گذاشتم .

هرچی فکر کنید رو انجام دادم . چند روزی هست که روی کلود هست و آمار جالبی دیدم و فکر میکنم مشکل ساایتمو فهمیده باشم که احتمالا به دلیل بازدید بالا هست اما

این بازدید به دلیل ربات ها هست تا بازدید کننده واقعی مثلا برای دیروز این امار صادقه :

regular traffic

1644

crawlers/bots

3299

threats

87

که 3299 تا مربوط به رباتها بود . افزونه ecstate رو نصب کردم توی کمتر از 5 ساعت که از نصبش گزشت آماری دیدم که باعث شد این سوال رو ازتون بپرسم نگاه به امار کنید :

Visits:1646

Pages:28221

RSS: 214

Bots: 17275

یعنی توی این چند ساعت 17275 تا بازدید روبات اومده روی سایتم نمیدونم دقیق هست یانه ؟ اما اگر این طور باشه که وحشتناکه ...

اولا اگر افزونه ی دیگه ای میشناسید که بتونه رباتها رو آمارشونو بده ممنون میشم راهنمایی کنید تا دوباره بررسی کنم ...

اما اگر دو امار بالا رو هم مقایسه کنیم تعداد ربات ها خیلی زیاد هست .

robots.txt سایت رو هم این طور گذاشتم :

User-agent: Googlebot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

User-agent: Adsbot-Google

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: Googlebot-Image

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: Googlebot-Mobile

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: MSNBot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-agent: bingbot

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackbackUser-agent: Slurp

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

User-Agent: Yahoo! Slurp

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

user-agent: Mediapartners-Google

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /feed

Disallow: /feed/

Disallow: /*/feed/

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Crawl-delay: 120

Sitemap: http://www.***/sitemap.xml

Sitemap: http://www.***/sitemap.xml.gz

User-agent: *

Disallow: /

دیگه چیزی به ذهنم نمیرسه . بنظرتون چیکار کنم که این ربات ها شرشون کمتر بشه.

ویرایش شده در توسط Morteza
1

به اشتراک گذاری این پست


لینک به پست

منظورش از روبات فایل robot.txt نیست

احتمالاً شما سایتتونو از بعضی روش ها به 400-500 سایت لینک ساز معرفی نکردید؟ که در اینصورت اونها هم دارن کارشونو می کنند

4

به اشتراک گذاری این پست


لینک به پست

ارسال شده در (ویرایش شده)

robots.txt همون فایل تکس هست که در پابلیک قرار میگیره و ربات ها رو هدایت میکنه هست . robot.txt رو نمیدونم چی هست ...

منظورتون بک لینک هست ؟ اگر اره باید بگم نه . اما حالا من باید چیکار کنم که این bots خیرشون کمتر بشه

به نظرم که آماری که این افزونه نشون میده خیلی غیر منتقی و زیاده الان بعد از اینکه من این تاپیک رو زدم امار بازدید این طور شده :

visit : 6000

page :65000

rss : 450

bots : 60000

جالبی و گیج کننده ترین قسمت کار هم اینجاست که من اصلا حتی یه دیدگاه اسپم هم ندارم .

و رباتایی که الان از سایتم بازدید کردن فقط google , bing بودن . هنوز چیز دیگه ای رو ثبت نکرده ...

آیا افزونه یا چیزی سراغ دارید که بشه رباتا رو مدیریت کرد یا اماری دیگه بشه گرفت ...

یا اینکه اگر درخواستی میدن مثلا بعد از چند بار درخواست ورود اشتباه آی پی برای چند دقیقه بلوک بشه ... اصلا نمیدونم چیکار کنم چند ماهی هست درگیر این موضوع هستم و الان تازه فهمیدم مشکل چیه .

ویرایش شده در توسط sos
1

به اشتراک گذاری این پست


لینک به پست

اخیراً crawl گوگل وبمستر رو افزایش ندادید؟

2

به اشتراک گذاری این پست


لینک به پست

ارسال شده در (ویرایش شده)

نه هیچ نغییری ندادم امروزم که متوجه شدم رفتم چکش کردم دیدم اینو نوشته که اصلا اجازه نمیده

Crawl rate

Your site has been assigned special crawl rate settings. You will not be able to change the crawl rate.

من تغییری بدم که همینشم برام علامت سوال بود . اما بینگ رو رفتم از حالت دیفالتش که 50% هست روی مینیموم گزاشتم

شاید ربات دیگه ای هم باشه که نتونسته نشون بده .

ویرایش شده در توسط sos
1

به اشتراک گذاری این پست


لینک به پست

گوگل آنالیتیک دارید؟ از اونجا هم میتونید بررسی کنید.

2

به اشتراک گذاری این پست


لینک به پست

بله دارم اونجا که چیزی نمیگه . منظورم از مشخصات آی پی یا Crawl rate هست وگرنه تعداد بازدید بازدید روزانه رو الان همون حدود 5000 تا که کلود گفته بود داده ...

اما الان ecstate تعداد بازدید روباتا تا الان رو به 128000 رسونده و تعداد نمایش page ها رو 159000 تا

به نظرتون چیکار کنم.

1

به اشتراک گذاری این پست


لینک به پست

ربات که نباید باعث مصرف سی پی یو تا این حد بشه. وگرنه الان سایتهایی پربازدید باید دان بشن.

مشکل شما اید از جای دیگه ایی باشه.

1

به اشتراک گذاری این پست


لینک به پست

خوب از کجا میتونه باشه ؟ چندتا پیشنهاد بدید بررسی کنم ؟

0

به اشتراک گذاری این پست


لینک به پست

من که هرچی به ذهنم میومد رو انجام دادم . از نصب وردپرس جدید گرفته تا درون ریزی و برون ریزی یا نصب وردپرس با دیتابیس قدیم و جدید ... تا کم کردن تعداد پلاگینا یا انتقال تصاویر به سابدامین ...

هیچی به ذهنم نمیرسه ... تنها گزینه ای که دیگه الان برام مونده که درحقیقت راه حل نیست پاک کردن صورت مسئله هست اونم اینه که از وردپرس مهاجرت کنم که اونوقت دوتا سوال دیگه به وجود میاد به کجا برم و اینکه چطور وردپرس رو به اون سیستم مدیریت محتوا تبدیل کنم ....

0

به اشتراک گذاری این پست


لینک به پست

رم سرور شما چقدر هست؟

چه افزونه هایی دارید؟

چون اولین بار هست مشکلی در ربات ها میبینم!

1

به اشتراک گذاری این پست


لینک به پست

در مورد رم و مشخصات سرور نمیدونم چون الان توی برزخ هستم و سرورم داره با یه سرور دیگه جابه جا میشن به محض انتقال ازشون میپرسم چون نمیشه تیکت داد .

درمورد افزونه هم توی متن اول گفتم . اما الان کل وردپرس رو پاک کردم و دوباره نصب کردم و فقط : Captcha و W3 Total Cache نصب هستن

فکر کنم این دوتا عکس هم کمک کنه : این تنظیمات سایت مپ هست :

moe6uq54v5a8dwa8ihxu.jpg

اینم آمار دیروز کلود :

نگاه کنید همینجوریشم رباتا زیادن :

4wj8z0khtmcxtf0zdzrs.jpg

0

به اشتراک گذاری این پست


لینک به پست

آدرس سایتتون رو هم قرار میدید برای بررسی ؟

1

به اشتراک گذاری این پست


لینک به پست

از قالبتون نیست

احتمالا منم همین مشکل داشتم ولی قالب تغییر دادم یه یکمکی حل شده

1

به اشتراک گذاری این پست


لینک به پست

قالب مشکلی نداره چون حتی دیفالت وردپرس هم همینطوریه .

هاستمو تغییر دادم یعنی صورت مسئله پاک شد ...

عجب بدبختیتی داریما که داریم از وردپرس استفاده میکنیم چراکه هاستیگا به این بهونه که منابع زیادی وردپرس میگیره پول بیشتری در قبال سرور قوی تر میگیرن ...

0

به اشتراک گذاری این پست


لینک به پست

مشکل شما جالب و عجیبه !

آموزش قدم به قدم امنیت وردپرس رو مطالعه بکنید.

شاید ظاهرا ربط چندانی نداره اما هر کدوم از این پلاگینهای امنیتی رو میتونید برای تست چند ساعتی فعال کنید ببینید چیزی فرق میکنه یا نه ؟

چون بعضی پلاگینها برای جلوگیری از رباتها خوب عمل میکنند.

یه مساله دیگه که به ذهنم میرسه اینه که اگه سایت شما کپی کننده زیاد داشته باشه احتمالا ربات های سایتها اونا برای گرفتن مطلب به سایت شما مراجعه میکنند.

اینو هم بررسی بکنید خوبه.

در صورتی که جواب نگرفتید آدرس سایتتون رو هم بزارید شاید بتونیم دلیل رو پیدا کنیم.

2

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری

  • مطالب مشابه

    • توسط ghasem47
      سلام به همه ی دوستان عزیز
      من در نظر دارم که یک وبسایت برای فروش فایل هایی مربوط به وب راه اندازی کنم .و قصد من این است که علاوه بر فروش فایل در سایت ، هاست و دامنه نیز بفروشم . و همچنین این هم مهمه که کاربر برای خرید هاست و یا دامین باید در وبسایت عضو بشه و بعد از خرید نیز بتونه اطلاعات هاست و تنظیمات هاست رو از حساب کاربریش در وبسایت من انجام بده.
      مانند این وبسایت : (سایت ساز زرین )   https://sitesazz.ir/
      اما تنها مشکل و مسئله در این جاست که من نمی دونم و بلد نیستم که باید چگونه این کار رو انجام بدم؟
      من قراره که وبسایت رو با وردپرس راه اندازی کنم ولی نمی دونم چطوری باید این امکان فروش هاست رو به وبسایت اضافه کنم و کاری کنم که در وبسایت بتونم هاست و دامنه هم بفروشم و به علاوه این مسئله هم هست که باید کاربرا بتونن از حساب کاربری داخل وبسایتشون به تنظیمات هاست و یا دامنشون دسترسی پیدا کنند.
      لطفاً منو راهنمایی کنید.
      با تشکر
    • توسط iranibonsai
      درود، سایتی رو با وردپرس بالا آوردیم
      اما اکنون در صفحات داخلی سایت کد خطایی رو در بخش بالای مرورگر نشون میده که نتونستیم رفعش کنیم
      Warning: count(): Parameter must be an array or an object that implements Countable in /home3/zahrefzo/public_html/wp-includes/post-template.php on line 284
      این خطا قبلا وجود نداشت، نفهمیدم به چه علتی بوجود آمده و تو اینترنت هم چیز خاصی راجعبه رفعش پیدا نکردم، ممنون میشم اعلام نظر بفرمایید
      آدرس سایت :
      http://minelbeautysalon.com//
    • توسط sydvza
      باسلام ببخشید من کلیدواژه دکه را انتخاب کردم ولی در سرچ گوگل کلمه دکه وارد میکنم حتی جز 10 صفحه هم نیستم
      https://dackeh.com
    • توسط MajidRB
      سلام وقتتون بخیر.
      دوستان قالب placid رو به صورت های مختلف دانلود و نصب کردم ( هم از سایت های فارسی و قالب فارسی شده هم از منابع خود وردپرس)
      چه به شکل فارسی چه به شکل انگلیسی پست ها رو اونطوری که در پیش نمایش قالب نشان داده شده ، در صفحه اصلی نشان نمیده !
      عکس ها رو درج میکنم
      هیچ تنظیماتی نمانده که من دستکاری نکرده باشم
      فکر کنم باید چند خط کد کم یا زیاد بشه ( که بلد نیستم ! )
      خیلی ممنون میشم راهنمایی کنید
       


    • توسط nnmmss
      با سلام
       
      من اصلا وردپرس بلد نيستم ولي مجبورم كه سايتي را نگهداري كنم. در اين سايت وقتي وارد بعضي صفحات ميشوم عبارت "دسته" به انتهاي عنوان اضافه شده.  اين صفحات بعنوان "دسته" در فهرست انتخاب شده اند. مثلا
      من در منو مورد 
      آرشيو   
      را دارم كه زير مجموعه آن 
      آرشيو سال 97
      آرشيو سال 96
      آرشيو سال 95
      هست.
       
      من "آرشيو" بعنوان برگه انتخاب شده و آرشيو سال 97 - 96 - 95 به صورت دسته انتخاب شده است. وقتي من روي هر كدام از آرشيو سال 97 يا 96 يا ..... ميروم عنوان صفحه به صورت زير است
      آرشیو سال 97دسته
      اين عبارت دسته از كجا ميايد؟ و من چگونه ميتوانم آنرا حذف كنم؟
      با تشكر