Cinema

ربات های اسپمر

9 پست در این موضوع قرار دارد

سلام بر همه !

چند وقتیه ربات های اسپمر مزاحم سایتمون شدن ! هر دقیقه یه نظر میفرستن.

یه کپچا واسه نظرا گذاشتیم مشکل حل شد .

اما فاجعه شروع شد .

رتبه الکسامون 6 میلیون رفت بالا!!!

الان کلا میخوایم به غیر از موتورای جست و جو هیچ ربات دیگه ای نتونه بیاد !

چی کارش کنیم ؟

0

به اشتراک گذاری این پست


لینک به پست

این کد رو توی فایل htaccess ریشه سایتتون اضاف کنید


RewriteCond %{HTTP_USER_AGENT} ^libwww-perl* [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]
</IfModule>

اگه رباتی که به سایتتون وارد میشه جز این لیست نبود میتونید یوزر اجنتش رو اضاف کنید

موفق باشید

2

به اشتراک گذاری این پست


لینک به پست

این کد رو توی فایل htaccess ریشه سایتتون اضاف کنید


RewriteCond %{HTTP_USER_AGENT} ^libwww-perl* [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]
</IfModule>

اگه رباتی که به سایتتون وارد میشه جز این لیست نبود میتونید یوزر اجنتش رو اضاف کنید

موفق باشید

خیلی ممنون دوست عزیز

متاسفانه مشکل حل نشد .

از کجا بفهمیم این رباتی که میاد اسمش چیه تا یوزر اجنتش رو اضافه کنیم ؟

0

به اشتراک گذاری این پست


لینک به پست

باید از امارگیری که یوزر ایجنت رو ذخیره میکنه استفاده کنید

توی سایت ها ندیدم همچین امارگیر معروفی احتمالا باید بدی برات بنویسن

1

به اشتراک گذاری این پست


لینک به پست

راه حل نهایی ؟

0

به اشتراک گذاری این پست


لینک به پست

راه حل نهایی

بلاک کردن ایپی یا بلاک کردن یوزر اجنت که یوزر اجنت بهتره

هر دو هم از طریق فایل htaccess انجام میشه

حالا بقیش با خودتونه که یوزر اجنت یا ایپی ربات رو چطور بدست بیارید

یا منتظر کسی دیگه باشید راه حل دیگری بهتون بده

موفق باشید

2

به اشتراک گذاری این پست


لینک به پست

راه حل نهایی

بلاک کردن ایپی یا بلاک کردن یوزر اجنت که یوزر اجنت بهتره

هر دو هم از طریق فایل htaccess انجام میشه

حالا بقیش با خودتونه که یوزر اجنت یا ایپی ربات رو چطور بدست بیارید

یا منتظر کسی دیگه باشید راه حل دیگری بهتون بده

موفق باشید

تشکر دوست عزیز !

متاسفانه ای پی ربات متغیره !

یوز اجنتشم که ...

ولی بازم نوکرم !

1

به اشتراک گذاری این پست


لینک به پست

دوستان کسی نمیدونه :

چه کدی در فایل robots.txt قرار بدم تا فقط ربات گوگل بتونه وب سایتمون رو ایندکس کنه ؟

0

به اشتراک گذاری این پست


لینک به پست

دوستان کسی نمیدونه :

چه کدی در فایل robots.txt قرار بدم تا فقط ربات گوگل بتونه وب سایتمون رو ایندکس کنه ؟

ربات های استاندارد از این فایل استفاده میکنند

ربات های اسپمر هیچ وقت به دستورات این فایل اهمیت نمیدن

حالا شاید بگید پس چطور به دستورات htaccess اهمیت میدن؟ پاسخ بنده این است که فایل htaccess فایل تنظیم سرور هست و سرور رو تنظیم میکنیم که اگه کسی درخواست صفحه سایت رو کرد اسمش فلان بود بهش سایت رو نده و ارور بهش تحویل بده( ربات تصمیم نمیگیره بلکه سرور تصمیم میگیره )

موفق باشید

1

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری

  • مطالب مشابه

    • توسط unid_user
      سلام دوستان
      شنیدم که برخی ربات ها هستند که با ایمیل هایی عجیب و غریب و نام کاربری های عجیب تر و طولانی در سایت های وردپرسی به عنوان کاربر ثبت نام میکنند. آیا این یک خطر امنیتی برای وب سایت است؟ و یا اینکه روی سئو اون سایت ها اثر منفی داره؟ برای جلوگیری از این کار اگه واقعا مشکلی ایجاد میکنه چه باید کرد؟
      ممنون
    • توسط alireza.habibi70
      سلام و عرض ادب
      یه درخواست راهنمایی داشتم
       
      چندوقتی هست که گوگل داره روزانه مطالب و دسته بندیهایی که قبلا از سایتم حذف شده اند رو بررسی میکنه و نات فوند میزنه ، و همین امر باعث شده خیلی خیلی رتبه سایتم رو خراب کنه و همینجور ایندکس نداشته باشه مطالبم
       
      واسه همین امروز تصمیم گرفتم تغییراتی داخل robot.txt بدم
      اگه ممکنه بررسی کنید ببینید مشکلی نداره این کاری که انجام دادم
       
      برای مثال میخواهم که دسته بندی های زیر را از سایتم بررسی نکنه چون کلا توی سایتم وجود ندارن

      product-category/fruits
      product-category/kid-toys.html
       
      برای همین از کد زیر استفاده کردم درسته؟
      User-agent: *
      Disallow: /wp-admin/
      Allow: /wp-admin/admin-ajax.php
      Disallow: /product-category/fruits.html
      Disallow: /product-category/kid-toys.html
      Disallow: /product-category/foods.html
      Disallow: /product-category/flowers.html
      Disallow: /product-category/fashions.html
      Disallow: /product-category/electronics.html
      Disallow: /product-category/drinks.html
      Disallow: /product-category/beautiful-life.html
      Sitemap: http://apsgraphic.ir/sitemap.xml
       
       
      ممنون میشم راهنمایی کنید
      مچکرم
    • توسط mohandes1900
      سلام خسته نباشید به همه ی فعالان انجمن
      آیا کسی هست که بدونه چرا بازدید برخی از آی پی ها از سایت خیلی زیاده؟ و این که آیا ممکنه اسپم و یا ربات باشن و از کجا باید این رو بفهیمد؟
      آیا ممکنه ربات موتورهای جستجو باشه و از کجا باید این رو بفهمیم؟
    • توسط omidextra
      سلام دوستان 
      وقتی میخوام وارد سایتم بشم با ارور زیر مواجه میشم:
      You are a bot. If not then enable JavaScript
      منو به عنوان ربات شناسایی میکنه حتی کسی که ثبت نام میکنه هم همین مشکلو داره اینم سایتمه
      .mobolight.ir
       
    • توسط alirezashafiee77
       باسلام ببخشید من یه وبلاگ درمیهن بلاگ ذارم
      میخاستم ببینم رباتی هست که اذرس یه سایت رابهش بدی بعد هرچی مطلب ذراون سایت گذاشته میشه دروبلاگ منم بیادش
      اگه میدونیندبهم بگین
      ممنونم