Kategorie: Penetrante Bots und Crawler

Penetrante Bots und Crawler die teilweise wirklich sehr nervig sind

Zum Thema penetrante Bots und Crawler beziehen wir uns auf echte Daten. Wir bekommen fast täglich die Logfiles von so einigen Website-Besitzern!

Was man da bzgl. Bots, Crawler und Spider erlebt, ist schon unglaublich!

Penetrante Bots und Crawler und Spider – Was ist da FAKT?

• Primär sind Websites für Besucher da!
• Bots, Crawler und Spider sind da eher geduldet, wenn sie es nicht übertreiben!
• Die meisten der kommerziellen Bots, Crawler und Spider dienen NUR dem Betreiber, sie haben KEINEN Mehrwert für den Betreiber der Website!
• Einige der Betreiber dieser Bots, Crawler und Spider führen sich auf, als ob sie da machen können, was sie wollen!
• Der Besitzer der jeweiligen Website bestimmt, was auf seiner Website abläuft UND NICHT der Betreiber der Bots, Crawler und Spider!
• Zu bestimmten Zeiten tummeln sich mehrere Bots gleichzeitig auf einer Website, wenn dann eine ECHTER Besucher die Website aufruft, geht der Load Speed oft den Bach runter!

Was da teilweise abgeht, ist ein absolutes NoGo! Wir werden da nun massiv dagegen vorgehen, insbesondere bei den teilweise arroganten Betreibern diese Bots, die meinen, jede Website gehört ihnen!

Klar, es gibt natürlich auch wichtige, wertvolle und für den Website-Betreibern sinnvolle Bots, die sind natürlich auch willkommen.

Suchmaschine Google

Für den Website-Besitzer nützliche und wichtige Bots, Crawler und Spider

• Googlebot
• Googlebot-Image
• Bingbot
• MojeekBot (sehr positiv, respektiert Recht auf Privatsphäre)

Tja, das war es eigentlich schon! Die Suchmaschinen von Google und Bing werden am häufigsten von dem normalen Benutzer verwendet, um etwas zu suchen und zu finden. Es gibt zwar noch so einige andere Suchmaschinen aber die sind da eher sekundär von Bedeutung!

Einige, wie z.B. Yahoo beziehen sich ja eh auf die Daten von Bing.

Bots, Crawler und Spider ohne MEHRWERT für den Website-Betreiber?

Penetrante Bots und Crawler – Zugriff Verboten – Zugriff unerwünscht

Leider tummeln sich in dieser Szene auch viele kommerzielle Betreiber, die für Ihre Kunden unzählige Websites jeden Tag durchsuchen. Auch gewisse kommerzielle Betreiber, die Tools zum Crawlen von Websites für Ihre Kunden anbieten, zählen dazu!

Diese Betreiber sind absolut unerwünscht!

Über unser Security-Tool sind diese Betreiber mittl. auf sehr vielen Websites gesperrt! Beim ersten Versuch eines Zugriffs kommt schon ein freundliches 403! Das sagt – GOAWAY!!!

GRÜN: Betreiber respektiert Wunsch des Website-Besitzers, hat aufgehört, ungefragt zu crawlen.
SCHWARZ: Betreiber bzw. Hosting-Provider kontaktiert, Ergebnis noch offen. Wir beobachten das!
ORANGE: Nach langen hin und her legt der Betreiber seine IGNORANZ und ARROGANZ ab, will aufhören, penetrant zu crawlen. WIR beobachten das noch!
ROT: Provider ignoriert die Email oder Betreiber IGNORIERT die Aufforderung, aufzuhören! Setzt sich über die Aufforderung der Website-Besitzer hinweg, macht ARROGANT weiter!

Letzte Nacht, am 23.12.24 fiel uns ein unbeschreibbar PENETRANTER BOT auf, daher gleich hier in ROT!

• Pumoxbot – Die reinste Seuche, daher gleich in ROT! Kam über 7 verschiedene Provider, alle Netze wurden von UNS SOFORT gesperrt. Benutze IP´S: 162.55.225.58, 45.159.20.253, 109.191.97.80, 221.147.24.242, 67.58.246.187, 193.187.92.191, 14.138.226.241.
  Vom diesen penetranten BOT missbrauchte Provider: AS24940 – Hetzner Online GmbH, AS35830 – Fast Servers (Pty) Ltd, AS8369 – Intersvyaz-2 JSC, AS4766 – Korea Telecom, AS14051 – Consolidated Communications, Inc., AS26548 – PureVoltage Hosting Inc., AS10036 – DLIVE.

Unerwünschte penetrante Bots und Crawler sind in dieser Kategorie:

• 2ip bot – 84.246.85.11 – Provider AS44477 – STARK INDUSTRIES SOLUTIONS LTD – Betreiber 2ip.io – Bisher KEINE Reaktion auf Emails!
  
• AhrefsBot – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!
• Amazonbot – 44.223.116.180 + 44.205.120.22 – Betreiber: Amazon.com – developer.amazon.com – BOT als unerwünscht gemeldet, als Antwort kam das übliche Blabla… Robots.txt – Beide Netzwerke sind jetzt gesperrt!
• AwarioBot – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!
• Bravebot – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!
• BitSightBot – 185.117.225.222 – Mehrere Mails an Provider,BOT als unerwünscht gemeldet. Der Betreiber von BitSightBot macht IGNORANT weiter!
  
• Bytespider – Reagierte positiv, entschuldigte sich! Genannte Websites werden nicht mehr gecrawlt!
• CCBOT – Common Crawl – Betreiber commoncrawl.org – Erste Antwort nur Blabla, hört jetzt angeblich auf, schauen wir mal!
  
• CensysInspect – Absolut Ignorrant und Arrogant! Stellt Bedingungen, um aufzuhören!?! IGNORIERT mittl. unsere Emails! Hallo, geht´s denn noch???
• CheckMarkNetwork – 35.95.53.171 – Provider Amazon – Betreiber checkmarknetwork.com – BOT als unerwünscht gemeldet, schauen wir mal…
• CodaBot – 191.101.181.241, 154.6.115.176 – Missbrauchte Provider AS396190 – Leaseweb USA, Inc., AS64286 – LogicWeb Inc. Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!ClaudeBot (AI) – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!
• DataForSeoBot – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!
• Dataprovider.com – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!
• DeuSu – 89.32.170.24 – AS203346 – Proper Support LLP – Angeblich BOT einer Suchmaschine – Antwort auf Mail blieb aus. Website deusu.org und deusu.de existiert aber gar nicht!!! Wurde gleich von uns gesperrt!
  Dmbot – 217.160.240.244 – Provider AS8560 – IONOS SE reagiert nicht auf Emails! Betreiber vom Dmbot macht penetrant weiter!
• DotBot – Provider Wowrack.com ist absolut Ignorrant und Arrogant! Reagiert NICHT auf Mails! – Bot-Info: opensiteexplorer.org/dotbot – help@moz.com)
• Facebookexternalhit – AS32934 – Facebook, Inc. – Penetrant nerviger BOT! Crawlt auch alle Websites externer Links. Absolutes NoGo!
• Foregenix ThreatView Security Auditor – 109.169.10.9 – Provider: AS20860 – IOMART CLOUD SERVICES LIMITED – Betreiber: threadview.app/foregenix.com – NERVEN PENTRANT WEITER, TROTZ MAIL, ES ENDLICH ZU UNTERLASSEN!
• GPTBot (AI) NERVEN PENTRANT WEITER, TROTZ MAIL, ES ENDLICH ZU UNTERLASSEN!
• ImagesiftBot – Betreiber AS36321 – Castle Global Inc. – Reagierte sehr positiv – Haben eine do-not-crawl list! Gemeldete Websites werden nicht mehr gecrawlt!
• InternetMeasurement – 87.236.176.89 + 185.247.137.93 – Provider AS211298 – Driftnet Ltd reagiert NICHT auf Emails.- Betreiber: internet-measurement.com – Nach erster Mail, das Crawling zu unterlassen wurden Emails geblockt!!
• Mail.RU_Bot – Absolut IGNORANT! Russland eh komplett UNERWÜNSCHT und GESPERRT!
• Mastodon – – Absolut IGNORANT! Hören trotz mehrere Emails nicht auf! Tausende von Servern, haben da keine Kontrolle!!! Ist nun komplett UNERWÜNSCHT und GESPERRT! – Meldung der IP 51.68.203.250 am 31.12.24 auch an AS16276 – OVH SAS – Keinerlei Reaktion, absolute Ignoranz!
  
• MetaJobBot – 136.243.83.42 – Provider AS24940 – Hetzner Online GmbH – Betreiber metajob.de – Auch die Antwort von dem Betreiber Metajob.de glänzt vor Arroganz! Wenn ein Website-Besitzer diese Zugriffe nicht wünscht, hat der BOT-Betreiber es auch SOFORT zu unterlassen!!!
  
• MixrankBot – kam über AS174 – Cogent Communications – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!
  
• MJ12bot – Betreiber mj12bot.com – Reagierte sehr positiv, genannte Websites werden nicht mehr gecrawlt!
• MojeekBot – Provider AS50300 – CustodianDC Limited reagiert NICHT auf Mails! Betreiber MojeekBot macht PENETRANT weiter!
• NetcraftSurveyAgent – Wir warten IMMER NOCH auf Antwort!
• netEstate NE Crawler – 81.209.177.145 – Provider AS13237 – euNetworks GmbH – Wir warten IMMER NOCH auf Antwort!
• OAI-SearchBot (AI) NERVEN PENTRANT WEITER, TROTZ MAIL, ES ENDLICH ZU UNTERLASSEN!!!
• Orbbot – 35.245.200.247 – Provider AS396982 – Google LLC angeschrieben, bisher KEINE Reaktion!
• Pandalytics/2.0 – Wir warten IMMER NOCH auf Antwort!
  
• PerplexityBot – 104.232.222.127 – Provider AS14618 – Amazon.com, Inc. – Reaktion von Amazon absolut positiv! Jedoch dann kam die Antwort vom BOT-BETREIBER perplexity.ai . Verweist mit Blabla immer nur auf die Robots.txt. Absolut ARROGANT und IGNORANT.
• PerplexityBot – 107.20.236.150 – Provider AS44144 – HostRoyale Technologies Pvt Ltd – Betreiber perplexity.ai – Absolute IGNORANZ, bisher keine Antwort auf Emails!
• PetalBot – 114.119.129.74 – Provider AS136907 – HUAWEI CLOUDS Auf Emails wird NICHT reagiert! BOT macht weiter, absolute Ignoranz und Arroganz! HUAWEI CLOUDS ist jetzt komplett gesperrt!
• Ruby – 34.197.76.213- Antwort vom Betreiber Intercom.io nur das übliche Blabla mit Ignoranz und Arroganz gekrönt. Mal wieder ein Betreiber der meint, ER könne über fremde Websites bestimmen!!!
  
• Scrapy – 35.204.148.234 – Provider AS396982 – Google LLC. Betreiber scrapy.org – Keine Reaktion auf Emails, absolute Ignoranz, der BOT nervt weiter! – Ebenfall Zugriffe über IP 78.94.80.126 – Provider AS3209 – Vodafone GmbH, auch da keinerlei Reaktion auf Emails!
• SEBot-WA – 144.76.237.123 – Provider AS24940 – Hetzner Online GmbH (reagiert immer vorbildlich!) – Wir warten noch auf Antwort!
• Semrush – Reagierte positiv, genannte Websites werden nicht mehr gecrawlt!
• SeobilityBot – Hosting Provider AS24940 – Hetzner Online GmbH – Von seobility.net trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!
• SEOkicks – Bei Mail nur Blabla mit Robots.txt – Kommerzielle Anbieter sind eh UNERWÜNSCHT!
• Serpstatbot – 136.243.212.110 – Provider angeschrieben – Betreiber serpstatbot.com – Antwort noch offen, schauen wir mal!
• Slackbot-LinkExpanding – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen! NERVT PENTRANT WEITER, IP´S: 34.226.152.89, 35.175.236.116, 44.222.247.224, 98.80.167.101
  
• Summaly – Absolut pennetrant und Ignorant! Macht zusätzlich permanent REFERRER-Spam zum Programmierer auf GITHUB!
• Summaly-BOT über Provider AS400950 – Nulled LLC, IP: 46.175.130.248, Antwortmail vom Provider Nulled.llc absolut ARROGANT und IGNORANT! Hier meint also schon der Hosting-Provider, er könne über fremde Websites bestimmen! Ein absolutes NoGo!
  
• t3versionsBot – Provider AS51167 – Contabo GmbH – Auf Emails wird nicht reagiert! Betreiber vom t3versionsBot macht penetrant weiter!
• webscrape4 – 35.164.93.152 – Betreiber NICHT identifizierbar, somit UNSERIÖS und geblockt! – Antwort nur Blabla, keine Einsicht, aufzuhören!
• WellKnownBot – 188.166.231.22 – Betreiber NICHT identifizierbar, keine Info auf Website, wer verantworlich ist! KEINE Kontaktmöglichkeit über well-known.dev – daher UNSERIÖS!
• Yasni (Überprüft URLs, die über verschiedene andere Quellen gefunden wurden, die auf Namen von Personen verweisen!!! UNGLAUBLICH!)
• ZoominfoBot – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen! NERVT PENTRANT WEITER, IP´S: 34.73.206.133, 34.74.123.22, 34.74.165.82, 34.139.199.224, 34.148.146.21, 35.196.21.185. 35.196.187.177

Ebenfalls absolut unerwünscht und sowieso gesperrt:

• Mail.RU_Bot 95.163.255.72 – Betreiber – help.mail.ru – Russland ist eh KOMPLETT UNERWÜNSCHT UND GESPERRT!
• PetalBot (Huawei) – China ist eh KOMPLETT UNERWÜNSCHT und GESPERRT!
• Sogou web spider – Absolut IGNORANT! China ist eh KOMPLETT UNERWÜNSCHT und GESPERRT!
• YandexBot – Russland ist auch KOMPLETT UNERWÜNSCHT und GESPERRT!

Schon beim ersten Versuch eines Zugriffs kommt hier ein freundliches 403! Das sagt – GOAWAY!!!

Nerviges und unerwünschtes Crawling ohne Angabe eines BOT-Namens zur Identifizierung:

• 3.209.122.32 – Proofpoint – Wurde informiert, das zu lassen, Erste und zweite Antwort nur Blala! Laut letzter Anwort kann er Websites nicht EXCLUDEN?!? Komisch nur, einige (wenige hier in GRÜN) können das!!! Fazit – Absolut IGNORANT und ARROGANT!
  
• 35.80.17.76 – wpbot – Betreiber unbekannt – forms.gle/ajBaxygz9jSR8p8G9 – Absolut UNERWÜNSCHT und NICHT SERIÖS, da kein Betreiber erkennbar!
  Weitere IP´s, die vom wpbot benutzt werden: 35.81.164.135 + 44.242.166.121
• 62.138.2.214 – AS29066 – velia.net Internetdienste GmbH – Absolut Ignorant, keinerlei Reaktion auf Mails – EIN NoGo!
• 54.70.53.60 – Fireeye.com (mit forward auf Trellix.com), kein Botname aufgeführt. Macht einen auf „Internet-Polizei“! Prüft ungefragt, ob URL´s sicher sind.
• 138.246.253.24 – AS12816 – Leibniz-Rechenzentrum – Absolut Ignorrant und Arrogant! Stellen Bedingungen, um aufzuhören!?! Hallo, geht´s denn noch???
  
• 154.13.235.14 – AS262287 – Latitude.sh LTDA dann Weiterleitung an : EGIHosting.com – Antwort Arrogant! Permanent Zugriffe mehrmals am Tag. Ein NoGo!
• 199.101.142.103 – Betreiber blazingseollc.com – Reagierte sehr positiv, entschuldigte sich! Genannte Websites werden nicht mehr gecrawlt!
• 212.83.43.77 – AS47447 – 23M GmbH – Python-urllib – Antwort absolut negativ! Schiebt Verantwortung von sich!
  
• Mehrere IP´s – Provider Amazon reagierte natürlich sofort! – Betreiber Allure Security Technology Inc absolut Arrogant und Ignorant bei Kontakt über Provider!

Eine weitere Kategorie im Bereich der Bots, Crawler und Spider!

Desweiteren haben wir da so einige kommerzielle Betreiber von Bots und etc. die meinen, sie müssen einen auf Internet-Polizei machen.

Da wird dann mehrmals täglich pro Website gecrawlt was das Zeug hergibt. Unglaublich! Penetrant wird da jeden Tag (teilweise mehrmals am Tag pro Website) nach Sicherheitslücken gesucht!

Penetrante Bots und Crawler – Teilweise selbsternannte Sichheitsexperten

Diese sogenannten (wohl auch selbsternannten) Sicherheitsexperten meinen wirklich, die können machen, was sie wollen. Ohne Rücksicht auf den Website-Betreiber und ohne Rücksicht auf den sinnlosen und belasteten Traffic in dem Moment auf der Website!

Ein Website-Besitzer, der seine Sicherheit-Updates macht, seine Website pflegt, braucht diese Anbieter mit ihren penetranten Bots NICHT!

Hier in dieser Kategorie ein paar Beispiele:

• Palo Alto Networks – (unglaublich Arrogant, tun so, als ob ihnen das ganze Internet gehört!)
• Cortex Xpanse (Arbeitet für Palo Alto Networks), lenkt lt. Email ENDLICH ein, angeblich keine Zugriffe mehr! Wir beobachten das aber erst mal, nach dieser langen IGNORANZ und ARROGANZ!
  
• BitSightBot – Trotz mehrerer Emails, bisher keine Reaktion, es zu unterlassen!
• Leakix (der zweite Anbieter, der sich entschuldigt hat und Zugriff auf betroffene Domain nicht mehr erfolgt!)

Wie verlaufen Meldungen mit der Bitte, du Zugriffe zu unterlassen?

Teilweise ist es unglaublich, was man da erlebt!

Hier ein paar Beispiele, Zitate der Email-Antworten und/oder wie diese Betreiber reagieren:

• Fast alle verweisen mit Beispiel auf die Robots.txt
• Wir suchen im Internet nach Sicherheitslücken…
• Die IP gehört zwar uns, und es ist einer der XXX-Crawler, aber das ist kein Missbrauch…
• Wir führen globale Internet-Scans durch, um Internet-Assets für Kunden zu entdecken…

Unglaublich, diese teilweise wirklich gravierende Arroganz. Frei nach dem Motto, wir dürfen das wo und wie oft wir wollen!

Was kann man gegen diese teilweise penetranten und UNERWÜNSCHTEN Zugriffe tun?

1. Also zuerst sollte man eine Möglichkeit nutzen (je nach System der Website), um dem Ganzen durch eine Sperrung zu begegnen!
2. Ein Sperren des Netzwerks des Betreibers des Bots per .htaccess oder über eine verfügbare Sicherheits-Lösung der Website.
3. Logfile auswerten, jeden Zugriff als Abuse an den Provider melden. Ein unerwünschter Zugriff rechtfertigt eine Abuse-Meldung! Bei Einigen hat das geholfen.

Fazit zum Thema unerwünschte Bots und Crawler sowieSpider

Was über eine Website abläuft, insbesondere was die Zugriffe auf die Website betrifft, das bestimmt der Website-Besitzer UND NICHT die Betreiber der Bots!

Hier MUSS endlich ein Umdenken statt finden. Jeder Betreiber eines Bots sieht NUR SICH SELBST! Teilweise ist es zu bestimmten Zeiten, auch Tagsüber, wenn normale Besucher auf der Website sind, eine Flut von Bots! Das ist ein NoGo!!!

Penetrante Bots und Crawler – Bot Programmierer sind JETZT in der Pflicht!

Vor allem sind hier JETZT die Programmierer der BOTS in der Pflicht! SPÄTESTENS wenn beim dritten Zugriff wieder ein 403 erfolgt, sollte es mal endlich KLICK im Hirn des Programmierers dieser Bot machen!

Der Programmcode MUSS dann so angepasst werden, dass die Website in eine EXCLUDE-Liste aufgenommen wird und die penetranten Zugriffe dann ENDLICH aufhören!

WIR werden ab JETZT den Link zu diesen Artikel IMMER beifügen, sobald die hier aufgeführten und unerwünschte Betreiber weiterhin ignorant auf bereits gemeldete Websites zugreifen.

Es erfolgen weiterhin von UNS Abuse-Meldungen an die Provider MIT Link zu diesen Artikel, bis diese Betreiber endlich ein UMDENKEN starten und den Website-Besitzer mit Respekt behandeln.

Sollten diverse Betreiber dieser unerwünschten Bots, Crawler und Spider einfach so weitermachen, Erfolgt dann eine detaillierter Artikel mit ANGABE des Betreiber soe Auszüge der LOGFILES als Beweis!

Die Hacking-Versuche im aktuellen Monat mit Auszügen aus Logfiles über den Link.

Weitere Infos zum Thema Webcrawler über diesen Link.

Bilderquellen:

Tumisu – Pixabay
TheDigitalArtist – Pixabay
Ekamelev – Pixabay
Elchinator – Pixabay
ASPhotohrapy – Pixabay