51.143.124.155

Seit gestern wurde eine ungewöhnliche Bing-Bing- Aktivität beobachtet. Und es scheint, dass das Crawlen von Websites durch Suchmaschinen (und sogar Bing ) nichts Falsches ist, sondern nur, solange sie ihren eigenen Identifikationsregeln entsprechen .



In der weiteren Analyse werden nur 51.143.124.155 erwähnt , obwohl

52.250.62.82,

52.250.19.204,

52.250.119.153 ebenfalls in den Protokollen blitzten , sich

aber kultureller verhalten.



Wie das Problem am Beispiel einer Auswahl von Bing- Bots aus dem gestrigen Protokoll einer Site aussieht :

$ cat ./20201026* | grep -F bingbot | awk '{print $1}' | sort | uniq -c | sort -rn | head -10
 404582 51.143.124.155
  10449 157.55.39.174
  10037 207.46.13.162
  10036 207.46.13.86
  10008 157.55.39.152
   6638 207.46.13.207
   4993 207.46.13.238
   4113 157.55.39.200
   3897 157.55.39.205
   2995 157.55.39.166

Wie ein typischer "alter" Bing Bot aussieht:

$ whois 157.55.39.174 | grep -i "org[-]*name"
OrgName:        Microsoft Corporation

$ host 157.55.39.174
174.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-174.search.msn.com.

Sie basieren auf den Netzwerken

157.56.0.0/14,

157.54.0.0/15,

157.60.0.0/16,

207.46.0.0/16

und werden unter www.bing.com/toolbox/verify-bingbot-verdict :







What the “new »Bots:

$ whois 51.143.124.155 | grep -i "org[-]*name"
org-name:       Microsoft Limited

$ host 51.143.124.155 
Host 155.124.143.51.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.62.82
Host 82.62.250.52.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.19.204
Host 204.19.250.52.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.119.153
Host 153.119.250.52.in-addr.arpa not found: 3(NXDOMAIN)

Und dementsprechend:







Gleichzeitig lassen uns Handschrift, Aktivitäten auf allen Websites gleichzeitig sowie Nachrichten von Kollegen, die nach dem Blockieren dieser "neuen" IP- Benachrichtigungen von Bing Webmaster Tools über die Nichtverfügbarkeit der Website eingehen, den Schluss ziehen, dass diese Bots tatsächlich vorhanden sind die handarbeit von microsoft .



Supportanfragen und Missbräuche werden natürlich ignoriert.



Schlagen Sie Bots aus den Netzwerken 51.140.0.0/14, 52.224.0.0/11 im Allgemeinen nicht sofort. Sie sind wahrscheinlich nützliche (oder zumindest harmlose) Bifidobakterien.



Upd (28.10.2020 08:48 MSK):

Gestern (am 27. Oktober 2020: 11: 56: 24 +0300) wurden Anfragen gestoppt.

Es wurden keine Antworten auf den Missbrauch erhalten.

@Facan hat einen Kommentar zu einer ähnlichen Anfrage getwittert:

… Einige Websites berichteten, dass ein kleiner Prozentsatz des Bing-Crawlers die DNS-Auflösung nicht angemessen war und wir einige Tage lang außerhalb der üblichen IP-Adressen gecrawlt haben. Das haben wir gestern behoben.