Weiß beginnt: Sind „gute“ Bots wirklich so gut?
Es scheint, dass die Frage nach guten und schlechten Bots für Unternehmen recht einfach ist: Blockieren Sie einige, lassen Sie andere passieren. Dieser Prozess hat jedoch seine eigenen Nuancen. Dies liegt an der Tatsache, dass sich schlechte Bots als gute tarnen, und an der Tatsache, dass falsch konfigurierte Bots aus der weißen Liste den Datenverkehr beeinträchtigen und eine Site löschen können, und an der Tatsache, dass Unternehmen nicht einmal immer einen Bot blockieren müssen, sondern nur verstehen müssen, wo er lief. Mal sehen, wie sich schlechte Bots von guten unterscheiden.
Einige Statistiken
GlobalDots 2019 Bad Bot Report, 39% - , . 20,4% , 17.5% - . , 2019 « » , « » . , , “”, , .
, , . , , - 22.9%, - - 17.9%.
: , , DDoS-, , , , - , - , - , , , - , .
. . , (, - -), , -.
(crawlers)
- , , , , , .. 30% -. : Googlebot, YandexBot, ematchers – , , YandexImages.
-
, , , , . : Amazon Echo, Google Home, Siri, . .
-, : , , . , . - Content ID YouTube, .
, Google Shopping. - , .
, (, , - ).
, whitelist Variti , , , preview - , - . , , ., AdSense-, , .
, , , , . .
, . . , - - . , , . .
. , , - , . .
, , , , - .. , , IP-, .
, . , Android , , . , , . , - , , , . , .
, , IP , . IP , CIDR-, .
“” IP , . , , , / IP . . , , token . . IP . , - , user agent -. .
. , , website.com/api. API, - , API IP . , API .
whitelists, IP , , – Variti, , Telegram- Variti .
, , . , , . - SMS-. , SMS- - . , . , . , SMS, .
, “”, . , 10 , 1000. robots.txt, , . , , . , - , .
- . - , IP-, , .. DDoS-. , .
, , . . . – , , . , .
GlobalDots 2019 Bad Bot Report 523 . « » (55,4%) Google Chrome. Firefox, - Android. Safari, Internet Explorer, Safari Mobile, Opera, Googlebot Bingbot .
, , , 20 , - , , Internet Explorer 5, 1999-. 0.8% Internet Explorer 7. , . , - , .
, 74% « » - advanced persistent bots (APB), , . , , IP-, -, Java- peer-to-peer , .
, , . , , .
Variti user agent, , IP , , , . , , ( Chrome, headless) , .
, , , , . .
, “ ”
“” , . , , . , , — . , , - - , .
, , , email. - , . , , .
Firefox, Chrome, Internet Explorer Safari , - , . .
robots.txt — , . , , . : , . , - - , robots.txt. - .
, , . , - - , (, - ), stealth-, , . - ?