Das Thema mit Bots auf der Website ist für einige sehr schmerzhaft und bereitet ständig Kopfschmerzen, während andere es vorziehen, es vollständig zu ignorieren. Und hier müssen Sie verstehen: Wenn der Schaden durch Bots nicht groß ist, ist es aus geschäftlicher Sicht nicht sehr gerechtfertigt, Geld zu investieren, um sie zu bekämpfen. In solchen Fällen beschränken sie sich meistens auf eine ziemlich einfache selbstgeschriebene Lösung, die die Bots der ersten Generation (etwa die nachfolgenden Generationen) abwehrt. Wenn jedoch Angriffe auf die Website dem Unternehmen schaden, beginnt das Unternehmen darüber nachzudenken, wie mit ihnen umgegangen werden soll.
Aus Erfahrung kann ich sagen, dass Luft- und große E-Commerce-Unternehmen am häufigsten unter dem ständigen Fluss von Bots leiden. Ein typischer Fall für eine Fluggesellschaft, wenn sie von Bots getroffen und bezahlt werden kann, ist die bekannte Sitzhaltung. So funktioniert es: Sie möchten ein Ticket kaufen und einen Flug, eine Zeit, einen Ort und eine Bezahlung auswählen. Sehr oft reserviert die Fluggesellschaft an diesem Ort diesen Ort für Sie (derzeit nicht für andere Besucher verfügbar) und gibt Ihnen Zeit, mit Karte zu bezahlen - von einigen Minuten bis zu mehreren Stunden. Was passiert: Eine Welle von Bots kommt am Standort an, die das gesamte Flugzeug reserviert (und nach Ablauf der Zahlungsfrist wieder einen Sitzplatz reserviert). Somit kann niemand ein Ticket kaufen, und das Flugzeug kann tatsächlich leer wegfliegen. Und das ist Geld und ziemlich viel.Für E-Commerce-Unternehmen ist dies meistens die Suche nach Anmeldeinformationen und das Abschreiben von Bonuspunkten.
Welche Art von Bots gibt es? Hier ist in der Tat alles sehr einfach. Es gibt zwei Antworten - gut und schlecht. Gute sind Suchmaschinen-Bots, Bots Ihrer Partner, eine Art Ăśberwachungssystem und so weiter. Im Allgemeinen sind dies die Bots, die den Regeln folgen:
verkörpern, wer sie sind
Versuchen Sie nicht, die Website zu beschädigen
Folgen Sie den Links robots.txt
Die schlechten sind diejenigen, die unfreundliche Absichten haben oder für andere Zwecke verwendet werden. Normalerweise versuchen sie, sich entweder als Menschen zu verkleiden oder andere bekannte gute Bots zu fälschen. Am häufigsten werden schlechte Bots verwendet, um:
Melden Sie sich automatisch mit gestohlenen Anmeldeinformationen aus einem DatenverstoĂź oder einem dunklen Web an.
Erstellen Sie neue Online-Konten, um Registrierungsboni zu erhalten
, , .
DDoS-,
, . – ?
. , :
cURL- -. IP-. cookie JavaScript, -.
-, «» (headless) (: PhantomJS SimpleBrowser), Chrome Firefox, . , cookie JavaScript. - headless JavaScript - .
– . , . .
, , , , , , . UA IP-. , « » - , , - . - , . , , .
, , .
? :
, , ,
,
,
, , , , .
? :
( CDN, reverse proxy)
, /.
, Akamai, Distill ( Imperva ABP) RadWare. – PerimeterX.
, Akamai.
, Akamai, , . Akamai – -, (wiki). 1998., CDN . 20 . Akamai CDN, , -. CDN, , , WAF, DDoS mitigation ( L3/L4, L7), BOT, DNS, Real User Monitoring (RUM), API Gateway . , , . Akamai ? , 40 ( – 5). .
, , Akamai Bot Manager. :
Bot Manager Standard (BMS)
Bot Manager Premier (BMP)
, .
.
, General bot management, BMS, Transactional endpoint protection – BMP. , .
Customer-Categorized Bots? , , . , , , . ? . (, “Partners”), .
, .
Akamai-Categorized Bots. , , , . Akamai 1400 17 . ? , : , , , , . , «».
, – . : (transparent) (active). , , , . - . :
, , . , “Impersonators of Known Bots” – , , , Google, . :
Chrome –
-
Active – JavaScript cookie ( – SDK):
Akamai cookie . . , , JS .
BMP. , : /, , . endpoint. , POST /login, BODY user pass. , endpoint-a Akamai . BMP – . , BMS BMP , BMS, , - , BMP , . , , , . , - , .
: ? , : – , . , , . .
: ? :
( )
( 1–3 )
( 8–10 )
( 403 , - )
Tarpit ( , )
Challenge ( Google Captcha, Akamai Crypto Challenge)
Conditional action ( , 20% , – )
, Deny ( 403 ) -. 403 – , . , . . Akamai Tarpit. , Linux, , action IPTables. Tarpit, , . , , . : Akamai? -. 270 , . , . , . , . , , .
– Captcha. , . ! Google Captcha – Akamai. Crypto Challenge. : Akamai , ( 30 , ). , : crypto challenge ( ). , Akamai , , – challenge ( ).
Akamai ? , - (, , ). : . , , . , 60–70% . – .
, . , , . : , . : Akamai , . , User-Agent. Akamai – , . , 30% , , .
Wie sind Sie auf die Idee gekommen, diesen Artikel zu schreiben? Zwei Tage lang besuchten wir dieses Jahr Highload ++ mit unserem Stand GlobalDots, und einige Leute kamen mit ungefähr den gleichen Fragen auf uns zu: Gibt es Akamai in Russland? Sonst noch etwas außer CDN? Eigentlich ist dieser kleine Artikel so erschienen.
Das ist wahrscheinlich alles. Es stellte sich heraus, dass es sich um einen eher einleitenden Artikel handelte. Ich bin es gewohnt, mehr zu zeigen als zu erzählen - es wird informativer. Wenn Sie Fragen haben - willkommen bei Saint Tropez in den Kommentaren.