- Websites verschwinden aus der Google-Suche und geraten in Vergessenheit
- YouTube-Videos werden verteufelt und die Entwickler verlieren Einnahmen
- Android-Apps verschwinden aus Google Play und können ihre Nutzer nicht erreichen
- APIs werden teurer oder veraltet
- Last but not least ein persönliches Gegenstück zu all dem: Menschen verlieren den Zugriff auf ihre Google Mail-Konten und ihr gesamtes digitales Leben.
Ich schwöre, ich habe die FAQ gelesen!
Alles läuft nach einem Szenario. Unternehmen nutzen Google-Dienste zunächst bewusst in einer Weise, die für ihr Überleben völlig von ihnen abhängt. Dann macht Googles automatisierter Gigant seine Arbeit: Er verändert leicht die Position seines Arsches auf einem Ledersessel von der Größe eines Planeten und zerstört dabei, ohne es zu merken, unzählige (relativ) kleine Unternehmen von der Größe einer Ameise. Und schließlich möchten Unternehmen mit Ameisengröße Google unbedingt mitteilen, dass sie niedergeschlagen sind, können jedoch nur mit einem automatisierten Antragsformular kommunizieren.
Manchmal kennt ein CEO in Ameisengröße jemanden bei Google, weil er College-Freunde war, oder ein CTO schreibt einen Beitrag, der irgendwie auf der Titelseite von Hacker News landet. Dann bemerkt Google das Problem und hält es manchmal für eine Lösung wert, normalerweise aus Angst vor den regulatorischen Auswirkungen, die die Ameisenrevolution haben könnte.
Aus diesem Grund schreibt die konventionelle Weisheit von Ameisen vor, dass Sie sich nicht zu sehr auf Google-Dienste verlassen sollten. Und wenn Sie es schaffen, diese Sucht zu vermeiden, sollte alles in Ordnung sein.
So eine flache blaue Oberfläche mit einem kühlen roten Dach! So bequem!
Was ist neu unter dem Mond?
In der heutigen Serie "Das Internet ist nicht das, was es vorher war" werden wir über eine neue Art und Weise sprechen, wie Google Ihr Startup versehentlich überfordern kann. Sie müssen die Google-Dienste nicht (absichtlich) nutzen .
Wussten Sie, dass Ihre Domains ohne besonderen Grund von Google auf die schwarze Liste gesetzt werden können und dass diese schwarze Liste nicht nur von Google Chrome, sondern auch von mehreren anderen Software- und Hardwareanbietern verwendet wird? Wussten Sie, dass diese anderen Anbieter die Liste mit sich stark ändernden Zeitabläufen und Interpretationen synchronisieren, sodass das Lösen von Problemen extrem stressig und unvorhersehbar wird? Gleichzeitig werden die Bedingungen für die Bearbeitung von Beschwerden über die Blacklist in Google in Wochen gemessen?
So sieht Ihre Website oder SaaS-Anwendung aus
Diese "Funktion" der Blacklist heißt Google Safe Browsing . Im obigen Bild können Sie die Meldung lesen, dass Ihre Website-Besucher sehen, ob eine der Domains in der Safe Browsing-Datenbank enthalten ist. Die Warnungstexte reichen von "Parodie-Site" bis "Site enthält Malware" (vollständige Liste hier ). Sie werden jedoch alle vor einem ebenso beängstigenden roten Hintergrund angezeigt, der versucht, den Benutzer daran zu hindern, die Site so oft wie möglich zu besuchen.
Das erste Mal, dass wir von dem Problem hörten, war auf einen Anstieg der Beschwerden von Kunden zurückzuführen, die beim Versuch, unsere SaaS-Anwendung zu verwenden, auf diese rote Warnung gestoßen sind. Beim zweiten Mal sind wir besser vorbereitet, sodass wir bereits Zeit haben, diesen Beitrag zu schreiben.
Unsere Firma InvGate - ist eine SaaS-Plattform für IT-Abteilungen, die an AWS arbeiten. Es bedient über 1000 Firmenkunden und Millionen von Endbenutzern. Unternehmen verwenden das Produkt, um Tickets und Anfragen ihrer Benutzer zu verwalten. Sie können sich die Reaktion von IT-Managern vorstellen, wenn ihr Ticketsystem plötzlich Endbenutzern solche bedrohlichen Sicherheitswarnungen anzeigt.
Als wir zum ersten Mal auf dieses Problem stießen, wollten wir unbedingt verstehen, was vor sich geht und wie Google Safe Browsing (GSB) funktioniert, während der technische Support versuchte, den Kundenfluss zu bewältigen. Wir stellten schnell fest, dass die URL zum Amazon Cloudfront-CDN , von dem aus wir statische Ressourcen (CSS, Javascript usw.) bereitstellten, in die GSB-Datenbank aufgenommen wurde , was dazu führte, dass die gesamte Anwendung für Kunden, die dieses bestimmte CDN verwenden, abstürzte. Ein kurzer Blick auf das beschriftete System zeigte, dass alles gut aussieht.
Während das Devops-Team in Eile daran arbeitete, ein neues CDN einzurichten und sich darauf vorzubereiten, Kunden auf eine neue Domain zu verschieben, fand ich dies in der Google-Dokumentation über die Google Search Console(GSC) Sie können zusätzliche Erklärungen zu den Gründen erhalten, warum die Site in der Datenbank markiert ist. Ich werde Sie nicht mit den Details langweilen, aber um Zugriff auf diese Informationen zu erhalten, müssen Sie den Besitz der Site nachweisen , dies tun, einen benutzerdefinierten DNS-Eintrag einrichten oder einige Dateien in das Domain-Stammverzeichnis hochladen. Wir haben es geschafft - und in 20 Minuten haben wir einen Bericht über unsere Website erhalten.
Der Bericht sah ungefähr so aus:
Dies ist ... nicht besonders informativ
Der Bericht enthielt auch eine Schaltfläche zum Überprüfen von Anfragen, auf die ich schnell geklickt habe, ohne tatsächlich Maßnahmen auf der Website zu ergreifen, da keine Informationen zu dem mutmaßlichen Problem vorhanden waren. Ich habe einen Antrag mit dem Hinweis eingereicht, dass keine schädlichen URLs aufgeführt sind. In der Dokumentation heißt es jedoch, dass Google immer Beispiel-URLs bereitstellt, mit denen Webmaster Probleme identifizieren können.
Fein! Eine Anforderung zur Überprüfung eines ungültigen Berichts kann dazu führen, dass zukünftige Überprüfungen noch langsamer werden.
Ungefähr eine Stunde später wurde die Site aus der GSB-Datenbank entfernt, und wir haben noch nicht einmal das Zurückziehen von Clients aus diesem CDN abgeschlossen. Ungefähr zwei Stunden später traf eine automatische E-Mail ein, die bestätigte, dass die Überprüfung erfolgreich war. Keine Klärung, was das Problem verursacht hat.
Was als nächstes geschah
In der Woche nach dem Vorfall erhielten wir weiterhin regelmäßig Berichte über Zugriffsprobleme von Kunden.
Google Safe Browsing bietet zwei verschiedene APIs zur Verwendung in kommerziellen und nichtkommerziellen Produkten. In unserem Fall war das Problem zumindest bei einigen Firefox-Benutzern sowie bei einigen Antiviren- und Netzwerksicherheitsgeräten reproduzierbar. Sie haben unsere Website markiert und den Zugriff darauf viele Tage später blockiert .
Wir haben weiterhin alle Clients vom alten auf das neue CDN migriert und das Problem endgültig behoben. Wir haben den Grund nie wirklich herausgefunden und eine gesteinigte KI in der Google-Zentrale dafür verantwortlich gemacht.
So verhindern Sie, dass Google Safe Browsing Ihre Website markiert
Wenn Sie ein SaaS-Geschäft betreiben und Ihren Kunden eine garantierte Verfügbarkeit versprechen, ist die Auflistung in Google Safe Browsing ohne besonderen Grund ein sehr reales Geschäftsrisiko.
Leider ist es angesichts des rein undurchsichtigen Google- Mechanismus zum Markieren und Anzeigen von Websites unwahrscheinlich, dass dies garantiert vermieden wird. Sie können Ihre Anwendung und Prozesse jedoch so gestalten, dass die Wahrscheinlichkeit dieses Ereignisses minimiert, die Auswirkungen der tatsächlichen schwarzen Liste verringert und die Zeit zur Behebung des Problems minimiert werden.
Hier sind die Schritte, die wir selbst unternehmen und die ich empfehlen kann:
- . , GSB . , . , company.om , app.company.net , eucdn.company.nt , useastcdn.company.nt . .
- . - , SaaS . , , . , , . , companyusercontent.cm .
- Google Search Console. , , . , , .
- Seien Sie bereit, Ihre Domain bei Bedarf zu ändern . Dies ist am schwierigsten, aber es ist das einzige wirksame Anti-Blacklisting-Tool: Entwerfen Sie Systeme so, dass Service-Domain-Namen leicht geändert werden können (über Skripte oder Orchestrierungs-Tools). Angenommen, eucdn.company2.net verfügt über einen CNAME-Eintrag für eucdn.company.net. Wenn der erstere blockiert ist, aktualisieren Sie die Anwendungskonfiguration, um Ressourcen aus einer alternativen Domäne zu laden.
Was tun, wenn Ihre SaaS-Anwendung oder Website von Google Safe Browsing auf die schwarze Liste gesetzt wird?
Folgendes würde ich empfehlen:
- Wenn Sie Ihre Anwendung einfach und schnell auf eine andere Domäne umstellen können, ist dies die einzige Möglichkeit, den Vorfall zuverlässig, schnell und angeblich endgültig zu beheben . Wenn Sie können, tun Sie dies. Das ist alles.
- , , Google Search Console. , , .
- , (, ), . Safe Browsing , , .
- , , , . .
Einige Monate nach dem ersten Vorfall erhielten wir eine E-Mail von Search Console, in der wir darüber informiert wurden, dass eine unserer Domains erneut auf die schwarze Liste gesetzt wurde. Einige Stunden später erhielt ich als G Suite-Domänenadministrator eine weitere interessante E-Mail, die Sie unten lesen können.
Das "sc" in sc-noreply@google.com steht für Search Console.
Lassen Sie mich in meinen eigenen Worten erklären, was es ist, weil es einfach umwerfend ist. Dies ist eine E-Mail-Warnung von Search Console bezüglich der schwarzen Liste. Diese zweite E-Mail besagt, dass der automatische Phishing-E-Mail-Filter der G Suite diese E-Mail von der Google Search Console als gefälscht ansieht . Natürlich ist es nicht.weil unsere Domain tatsächlich auf die schwarze Liste gesetzt wurde. Google kann also nicht einmal entscheiden, ob es sich bei seinen eigenen Phishing-Benachrichtigungen um Phishing handelt . (Lol?)
Einige unangenehme Gedanken über die Zukunft des Internets
Für jeden in der Tech-Branche ist es ziemlich klar, dass die großen Tech-Giganten so ziemlich die Hüter des Internets sind. Aber vorher habe ich es in einem freien, metaphorischen Sinne interpretiert. Der hier beschriebene Vorfall des sicheren Browsings hat sehr deutlich gemacht, dass Google buchstäblich kontrolliert, wer auf Ihre Website zugreifen kann, unabhängig davon, wo und wie Sie sie betreiben. Da Chrome etwa 70% des Marktes ausmacht und Firefox und Safari zum Teil die GSB-Datenbank verwenden, kann Google jede Website im Internet mit einem Fingerdruck fast unzugänglich machen.