In der Praxis warteten jedoch Fallstricke. Lassen Sie uns darüber sprechen, was passieren kann, wenn Sie das Design ein wenig optimieren oder Ihre Vorlage ein wenig ausfüllen. Und wie man alles repariert.
Ich wollte neuen Benutzern zugute kommen, aber sie haben sich natürlich nicht wie beabsichtigt verhalten
Das Hauptverkaufstool von Skyeng ist ein kostenloses Video-Einführungs-Tutorial mit einem Moderator. Wir führen Unterricht auf unserer Plattform durch, und es kommt vor, dass ein Schüler versucht, eine Verbindung zu einem Anruf herzustellen, sein Mikrofon oder seine Kamera jedoch nicht erfasst werden.
Dies kann aus Dutzenden von Gründen geschehen - von einem banalen Fehler bei einer Benachrichtigung im Browser (wie in diesem Bild) bis zu völlig exotischen Fällen: Zum Beispiel, wenn eine Person versucht hat, von Tesla aus zu arbeiten, und dort ihre eigene Software, die wir nicht unterstützen.
Wenn Sie das Problem nicht schnell beheben können, wird die Einführungsstunde technisch aufgeschlüsselt:
- der Student bleibt negativ,
- der Unterricht des Lehrers wird unterbrochen,
- Die Schule verliert hier und jetzt die Umstellung auf Zahlung (dies ist die Hauptmetrik unserer Abteilung), kompensiert die Teilnahme des Lehrers am Unterricht und beginnt mit der Übertragung des Unterrichts.
Jeder leidet. Aus diesem Grund haben wir im vergangenen Jahr eine Reihe von Projekten gestartet, um technische Störungen zu reduzieren. Jede Idee wurde getestet: Das Unternehmen wollte verstehen, ob die Funktion funktioniert und ob sich die Kosten für die Unterstützung amortisieren.
Eine der Lösungen, die getestet werden mussten, war die Suche nach Ausrüstungsprüfungen. Ursprünglich war es ein Widget, hier sind die Hauptbildschirme.
Die Idee ist einfach: Warten Sie nicht auf den Moment, um an der Lektion teilzunehmen, sondern laden Sie den Schüler ein, die Kamera und das Mikrofon im Voraus zu überprüfen - wenn er eine Schulungsanfrage hinterlassen hat. Wenn etwas schief geht, stellen wir ein Ticket für den technischen Support aus, und die Jungs haben mehrere Stunden Zeit, um das Problem zu lösen.
Als ich Benutzer in Test und Kontrolle aufteilte, erwartete ich, dass die Mitglieder der Testgruppe auf das Widget klicken und die Quest abschließen würden. Was könnte schiefgehen?
In der Kontrollgruppe ("A") ging alles wie gewohnt weiter - die Leute verließen eine Bewerbung und gingen ihrem Geschäft nach. Nach dem Test haben wir jedoch festgestellt, dass der Prozentsatz der technischen Fehler in den Gruppen "A" und "B" einem Hundertstel Prozent entspricht. Hmm, alle in der Testgruppe haben die Quest durchlaufen, aber es hat nicht geholfen, oder niemand ist hineingegangen? Wir wussten es nicht - es gab keine Protokollierung.
Die beiden Stufen verschmolzen zu einer, und es stellte sich heraus, dass wir sie nicht trennen können. Ich musste den Test neu starten und die Schlüsselphase „Eingetreten in die Quest“ protokollieren. Wir haben festgestellt, dass etwa 10% der Benutzer angemeldet waren. Es gab kein signifikantes Wachstum in der Metrik: Die Suche ist in Vergessenheit geraten, die Ausrüstungsprüfung selbst wurde schließlich während einer globalen Neugestaltung in das Onboarding integriert. Und jetzt überprüfe ich zu Beginn, ob ich Daten zu allen wichtigen Stufen des Trichters habe.
« - ?». ,
Zusätzlich zu technischen Problemen erscheint der Schüler manchmal einfach nicht in dieser sehr kostenlosen Einführungsstunde - weil er verschlafen hat, aus dem Kopf geflogen ist, etwas übertragen wurde und so weiter.
Daher muss der Methodologe vor jeder Lektion einen Schüler finden, der bereit ist anzurufen. Dazu gibt ihm das System mehrere Kontakte, und der Lehrer ruft sie an. Dies "frisst" 12-15% der Zeit, die eine Person für etwas Nützlicheres oder Angenehmeres aufwenden kann.
Es scheint eine gute Gelegenheit für die Automatisierung zu sein - lassen Sie den Roboter anrufen. Aber wir brauchen einen A / B-Test: Schließlich können einige Leute, die den Roboter gehört haben, auflegen. Die Möglichkeit, etwas zu verlieren, liegt auf der Hand. Wir haben den Test durchgeführt und zuerst lief alles überraschend gut, aber ... Wir wurden vom Perfektionismus enttäuscht.
In einer Reihe von Szenarien musste der Roboter Anrufe an einen menschlichen Bediener weiterleiten: Wenn ein Schüler beispielsweise eine Lektion abbrechen wollte, musste der Bediener Änderungen am CRM vornehmen. Und manchmal stieß der Roboter nur auf gesprächige Gesprächspartner - das System war nicht für ernsthafte Spracherkennung und Dialogunterstützung ausgelegt, auch hier war es notwendig, eine Person zu verbinden.
Wir wollten die Benutzererfahrung so nahtlos wie möglich gestalten.
Aus diesem Grund haben wir uns entschlossen, solche Anrufe sofort auf die eingehende Telefonleitung umzustellen. Auch wenn die Frage nicht dringend war. In den gleichen Fällen sagten die Methodologen: "Sie werden in 3-5 Minuten zurückgerufen, um die Lektion neu zuzuweisen." Und die Bediener hatten Zeit, die Arbeitslast zu verteilen und allen zu helfen.
Die Bediener konnten dem Roboter nicht zustimmen und er erzeugte Spitzen mit mehreren dringenden Anrufen pro Minute. Die Schaltung erwies sich als nicht skalierbar.
In Spitzenzeiten ähnelte die Situation einem klassischen Spiel.) Dank Wikipedia und seinem Mitwirkenden perepelin30 für das Foto .
Wir kehrten zu dem von den Methodisten verwendeten Schema zurück. Wenn eine Person die Übertragungsanforderung klar aussprach, antwortete der Roboter mit „Wir rufen Sie zurück“. Nur potenziell dringende Probleme wurden sofort an die Betreiber weitergeleitet. Nach diesen Änderungen musste der Test erneut ausgeführt werden, da sich die Änderung auf wichtige Metriken auswirken könnte. Und jetzt stellen wir vor jedem Experiment die Frage: "Ok, wenn alles gut geht, können wir es ausrollen?"
Startete den Test, überprüfte, ob alles gut lief, und ging, um eine Reihe aktueller Aufgaben zu erledigen
Skyeng hat ein sehr cooles und wachsendes Publikum - Kinder, die bei uns Mathematik und Englisch unterrichten. Wir können jedoch keine Einführungsstunde für ein Kind durchführen, wenn sein Elternteil nicht anwesend ist. Wir können nicht legal. Wenn sich das Kind alleine verbindet, wird der Unterricht unterbrochen. Dann wissen Sie: Negativ, Neuaufnahme und so weiter.
Die Eltern wurden immer mündlich darüber gewarnt, wenn sie anriefen und der Zeitpunkt des Unterrichts vereinbart wurde. Aber die Zeit verging vom Anruf bis zur Lektion und natürlich erinnerten sich nicht alle an diese Vereinbarung.
Dann kam die Lösung: Senden wir eine SMS-Erinnerung. Ungefähr ein solcher Text wurde dem Elternteil näher an der Zeit der Einführungsstunde überlassen.
Eine Erhöhung der Anzahl der Einführungsstunden ohne Unterbrechung bedeutet keine Erhöhung der Umstellung auf Bezahlung. Sie müssen den ROI schätzen. Führen Sie dazu ein Experiment durch:
- Wir werden alle Anträge für die Überweisung von Kindern zufällig in zwei Gruppen aufteilen.
- Wir werden den Eltern in der ersten Gruppe nichts schicken - sie haben einen regelmäßigen Fluss,
- Eltern in einer anderen Gruppe erhalten zwei SMS-Erinnerungen: 24 und 1-2 Stunden vor Beginn des Unterrichts.
Wir haben den Test gestartet, den Check am ersten Tag durchgeführt - und den Umsatz aufgeräumt.
Nach ein paar Wochen schaue ich in das Dashboard - und dort gibt es neben den Test- und Kontrollgruppen noch einige andere Benutzer.
Wenn wir 50 durch 50 teilen wollten, dann sagt die rote Grafik deutlich, dass etwas schief gelaufen ist.
Es stellte sich heraus, dass ein banaler Fehler schuld war: Mit den Ereignissen stimmte etwas nicht, nicht jeder sendete SMS über Auslöser. Der Fehler wurde behoben, aber der Test musste neu gestartet werden: Selbst wenn Sie das richtige Testdesign mit allen ausgefüllten Vorlagen usw. haben, bedeutet dies nicht, dass der Test reibungslos abläuft. Und Sie sollten sich so oft wie möglich darum kümmern.
ps Ich hoffe wirklich, dass dieser Text jemandem hilft, weniger Fehler bei seinen Tests zu machen. Höchstwahrscheinlich werden Sie Ihre eigenen lustigen Fälle haben oder bereits haben: Es wird cool sein, wenn Sie sie eines Tages auch teilen!
pps Beitrag basierend auf einem Bericht in der Rostower IT-Community RnDTech - Wenn du irgendwo im Süden des Landes lebst, mach mit, Jungs machen einen tollen Schritt.