Sim sim öffne dich! - Wie wir das Open Data-Projekt gestartet haben



Hallo! Mein Name ist Sergey Folimonov, bei DomClik bin ich für Direktmarketing und Kundenkommunikation verantwortlich. In letzter Zeit bin ich auch als PO des Open Data-Projekts tätig und möchte Ihnen über die Entstehungsgeschichte dieses Produkts berichten. Dabei möchte ich mich auf die Probleme konzentrieren, mit denen wir konfrontiert waren, auf die Fehler, die wir gemacht haben, sowie auf das Endergebnis und seine Varianten. verwenden.



Die datengetriebene Unternehmenskultur ist natürlich gut, aber in einer Welt, in der die Konzepte von Open Content, Open Source-Lösungen und Open Data im Allgemeinen immer beliebter werden, möchte man Informationen nicht nur nutzen, sondern auch teilen. Dies veranlasste DomClick, "Open Data" zu erstellen.



Lasst uns beginnen!



Ich bin schon früh in die Produktentwicklung eingetreten. Nun, sehr früh. Sagen wir einfach, wir hatten zwei Pakete mit Tra 2-Modellen von einem UX-Designer vor dem Hintergrund einer Karte der Russischen Föderation und einen vom Management angegebenen Zeitraum von 2 Wochen, bevor der MVP in Produktion ging. Innerhalb weniger Stunden versammelte sich eine Gruppe von Enthusiasten (Entwickler, Analysten, Designer, Dateningenieure) aus Mitarbeitern völlig unterschiedlicher Teams, die bereit waren, alles zu tun, um ein Produkt auf den Markt zu bringen.







In den nächsten zwei Wochen haben wir das Projekt auf einer echten Fahrt von Grund auf neu entwickelt. Dabei haben wir versucht, komplexe Prozesse zu vermeiden, Krücken nach Möglichkeit einzusetzen, um den MVP nicht zu verzögern und zu überprüfen: "Was können wir tun?"



Das Ergebnis des ersten Sprints: Alle versprochenen Daten, aufgeschlüsselt nach Tagen / Wochen / Monaten, sind sowohl auf der Karte (Statistiken für Regionen und Großstädte) als auch in Grafiken (Stadtbewertungen, Dynamik) verfügbar. Aber wie Sie sich vorstellen können, sind jetzt nur noch Screenshots von dieser Version übrig:







Es gab viele Daten hier, die Site funktionierte einwandfrei, aber die UX wurde überhaupt nicht durchdacht. Und als Ergebnis: Die Augen weit aufgerissen, der Kundenpfad ist nicht klar und was kann man allgemein aus diesem Projekt lernen? Mit Blick auf die Zukunft werde ich sagen, dass nichts aus der ersten Version des Projekts für die weitere Entwicklung wiederverwendet wurde.



Es scheint zwei Wochen später zu sein ... Es war jedoch der Blick auf das vorgefertigte schnelle Konzept und das Verständnis seiner Mängel, der es uns ermöglichte, die endgültigen Anforderungen und Wünsche für den Service zu formulieren. Ohne auf Details einzugehen, haben wir uns in der ersten Phase entschlossen, die Daten in tabellarischer Form darzustellen, im nächsten Schritt den Benutzern Diagramme mit Dynamik zur Verfügung zu stellen und dann die Visualisierung auf der Karte und die Verwendung von Vorhersagemodellen zur Erstellung von Prognosen zu erarbeiten.



Man kann darüber streiten, ob die ersten zwei Wochen ein Fehler waren, ob es möglich war, Zeitverschwendung zu vermeiden und sofort ein Produkt herzustellen, das den Kunden gezeigt werden konnte. Ja, wir könnten wahrscheinlich die ersten Tage der Ausarbeitung der UX widmen, mehrere Interviews und Umfragen durchführen und nicht zwei Wochen, sondern zwei Monate für die Entwicklung ausschalten. Aber die Moral meiner Geschichte ist, dass Sie keine Angst haben sollten, schnelle Krücken-MVPs herzustellen. Die Arbeit in einem beschleunigten Tempo und mit einem hohen Maß an Begeisterung hat uns stark dazu gebracht, ein wirklich gutes Produkt zu entwickeln. Und ja, haben Sie keine Angst, die ersten Skizzen in den Papierkorb zu werfen: Es ist viel besser, als die Rohversion in einen Monolithen zu verwandeln.



Leben nach dem Tod MVP



Während der weiteren Arbeit an dem Projekt stießen wir auf eine Reihe außergewöhnlicher Probleme. Ich werde mich sehr bemühen, über sie zu erzählen, um die Leser nicht mit den Details des Hypothekengeschäfts zu überladen.



Lernen, Dinge beim richtigen Namen zu nennen



Bei der Erfassung von Daten zu verschiedenen Metriken war ich mit der Tatsache konfrontiert, dass verschiedene Personen in unserem Unternehmen verschiedene Dinge gleich und dieselben Dinge nennen können - unterschiedlich. Zum Beispiel gaben mir zwei verschiedene Personen Daten über die Anzahl der Transaktionen im Kontext von Regionen, und die Zahlen kämpften überhaupt nicht, weil mehrere Geschäftseinheiten gleichzeitig als Transaktionen bezeichnet werden können. Wie sich herausstellte, hatte ich einerseits Transaktionen zur elektronischen Registrierung von Immobilienobjekten und andererseits Hypothekentransaktionen. Und die Daten für dieselbe Region innerhalb eines Monats stimmen möglicherweise nicht überein. Darüber hinaus in beide Richtungen: Es kann so viele Registrierungen geben wie Hypothekentransaktionen (wenn plötzlich viele Kunden anfingen, Immobilien ohne Hypothek zu kaufen und nur eine elektronische Registrierung zu kaufen).und weniger (wenn der elektronische Registrierungsdienst in der Region nicht sehr gefragt ist und die Hypothek ohne ihn aufgenommen wird).



Solche Fälle führten dazu, dass wir ein Nachschlagewerk erstellen mussten, um nicht in den Definitionen selbst verwirrt zu werden und dem Benutzer auf dem Portal alle Metriken so detailliert wie möglich zu erklären.







Wir aggregieren verschiedene Daten nach Zeitintervallen



Wenn es um additive Metriken ging (und die ersten Metriken, die wir gerade hatten), warf die Aggregation keine Fragen für uns auf. Anzahl der Hypothekentransaktionen im August: Wir nehmen und zählen alle Transaktionen, die vom 1. August bis 30. August ausgegeben wurden. Wir haben dasselbe mit dem Zeitraum "Letzte 30 Tage" gemacht, der für jede Metrik das relevanteste Bild liefert.



Das Aufkommen nichtadditiver Metriken brachte uns jedoch zum Nachdenken. Beispielsweise kann die Anzahl der zu einem bestimmten Zeitpunkt veröffentlichten Anzeigen für den Verkauf von Wohnungen nicht "im August" gezählt werden. Wenn am 1. August in einigen Regionen 1000 Anzeigen im Store veröffentlicht wurden und am 30. August 1200 Anzeigen, welche Nummer sollte dann angezeigt werden? Durchschnittliche tägliche? Monatlicher Median? Monatsmitte? Wir haben entschieden, dass es für uns und die Benutzer einfacher ist, besser zu verstehen, wenn solche Metriken nicht für einen Zeitraum, sondern am letzten Tag des Zeitraums angezeigt werden. Wenn August ausgewählt ist, beziehen sich die Daten auf den 30. August. Wenn "letzte 30 Tage" ausgewählt ist, sind die Daten für gestern. Informationen dazu finden Sie ebenfalls im Verzeichnis.







Bestimmen Sie den Grad unserer Offenheit



In den frühen Phasen der Datenaufbereitung wollten wir so viele Informationen wie möglich anzeigen. Wenn wir wissen, dass im Juli 2020 in der Stadt H 65 Transaktionen zur elektronischen Registrierung ausgeführt wurden, dann lassen Sie uns den Benutzern davon erzählen! Irgendwann haben wir jedoch darüber nachgedacht, wie unsere Konkurrenten dies nutzen könnten. Schließlich kann die Offenlegung von Absolutwerten im Kontext von Städten und sogar bei wöchentlicher Dynamik dazu führen, dass die Daten verwendet werden, um verschiedene Hypothesen innerhalb bestimmter Siedlungen zu testen. Unsere Daten werden täglich aktualisiert, sodass Marktteilnehmer die Möglichkeit haben, täglich fast alle wichtigen Kennzahlen unseres Geschäfts zu überwachen, verschiedene Kampagnen durchzuführen und deren Auswirkungen auf unsere Ergebnisse sofort zu bewerten. Zusätzlich kann die Offenbarung von zwei Metriken (z.Die Anzahl der Anträge und die Anzahl der genehmigten Anträge können tatsächlich eine andere Metrik (z. B. die Genehmigungsrate) anzeigen, die Sie absolut nicht anzeigen möchten.



Um unangenehme Situationen zu vermeiden, haben wir beschlossen, kritische Kennzahlen für Regionen und Städte mit Intervallen zu schließen. Darüber hinaus erfolgt die Erstellung und Sortierung von Bewertungen innerhalb der Tabelle immer nach den tatsächlichen absoluten Werten der Metriken. Sie werden dem Endbenutzer nur nicht nach vorne angezeigt.







Für wen und warum öffnen wir Daten



Jetzt hat das Portal vier Abschnitte (Streams), von denen jeder 5-6 Metriken in tabellarischer Form mit einer regionalen Bewertung enthält. Wenn Sie auf eine Region klicken, können Sie in diese fallen und die Bewertung der Städte in dieser Region anzeigen. Es stehen verschiedene Zeitintervalle zur Verfügung (alle Monate ab Januar 2019 und "letzte 30 Tage") sowie die Suche nach Region und Stadt.



Diese Granularität ermöglicht die Verwendung von Daten als Materialien für die Marktforschung. Zum Beispiel die Analyse des Immobilienmarktes , die wir zusammen mit SberIndex auf Basis von Open Data durchgeführt haben. Besonderer Dank geht an Nikolai Korzhenevsky, Direktor des SberIndex-Labors, für seine proaktive Haltung zur Forschung.



Kopieren-Einfügen Auszug aus der Analyse:



  • Laut DomClick stiegen die Immobilienangebotspreise im Land in den letzten zwei Monaten im Durchschnitt um 3,0% im Jahresvergleich. Auf dem Primärmarkt erreicht das Notierungswachstum im Jahresvergleich 6,2%.
  • Zu den führenden Unternehmen bei der Erhöhung der Angebotspreise zählen touristische Regionen:

    • Chabarowsk-Territorium (18,9% im Jahresvergleich),
    • Region Kaliningrad (18,0% im Jahresvergleich),
    • Altai Republik (17,6% im Jahresvergleich).
  • Die Dynamik der von Juli bis August gewährten Kredite blieb vor dem Hintergrund eines raschen Rückgangs der Hypothekenzinsen ebenfalls nahe an den Rekordwerten. Die Zahl der ausgegebenen Hypothekendarlehen wächst nach unseren Schätzungen im Jahresvergleich um 44%.
  • Seit der Pandemie wurde laut Open Data fast die Hälfte der von DomClick genehmigten Hypothekenanträge online gestellt.


Zusätzlich zur Marktanalyse und -forschung kann Open Data für mehrere Zielgruppen gleichzeitig nützlich sein:



  • , / , ..
  • , .
  • Excel .
  • , / , .
  • // . , :)


Was weiter?



  • In naher Zukunft planen wir, uns auf die Erstellung von Diagrammen zu konzentrieren, um die Dynamik von Änderungen der Metriken nach Monaten und Wochen bequemer verfolgen zu können. Die Layouts sind bereits fertig, die Daten sind da, die Arbeit ist in vollem Gange.
  • Gleichzeitig wählen wir Daten für neue Abschnitte aus und sammeln sie, um herauszufinden, was für Benutzer am interessantesten ist.
  • Wir möchten es einfacher machen, aggregierte Daten nach Excel zu exportieren.
  • Parallel dazu arbeiten wir an Optionen zur Visualisierung von Metriken auf der RF-Karte (mit einer Heatmap oder Punkten). Das heißt, wir kehren zu einem gewissen Grad zur Idee der allerersten Version des Produkts zurück, aber bereits mit Erfahrung hinter uns, einem freundlichen Team und einem Projekt, das in der Produktion arbeitet.


Wenn Sie Kommentare / Fragen zum Portal oder Ideen zu Daten haben, deren "Öffnen" interessant wäre, dann schreiben Sie in die Kommentare, ich werde versuchen, alle zu beantworten.



All Articles