Wie wir die automatische Auswahl ähnlicher Produkte getroffen haben

In früheren Artikeln habe ich darüber gesprochen, wie wir gelernt haben, Produkte aus verschiedenen Quellen zu vergleichen und eine Produktkarte auszufüllen - Eigenschaften, Bilder, Beschreibung. Und wenn die Preise der Lieferanten, die Preise der Wettbewerber und die Eigenschaften der Waren bekannt sind, war eine logische Fortsetzung die Suche nach Informationen über Analoga oder Waren, die in ihren Eigenschaften einfach ähnlich sind.



Dies kann auf verschiedene Arten verwendet werden, z. B. um dem Kunden mehrere ähnliche Positionen auf der Produktkarte anzuzeigen, vielleicht wird ihm noch eine gefallen. Wenn etwas nicht vorrätig ist, ist auch eine Liste ähnlicher Produkte hilfreich. Die zweite Möglichkeit besteht darin, diese Informationen den Call-Center-Mitarbeitern zur Verfügung zu stellen, damit diese schnell (oder im Prinzip) Analoga anbieten können, wenn das angeforderte Produkt nicht verfügbar ist oder das Analog besser auf die Wünsche des Kunden zugeschnitten ist.



Wie können Sie feststellen, ob Produkte ähnlich sind? Sie können die Eigenschaften vergleichen, je besser sie übereinstimmen, desto ähnlicher sind die Produkte. Leider funktioniert es nicht so einfach. In der Praxis stellt sich heraus, dass es in der Regel fast keine Produkte gibt, bei denen alle Merkmale erfüllt sind. 80% ist ein gutes Ergebnis. Zweitens sind einige Merkmale wichtiger als andere. Beispielsweise unterscheidet sich ein 65-Zoll-Fernseher vollständig von einem 22-Zoll-Fernseher, obwohl beide über 2 USB-Anschlüsse verfügen. Oder ein anderes Beispiel: Ein Metallgehäuse und ein Aluminiumgehäuse liegen viel näher beieinander als Kunststoff, obwohl sie drei verschiedene Bedeutungen haben.



Um ähnliche Produkte auszuwählen, müssen wir daher die folgenden Aufgaben lösen:

1. Weisen Sie Gewichtsmerkmale zu. Die diagonale Größe ist wichtig, die Anzahl der USB-Anschlüsse ist weniger wichtig.
2. Bestimmen Sie den Wertebereich jedes Merkmals und stellen Sie darauf die Funktion des Abstands zwischen den Werten ein.
3. Entscheiden Sie sich für eine Strategie zur Behandlung von Fällen, in denen ein Merkmal für ein Produkt bekannt ist, für ein anderes jedoch nicht.
4. Berechnen Sie anhand des Abstands zwischen den Werten aller Merkmale den Abstand zwischen den Waren.
5. Denken Sie an die Leistung. Die Berechnung aller Entfernungspaare ist komplex

   $$

   $$O(N^2)$$
   Und wenn die Berechnung von 50 Millionen Entfernungen für 10.000 Waren kein großes Problem zu sein scheint, dann sind 50 Milliarden für 300.000 bereits eine Menge.

Lösen wir diese Probleme. Bis zu einem gewissen Grad wird dies Forschungsarbeit sein.

Wie wir Merkmalsgewichte bestimmen

Wir haben zwei Grundideen mit Gewichten verwendet.

• Die Eigenschaften, die den Preis beeinflussen, sind wichtig. Das Gegenteil ist nicht unbedingt der Fall. Zum Beispiel ist die Farbe eines Mobiltelefons wichtig genug, hat aber kaum Einfluss auf den Preis.
• Um wichtige Merkmale zu identifizieren, die den Preis nicht beeinflussen, gehen wir davon aus, dass sie im Durchschnitt besser gefüllt sind.

Außerdem weisen wir für jede Kategorie allen Merkmalen Gewichte zu. Gehen Sie dazu wie folgt vor:

1. Wenn das Merkmal numerisch ist, betrachten wir die Korrelation mit dem Pearson-Preis.
2. Wenn die Aufzählung eine sich gegenseitig ausschließende Auswahl hat (aber keine Zahlen), ordnen wir ihre Elemente nach dem Durchschnittspreis der Waren mit diesem Wert und berechnen die Korrelation mit dem Spearman-Preis.
3. Wenn Multiple Choice zur Verfügung steht, reduzieren wir es auf einen Satz von sich gegenseitig ausschließenden (Ja / Nein) und berechnen die Korrelation zwischen jedem und dem Spearman-Preis. Wir reduzieren den resultierenden Koeffizienten in Abhängigkeit von der Anzahl der Optionen.
4. Wir berechnen den Prozentsatz der gefüllten Werte für jedes der Merkmale und erhöhen oder verringern das zuvor erhaltene Gewicht.
5. Die erhaltenen Werte können als Gewichte verwendet werden, aber in der Praxis wird das beste Ergebnis erzielt, wenn sie erneut nichtlinear transformiert werden, wobei die Reihenfolge beibehalten wird.

Jeder der Schritte hat seine eigenen Nuancen, zum Beispiel, wie der Preis berechnet wird, wenn in einem Fall nur Einzelhandelspreise bekannt sind, in dem anderen nur Großhandelspreise und im dritten sowohl diese als auch andere. Oder eines der Geschäfte hat einen Fehler mit dem Preis gemacht und verkauft einen Nachttisch zum Preis eines Schranks aus derselben Serie.

Wie berechnen wir den Abstand zwischen Waren

Bei der Auswahl des Algorithmus, mit dem der Abstand zwischen den Werten des Merkmals berechnet wird, müssen wir berücksichtigen, wie der Abstand zwischen den Waren berechnet wird, wobei der Abstand zwischen den einzelnen Merkmalen und ihrem Gewicht berücksichtigt wird. Meine Intuition sagt mir, dass ich mit nur einer Entfernung im n-dimensionalen Raum beginnen soll, d. H. die Quadratwurzel der Summe der Quadrate der Abstände zwischen den Merkmalen.



Ferner sagt die Intuition, dass in diesem Fall die Funktion des Abstands zwischen Werten verteilend sein sollte und noch besser, wenn die Dreiecksungleichung erfüllt ist. Ich kann die Richtigkeit solcher Anforderungen nicht nachweisen, aber wir werden diese Bedingungen einhalten.



Dann können die folgenden Funktionen als Funktion der Entfernung übernommen werden:

• — , . , 35 , — 75 , 40 . .
• — (, ?), . .
• , .

Nun zur Leistung. In der Praxis stellte sich heraus, dass wir in einer angemessenen Zeit (bis zu 5 Minuten) paarweise Abstände zwischen 30.000 Waren berechnen können. Gleichzeitig gibt es in einigen Warenkategorien mehr, zum Beispiel möglicherweise hunderttausend Matratzen im Katalog, und in diesem Fall geht es darum, die aufgewendete Zeit um das Zehnfache zu erhöhen.



Die Optimierung dieses Falls sieht folgendermaßen aus: Wir bestellen alle Produkte nach dem Wert des Merkmals mit dem höchsten Gewicht

$$

$$O(N*log(N))$$

Das ist schneller als

$$

$$O(N^2)$$

Dann teilen wir alle Produkte in überlappende Gruppen ein (z. B. um 20% überlappend) und berechnen die paarweisen Abstände innerhalb jeder Gruppe. Bei bis zu 30.000 Produkten in einer Kategorie erhöht sich somit die Verarbeitungszeit mit

$$

$$O(N^2)$$

und ab 30.000 - wie

$$

$$O(N*log(N))$$

Ergebnisse

Ich werde einige Beispiele für die Ergebnisse der automatischen Suche nach ähnlichen Produkten unter Verwendung dieses Algorithmus geben (der erste in der Tabelle ist das Produkt, für das wir nach ähnlichen Produkten gesucht haben).





Diese Beispiele zeigen, dass der Algorithmus im Prinzip gute Arbeit geleistet und im ersten Fall freistehende automatische Waschmaschinen mit horizontaler Belastung gleicher Tiefe und ungefähr gleicher maximaler Belastung ausgewählt hat (ich bin kein großer Spezialist für Waschmaschinen, aber es sind diese Eigenschaften, die mir wichtig erscheinen). Im zweiten Fall - auch freistehende automatische Waschmaschinen, jedoch mit Toplader. Die Breite und Tiefe der vorgeschlagenen Optionen sind gleich. In beiden Fällen wurden Aktivator- oder Einbaumaschinen sowie kompakte Wandmaschinen nicht angeboten, obwohl sie im Katalog enthalten sind.



Wahrscheinlich hätte ein Spezialist für Großgeräte die Arbeit besser machen können (wir haben die Ergebnisse in verschiedenen Kategorien mit den Verkäufern besprochen, sie haben die meisten Optionen genehmigt, aber auch Optionen vorgeschlagen, die wir nicht in das Ergebnis aufgenommen haben). Wenn ich das Ergebnis für mich als Käufer versuche, finde ich solche Empfehlungen nützlich. Ich habe keine groben Fehler in den Erwartungen gefunden.



Nach der Implementierung dieses Algorithmus, bei dem nur der Name des Produkts als Eingabe verwendet wird, können wir ihn automatisch von Lieferanten und Wettbewerbern finden, seine Eigenschaften ausfüllen, Bilder auswählen und sogar Analoga anbieten. Dies vereinfacht die Arbeit von Content Managern und Vertriebsmanagern erheblich.