Analyse von Stellenangeboten mittels Clustering

Dieser Artikel bietet eine Methode zur Analyse von Stellenangeboten für die Suchabfrage "Python" mithilfe des GMM-Clustering-Modells (Gaussian Mixture Model). Für jeden hervorgehobenen Cluster werden die am häufigsten angeforderten Fähigkeiten und Gehaltsbereiche angezeigt.



Was war der Zweck dieser Studie? Ich wollte wissen:

• In welchen Anwendungen wird Python verwendet?
• Welche Kenntnisse sind erforderlich: Datenbanken, Bibliotheken, Frameworks
• Wie viele Spezialisten in jedem Bereich sind gefragt?
• Welche Gehälter werden angeboten?

Lade Daten

Jobs heruntergeladen von der Website hh.ru unter Verwendung der API: dev.hh.ru . Auf die Anfrage "Python" wurden 1994 offene Stellen (Region Moskau) hochgeladen , die im Verhältnis 80% und 20% in Schulungs- und Testsuiten unterteilt waren . Die Größe des Trainingssatzes beträgt 1595 , die Größe des Testsatzes beträgt 399 . Der Testsatz wird nur in den Abschnitten Top / Antitop-Fähigkeiten und Jobklassifizierung verwendet.

Zeichen

Entsprechend dem Text der hochgeladenen Stellen wurden zwei Gruppen der häufigsten n-Gramm Wörter gebildet :

• 2 Gramm in Kyrillisch und Latein
• 1 Gramm in Latein

In IT-Stellenangeboten werden Schlüsselkompetenzen und -technologien normalerweise auf Englisch geschrieben, sodass die zweite Gruppe nur lateinische Wörter enthielt.



Nach der Auswahl von n Gramm enthielt die erste Gruppe 81 2 Gramm und die zweite 98 1 Gramm:



Es wurde beschlossen, offene Stellen nach folgenden Kriterien in der Reihenfolge ihrer Priorität in Cluster aufzuteilen:



Die Bestimmung, zu welcher Gruppe von Kriterien das n-Gramm gehört und welches Gewicht ihm zugewiesen werden soll, erfolgte auf einer intuitiven Ebene. Hier einige Beispiele:

1. Auf den ersten Blick kann "Docker" der zweiten Kriteriengruppe mit einem Gewicht von 4 bis 6 zugeordnet werden. Die Erwähnung von "Docker" in der Vakanz bedeutet jedoch höchstwahrscheinlich, dass die Vakanz für die Position des "DevOps-Ingenieurs" bestimmt ist. Daher fiel "Docker" in die erste Gruppe und erhielt ein Gewicht von 7.
   
   
2. «Java» , .. «Java» Java- « Python». «-». , , , «Java» 9.
   
   

n- — .

Für Berechnungen wurde jede Leerstelle in einen Vektor mit einer Dimension von 179 (der Anzahl ausgewählter Merkmale) von ganzen Zahlen von 0 bis 9 transformiert, wobei 0 bedeutet, dass das i-te n-Gramm in der Leerstelle fehlt, und die Zahlen von 1 bis 9 das Vorhandensein des i-ten n bedeuten - Gramm und sein Gewicht. Weiterhin wird im Text ein Punkt als eine durch einen solchen Vektor dargestellte Leerstelle verstanden.

Beispiel:

Angenommen, eine Liste von n-Gramm enthält nur drei Werte:

Nein.	n	n-Gramm	Gewicht	Stellenangebote
1	2	in Python	acht	258
2	2	Verständnis der Prinzipien	acht	221
3	1	sql	fünf	490

Dann für eine Stelle mit Text.



Bedarf:

• Über 3 Jahre Erfahrung in der Python- Entwicklung .
• Gute SQL- Kenntnisse

der Vektor ist [8, 0, 5].

Metriken

Um mit Daten arbeiten zu können, müssen Sie diese verstehen. In unserem Fall würde ich gerne sehen, ob es Punktcluster gibt, die wir als Cluster betrachten werden. Dazu habe ich den t-SNE- Algorithmus verwendet , um alle Vektoren in den 2D-Raum zu übersetzen. 



Das Wesentliche der Methode besteht darin, die Dimension der Daten zu reduzieren und gleichzeitig die Proportionen der Abstände zwischen den Punkten der Menge maximal beizubehalten. Es ist ziemlich schwierig zu verstehen, wie t-SNE anhand der Formeln funktioniert. Aber ich mochte ein Beispiel, das irgendwo im Internet zu finden ist: Nehmen wir an, wir haben Bälle im dreidimensionalen Raum. Wir verbinden jeden Ball mit allen anderen Bällen durch unsichtbare Federn, die sich in keiner Weise schneiden und sich beim Überqueren nicht gegenseitig stören. Die Federn wirken in zwei Richtungen, d.h. Sie widerstehen sowohl der Entfernung als auch der Annäherung der Kugeln aneinander. Das System ist in einem stabilen Zustand, die Kugeln sind stationär. Wenn wir eine der Kugeln nehmen und zurückziehen und dann loslassen, kehrt sie aufgrund der Kraft der Federn in ihren ursprünglichen Zustand zurück. Als nächstes nehmen wir zwei große Teller und drücken die Kugeln zu einer dünnen Schicht zusammen.ohne die Kugeln zu stören, um sich in der Ebene zwischen den beiden Platten zu bewegen. Die Kräfte der Federn beginnen zu wirken, die Kugeln bewegen sich und hören schließlich auf, wenn die Kräfte aller Federn ausgeglichen werden. Die Federn wirken so, dass die Kugeln, die nahe beieinander waren, relativ nahe und flach bleiben. Auch bei entfernten Bällen werden diese voneinander entfernt. Mit Hilfe von Federn und Platten haben wir den dreidimensionalen Raum in einen zweidimensionalen Raum umgewandelt, wobei der Abstand zwischen den Punkten in irgendeiner Form erhalten blieb!Auch bei entfernten Bällen werden diese voneinander entfernt. Mit Hilfe von Federn und Platten haben wir den dreidimensionalen Raum in einen zweidimensionalen Raum umgewandelt, wobei der Abstand zwischen den Punkten in irgendeiner Form erhalten blieb!Auch bei entfernten Bällen werden diese voneinander entfernt. Mit Hilfe von Federn und Platten haben wir den dreidimensionalen Raum in einen zweidimensionalen Raum umgewandelt, wobei der Abstand zwischen den Punkten in irgendeiner Form erhalten blieb!



Der t-SNE-Algorithmus wurde von mir nur verwendet, um eine Reihe von Punkten zu visualisieren. Er half bei der Auswahl der Metrik sowie bei der Auswahl der Gewichte für die Features.



Wenn wir die euklidische Metrik verwenden, die wir in unserem täglichen Leben verwenden, sieht der Ort der offenen Stellen folgendermaßen aus:





Die Abbildung zeigt, dass die meisten Punkte in der Mitte konzentriert sind und an den Seiten kleine Äste vorhanden sind. Mit diesem Ansatz erzielen Clustering-Algorithmen, die die Abstände zwischen Punkten verwenden, nichts Gutes.



Es gibt viele Metriken (Möglichkeiten zum Bestimmen des Abstands zwischen zwei Punkten), die für die von Ihnen untersuchten Daten gut geeignet sind. Ich habe den Jaccard-Abstand als Maß gewählt , unter Berücksichtigung der Gewichte von n-Gramm. Jaccards Maßnahme ist leicht zu verstehen, eignet sich jedoch gut zur Lösung des betreffenden Problems.

:

1 n-: « python», «sql», «docker»

2 n-: « python», «sql», «php»

:

« python» — 8

«sql» — 5

«docker» — 7

«php» — 9

(n- 1- 2- ):  « python», «sql» = 8 + 5 = 13

( n- 1- 2- ):  « python», «sql», «docker», «php» = 8 + 5 + 7 + 9 = 29

=1 — ( / ) = 1 — (13 / 29) = 0.55

Die Matrix der Abstände zwischen allen Punktpaaren wurde berechnet, die Größe der Matrix beträgt 1595 x 1595. Insgesamt 1.271.215 Abstände zwischen eindeutigen Paaren. Die durchschnittliche Entfernung betrug 0,96, zwischen 619 und 659 beträgt die Entfernung 1 (d. H. Es gibt überhaupt keine Ähnlichkeit). Die folgende Grafik zeigt, dass es insgesamt wenig Ähnlichkeit zwischen Jobs gibt:





Mit der Jaccard-Metrik sieht unser Raum jetzt folgendermaßen aus:





Es erschienen vier unterschiedliche Dichtebereiche und zwei kleine Cluster niedriger Dichte. Zumindest sehen meine Augen so!

Clustering

Das Gaußsche Mischungsmodell (GMM) wurde als Clustering-Algorithmus gewählt . Der Algorithmus empfängt Daten in Form von Vektoren als Eingabe, und der Parameter n_components gibt die Anzahl der Cluster an, in die die Menge aufgeteilt werden muss. Sie können sehen , wie der Algorithmus funktioniert hier (in englischer Sprache). Ich habe eine vorgefertigte GMM-Implementierung aus der Scikit-Learn-Bibliothek verwendet: sklearn.mixture.GaussianMixture .



Beachten Sie, dass GMM keine Metrik verwendet, sondern Daten nur durch eine Reihe von Features und deren Gewichtung trennt. In diesem Artikel wird der Jaccard-Abstand verwendet, um Daten zu visualisieren, die Kompaktheit von Clustern zu berechnen (ich habe den durchschnittlichen Abstand zwischen Clusterpunkten für die Kompaktheit genommen) und zu bestimmender zentrale Punkt des Clusters (typische Leerstelle) - der Punkt mit dem geringsten durchschnittlichen Abstand zu anderen Punkten des Clusters. Viele Clustering-Algorithmen verwenden genau den Abstand zwischen Punkten. Im Abschnitt Andere Methoden werden andere Arten von Clustering erläutert, die auf Metriken basieren und auch gute Ergebnisse liefern.



Im vorherigen Abschnitt wurde mit dem Auge festgestellt, dass es höchstwahrscheinlich sechs Cluster geben wird. So sehen die Clustering-Ergebnisse mit n_components = 6 aus:







In der Abbildung mit der Ausgabe von Clustern sind die Cluster in absteigender Reihenfolge der Anzahl der Punkte von links nach rechts von oben nach unten angeordnet: Cluster 4 ist der größte, Cluster 5 ist der kleinste. Die Kompaktheit jedes Clusters ist in Klammern angegeben.



Das Clustering erwies sich als nicht sehr gut, auch wenn wir der Ansicht sind, dass der t-SNE-Algorithmus nicht perfekt ist. Bei der Analyse von Clustern war das Ergebnis ebenfalls nicht ermutigend.



Um die optimale Anzahl von Clustern n_components zu finden, verwenden wir die AIC- und BIC- Kriterien , über die Sie hier lesen können . Die Berechnung dieser Kriterien ist in die Methode sklearn.mixture.GaussianMixture integriert . So sieht das Kriteriendiagramm aus:





Wenn n_components = 12 ist, hat das BIC-Kriterium den niedrigsten (besten) Wert, das AIC-Kriterium hat auch einen Wert nahe dem Minimum (Minimum, wenn n_components = 23). Teilen wir die offenen Stellen in 12 Cluster auf:







Cluster sind jetzt kompakter, sowohl optisch als auch numerisch. Während der manuellen Analyse wurden offene Stellen in charakteristische Gruppen unterteilt, um eine Person zu verstehen. Die Abbildung zeigt die Namen der Cluster. Cluster mit den Nummern 11 und 4 sind als <Papierkorb 2> gekennzeichnet:

1. In Cluster 11 haben alle Features ungefähr die gleichen Gesamtgewichte.
2. Cluster 4 ist Java gewidmet. Trotzdem gibt es nur wenige offene Stellen für die Position des Java-Entwicklers im Cluster. Java-Kenntnisse sind häufig erforderlich, da dies ein zusätzliches Plus darstellt.

Cluster

Nach dem Entfernen von zwei nicht informativen Clustern mit den Nummern 11 und 4 ergeben sich 10 Cluster:





Für jeden Cluster gibt es eine Tabelle mit Funktionen und 2 Gramm, die am häufigsten in den offenen Stellen des Clusters zu finden sind.



Legende:



S - Der Prozentsatz der offenen Stellen, in denen das Merkmal gefunden wird, multipliziert mit dem Gewicht des Merkmals

% - Der Prozentsatz der offenen Stellen, in denen das Merkmal gefunden wird / 2 Gramm.

Typische Cluster- Leerstelle - Leerstelle mit dem geringsten durchschnittlichen Abstand zu anderen Punkten des Clusters

Daten Analyst

Anzahl der Jobs: 299



Typischer Job : 35.805.914

C ++ - Entwickler

Anzahl der Jobs: 139

Typischer Job : 39.955.360

Linux / DevOps Engineer

Anzahl der Jobs: 126

Typischer Job : 39.533.926

Python-Entwickler

Anzahl der offenen Stellen : 104

Typischer Job : 39.705.484

Datenwissenschaftler

Anzahl der offenen Stellen: 98

Typische freie Stelle: 38071218

Entwickler für Benutzeroberflächen

Anzahl der Jobs: 97

Typischer Job : 39.681.044

Backend-Entwickler

Anzahl der Jobs: 93

Typischer Job : 40.226.808

DevOps-Ingenieur

Anzahl der Jobs: 78

Typischer Job : 39634258

Dateningenieur

Anzahl der Jobs: 77

Typischer Job : 40.008.757

Qualitätssicherungsingenieur

Anzahl der Jobs: 56

Typischer Job : 39630489

Gehälter

Die Gehälter werden nur in 261 (22%) von 1.167 offenen Stellen in den Clustern angegeben.



Bei der Berechnung der Gehälter:

1. Wenn der Bereich "von ... bis ..." angegeben wurde, wurde der Durchschnittswert verwendet
2. Wenn nur "von ..." oder nur "bis ..." angegeben wurde, wurde dieser Wert übernommen
3. Die Berechnungen verwendeten (oder wurden angegeben) Gehalt nach Steuern (NET)

Auf der Karte:

1. Cluster rangieren in absteigender Reihenfolge des Durchschnittsgehalts
2. Vertikaler Balken im Feld - Median
3. Box - Bereich [Q1, Q3], wobei Q1 (25%) und Q3 (75%) Perzentile sind. Jene. 50% der Gehälter fallen in die Box
4. Der "Schnurrbart" enthält Gehälter aus dem Bereich [Q1 - 1,5 * IQR, Q3 + 1,5 * IQR], wobei IQR = Q3 - Q1 - Interquartilbereich
5. Einzelne Punkte - Anomalien, die nicht in den Schnurrbart fielen. (Es gibt Anomalien, die nicht im Diagramm enthalten sind.)

Top / Antitop Fähigkeiten

Die Charts wurden für alle 1994 geladenen offenen Stellen erstellt. Die Gehälter sind in 443 (22%) offenen Stellen angegeben. Für die Berechnung für jedes Merkmal wurden offene Stellen ausgewählt, in denen dieses Merkmal vorhanden ist, und auf ihrer Grundlage wurde das Durchschnittsgehalt berechnet.

Job-Klassifizierung

Clustering könnte viel einfacher gemacht werden, ohne auf komplexe mathematische Modelle zurückzugreifen: die Top-Jobtitel zusammenzustellen und in Gruppen aufzuteilen. Analysieren Sie als Nächstes jede Gruppe auf Top-N-Gramm und Durchschnittsgehälter. Features müssen nicht hervorgehoben und gewichtet werden.



Dieser Ansatz würde (bis zu einem gewissen Grad) für eine "Python" -Abfrage gut funktionieren. Aber für die Anfrage "1C Programmer" wird dieser Ansatz nicht funktionieren, weil Für 1C-Programmierer in den Namen von Stellenangeboten werden 1C-Konfigurationen oder angewandte Bereiche selten angegeben. Und es gibt viele Bereiche, in denen 1C verwendet wird: Buchhaltung, Gehaltsberechnung, Steuerberechnung, Kostenberechnung bei produzierenden Unternehmen, Lagerabrechnung, Budgetierung, ERP-Systeme, Einzelhandel, Management Accounting usw.



Für mich sehe ich zwei Aufgaben für die Analyse von Stellenangeboten:

1. Verstehen Sie, wo eine Programmiersprache verwendet wird, über die ich wenig weiß (wie in diesem Artikel).
2. Filtern Sie neu gepostete Jobs.

Clustering eignet sich zur Lösung des ersten Problems und zur Lösung des zweiten Problems - verschiedene Klassifikatoren, zufällige Wälder, Entscheidungsbäume, neuronale Netze. Trotzdem wollte ich die Eignung des gewählten Modells für das Problem der Berufsklassifizierung bewerten.



Wenn Sie die in sklearn.mixture.GaussianMixture integrierte Predict () -Methode verwenden , passiert nichts Gutes. Er führt die meisten offenen Stellen auf große Cluster zurück, und zwei der ersten drei Cluster sind nicht informativ. Ich habe einen anderen Ansatz gewählt: 

1. Wir nehmen die freie Stelle, die wir klassifizieren möchten. Wir vektorisieren es und bekommen einen Punkt in unserem Raum.
2. Wir berechnen den Abstand von diesem Punkt zu allen Clustern. Unter der Entfernung zwischen einem Punkt und einem Cluster habe ich die durchschnittliche Entfernung von diesem Punkt zu allen Punkten im Cluster ermittelt.
3. Der Cluster mit der geringsten Entfernung ist die vorhergesagte Klasse für die ausgewählte Stelle. Die Entfernung zum Cluster zeigt die Zuverlässigkeit einer solchen Vorhersage an.
4. Um die Genauigkeit des Modells zu erhöhen, habe ich 0,87 als Schwellenabstand gewählt, d.h. Wenn der Abstand zum nächsten Cluster größer als 0,87 ist, klassifiziert das Modell die freie Stelle nicht.

Zur Bewertung des Modells wurden 30 freie Stellen zufällig aus dem Testsatz ausgewählt. In der Urteilsspalte:



N / a: Das Modell hat den Job nicht klassifiziert (Entfernung> 0,87)

+: korrekte Klassifizierung

-: falsche Klassifizierung  



Insgesamt: 12 Stellen haben kein Ergebnis, 2 Stellen - fehlerhafte Klassifizierung, 16 Stellen - korrekte Klassifizierung. Modellvollständigkeit - 60%, Modellgenauigkeit - 89%.

Schwache Seiten

Das erste Problem - nehmen wir zwei freie Stellen:

Stellenangebot 1 - "Lead C ++ Programmer"

"Anforderungen:

• Über 5 Jahre Erfahrung in der C ++ - Entwicklung.
• Kenntnisse in Python werden ein zusätzliches Plus sein. "

Vakanz 2 - "Lead Python Programmer"

"Anforderungen:

• Über 5 Jahre Erfahrung in der Python-Entwicklung.
• Kenntnisse in C ++ sind ein zusätzliches Plus "

Aus Sicht des Modells sind diese offenen Stellen identisch. Ich habe versucht, die Gewichte der Features in der Reihenfolge ihres Auftretens im Text anzupassen. Dies führte zu nichts Gutem.



Das zweite Problem ist, dass GMM wie viele Clustering-Algorithmen alle Punkte in einer Menge gruppiert. Nicht informative Cluster sind für sich genommen kein Problem. Informative Cluster enthalten aber auch Ausreißer. Dies kann jedoch leicht gelöst werden, indem die Cluster gelöscht werden, indem beispielsweise die atypischsten Punkte entfernt werden, die den größten durchschnittlichen Abstand zu den übrigen Clusterpunkten aufweisen.

Andere Methoden

Die Cluster-Vergleichsseite zeigt die verschiedenen Clustering-Algorithmen gut. GMM ist der einzige, der gute Ergebnisse erzielt hat.

Der Rest der Algorithmen funktionierte entweder nicht oder lieferte sehr bescheidene Ergebnisse.



Von den von mir implementierten waren in zwei Fällen gute Ergebnisse zu verzeichnen:

1. Punkte mit hoher Dichte wurden in einer bestimmten Nachbarschaft ausgewählt, die in einem entfernten Abstand voneinander angeordnet war. Die Punkte wurden zu Zentren der Cluster. Dann begann auf der Grundlage der Zentren der Prozess der Clusterbildung - das Verbinden benachbarter Punkte.
2. Agglomeratives Clustering ist eine iterative Zusammenführung von Punkten und Clustern. Die Scikit-Learn-Bibliothek präsentiert diese Art von Clustering, funktioniert aber nicht gut. In meiner Implementierung habe ich die Join-Matrix nach jeder Iteration der Zusammenführung geändert. Der Prozess wurde gestoppt, als einige Grenzparameter erreicht wurden. Tatsächlich helfen Dendrogramme nicht, den Zusammenführungsprozess zu verstehen, wenn 1500 Elemente gruppiert sind.

Fazit

Die Recherchen, die ich durchgeführt habe, gaben mir die Antworten auf alle Fragen am Anfang des Artikels. Ich habe praktische Erfahrungen mit Clustering gesammelt, während ich Variationen bekannter Algorithmen implementiert habe. Ich hoffe wirklich, dass der Artikel den Leser motivieren wird, seine analytischen Untersuchungen durchzuführen, und irgendwie in dieser aufregenden Lektion helfen wird.