Wir standen vor der Aufgabe, Gruppen von Kunden zu identifizieren, die bei Transaktionen auf organisierten Wertpapiermärkten das gleiche Anlageverhalten aufweisen.
Für eine effektive Lösung des Problems ist es zunächst erforderlich, die richtige Formulierung zu bestimmen.
, . «» . – , . , , , . , !
, :
,
( )
(/).
2 , , , , . – !
:
from matplotlib import pyplot as plt
from mpl_toolkits import mplot3d
fig = plt.figure()
ax = plt.axes(projection = '3d')
ax.scatter3D(X[:,0],X[:,1],X[:,2])
plt.show()
2 SKlearn ML – KMeans, DBSCAN () BallTree.
DBSCAN
DBSCAN (Density-based spatial clustering of applications with noise), ), , . — ϵ- . , , , DBSCAN ? .
:
, , , . , , :
X = df[['ORDERDATETIME','SECURCODE','OPERATION']].values
model = DBSCAN(min_samples=2, eps = 0.5).fit(X)
df['LabelsDBS'] = model.labels_
df['ORDERDATETIME']=pd.to_datetime(df['ORDERDATETIME'])
gr=df.groupby(['LabelsDBS','CLIENTCODE']).count()
l=[]
ll=[]
for i in range(gr.shape[0]):
l.append(gr.index[i][0])
ll.append(gr.index[i][1])
l=pd.DataFrame(l)
l.rename(columns={0:'Ind'}, inplace=True)
l['Code']=ll
l=l.query('Ind > 0')
a = l.groupby('Ind').count()
a=a.query('Code>1 & Code<4').index.values
a=list(a)
l=l.query('Ind == @a')
l = pd.DataFrame(l.groupby('Ind')['Code'].apply(list))
, DBSCAN , .
KMeans
k- . k – , . , .
– , X. , .
– , , . , – « k-».
, , k- n- 1. . .. , , . .
, DBSCAN ( ) :
X = df[['ORDERDATETIME','SECURCODE','OPERATION']].values
model = KMeans(n_clusters=9900).fit(X)
, , – .
BallTree
ML – . . , , , .
, :
tree = BallTree(X, leaf_size=2)
dist, ind = tree.query(X, k=2)
l=[]
ll=[]
lll=[]
dist, ind = tree.query(X, k=2)
for i, (ind, d) in enumerate(zip(ind, dist)):
print(f'Y index {i}, closest index X is {ind[1]}, dist {d[1]}')
l.append(ind[0])
ll.append(ind[1])
lll.append(d[1])
for i in range(len(l)):
l[i]=df.iloc[l[i]].CLIENTCODE
ll[i]=df.iloc[ll[i]].CLIENTCODE
l=pd.DataFrame(l)
l.rename(columns={0:'Ind1'}, inplace=True)
l['Ind2']=ll
l['DIST']=lll
l = l.query('DIST>0 & Ind1 != Ind2')
l
, , , – , , , .
Basierend auf den durchgeführten Arbeiten können wir den Schluss ziehen, dass trotz der Tatsache, dass die Methoden zum Auffinden ähnlicher Kundenoperationen unterschiedlich sind und unterschiedliche mathematische Methoden verwenden, die Schlussfolgerung ungefähr ähnlich ist. Dies bedeutet, dass jede der Methoden verwendet werden kann, um die Suche nach ähnlichen Operationen einzugrenzen. Es bleibt die Frage, ein bequemeres Werkzeug für eine bestimmte Aufgabe auszuwählen - um die Geschwindigkeit der Einfachheit halber zu opfern oder um selbst nach der Anwendung der gefundenen Entfernungen zu suchen. Du entscheidest!