Stabilisieren von Videos von einer sich bewegenden Kamera oder wie man alles in ein festes Koordinatensystem übersetzt

Computer Vision (CV) -Funktionen verändern jetzt die Marktlandschaft für Lösungen für die öffentliche Sicherheit vollständig. Während es nicht mehr einfach ist, jemanden mit herkömmlichen Videoüberwachungssystemen zu überraschen, und es seltsam ist, sie an keinem öffentlichen Ort zu finden, ist der Einsatz von KI in diesem Bereich immer noch eine Neuheit.

Wir untersuchen die Anwendung des Lebenslaufs auf verschiedene Geschäftsaufgaben im Bereich der öffentlichen Sicherheit. In diesem Beitrag bieten wir die Möglichkeit, Videos von einer sich bewegenden Kamera zur weiteren Analyse in ein festes Koordinatensystem zu übersetzen.

Das gesamte Projekt ist auf GitHub .

---

Nehmen wir an, wir haben eine Art Video und möchten ein festes Koordinatensystem dafür erstellen, um die Position von Objekten relativ zueinander zu bewerten.

Warum wird das benötigt? Sehr oft wird bei der öffentlichen Überwachung das zu analysierende Video mit einer sich bewegenden Kamera aufgenommen. Aus diesem Grund treten bei der Bestimmung der Position von Objekten relativ zueinander verschiedene Probleme auf:

• Es ist nicht klar, was die Änderung der Koordinaten des Objekts verursacht hat: Die Kamera oder das Objekt selbst bewegen sich;
• Wenn Sie die Szene aufgrund der Drehung der Kamera ändern, können verschiedene Objekte dieselben Koordinaten erhalten, selbst wenn die Objekte statisch waren.

Abbildung 1 - Identische Objekte haben aufgrund der Kamerabewegung unterschiedliche Koordinaten

Um ein festes Koordinatensystem aufzubauen, müssen Sie:

1. Bestimmen Sie den Ursprung der Koordinaten.
2. Vergleichen Sie zwei aufeinanderfolgende Frames miteinander.
3. , , (, , ..).

2 —

:

1. .
2. : , . . . SIFT, SURF ORB. , . , , , .

3 — matching visualization

1. , .

:

• a, e — x y ;
• b, d — ( a e );
• c, f — ;
• g, h — .

, , . (x,y) (x',y') :

:

$$

$$t\cdot(x',y',1)=H\cdot(x,y,1)(1)$$

:

k- .

N — (f₁,..., f_N). . matching points , f_k f_k-1.

:

— ;

(X_k, Y_k)=((x¹_k, y¹_k),…, (xⁿ_k, yⁿ_k)) – n matching points;

(X'_k, Y'_k) =((x'¹_k, y'¹_k),…, (x'ⁿ_k, y'ⁿ_k)) – n matching points ;

(X''_k, Y''_k) =((x''¹_k, y''¹_k),…, (x''ⁿ_k, y''ⁿ_k)) – k — n matching points , f_k-1.

H_k – , f_k-1 f_k.

, .

(X_k, Y_k) (X'_k, Y'_k). f₁ f_k , .. . H_k.

, (H₁,…, H_k-1). H_k (X_k-1, Y_k-1) (X_k, Y_k), , .

3:

3 — ,



, . a :

x¹_k= x¹_k-1 — a, , a : x'¹_k = x¹_k — a, 3. , , .

?

(H₁,…, H_k-1). , 1 k-1 mathcing points f_k-1 . (1), , — .

$$

$$H_{sup}=H_1\cdot(H_2\cdot(H_3...))(2)$$

, , , f_k-1 f_k, : (X_k-1, Y_k-1) (X_k, Y_k) ( (2)), (X'_k-1, Y'_k-1) (X''_k, Y''_k) H_k. , , (x¹_k, y¹_k) (x'¹_k, y'¹_k).

$$

$$t(x',y',1)=H_{sup} \cdot(x,y,1) (3)$$

: , ( , , .. ), - , . .

:

• "" matching points ((x¹_k, y¹_k),… ,(x'ⁿ_k, y'ⁿ_k)),
• H, k- k-1 .
• ((x'¹_k, y'¹_k),… ,(x'ⁿ_k, y'ⁿ_k))
• :
  
  
  • , ;
  • . , ;
  • - ( LENGTH_ACCOUNTED_POINTS len(matching points)), , , , .

, . .

"" , . , , , , . T , . , motion video segmentation.

.

GitHub , .

• evenvizion_component.py
• evenvizion_visualization.py
• compare_evenvizion_with_original_video.py

evenvizion_component.py

, evenvizion_component.py. , json , f_k-1 f_k. , json , . , , .

- , json --path_to_original_coordinate recalculated_coordinates.json , .

json :

{"frame_no": [{"x1": x coordinate, "y1": y coordinate}, ...], ...}

evenvizion_component.py , 3 ( matching and heatmap --show_matches --visualize_fixed_coordinate_system ).

evenvizion_visualization.py compare_evenvizion_with_original_video.py .

README.

, .

:

matching points — matching visualization:

5 — matching visualization

.

, , (heatmap visualization):

6 — heatmap visualization

20 , , . , . : r=sqrt(x²+y²), heatmap_constant , : 0 — , 1 — .

7 — fixed_coordinate_system_visualization

json , , fixed_coordinate_system_visualization ( 7).

evenvizion_visualization.py compare_evenvizion_with_original_video.py , ( ). 8 9 .

8 — visualize_camera_stabilization

9 — original_video_with_EvenVizion

Known issues

N/a . matching points , , 90 , . video motion segmentation, , , static points motion points. — .

. 4 matching points, , 4 , =None. : none_H_processing True, : H_k=H_k-1. False, H — , . .

. . . :

• . , , (, ).
• findHomography() opencv. .

Auf diese Weise erhalten wir eine Komponente, mit der wir die tatsächliche Position von Objekten relativ zueinander abschätzen und die Koordinaten des Objekts in ein stationäres System relativ zum Rahmen übersetzen können. weil Bei dieser Lösung besteht die Hauptsache darin, die Transformation von Flugzeugen anhand von Schlüsselpunkten zu bewerten. Wie oben gezeigt, kann das Problem auch bei schlechten Aufnahmebedingungen (scharfe Kamerabewegung, schwierige Wetterbedingungen, Nachtaufnahmen usw.) gelöst werden.