Von Beruf bin ich Redaktionsleiter und angewandte Programmierung ist in meiner Freizeit wie ein Hobby.
Irgendwann kam die Idee, Arbeit mit einem Hobby zu verbinden. Ich las einen Artikel über Habré über das Erkennen von Objekten in Bildern mit Core ML, und so fing alles an. Ich werde meine bescheidenen Erfahrungen und Probleme teilen, die bei der Entwicklung von Anwendungen mit Core ML auftreten können.
Tatsache ist, dass fast ein Drittel der Arbeit eines Video-Editors in der routinemäßigen Suche nach Videosequenzen aus den Quellen besteht, die jedes Mal auf der Suche nach einem Kontextplan für Offscreen-Text aufgerollt werden müssen. Meiner Meinung nach enthält dies keine kreative Komponente, insbesondere wenn Sie dies seit 15 Jahren tun). Nun, ich dachte, was ist, wenn ich eine Software schreibe, die den Ordner mit dem Quellcode durchläuft, Objekte erkennt und sie sorgfältig in die Datenbank "legt". Ferner wird beim Suchen nach Videofragmenten für die sogenannten "Jeans" ein Suchwort eingegeben, beispielsweise "Sonne", und alles, was auf irgendeine Weise ist, wird an das Bearbeitungssystem übertragen.
Die Idee reifte, wollte sich stapeln, ich beschloss, in Swift zu schreiben, trainierte Modelle von Core ML selbst, SQLite-Datenbank. Auf den ersten Blick schien die Idee einfach umzusetzen zu sein, als wäre nichts kompliziert.
Sehr schnell habe ich den Hauptcode eingegeben , der Frames aus dem Video abruft , Objekte mit dem Resnet50- Modell erkennt, das von Yabloko auf ihrer Website empfohlen wurde. Es hat sehr schnell funktioniert und es Ihnen ermöglicht, den Prozentsatz anzupassen, bei dem das Objekt als erkannt angesehen wurde. Der Code selbst wird für alle leise auf demselben apple.com verteilt . Ich habe die SQLite.swift- Bibliothek verbunden , ihre Funktionen in meine Methoden eingeschlossen, alles funktioniert!
! 1000- mvc- , Stackoverflow. . , . , , , .
, Grand Central Dispatch (GCD) - Apple, , - ! ! .
, 70 , - ! ! 420- , - windows mobile, , , , …. 420 ! , , ! ? …. … 420 … .
, ( ) ! VNCoreMLRequest, ML- , , . «» copyCGImage, , generateCGImagesAsynchronously, , «» try catch.
. , . : YOLOv3 Resnet50, , . .
Apple Xcode Create ML , , , .
, - . - EDL XML. , «» , . , EDL , , , , , , , , . XML! : , , , , , ! , , XML, , -. Adobe Premiere XML. . , - , , , , . , String Xcode. , , . ! html-. , , ) ! XML , dobe Premiere, , , , Final Cut Pro ( ),
, , , , .
, , , , . Apple Silicon, ML 16x, . Mac App Store, Videoindex.
,