👩🏽‍🤝‍👩🏼 👩🏾‍🤝‍👨🏼 👋🏾 Der ultimative Leitfaden für eine KI-Karriere: So wählen Sie einen Major aus, steigen auf und finden einen coolen Job 🔔 👨🏽‍🤝‍👨🏼 🤰🏿

Am 3. August sprach Sergey Shirkin, ein Spezialist für ML und künstliche Intelligenz, in unseren sozialen Netzwerken.

Sergey war bei Sberbank und Rosbank an der Automatisierung von Finanztechnologien und -datenbanken beteiligt und baute bei Equifax Finanzmodelle auf der Grundlage von maschinellem Lernen und analytischer Arbeit auf. Prognostiziert das Fernsehen mit Methoden der künstlichen Intelligenz beim Dentsu Aegis Network Russia. Lehrbeauftragter an der Higher School of Economics (Masterstudiengang Datengesteuerte Kommunikation).

Sergey untersucht auch das Quantencomputing in Bezug auf KI und maschinelles Lernen. Er ist führend an den Fakultäten für Künstliche Intelligenz, Big Data Analytics und Data Engineering an der Geek University, wo er als Dekan und Dozent arbeitet.

Wir teilen Ihnen das Protokoll der Sendung und die Aufzeichnung mit.

***

Mein Name ist Sergey Shirkin, heute werden wir über künstliche Intelligenz sprechen. Wir werden die ersten Wege diskutieren - wie man in künstliche Intelligenz einsteigt, wie man die notwendigen Fächer lernt, welche Kurse man besucht, welche Literatur man liest, wie man eine Karriere beginnt. Auch über verschiedene Richtungen.

Die heutigen Themen können nicht nur für Anfänger, sondern auch für erfahrene Programmierer interessant sein - zum Beispiel, wie man vom Programmierbereich zum Bereich des maschinellen Lernens, der künstlichen Intelligenz und der neuronalen Netze übergeht. Je nachdem, mit welcher Technologie eine Person beschäftigt ist und welche Sprachen sie lernt, kann der praktische Übergang in diesen Bereich auf unterschiedliche Weise erfolgen. Es gibt viele Spezialitäten in der KI.

Empfehlen Sie Materialien zum Eintauchen in die KI?

Wenn Sie ein absoluter Anfänger sind, lernen Sie am besten zunächst Python. Ein schneller Weg, dies zu tun, wie ich bei anderen Neulingen gesehen habe, ist PythonTutor.ru. Dort müssen Sie die Theorie studieren und Probleme lösen - mindestens 70 Prozent. Die Probleme können schwierig erscheinen, wenn Sie vorher überhaupt nicht programmiert haben.

Der nächste Schritt ist die SQL-Abfragesprache, und die Site SQL-EX.ru hilft hier: Es gibt Übungen zu SQL. Sie sind in Phasen organisiert: Trainingsphase, Phase für die Erlangung einer Bewertung - Sie können einen bestimmten Platz in der Bewertung einnehmen. Hier erfahren Sie, wie Sie mit Datenbanken arbeiten. Parallel dazu gibt es Schulungsunterlagen des Autors Moiseenko, die leicht zu erlernen sind.

Dann müssen Sie das maschinelle Lernen selbst lernen. Verschiedene Algorithmen reichen von linearer Regression über logistische Regression bis hin zur Gradientenverstärkung. Hier gibt es viele Materialien. Dann können Sie zu neuronalen Netzen gehen - für Computer Vision, für NLP; Sie lernen Faltungs-Neuronale Netze, wiederkehrende Neuronale Netze und die fortschrittlichsten - Transformatoren, Bert usw.

Ich erzähle Ihnen von der Entwicklung der KI. Wenn Sie sich die Geschichte dieser Entwicklung bis 2010 ansehen, dann ist sie eher dürftig: Es gab natürlich einige großartige Erfolge in der KI und in verwandten Bereichen - zum Beispiel in Big Data, und viele mathematische Algorithmen waren bereit. Aber die KI hatte nicht genug Rechenleistung und Daten. Seit 2010 - oder besser gesagt 2012 - ist die KI explodiert. 2012 besiegte das neuronale Netzwerk bei einem der Wettbewerbe klassische Bildverarbeitungsalgorithmen und lernte, etwa 1000 Bildklassen zu erkennen.

Nach diesem Erfolg trat eine große Lücke bei Wettbewerbern auf, die klassisches Computer Vision verwendeten, und die Entwicklung künstlicher neuronaler Netze begann. Es entstanden verschiedene Faltungsnetzwerkarchitekturen, und in der Bildverarbeitung kam es zu einem Durchbruch. Früher glaubte man, dass es für ein neuronales Netzwerk sehr schwierig ist, zwischen einem Bild einer Katze und eines Hundes zu unterscheiden, aber 2012 lernten neuronale Netzwerke, Bilder viel schneller und genauer als Menschen zu erkennen und zu klassifizieren.

Heutzutage hat Computer Vision große Fortschritte gemacht. Parallel dazu entwickelt sich die Verarbeitung natürlicher Sprache - NLP -. Mit dem Aufkommen des GPT-3-Modells, das vor einigen Monaten von OpenAI entwickelt wurde, hat das neuronale Netzwerk gelernt, Text (sowie Musik und andere Sequenzen) zu generieren. Dies ist einer der wichtigsten Schritte in der NLP - höchstwahrscheinlich wird sie in diesem Jahrzehnt florieren. Es werden Chatbots angezeigt, die einen vollständigen Dialog mit einer Person führen können.

SQL und Python ein bisschen. Können Sie nach Kursen in Datenwissenschaft ohne Erfahrung sofort einen Job als Datenwissenschaftler bekommen oder müssen Sie zuerst als Datenbankanalyst arbeiten?

Der Einstieg in die Datenwissenschaft ist heute schwieriger als vor 5 Jahren. Dann war es möglich, an einem Wettbewerb in Kaggle teilzunehmen und einen Platz - nicht unbedingt der allererste, zum Beispiel in den ersten 10% - in einem interessanten Wettbewerb einzunehmen, der kein Trainingsniveau hatte. Danach war es bereits möglich, zu Unternehmen zu gehen, einfache Fragen zum maschinellen Lernen zu beantworten und eine solche Person einzustellen. Es gab nur wenige Spezialisten.

Jetzt ist alles viel komplizierter, so dass es manchmal nicht richtig funktioniert, nachdem Sie maschinelles Lernen und Mathematik studiert haben, um den Job Ihrer Träume zu bekommen - ein KI-Spezialist oder Datenwissenschaftler.

Ein guter Weg ist, zuerst mit einem Daten-, Datenbank- oder Datenanalysten zu arbeiten. Tatsache ist, dass Sie lernen müssen, wie Sie Daten vorverarbeiten, bereinigen und Statistiken anwenden. Dies können Datenbanktechnologien sein, einschließlich Python. Wenn Sie Erfahrung sammeln, über einen Hintergrund verfügen, können Sie sich mit Ihrem Wissen über Data Science-Bibliotheken in Python - Pandas, NumPy, SKLearn - für eine Stelle im Zusammenhang mit KI oder Data Science bewerben.

Was ist der Unterschied zwischen KI-Spezialisten und Datenwissenschaftlern?

Benötigt AI C ++? Was würden Sie raten, um ein Computer Vision Experte zu werden?

Jetzt gibt es eine Aufteilung der offenen Stellen westlicher Unternehmen: Neben dem Datenwissenschaftler gibt es separate Stellen für KI-Spezialisten. Bisher wurde verstanden, dass ein Datenwissenschaftler eine Person ist, die sich mit der Analyse von Tabellendaten, Computer Vision-Aufgaben und NLP-Aufgaben befasst. Es gab auch eine Stelle als Datenanalyst - es zahlte weniger, obwohl es auch ziemlich prestigeträchtig war; Eine solche Person musste die Daten analysieren, aber nicht zu tief in die KI in Bezug auf Sprache, Text und Bilder eintauchen und hauptsächlich mit tabellarischen Daten arbeiten. Dann gab es eine Mischung aus offenen Stellen: Im Tal wurden alle Datenanalysten als Datenwissenschaftler bezeichnet, einschließlich derer, die nur mit tabellarischen Daten arbeiten, und derer, die mit NLP und Computer Vision arbeiten. Gleichzeitig begannen sie wenig später, einen separaten KI-Spezialisten zu beauftragen.In russischen Unternehmen gibt es normalerweise keine solche Abteilung, obwohl es manchmal spezialisierte Stellen gibt - zum Beispiel "NLP / Computer Vision Engineer". Für einen Datenwissenschaftler ist es wünschenswert, alles nach und nach tun zu können.

Über C ++: Das grundlegendste ist Python. Das heißt, wenn Sie ein KI-Spezialist sind, sollten Sie TensorFLow, Keras oder PyTorch verwenden - es steht jetzt an erster Stelle. Wenn Sie jedoch mehr Programme auf niedriger Ebene schreiben - beispielsweise wenn sich der Job auf Roboterfahrzeuge bezieht - benötigen Sie häufig C ++ - Code. Python ist nicht immer schnell. Bibliotheken für maschinelles Lernen werden normalerweise in C ++ geschrieben, aber manchmal müssen Sie das gesamte Programm in C ++ schreiben: Zusätzlich zu den Modellen selbst kann Logik (wenn-sonst usw.) funktionieren, und in C ++ funktioniert es schneller. Natürlich ist es schwierig, sofort zu einer solchen Stelle zu gelangen, und es ist besser, zuerst für eine Stelle zu arbeiten, bei der genügend Python vorhanden ist - beispielsweise bei der Analyse von sozialen Medien mit Bildanalyse, ohne dass eine schnelle Verarbeitung erforderlich ist.

Um ein Spezialist zu werden, müssen Sie lernen, wie man mit Bibliotheken für neuronale Netze arbeitet, die OpenCV-Bibliothek für Python studieren - sie ist auch für C ++ verfügbar. Dadurch erhalten Sie die Toolbox. Es ist auch wünschenswert, mit der NumPy-Bibliothek arbeiten zu können, die Mathematik der Bildanalyse zu verstehen, dh lineare Algebra und Analysis zu verstehen und auch die Architektur neuronaler Netze zu kennen. Usw.

Warum stellen ML-Interviews Fragen zur Lösung von Konflikten in einer Hash-Tabelle?

Warum ist dies ein Marker für Einstellungen, wenn Sie ihn unterwegs googeln können?

Nicht jede freie Stelle fragt dies. Wenn Sie zur tabellarischen Datenanalyse wechseln, ist es unwahrscheinlich, dass Sie gefragt werden. Sie werden auf jeden Fall fragen, ob Sie sich für einen ML-Ingenieur bewerben: Das heißt, Sie erstellen nicht nur ML-Modelle, Sie implementieren sie auch und Sie müssen Algorithmen und Datenstrukturen kennen. Und wenn Sie so etwas wie ein Roboterauto entwickeln, dann umso mehr: Dort müssen Sie Code auf hoher und niedriger Ebene schreiben, und dieses Wissen ist ein Muss. Und manchmal ist dieses Wissen für die Analyse von Tabellendaten erforderlich - nehmen wir an, Sie schreiben ein Modul dafür in C ++.

Wenn Sie für solche Stellen noch nicht bereit sind, können Sie weitere Interviews führen. Wenn Sie beispielsweise einen Job als Datenwissenschaftler in einer Bank suchen, gibt es weniger solche Fragen.

Ich schreibe seit 10 Jahren in Python, aber keine Hochschulausbildung. Wie schwierig ist es, in das Reich der KI zu gelangen, ohne klug zu sein?

Höhere Mathematik ist erforderlich. Sie müssen Kurse belegen oder Literatur studieren, und dies ist ein langer Prozess. Sie benötigen eine Ausbildung in linearer Algebra, Analysis, Wahrscheinlichkeitstheorie und mathematischer Statistik. Der übliche Lehrplan reicht eindeutig nicht aus, um KI zu lernen. Natürlich sind die Programme unterschiedlich - in einigen Schulen und in der 10. Klasse werden Themen von Universitäten behandelt, aber dies kommt selten vor.

Pandas, SKLearn, Catboost, Seaborn, Kaggle Trainingsveranstaltungen - 3% und 13%. Muss ich in DL eintauchen oder kann ich schon einen Job suchen?

Den Bibliotheken geht es bereits gut; Sie haben bereits Pandas für die Arbeit mit Tabellendaten und SKLearn für Modelle für maschinelles Lernen und Catboost für die Erhöhung des Gradienten und Seaborn für das Rendern. Die Ergebnisse sind 3% und 13% - das bedeutet, wenn dies kein Trainingswettbewerb ist, sollten Sie mit solchen Ergebnissen bereits eine Art Medaille haben.

Deep Learning ist nicht immer erforderlich. Sie versuchen vielleicht schon, einen Job zu suchen, denke ich. Wenn Sie jedoch mit DL arbeiten müssen, müssen Sie dennoch neuronale Netze unterrichten.

Was ist die Grundausstattung an Büchern zum Lesen?

Ich werde meine Bücher am Ende des Streams zeigen. Ich entschied mich für das Basisset, nichts besonders Fortgeschrittenes.

Inwieweit sind diese Berufe jetzt gefragt? Wird es in 2 Jahren viele offene Stellen geben?

Wenn Sie sich an 2015-16 erinnern, gab es beispielsweise bei Headhunter nicht mehr als 5-10 offene Stellen für Datenwissenschaftler. Das heißt, es gab einen fast leeren Markt. Natürlich gab es dann eine Umbenennung von Analysten in Datenwissenschaftler, aber das war auch nicht genug.

Jetzt dauert es mehrere hundert auf einmal, wenn Sie sich dieselbe Site ansehen. Sie sagen, es gibt offene Stellen, die nicht da sind. In ODS - OpenDataScience - gibt es beispielsweise einen separaten Bereich für freie Stellen. Während die offenen Stellen nicht enden, denke ich, dass es in 2 Jahren nur noch mehr davon geben wird. Daran sind nicht nur große Unternehmen beteiligt: Es gibt Startups, kleine Unternehmen; Datenwissenschaftler werden jetzt in Regierungsbehörden benötigt - zum Beispiel in verschiedenen kommunalen Abteilungen, im Steuerdienst und so weiter.

In welcher Branche ist KI am gefragtesten?

Die einfachste Anwendung der KI, bei der ihre explizite Verwendung eine große Menge an geistiger Arbeit von Spezialisten automatisieren kann, ist im Finanzsektor. Es gibt eine große Anzahl von Banken. Jeder von ihnen muss beispielsweise die Kreditwürdigkeit von Kreditnehmern beurteilen, dh anhand verschiedener Kriterien feststellen, ob es sich lohnt, einen Kredit zu vergeben, ob eine Person ihre Stärke überschätzt und ob sie den Kredit zurückzahlen kann. Dies ist die offensichtlichste Verwendung von KI.

Dann Marketing, Werbekampagnen erstellen: Das heißt, wenn Sie vorhersagen müssen, ob eine Person eine Werbung sehen wird (im Internet, im Fernsehen usw.). Dies ist auch eine entwickelte Richtung, es ist unmöglich, sie nicht mit KI zu automatisieren. Außerdem entwickelt sich jetzt die Robotisierung: Es gibt nicht nur Industrieroboter, sondern auch Haushaltsroboter - Roboterstaubsauger und andere Wohnaccessoires, die ebenfalls von jemandem entwickelt werden. Oder verschiedene Anwendungen für ein Smartphone - im Allgemeinen gibt es viele Branchen, die von Industrie, Medizin, Einzelhandel, Finanzen, Marketing bis hin zu Unterhaltung reichen. Zum Beispiel kann KI auch in Spielen verwendet werden.

Einhundert mehr geschätzt, wenn Sie sich für einen Job in den Datenwissenschaften bewerben: Kenntnisse in Mathematik, Verständnis für bestimmte Algorithmen, Berufserfahrung?

Er hat einen technischen Master-Abschluss und ein Jahr als Datenanalyst in der Beratung gearbeitet.

Sie haben einen guten Hintergrund - eine technische Universität, ein Jahr Arbeit als Datenanalyst. Wenn Sie bereits Technologie studiert haben und wissen, wie man programmiert, ist der Einstieg in die Datenwissenschaft einfach. Wenn Sie in der Datenbankanalyse gearbeitet haben und SQL kennen, ist dies ein großes Plus, und wenn Sie Programmierung und maschinelles Lernen hinzufügen, ist dies ein sehr guter Satz.

Ich werde darüber sprechen, wie ich bei der Arbeit Modelle für maschinelles Lernen baue. Die Firma, für die ich arbeite, ist Dentsu Aegis, eine sehr berühmte Firma, insbesondere unter denen, die im Marketing arbeiten. Es ist eine der Top 5 Kommunikationsgruppen der Welt. Das Unternehmen hat seinen Hauptsitz in Tokio und Niederlassungen in 145 Ländern. Russische Niederlassung - Dentsu Aegis Network Russia. Er arbeitet seit 25 Jahren in Russland und ist ein Pionier der Medieninnovationen.

Ich werde Ihnen von dem Bereich erzählen, für den ich als Datenwissenschaftler verantwortlich bin. Dies ist genau die Anwendung, von der ich in der praktischen Anwendung als die offensichtlichste gesprochen habe. KI im Marketing hilft dabei, viele Aufgaben von Spezialisten zu automatisieren. Eine davon ist die Vorhersage, wie unterschiedliche Arten von Inhalten von unterschiedlichen Zielgruppen angezeigt werden. Ich werde Ihnen mehr über eine meiner unmittelbaren Aufgaben erzählen - die Vorhersage des Fernsehens.

Das Publikum kann mehrere hundert sein, und um sie manuell vorherzusagen, wäre die Arbeit von Dutzenden von Spezialisten erforderlich. Es ist überwältigend. Eine sehr große Datenmenge - bis zu Milliarden von Zeilen in Tabellen. Sie müssen sich nicht nur darum kümmern, ein Modell für maschinelles Lernen zu erstellen, sondern auch dafür, dass es schnell funktioniert. Für solche Arbeiten müssen Sie relationale und nicht relationale Datenbanken gut kennen, mit Linux arbeiten, über Entwicklerkenntnisse verfügen und die Anwendungsarchitektur, die IT-Infrastruktur des Unternehmens, Python und möglicherweise C ++ gut kennen.

Wenn wir eine Prognose für TV-Ansichten erstellen, verwenden wir moderne Methoden des maschinellen Lernens. Bei tabellarischen Daten handelt es sich um Gradientenverstärkung und zufällige Gesamtstruktur. Wenn Text analysiert wird, verwenden wir neuronale Netze. Daneben - Themenmodellierung, TF-IDF und andere gängige NLP-Methoden.

Wir verwenden die Gradientenverstärkung, denn wenn wir die Verwendung tabellarischer Daten vorhersagen, ist die Gradientenverstärkung allen bekannten Algorithmen bei der Arbeit mit solchen Daten voraus. In Kaggle wurden ab 2018 alle wichtigen Erfolge bei Wettbewerben mit tabellarischen Daten genau mit Hilfe der Gradientenverstärkung erzielt. Die meisten Keggler wechselten dann zu XGBoost - es war die erste bekannte Bibliothek zur Erhöhung des Gradienten, und später beherrschten viele LightGBM von Microsoft oder CatBoost von Yandex. Für die Vorhersage von TV-Ansichten ist auch die Verwendung von Zeitreihen gut geeignet, aber solche Methoden funktionieren nicht immer gut - es treten regelmäßig unerwartete Ereignisse auf, die rechtzeitig beantwortet oder vorweggenommen werden müssen. Manchmal gibt es große abnormale Perioden - von mehreren Tagen bis zu Monaten: zum BeispielDie FIFA Fussball-Weltmeisterschaft 2018 hatte großen Einfluss auf die Aussichten. Die Quarantäne wurde auch zu einer ungewöhnlichen Zeit: Die Menschen verbrachten mehr Zeit zu Hause und sahen mehr fern. Auch dies muss vorweggenommen werden. Im Allgemeinen ist dieser Zeitraum eine Art Herausforderung für maschinelles Lernen und KI, da Sie Modelle ständig überwachen und steuern müssen, damit sie ordnungsgemäß funktionieren. Zusätzlich zu ungewöhnlichen Zeiträumen wird die Vorhersage von Feiertagen, Wetterbedingungen und Änderungen der Trends in den Ansichten bestimmter Programme und Kanäle beeinflusst. Infolgedessen erweisen sich die Modelle als recht komplex, da alle möglichen Optionen berücksichtigt, Anomalien und Abweichungen berücksichtigt oder antizipiert werden müssen.Auch dies muss vorweggenommen werden. Im Allgemeinen ist dieser Zeitraum eine Art Herausforderung für maschinelles Lernen und KI, da Sie Modelle ständig überwachen und steuern müssen, damit sie ordnungsgemäß funktionieren. Zusätzlich zu ungewöhnlichen Perioden wird die Vorhersage von Feiertagen, Wetterbedingungen und Änderungen der Trends in den Ansichten bestimmter Programme und Kanäle beeinflusst. Infolgedessen erweisen sich die Modelle als recht komplex, da alle möglichen Optionen berücksichtigt, Anomalien und Abweichungen berücksichtigt oder antizipiert werden müssen.Auch dies muss vorweggenommen werden. Im Allgemeinen ist dieser Zeitraum eine Art Herausforderung für maschinelles Lernen und KI, da Sie Modelle ständig überwachen und steuern müssen, damit sie ordnungsgemäß funktionieren. Zusätzlich zu ungewöhnlichen Perioden wird die Vorhersage von Feiertagen, Wetterbedingungen und Änderungen der Trends in den Ansichten bestimmter Programme und Kanäle beeinflusst. Infolgedessen erweisen sich die Modelle als recht komplex, da alle möglichen Optionen berücksichtigt, Anomalien und Abweichungen berücksichtigt oder antizipiert werden müssen.Änderungen der Trends in den Ansichten bestimmter Programme und Kanäle. Infolgedessen erweisen sich die Modelle als recht komplex, da alle möglichen Optionen berücksichtigt, Anomalien und Abweichungen berücksichtigt oder antizipiert werden müssen.Änderungen der Trends in den Ansichten bestimmter Programme und Kanäle. Infolgedessen erweisen sich die Modelle als recht komplex, da alle möglichen Optionen berücksichtigt, Anomalien und Abweichungen berücksichtigt oder antizipiert werden müssen.

Natürlich sind die Modelle nicht sich selbst überlassen - Tests, Feinabstimmung und Überwachung sind ständig im Gange. Aber nicht nur die Modelle sind wichtig: Ein weiterer wichtiger Schritt ist die Erstellung von Features. Erstens sind dies Zeichen, die sich auf die Zeit der Show beziehen: Tageszeit, Wochentag, Jahreszeit usw. Zweitens gibt es inhaltsbezogene Attribute. Gleichzeitig muss man verstehen, dass es, wenn das Programm nachts ausgestrahlt wird, unabhängig vom interessanten Inhalt nicht mehr Aufrufe als in der Primetime gibt. Die Wichtigkeit der Attribute kann variieren, aber unterschiedliche Zielgruppen wählen unterschiedliche Inhalte aus. Dies kann von Geschlecht, Alter und sozialem Status abhängen.

Eine der zeitaufwändigsten Phasen beim Arbeiten mit Daten ist das Feature-Engineering: Verarbeiten oder Erstellen von Features. Dieser Teil der Datenwissenschaft erfordert viel Erfahrung: Es sind entweder keine Rezepte im Voraus bekannt oder sie sind zu einfach, und Sie müssen Möglichkeiten finden, um Funktionen im laufenden Betrieb vorzubereiten.

Manchmal sind die Daten merkwürdig: Nehmen wir an, der Zuschauer schaltet abends den Fernseher ein und schläft ein. Es stellt sich heraus, als hätte er die ganze Nacht Programme gesehen. Dies ist ein Beispiel für Rauschen in den Daten - die Daten scheinen genau zu sein, aber es scheint nicht so zu sein, und Sie müssen lernen, zu raten, obwohl es schwierig ist. Darüber hinaus werden in der Regel nur sehr wenige Anzeigen nachts geschaltet.

Wenn wir ein Modell erstellen, müssen wir es nicht nur zum Laufen bringen, sondern auch testen und überwachen. Dafür brauchen wir Metriken. Da wir ein Regressionsproblem haben, unterscheidet sich unser Satz von Metriken beispielsweise von dem Satz für die Klassifizierung. Dies sind der quadratische Mittelwertfehler und der Bestimmungskoeffizient - sie sind alle sehr wichtig. Es gibt auch Metriken, die Sie selbst erstellen müssen, um ein bestimmtes Geschäftsproblem zu lösen - beispielsweise das Problem der Optimierung der Kosten einer Werbekampagne. In diesem Fall müssen wir nicht nur die TV-Bewertung, sondern auch die Berichterstattung über die Werbekampagne vorhersagen. Wir arbeiten nicht nur mit maschinellem Lernen, sondern auch mit komplexen statistischen und ökonometrischen Methoden. Dies ist der Fall, wenn Kenntnisse des maschinellen Lernens nicht ausreichen: Es erfordert Kalkül, lineare Algebra und Methoden der mathematischen Optimierung.Im Gegensatz zu üblichen maschinellen Lernaufgaben - Regression, Klassifizierung, Clustering - müssen Sie hier Ihre eigenen Methoden entwickeln, und Programmierung allein reicht nicht aus.

Ich möchte das Programm der Higher School of Economics - Data-Driven Communications erwähnen. Ich musste den Studenten auf diesem Weg helfen, sie beschäftigen sich mit Marketing und Themen im Zusammenhang mit maschinellem Lernen. Was ist eigentlich maschinelles Lernen und Datenwissenschaft für einen Vermarkter? Früher war nicht zu erwarten, dass ein Spezialist auf diesem Gebiet komplexe Modelle programmieren und herstellen würde, aber jetzt ist es eine Fähigkeit, die Vorteile auf dem Arbeitsmarkt bietet. Wenn ein Spezialist zusätzlich zu seinem Beruf die Datenwissenschaft beherrscht, hat er die Möglichkeit, entweder den Job zu wechseln und Datenwissenschaftler zu werden oder sich in seinem Fachgebiet weiterzuentwickeln, jedoch mit großen Wettbewerbsvorteilen. Der Experte für maschinelles Lernen wird in der Lage sein, genauere Vorhersagen zu treffen, aber es wird viel Lernen erfordern.

Lohnt es sich, auf den MIPT / Yandex Data Science-Kurs zu achten oder vielleicht auf Udacity zu schauen?

So wie ich es verstehe, meinen Sie einen Kurs von MIPT / Yandex auf Coursera. Udacity ist eine eigenständige Lernplattform. Es gibt nicht nur Datenwissenschaft, obwohl ein großer Teil der Kurse für KI und Datenwissenschaft bestimmt ist. Ich empfehle, nicht auf einer Ressource zu verweilen, sondern mehrere Kurse auszuprobieren. Die Kurse stimmen nicht zu 100% überein, Sie können immer etwas Neues finden, das Sie vorher nicht kannten. Auch der neue Kurs kann zur Wiederholung verwendet werden. Zum Beispiel Kurse zu GeekBrains in unseren Abteilungen KI, Data Engineering und Big Data Analytics. Da ich ihr Dekan und Lehrer bin, kann ich Ihnen mehr über sie erzählen.

Die Kurse sind zu Fakultäten zusammengefasst - beispielsweise verfügt die Fakultät für künstliche Intelligenz über 17 Kurse plus 8 zusätzliche. Fast jeder Kurs hat praktische Arbeit als Abschlussprojekt. So bekommt ein Spezialist, der darauf lernt, Übung. Ich empfehle, nicht nur Theorie zu studieren, sondern Projekte durchzuführen: Gute praktische Fähigkeiten bringen Sie dem Interview und dem Berufseinstieg näher.

Ich selbst habe vor einiger Zeit bei Udacity studiert - ich habe einen Kurs über Roboterfahrzeuge belegt, sehr lange, es waren 9 Monate geplant, aber der Kurs dauerte ungefähr ein Jahr. Ich habe wirklich viel gelernt, die Eindrücke von der Plattform sind positiv. Aber natürlich werden alle Kurse dort auf Englisch unterrichtet.

Wie werden Anomalien in Zeitreihen berücksichtigt und können sie herausgeschnitten werden?

Ein unangenehmer Prozess. Dafür gibt es kein fertiges Rezept - Sie benötigen eine Vielzahl von Tests. Genauer gesagt gibt es vorgefertigte Modelle, die jedoch nur zur Erkennung von Anomalien in der Vergangenheit entwickelt wurden und nicht nur erkannt, sondern auch vorweggenommen werden müssen.

Für solche Fälle gibt es verschiedene Entwicklungen, die Sie jedoch selbst erstellen müssen. Das Wichtigste ist, zu bestimmen, was in Zukunft passieren wird: zum Beispiel eine Zunahme des Fernsehens auf bestimmten Kanälen und Programmen. Mit der Zeit gehen diese Daten zurück in die Trainingsdaten und müssen auf die richtige Weise verarbeitet werden.

Auch wenn es in Zukunft keine Anomalien mehr gibt, können frühere Anomalien Ihre Prognose beeinflussen. Hier gibt es viele Methoden; Am einfachsten ist es, anomale Daten zu löschen. Wenn jedoch viele vorhanden sind, kann dies dazu führen, dass ein ganzer Zeitraum der Zeitreihen nicht berücksichtigt wird. Daher ist diese Methode nicht immer geeignet.

Wie bekomme ich einen Job ohne nachgewiesene Erfahrung?

Gute Erfahrung sind Ihre Projekte. Das heißt, wenn Sie nicht nur Theorie unterrichten, sondern sofort ein Projekt durchführen - vorzugsweise unter Anleitung eines Mentors (einer Person mit Erfahrung in Datenwissenschaft und KI) - dann wissen Sie, was Sie tun. Sie wissen nicht nur, wie man Theorie anwendet oder ein Modell auf Daten im Internet anwendet, sondern auch, um praktische Probleme zu lösen. Wenn Sie an solchen Projekten arbeiten, erhalten Sie Kenntnisse, die nicht aus Büchern und Kursen gewonnen werden können, und die Hilfe eines Mentors ist hier von unschätzbarem Wert.

Reden wir über Bücher - ich habe einen kleinen Stapel vorbereitet.

Wenn Sie in der Datenwissenschaft arbeiten, müssen Sie höchstwahrscheinlich in einer Linux-Umgebung arbeiten. Gleichzeitig sind Sie kein Administrator - das heißt, Sie benötigen kein zu tiefes Wissen -, aber es sind sichere Kenntnisse dieser Plattform für einfache Verwaltungsaufgaben (Planung des Starts von Skripten oder Entsorgung von Betriebssystemressourcen) erforderlich. Hier bietet sich das Buch "LINUX - Pocket Guide" von Scott Granneman an. Es kann in ein paar Tagen studiert werden.

Zur Wahrscheinlichkeitstheorie würde ich das Buch von GG Bitner "Theory of Probabilities" empfehlen - es enthält sowohl Theorie als auch Probleme. Die Wahrscheinlichkeitstheorie wird sowohl für Interviews als auch für die Arbeit nützlich sein.

Jeder, der in der IT arbeitet, benötigt ein Mindestmaß an Kenntnissen und Fähigkeiten. Dementsprechend ist das Buch "Theoretisches Minimum in der Informatik - alles, was ein Programmierer und Entwickler wissen muss" (Philo Vladston Ferreira) ein Bildungsprogramm in der Informatik.

Wenn Sie sich mit Programmierung und Low-Level-Entwicklung beschäftigen, benötigen Sie Algorithmen. In dem Buch "Algorithmen für Anfänger - Theorie und Praxis für einen Entwickler" von Panos Luridas werden Algorithmen ohne Bezugnahme auf eine bestimmte Sprache angegeben. Es gibt ein längeres Buch für C ++ - "Algorithmen in C ++" von Robert Sedgwick; Dies ist nützlich, wenn Sie einige der allgemeinen Operationen von Python eliminieren und Algorithmen von Grund auf neu erstellen möchten.

Wenn Sie sich einen Überblick über die Arbeit eines Datenwissenschaftlers auf höchster Ebene verschaffen möchten, ist das Buch "Arbeiten mit Daten in jedem Bereich - wie man mithilfe von Analysen eine neue Ebene erreicht" von Kirill Eremenko genau das Richtige für Sie. Hier gibt es keine Programmierung. Wenn Sie jedoch bereits Experte sind, ist dies nur dann hilfreich, wenn Sie noch nicht mit Daten gearbeitet haben.

Weiter: „Data Science. Data Science from Scratch von Joel Grasz ist ebenfalls ein nützliches Buch. Aus derselben Veröffentlichung - „Praktische Statistik für Data Science-Experten. 50 wesentliche Konzepte “von Peter Bruce und Andrew Bruce. Hier können Sie auch Statistiken studieren.

Wenn Sie mit Daten in Python arbeiten und die Pandas-Bibliothek verwenden möchten, benötigen Sie auf jeden Fall "Python and Data Analysis" von Wes McKinney - dem Autor der Pandas-Bibliothek selbst.

Zum maschinellen Lernen empfehle ich zwei Bücher: Maschinelles Lernen von Peter Flach und Python und Maschinelles Lernen von Sebastian Raska.

Für Deep Learning gibt es das Buch Deep Learning in Python von Francois Schollet, in dem Sie neuronale Netze auf NLP- und Computer-Vision-Probleme untersuchen können. Speziell für NLP gibt es "Applied Analysis of Text Data in Python" von Benjamin Bengford, Rebecca Belbrough und Tony Ojeda.

Wenn Sie TensorFlow für tiefes Lernen lernen möchten, gibt es ein gleichnamiges Buch von Bharat Ramsundar und Reza Bosag Zade.

Es gibt auch ein Buch, das die Prinzipien neuronaler Netze einfach und klar erklärt - das Buch von Andrew Trask "Grock Deep Learning". Es gibt auch "Grock-Algorithmen" - es erklärt gut Algorithmen, die in einem Interview und in der Praxis nützlich sein können.

Was fragst du in Interviews?

Es gibt eine kleine Sammlung von Fragen. Es gibt Fragen zum klassischen maschinellen Lernen - ein Spezialist, der einen Job auf dem Gebiet der Datenwissenschaft und KI bekommt, sollte wissen, wie klassische Modelle des maschinellen Lernens funktionieren: lineare, logistische Regression, Gradientenabstieg, L1-L2-Regularisierung. Es ist notwendig, dass eine Person über das Funktionsprinzip von Entscheidungsbäumen, über das Kriterium des Informationsgehalts für Klassifizierungs- und Regressionsprobleme spricht. Damit eine Person weiß, wie zufälliger Wald funktioniert, funktioniert die Gradientenverstärkung. Es ist sehr gut, wenn er die Unterschiede zwischen den Gradientenverstärkungsmodellen - Catboost, LightGBM, XGBoost - kennt, dh wie sich diese Bibliotheken unterscheiden und wie die Gradientenverstärkung in ihnen implementiert ist. Sie benötigen auch eine Person, die Bibliotheken für maschinelles Lernen besitzt - Pandas, NumPy, SKLearn. Wenn ein Spezialist mit neuronalen Netzen, mit Computer Vision, mit NLP arbeiten muss,dann wird es Fragen zu diesen Themen geben.

Es kann viele Fragen geben. Wenn eine Person gut antwortet, ist es interessant, sie nach einigen seiner Projekte zu fragen. Wenn eine Person etwas getan hat, hat der Befragte sofort viele Fragen zu den Projekten. Wenn Sie persönliche Projekte auf GitHub oder Bildungsprojekte aus Kursen haben, ist es sehr gut, wenn Sie in der Lage sind, detailliert über die von Ihnen verwendeten Technologien und Algorithmen zu berichten.

Darüber hinaus können Sie während des Interviews verschiedene grundlegende Fragen stellen. Wenn eine Person gut antwortet, ist sie normalerweise ein guter Spezialist. Natürlich ist es wichtig, dass er die Testaufgabe erfüllen kann. Theorie ist eine Sache, aber es ist auch wichtig, wie eine Person ein praktisches Problem lösen, programmieren und welchen Code sie schreiben kann. Wenn eine Person die gesamte Theorie kennt, aber bei Bedarf einen Code sendet, in dem das OP nicht verwendet wird, weiß sie nicht, wie sie die Theorie richtig anwenden soll. Natürlich sollte auch der Code selbst lesbar und kommentiert sein.

Ich wollte auch über Quantencomputer sprechen, Quantenmaschinelles Lernen ist ein weiterer Bereich meines Interesses, aber heute werde ich keine Zeit haben.

Was sollte auf dem Lebenslauf stehen, um eine Einladung zu einem Interview zu erhalten?

Ein Lebenslauf ist ein entscheidender Moment. Erstens sollte das Volumen nicht aufgebläht sein: Es sollte nur relevante Erfahrungen enthalten. Wenn Sie in einem Fachbereich gearbeitet haben, der nicht mit IT zu tun hat, ist dies nicht erforderlich. Listen Sie Ihre Erfolge kurz auf, Projekte, Kurse, die für die Stelle relevant sind. Schreiben Sie, was Sie als Spezialist zeigt, der in der Lage ist, die Arbeit zu erledigen. Und natürlich muss die Zusammenfassung lesbar sein.

Der ultimative Leitfaden für eine KI-Karriere: So wählen Sie einen Major aus, steigen auf und finden einen coolen Job