Ein weiteres EAP 11-Update wurde gerade für ein Plugin namens Big Data Tools veröffentlicht, das für die Installation in IntelliJ IDEA Ultimate, PyCharm und DataGrip verfügbar ist. Sie können es über die Plugin-Seite auf der Site oder in der IDE installieren .
Big Data Tools ist ein Plugin, mit dem Sie eine Verbindung zu Hadoop- und Spark-Clustern herstellen können. Es bietet die Überwachung von Knoten, Anwendungen und einzelnen Aufgaben. Darüber hinaus können Zeppelin-Notizbücher in IDEA und DataGrip erstellt, ausgeführt und bearbeitet werden. Sie müssen nicht zur Zeppelin-Weboberfläche wechseln und friedlich arbeiten, ohne Ihre Lieblings-IDE zu verlassen. Mit dem Plugin können Sie bequem durch den Code navigieren, intelligente Vervollständigungen, Refactorings und schnelle Korrekturen direkt im Laptop durchführen.
Neue Art der Startkonfiguration für Spark-Submit
— Spark- IDE, . IDE, PyCharm. , spark-submit bin Spark . : - . .
spark-submit , . , SSH, spark-submit . bash- , . , , - .
Big Data Tools , . run configuration, spark-submit, SSH, - . .
Apache Zeppelin DataGrip
Zeppelin DataGrip. DataGrip , - . , SQL .
, SQL. , Matplotlib Scala DataGrip .
- Spark-submit IntelliJ IDEA, DataGrip PyCharm (BDIDE-843).
- Apache Zeppelin DataGrip (BDIDE-1045).
- Zeppelin (BDIDE-906).
- Spark Monitoring (BDIDE-1159).
- Zeppelin (BDIDE-1172).
- Zeppelin: , (, HTML Zeppelin) (BDIDE-1132).
- Zeppelin: – IntelliJ IDEA 2020.1 Zeppelin, (BDIDE-1184).
- Zeppelin: – , /api/version (BRIDE-1199).
- Zeppelin: – (BDIDE-1171).
- Zeppelin: – Structure Zeppelin (BDIDE-1135).
- Zeppelin: Fixed – IDEA , (BDIDE-1208).
- Zeppelin: – "Open in browser" (BDIDE-1142).
- Zeppelin: – (BDIDE-1129).
- Spark Monitoring: – JSON, Storages, (BDIDE-1162).
- Remote FS: – Azure (BDIDE-1141).
- Remote FS: – (BDIDE-1192).
- Remote FS: – (BDIDE-1202).
- General: – (BDIDE-1195).
- HTTP Proxy: – Spark Hadoop SOCKS proxy (BDIDE-1209).
- HTTP Proxy: – SCOKS proxy (BDIDE-1215).
- HTTP Proxy: – (BDIDE-1216).
, Big Data Tools, . , Twitter.
, , , .
Big Data Tools