Clever Geek Handbook

Big Data Tools EAP 10: SSH-Tunnel, Anwendungsfilterung, benutzerdefinierte Module und mehr

Die nächste Version des Big Data Tools-Plugins wurde gerade veröffentlicht - ein Plugin für IntelliJ IDEA Ultimate, DataGrip und PyCharm, das die Integration mit Hadoop und Spark ermöglicht und das Bearbeiten und Starten interaktiver Notizbücher in Zeppelin ermöglicht.



Das Hauptziel dieser Version ist es, so viele Probleme wie möglich zu beheben und das Plugin von innen heraus zu verbessern. Zwei wichtige Verbesserungen sind jedoch mit bloßem Auge sichtbar:



  • Die Verbindung zu Hadoop und Spark ist jetzt über SSH-Tunnel möglich, die mit wenigen Mausklicks erstellt wurden.
  • Die Hadoop-Überwachung kann die Datenmenge begrenzen, die beim Anzeigen der Anwendungsliste geladen wird.




SSH-Tunnel



Auf den von uns benötigten Server kann häufig nicht direkt zugegriffen werden, wenn er sich beispielsweise in einem geschützten Unternehmenskreis befindet oder durch spezielle Regeln in der Firewall geschlossen ist. Um hineinzukommen, können Sie eine Art Tunnel oder VPN verwenden. Der einfachste Tunnel, der immer zur Hand ist, ist SSH.



Sie können einen Tunnel mit einem einzigen Konsolenbefehl erstellen:



ssh -f -N -L 1005:127.0.0.1:8080 user@spark.server


Eine Datei hilft dabei, den Prozess ein wenig zu automatisieren. Dabei ~/.ssh/configspeichern Sie die Verbindungsparameter einmal und verwenden dann:



Host spark
    HostName spark.server
    IdentityFile ~/.ssh/spark.server.key
    LocalForward 1005 127.0.0.1:8080
    User user


ssh -f -N spark — , IP-. .



.



-, - . -f -N -L? , — ? ? , , .



-, , IDE. , , , IDE .



, Big Data Tools SSH-.





, , SSH.



Enable tunneling :



  • Zeppelin
  • HDFS
  • Hadoop
  • Spark Monitoring


, , SSH. : , , , .



, . - , SSH, VPN .



BDIDE-1063 YouTrack.





, Spark Monitoring , , .





, .



Big Data Tools , . , .



, .



BDIDE-1077.



Zeppelin



Zeppelin JAR-. Big Data Tools , IDE .



Zeppelin, Big Data Tools . , , . Big Data Tools , IntelliJ IDEA.



Maven JAR-. , -, .



. "User dependencies":





BDIDE-1087.





Big Data Tools — , . , . EAP 10 , Spark Monitoring.





More articles:


All Articles