In diesem Artikel werden Optionen zum Hochladen von Daten in den Google BigQuery-Cloud-Speicher beschrieben. Dies umfasst einfache Möglichkeiten zum Laden von Daten aus CSV / JSON-Dateien und Möglichkeiten zum Laden über API oder Erweiterung.
Mit Google BigQuery (GBQ) können Sie Daten aus verschiedenen Quellen sammeln und mithilfe von SQL-Abfragen analysieren. Zu den Vorteilen von GBQ zählen eine hohe Rechengeschwindigkeit auch für große Datenmengen und niedrige Kosten.
Warum müssen Sie Daten in ein einzelnes Repository hochladen? Wenn Sie End-to-End-Analysen verwenden, Berichte aus Rohdaten erstellen und die Effektivität Ihres Marketings messen möchten, benötigen Sie Google BigQuery.
Wenn Sie Terabytes an Daten in Sekunden analysieren müssen, ist Google BigQuery die einfachste und kostengünstigste Wahl. Weitere Informationen zu diesem Dienst erhalten Sie in einem kurzen Video auf dem YouTube-Kanal von Google Developers .
Erstellen eines Datensatzes und einer Tabelle
Bevor Sie Daten hochladen, müssen Sie zunächst ein Dataset und eine Tabelle in Google BigQuery erstellen. Wählen Sie dazu auf der BigQuery-Homepage die Ressource aus, in der Sie ein Dataset erstellen möchten.
Die im Artikel verwendeten Bilder werden vom Autor bereitgestellt.
Geben Sie die Dataset-ID im Fenster "Dataset erstellen" an, wählen Sie den Datenverarbeitungsort aus und legen Sie den Standardspeicherzeitraum für die Tabelle fest.
Hinweis: Wenn Sie als Ablaufdatum für die Tabelle "Nie" auswählen, wird kein physischer Speicher definiert. Für temporäre Tabellen können Sie die Anzahl der Tage angeben, an denen sie aufbewahrt werden sollen.
Erstellen Sie dann eine Tabelle im Datensatz.
Erledigt! Jetzt können Sie mit dem Herunterladen von Daten beginnen.
Laden von Daten mit Google Sheets (Erweiterung OWOX BI BigQuery Reports).
Wenn Sie Daten von Google Sheets in Google BigQuery hochladen müssen, können Sie dies am einfachsten tun, indem Sie die kostenlose Erweiterung OWOX BI BigQuery Reports installieren.
Sie können diese Erweiterung direkt in Google Sheets oder im Chrome Web Store installieren .
Nach der Installation wird ein Dialogfeld mit Eingabeaufforderungen und der Frage nach Berechtigungen angezeigt.
Jetzt ist es Zeit, zu Google Sheets zurückzukehren. Um Daten in BigQuery hochzuladen, wählen Sie einfach im Menü Add-Ons die Option Daten in BigQuery hochladen -> OWOX BI BigQuery-Berichte.
Geben Sie den Projekt-, Dataset- und Tabellennamen an, in den die Daten geladen werden sollen. Und das ist alles :) Ein
unbestreitbarer Vorteil der OWOX BI BigQuery Reports-Erweiterung ist ihre einfache Bedienung. Sie können die Erweiterung auch verwenden, um geplante Berichte anzupassen.
Um Berichte basierend auf genauen Rohdaten aus allen Quellen zu generieren und diese automatisch in das Google BigQuery-Repository hochzuladen, empfehlen wir die Verwendung des OWOX BI-Pipeline-Dienstes .
Mit Pipeline können Sie die automatische Datenerfassung von Anzeigenservices, Anrufverfolgungssystemen und CRM einrichten. Auf diese Weise können Sie schnell und einfach vollständige Datensätze aus den Quellen Ihrer Wahl abrufen.
Wählen Sie einfach Ihre Datenquellen aus und erlauben Sie den Zugriff. Überlassen Sie den Rest OWOX BI .
Mit OWOX BI können Sie Berichte für jeden Geschmack und jede Farbe erstellen, von der ROI-, ROPO-Effekt- und Kohortenanalyse bis zur LTV- und RFM-Analyse.
Laden von Daten aus CSV-Dateien
Um Daten aus einer CSV-Datei hochzuladen, wählen Sie im Fenster Tabelle erstellen eine Datenquelle aus und verwenden Sie die Option Hochladen.
Wählen Sie dann die Datei und ihr Format aus.
Als Nächstes müssen Sie das Ziel für die Daten definieren, indem Sie den Projektnamen und das Dataset angeben.
Hinweis: In Google BigQuery können Sie zwei Arten von Tabellen auswählen: native und externe.
Google BigQuery erkennt automatisch die Struktur der Tabelle. Wenn Sie jedoch Felder manuell hinzufügen möchten, können Sie entweder die Textbearbeitungsfunktion oder die Schaltfläche + Feld hinzufügen verwenden.
Hinweis: Wenn Sie das Parsen von Daten aus einer CSV-Datei in Google BigQuery stören möchten, können Sie erweiterte Optionen verwenden.
Weitere Informationen zum CSV-Format finden Sie in der ausführlichen Dokumentation der Internet Society.
Laden von Daten aus JSON-Dateien
Um Daten aus einer JSON-Datei zu laden, wiederholen Sie alle oben genannten Schritte: Erstellen oder wählen Sie ein Dataset und eine Tabelle aus, mit denen Sie arbeiten. Wählen Sie nur JSON als Dateiformat.
Sie können eine JSON-Datei von Ihrem Computer, Google Cloud Storage oder Google Drive hochladen.
Hinweis: Weitere Informationen zum JSON-Format finden Sie in der Google Cloud-Dokumentation.
Herunterladen von Daten aus Google Cloud Storage.
Mit Google Cloud Storage können Sie Daten sicher online speichern und übertragen.
Nützliche Informationen über diesen Service:
Erste Schritte mit Google Cloud Storage Cloud Storage
Dokumentation
Quick Start Guides
Wahl Lagerung und Datenbank auf Google Cloud Platform
Sie Dateien von Google Cloud Storage zu Google BigQuery in den folgenden Formaten hochladen:
- CSV
- JSON (Newline getrennt)
- Avro
- Parkett
- ORC
- Cloud-Datenspeicher
Weitere Informationen zur Verwendung von Cloud Storage mit Big Data finden Sie in der offiziellen Dokumentation . Weitere Informationen zu Upload-Beschränkungen und
-Berechtigungen für Cloud-Speicher finden Sie in der Google Cloud-Hilfe.
Laden von Daten aus anderen Google-Diensten wie Google Ads und Google Ad Manager.
Um Daten von verschiedenen Google-Diensten herunterzuladen, müssen Sie zuerst den BigQuery-Datenübertragungsdienst einrichten. Bevor Sie es verwenden können, müssen Sie ein Datenprojekt auswählen oder erstellen und in den meisten Fällen die Abrechnung aktivieren. Beispielsweise ist eine Abrechnung für die folgenden Dienste erforderlich:
- Kampagnen-Manager
- Google Anzeigenmanager
- Google Ads
- Google Play (Beta)
- YouTube - Kanalberichte
- YouTube - Berichte von Inhaltsinhabern
Hinweis: Weitere Informationen zum Einrichten und Ändern der Abrechnung finden Sie in der Google Cloud-Hilfe.
Um den BigQuery-Datenübertragungsdienst zu starten , wählen Sie auf der BigQuery -Startseite im Menü links die Option Übertragungen.
Hinweis: Sie benötigen Administratorrechte , um eine Übertragung zu erstellen.
Im nächsten Fenster müssen Sie lediglich die gewünschte Datenquelle auswählen.
Hinweis: Auf den BigQuery-Datenübertragungsdienst kann nicht nur über die Plattformkonsole zugegriffen werden, sondern auch über:
- lassic bq_ui
- bq Kommandozeilen-Tool
- BigQuery Data Transfer Service API
Nach der Einrichtung lädt der Dienst automatisch und regelmäßig Daten zu BigQuery hoch. Sie können es jedoch nicht zum Herunterladen von Daten von BigQuery verwenden.
Laden von Daten über die API
Mit Cloud Client Libraries können Sie Ihre bevorzugte Programmiersprache verwenden, um mit der Google BigQuery-API zu arbeiten.
Hinweis: Weitere Informationen zum Laden von Daten mithilfe der API finden Sie in der Google Cloud-Dokumentation .
Zunächst müssen Sie ein Projekt erstellen oder auswählen, mit dem Sie arbeiten möchten. Gehen Sie dann auf der Hauptseite zum API-Abschnitt.
Im API-Übersichtsfenster können Sie APIs und Dienste verbinden. Sie müssen die gewünschte API aus der Bibliothek auswählen.
In der Bibliothek können Sie die Feldsuche verwenden oder die API nach Kategorien filtern.
Sie können eine Reihe von Python-Skripten aus OWOX BI verwenden, um den Import von Daten in Google BigQuery zu automatisieren.
Es gibt Skripte zur Automatisierung des Imports von Daten in Google BigQuery aus folgenden Quellen:
- amoCRM
- FTP
- FTPS
- HTTP (S)
- Gegensprechanlage
- ExpertSender
- MySQL
- SFTP
Diese Python-Skripte können von GitHub heruntergeladen werden .
Hinweis: In diesem Video-Tutorial von Google Developers auf YouTube erfahren Sie, wie Sie Python mit der Google-API verwenden .
Schlussfolgerungen
In diesem Artikel haben wir die beliebtesten Möglichkeiten zum Laden von Daten in Google BigQuery beschrieben. Vom einfachen Hochladen einer Datendatei bis zum Hochladen von Daten über die API kann jeder Benutzer eine geeignete Option finden.
