Lesen Sie diese Reihe von Beiträgen von Wepay, in denen ausführlich beschrieben wird, wie sie ihre MySQL-Datenbanken mit BigQuery mithilfe von Airflow synchronisieren:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (3. handelt von BigQuery)
Als Zusammenfassung (Zitat):
- Authentifizierung, Verbindungen, DAG einrichten.
- Definieren Sie, welche Spalten aus MySQL gezogen und in BigQuery geladen werden sollen.
- Wählen Sie aus, wie die Daten geladen werden sollen:inkrementell oder vollständig.
- Deduplizieren.
