Mysql
 sql >> Datenbank >  >> RDS >> Mysql

Wie erhalte und verarbeite ich MySQL-Datensätze mit Airflow?

Ich hatte in den letzten 90 Minuten wirklich damit zu kämpfen, hier ist ein deutlicherer Weg für Neuankömmlinge:

from airflow.hooks.mysql_hook import MySqlHook

def fetch_records():
  request = "SELECT * FROM your_table"
  mysql_hook = MySqlHook(mysql_conn_id = 'the_connection_name_sourced_from_the_ui', schema = 'specific_db')
  connection = mysql_hook.get_conn()
  cursor = connection.cursor()
  cursor.execute(request)
  sources = cursor.fetchall()
  print(sources)

...your DAG() as dag: code

task = PythonOperator(
  task_id = 'fetch_records',
  python_callable = fetch_records
)

Dies gibt den Inhalt Ihrer DB-Abfrage an die Protokolle zurück.

Ich hoffe, das ist für jemand anderen von Nutzen.