Lisez ces séries d'articles de Wepay, où ils détaillent comment ils synchronisent leurs bases de données MySQL avec BigQuery, à l'aide d'Airflow :
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (la troisième concerne BigQuery)
En résumé (citation) :
- Configurer l'authentification, les connexions, le DAG
- Définissez les colonnes à extraire de MySQL et à charger dans BigQuery.
- Choisissez comment charger les données :progressivement ou entièrement.
- Déduplication.
