Nous utilisons ES comme base de données de création de rapports et lorsque de nouveaux enregistrements sont écrits dans SQL, nous prenons les mesures suivantes pour les intégrer à ES :
- Écrire la clé primaire dans une file d'attente (nous utilisons rabbitMQ)
- Lapin prend la clé primaire (quand il en a le temps) et interroge la base de données relationnelle pour obtenir les informations dont il a besoin, puis écrit les données dans ES
Ce processus fonctionne très bien car il gère à la fois les nouvelles données et les anciennes données. Pour les anciennes données, écrivez simplement un script rapide pour écrire 300 millions de clés primaires dans rabbit et vous avez terminé !
