Mysql
 sql >> Base de données >  >> RDS >> Mysql

Configuration de Kafka Connect pour envoyer un enregistrement à partir d'Aurora à l'aide d'AWS MSK

Non. Vous pouvez activer les schémas dans les enregistrements JSON. La source JDBC peut les créer pour vous basé sur les informations du tableau

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Si vous souhaitez utiliser Schema Registry, vous devez utiliser kafkastore.bootstrap.servers .avec l'adresse Kafka, pas Zookeeper. Supprimez donc kafkastore.connection.url

Veuillez lire la documentation pour des explications sur toutes les propriétés

Peu importe. La rubrique des schémas est créée au premier démarrage du registre

Oui (en ignorant l'espace de tas JVM disponible). Encore une fois, ceci est détaillé dans la documentation de Kafka Connect.

En mode autonome, vous passez d'abord la configuration du connect worker, puis jusqu'à N propriétés de connecteur en une seule commande

En mode distribué, vous utilisez l'API REST de Kafka Connect

https://docs.confluent.io/current/connect/managing/configuring .html

Tout d'abord, c'est pour Sqlite, pas Mysql/Postgres. Vous n'avez pas besoin d'utiliser les fichiers de démarrage rapide, ils ne sont là qu'à titre de référence

Encore une fois, toutes les propriétés sont bien documentées

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Voici plus d'informations sur la façon dont vous pouvez déboguer cela

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-connector/

Comme indiqué précédemment, je suggérerais personnellement d'utiliser Debezium/CDC dans la mesure du possible

Connecteur Debezium pour RDS Aurora