PostgreSQL
 sql >> Base de données >  >> RDS >> PostgreSQL

Spark Dataframes UPSERT à la table Postgres

Il n'est pas pris en charge. DataFrameWriter peut soit ajouter ou écraser la table existante. Si votre application nécessite une logique plus complexe, vous devrez la gérer manuellement.

Une option consiste à utiliser une action (foreach , foreachPartition ) avec une connexion JDBC standard. Une autre consiste à écrire dans un fichier temporaire et à gérer le reste directement dans la base de données.

Voir aussi SPARK-19335 (Spark devrait prendre en charge la réalisation d'un DataFrame Upsert efficace via JDBC ) et les propositions associées.