PostgreSQL
 sql >> Base de données >  >> RDS >> PostgreSQL

Supprimer la fonctionnalité avec spark sql dataframe

Si vous souhaitez modifier (supprimer des enregistrements) la source réelle des données, c'est-à-dire les tables dans postgres, Spark ne serait pas un bon moyen. Vous pouvez utiliser directement le client jdbc pour obtenir la même chose.

Si vous voulez le faire quand même (de manière distribuée en fonction de certains indices que vous calculez dans le cadre de dataframes); vous pouvez avoir le même code client jdbc écrit en correspondance avec la trame de données qui contient des informations de logique/déclencheur pour la suppression d'enregistrements et que nous pouvons exécuter sur plusieurs travailleurs en parallèle.