MongoDB
 sql >> Base de données >  >> NoSQL >> MongoDB

Connecteur MongoDB Spark py4j.protocol.Py4JJavaError :une erreur s'est produite lors de l'appel de o50.load

J'ai trouvé la réponse à ma question. Il s'agissait d'un problème de compatibilité avec le connecteur Mongo-Spark et la version de Spark vers laquelle j'ai effectué la mise à niveau. Plus précisément, la valeur findTightestCommonTypeOfTwo a été renommée dans le PR :

https://github.com/apache/spark/pull/16786/files

Pour Spark 2.2.0, le connecteur Mongo-Spark compatible est également 2.2.0, donc dans mon exemple, le package serait chargé comme ceci :

--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0\

Cela pourrait changer à l'avenir. Par conséquent, lors de l'utilisation du connecteur, vous devez vérifier la compatibilité avec la version de Spark utilisée.