Votre utilisation des --packages l'argument est faux :
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Il doit être sous la forme groupId:artifactId:version comme le suggère la sortie. Vous ne pouvez pas utiliser une URL avec.
Un exemple pour utilisation de mongoDB avec spark avec la prise en charge du référentiel intégré :
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Si vous insistez pour utiliser votre propre jar, vous pouvez le fournir via --repositories . La valeur de l'argument est
Par exemple, dans votre cas, cela pourrait être
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
