- Vous ne pouvez absolument pas mélanger les versions des versions Hadoop-common, hadoop-aws, aws-s3-sdk et jackson de ce que tout attend, ou vous verrez des traces de pile.
- Et tout est open source, donc si vous D/L tous les JAR source localement, votre IDE vous aidera à trouver ce qui cause la trace de la pile. C'est ce que nous faisons tous . Ce n'est pas magique, les IDE modernes (intellij IDEA) ont même un débogage de pile spécial.
Celui-ci arrive parce que la valeur de fs.s3a.multipart.size défini dans /core-default.xml de hadoop-common ressource est 100M, qui est venu avec HADOOP-13680
et la plage d'analyse traitant des nombres comme "100M" au lieu de 104857600 . Cette trace de pile indique "Hadoop 2.8+ configuration"
Vous pouvez essayer de définir la propriété dans vos configurations sur cette valeur numérique, mais c'est un signe d'avertissement que les versions des fichiers JAR ne sont pas synchronisées et vous n'obtiendrez probablement que quelques lignes de plus avant que quelque chose d'autre ne se brise.
Correctif :assurez-vous que hadoop-common.jar et hadoop-aws.jar sont synchronisés. Il semble que vous ayez aligné les jackson et aws, bien que jackson soit suffisamment complexe pour que vous ne puissiez jamais tenir cela pour acquis.
