Je l'ai résolu moi-même.
J'aurais également dû mentionner que j'essaie de me connecter depuis une autre machine à l'instance MongoDB. Cela n'est pas autorisé avec les préréglages MongoDB.
J'ai donc dû changer dans le fichier /etc/mongod.conf la valeur derrière bindIp de 127.0.0.1 à 0.0.0.0.
