Vous avez la bonne idée, mais dans la dernière étape de l'agrégation, ce que vous voulez faire est de regrouper tous les scores par étudiant et de trouver la valeur $min.
Remplacez la dernière opération de pipeline par :
{ $group: {
_id: "$_id",
minScore: {$min: "$scores.score"}
}}