Oups, j'ai donc trouvé la réponse à mon problème :
Toutes les colonnes d'un index FULLTEXT doivent avoir non seulement le même jeu de caractères mais aussi le même classement .
Mon index FULLTEXT avait utf8_unicode_ci sur l'une de ses colonnes et utf8_general_ci sur ses autres colonnes.