L'idée de hachage est probablement la meilleure. Vous pourriez avoir des collisions, mais elles seraient extrêmement rares.
Faites du champ de hachage une clé unique pour la table et interceptez le code d'erreur en double. Ou utilisez insert ignore
ou insert replace
.