Si vous avez un UNIQUE clé (autre qu'un AUTO_INCREMENT ), utilisez simplement INSERT IGNORE ... pour éviter silencieusement les lignes en double. Si vous n'avez pas de clé UNIQUE, n'avez-vous plus jamais besoin de retrouver une ligne ?
Si vous avez déjà autorisé les doublons et que vous devez vous en débarrasser, c'est une autre question.