Vous ne pouvez pas filtrer les lignes avec LOAD DATA INFILE, donc filtrez-les en pré-traitant le fichier CSV ou chargez les données dans une table temporaire et insérez les lignes pertinentes dans votre table principale, quelque chose comme :
CREATE TEMP TABLE import LIKE my_main_table;
LOAD DATA LOCAL INFILE 'myfile.csv' into import;
INSERT INTO my_main_table SELECT * FROM import
WHERE column_x IN(VALID1, VALID2, VALID3)