Vous pouvez utiliser la partie SET de LOAD DATA INFILE, et vous n'avez pas besoin des éléments d'échappement 0x :
1, 1, 123456FF
2, 1, aabbcc
3, 1, ddeeff
Ensuite, vous affectez la colonne à une variable, puis définissez la colonne sur la version UNHEXed de cette variable :
LOAD DATA INFILE 'file' INTO TABLE `table` (column1, column2, @var1)
SET column3 = UNHEX(@var1)