Parce que le caractère \ est utilisé par l'opérateur LIKE lui-même, vous devez le doubler lorsque vous l'utilisez pour échapper un autre caractère comme le guillemet double.
SELECT * FROM table_name WHERE column_name LIKE "%\\"%";
devrait fonctionner pour vous.
tout comme la modification des guillemets doubles pour les guillemets simples pour encadrer le littéral
SELECT * FROM table_name WHERE column_name LIKE '%"%';
comme vous avez posté ici