Antes de hacer el load data, podrias leer el txt y hacer un replace de los caracteres expeciales. Por ejemplo en php seria:
Aqui cambiarias las todas comillas dobles por nada en la cadena '"Esto es" una "prueba"'
Cuando ya tengas el contenido limpio de comillas dobles, sobreescribe el txt y por ultimo lo cargas en la BD.
Espero te sea de ayuda.
