Si ese campo es un TEXT, o algo semejante, y no está indexado, estás haciendo lo que se denomina "full table scan", que es algo bastante espantoso...
para verificar cómo está realizando la consulta, habría que indicarle a MySQL que muestre el plan de la consulta:
Eso devolverá una tabla con ciertos datos. Postalo acá y veremos.