Cita: ¿quisiera saber a que se debe esto
Ni idea.
Cita: y como puedo hacer a futuro para optimizar la velocidad de respuesta?
Mira lo que dice la documentación oficial
Cita: For most index methods, the speed of creating an index is dependent on the setting of maintenance_work_mem. Larger values will reduce the time needed for index creation, so long as you don't make it larger than the amount of memory really available, which would drive the machine into swapping. For hash indexes, the value of effective_cache_size is also relevant to index creation time: PostgreSQL will use one of two different hash index creation methods depending on whether the estimated index size is more or less than effective_cache_size. For best results, make sure that this parameter is also set to something reflective of available memory, and be careful that the sum of maintenance_work_mem and effective_cache_size is less than the machine's RAM less whatever space is needed by other programs.
Tomado de la
documentación oficial de PostgreSQL
Estas variables que mencionan son las encargadas de agilizar el mantenimiento de los indices. Podrías jugar con ellas y comparar resultados.
Sin embargo... No debe preocuparte si se demora o no el borrado de un indice, ya que esta es una tarea que se realiza una sola vez. El mismo indice se actualiza cada que encuentra cambios en la tabla por lo que no es necesario estar borrandolo y creandolo en diferentes ocasiones.