No es buena práctica impedir el rastreo mediante robots.txt
Lo mejor es dejar que Google acceda a la URL y siga obteniendo un código de respuesta 404, en poco tiempo Google lo eliminará del índice.
Asimismo, el proceso se puede hacer más breve si mediante
Search Console se
marca como solucionado el error.