Si el contenido de la página aún existe en otra url haces una redirección 301. Si no existe puedes solicitar la eliminación de la url desde las herramientas para webmasters de Google. Bloquealas desde el archivo robots.txt. Si tienes dudas sobre cómo hacerlo usa el buscador del foro porque es un tema que se ha tratado mucho, por ejemplo en:
Problema para eliminar urls viejas 