Agregar una llave foranea (tabla hijo) significa que el campo debe contener un valor dentro de los valores de una llave que se encuentra en otra tabla (tabla padre)...
Y viceversa, no puedes eliminar del padre un valor mientras en la tabla hijo halla registros con ese valor..
Aunque tambien puedes agregar en la relacion efecto cascada(eliminacion y actualizacion), en lo personal yo no lo utilizo, prefiero eliminarlo manualmente para tener identificado el proceso...
Saludos!