Insert en EntityFramework inserta en 2 tablas

[Namiwis]

Tengo 3 tablas involucradas, Alumno,Materia,AlumnoMateria, esta ultima ya que un Alumno puede tener varias Materias.

Al principio mi problema era eliminar una Materia de un Alumno, al hacer el Remove, me borraba el Registro de AlumnoMateria pero también la borraba de Materia, lo pude solucionar, y siguiendo la misma lógica, intente hacer lo mismo para Agregar una materia a un Alumno pero no me ha funcionado, esto es lo que hago.

Para borrar, una lista de objetos Materias a borrar

Código C#:

MateriasEliminar.Add(Materias);
 

Luego recorro la lista y borro

Código C#:

foreach (var item in MateriasEliminar)
{
   Alumno.tblMaterias.Remove(item);
}
 

Intente hacer lo mismo para agregar una Materia a un Alumno pero me agrega el valor en Materias (crea una materia nueva que ya existe) y en la tabla AlumnoMateria agrega el valor (aquí es donde solo deseo que se agregue)

Alguna idea de como realizar este insert, la tabla AlumnoMateria es una llave compuesta de IdMateria e IdAlumno