puedes encontrar la primera ocurrencia del item con contains.
ArrayList.Contains(objeto) si existe objeto dentro de la coleccion te retornara true.
si quieres borrar dentro del foreach no se puede porq al tener el enumerador de la coleccion bloqueas las operaciones q afecten al mismo enumerador
si quieres borrar en un ciclo puedes hacerlo con un for y darle
for(int i=0;i <ArrayList.Count;i++)
ArrayList.RemoveAt(indice)
aunq es un tanto ilogico porq tienes ya la opcion de remover en el indice q te interesa
saludos
peter