Es un problema recurrente. Los objetos COM no son dominio de la aplicación, y deben ser liberados de otro modo.
Debes usar esto:
Código vb.net:
Ver originalSystem.Runtime.InteropServices.Marshal.ReleaseComObject(objetoExcelAppl)
Para usarlo, debes agregar la referencia
System.Runtime.