eliminar un excel

[Lego]

Hola buenos dias tengo elsiguiente problema creo un excel y lo escribo en una ruta de esta manera

ApExcel = new Excel.Application();
object opc = Type.Missing;
Excel.Workbook libro;
libro = ApExcel.Workbooks.Add(opc);
//ApExcel.Visible = true;
Excel.Worksheet Auditoria = new Excel.Worksheet();
Auditoria = (Excel.Worksheet)libro.Sheets.Add(opc, opc, opc, opc);


StreamWriter myWriter = new StreamWriter(AppDomain.CurrentDomain.RelativeSearc hPath.ToString() + "\\" + fileName);
myWriter.Write(ApExcel);
myWriter.Close();

luego con ese archivo lo monto en un biblioteca de sharepoint y ahora lo intento eliminar

StreamReader fStream = new StreamReader(AppDomain.CurrentDomain.RelativeSearc hPath.ToString() + "\\" + fileName);
String destUrl = SPContext.Current.Site.RootWeb.Url + "/biblioAuditoria/" + fileName;
SPFile item = SPContext.Current.Site.RootWeb.Files.Add(destUrl, fStream.BaseStream))
System.IO.File.Delete(AppDomain.CurrentDomain.Rela tiveSearchPath.ToString() + "\\" + fileName);

pero me da una excepcion diciendo que el acceso es denegado xq el archivo esta siendo usado porotro proceso que puedo hacer. gracias