Lo que puedes hacer es recorrer todos los libros para saber si está abierto uno con el nombre del archivo:
Código vb:
Ver originalDim Libro As Workbook
For Each Libro In Workbooks
If LCase(Libro.Name) = "archivo.xls" Then
MsgBox "archivo.xls está abierto"
End If
Next Libro