Jeje, encontre el problema gracias a Dios a don google. Pongo la respuesta de lo que me soluciono el problema por si avaso alguien vuelve a tener este problema.
El problema era que no estaba usando una cadena de conexión correcta. Encontre en un sitio (ASPTUTOR) una cadena que al usarla me soluciono el problema:
La cadena que usaba antes es:
"DRIVER={Microsoft Excel Driver (*.xls)};DBQ=" + RutaBDAdmin + ";"
Y la que ahora uso y anda mejor es:
"Provider=Microsoft.Jet.OLEDB.4.0;Data Source="& RutaBDAdmin&";Extended Properties=""Excel 8.0;HDR=Yes;IMEX=1"""
RutaBDAdmin es la dirección del archivo
