erfecto ahora si funciona bien. Gracias JavierB.
 
Reemplazando la linea que JavierB pasó, la funcion quedó asi:
(La pongo por si a alguien le sirve) 
Descripción:
La función detecta los caracteres \ / : " < > ? * | y los espacios en blanco.
Si el nombre ingresado es válido (no contiene ninguno de los caracteres anteriores) redirecciona al archivo files.asp pasando los datos file y newName (file es el nombre de la foto actual, newName el nombre nuevo)
En caso contrario muestra un mensaje de error.   
Código:
 function renameFile(theFile) {
  if (theFile != "") {
    var newName = prompt("Renombrar archivo: "+theFile, theFile);
    if ((newName != null) && (newName != "")) {
      var re = /[<>/\:\*\?\x22\|/\\/\s]/gi
      error = newName.match(re);
      if ((error != "") && (error != null)) {
        alert("Un nombre de archivo no puede contener ninguno de los siguientes caracteres:\n                  \\ / : * ? \" < > |");
      } else {
        //alert("Nombre válido: "+newName);
        window.location.href= "files.asp?file=" + theFile + "&newName=" + newName;
      }
    }
  }
}
  para llamarla la función 
javascript
:renameFile('mifoto.jpg') 
saludos