Hola:
Las líneas a las que te refieres se trata de una asignación condicional.
var nc = (document.layers) ? true:false
Significa que si se cumple "document.layer" se le asigna a la variable nc el valor true, y en caso contrario se le asigna false.
La verdad es que en este caso sobra lo que le sigue a los paréntesis (es un error que comenten muchos...)
document.layer suele usarse para un navegador que actualmente no se usa (aunque esa afirmación no la puedo corroborar).
Normalmente Opera y Firefox tienen mucha similitud y equivale a "n6"
Saludos