Hola:
Esos nombres con corchete deben seguir teniendo los corchetes vacíos, y otros corchetes con el índice... para eso el "truco" es poner el nombre con sus respectivos corchetes vacíos entre corchetes (vaya la redundancia y la parrafada)...
if(document.itemneg["item[]"][j].value.length >0)...
Además usando parçentesis no referencias arrays sino funciones, y no es el caso.
Saludos
