Eso que estas haciendo se llama
depravacion en la programacion 
Tu tienes un codigo ASP, este antes de mostrarse en el explorador del usuario, es elaborado en el servidor. Despues de esto, recien ves el resultado de ese codigo ASP. Por lo tanto, no puedes comparar una variable de ASP
<%=j%> con una variable de JavaScript
n_fila.
La solucion podria ser asi:
Código:
function seleccion(conve, n_fila)
{
for (j=1; j<=<%=numfil%>; j++)
{
document.forms[0]['FILA'+j+conve].checked = (j <= n_fila) ? true : false;
}
}
Asi querias concatenar
conve?