Hola!
Te paso un ejemplo a ver si entendi lo que queres hacer:
Código HTML:
<script>
var contadorFilas = 0;
var maximoNumeroDeFilas = 5;
function agregarFila(){
if ((contadorFilas + 1) > maximoNumeroDeFilas)
{
alert('no se pueden crear mas filas');
} else {
contadorFilas++;
//hago cosas
}
}
</script>
Sds.