Debes crearle un id temporala cada linea para luego identificarla durante el proiceso de eliminacion:
Código Javascript
:
Ver originalvar con = 1;
function cargaProd()
{
var linea = '<tr id="'+con+'" ><td>'+con+'</td><td><input type="text" name="articulo[]" placeholder=" Articulo" class="form-control"/></td><td><input type="text" name="cantidad[]" placeholder="Cantidad" class="form-control"/></td><td><button id="'+con+'" onClick="eliminar(this.id)" class="btn bg-danger">Eliminar</button></td></tr>';
$('#listaArticulos').append(linea);
con = con+1
}
function eliminar(X){
$("tr[id="+X+"]").remove();
}
EJEMPLO