capturar y remover valores

[PHPeros]

Puedes usar replace:

Código Javascript:

var contador = 1;
    $(".cuadro").on('click', function(){
 
        var cuadro = $(this).find("input[name=cuadro]:hidden").val();
 
        if(contador == 1) {
            $(this).addClass("num4");
            var res = $(".respuesta").append(cuadro + "<br>");
            contador = 0;
        } else  {
            contador = 1;
            $(this).removeClass("num4");
            $(".respuesta").html($(".respuesta").html().replace(cuadro + "<br>",""));
        }
    });