capturar y remover valores

[stevens82]

Gracias por responder, mira tengo unos cuadritos (exactamento 80) cuando se le da click a un cuadrito este se pinta de un color, así sucede con todos y tambien te captura su valor (son input tipo hidden), supongamos me equivoque de cuadro le doy click para que se despinte, hasta ahí todo bien pero quiero que el valor se deseleccione ya que cuando le doy click para descoloriarlo aparece nuevamente el mismo valor (osea repite cada vez que se le da clcik al mismo cuadro) nose si me deje entender.

intente hacer algo así pero no me funciona :(

Código Javascript:

var contador = 1;
    $(".cuadro").on('click', function(){
 
        var cuadro = $(this).find("input[name=cuadro]:hidden").val();
 
        if(contador == 1) {
            $(this).addClass("num4");
            var res = $(".respuesta").append(cuadro + "<br>");
            contador = 0;
        } else  {
            contador = 1;
            $(this).removeClass("num4");
            $(".respuesta").empty();
        }
    });