Yo lo haría con sesiones, pero con la cookie intentaría esto:
Código PHP:
Ver original//Array de muestra
),
);
//Creo la cookie cargando el contenido como json
//rescato la cookie para procesarla, convirtiendo el json en array de nuevo
//Elimino la clave del array
unset($dat['carrito']['a1']);
//Actualizo la cookie con la nueva data sin la clave eliminada
Prueba y Adapta a ver.