No es necesario hacerlo todo con programación. Con dos consultas te bastará, como te sugiere gnzsoloyo (con una no, pero...). Probablemente también con un proceso almacenado.
En la primera obtienes los colores repetidos y con 2 en el segundo campo. Entiendo que solo hay números 1 y 2 en flag
con programación formo una cadena con esos colores repetidos, de la siguiente manera, por poner un ejemplo 'azul', 'rojo', 'amarillo' y la cargo en una variable que puedo llamar colorrepetido2 (eso con programación) .
luego el resultado de esa consulta, que son los colores que se repiten los incluyo en otra consulta de borrado
Haz alguna prueba. Sin embargo, tal vez no te valdría si las posibilidades son más. Por ejemplo, que haya una bandera 2 y otra 3 para un mismo color y en ese caso no quisieras borrarlo.