Imaginemos que estas son tus tablas
Usuarios
IdUsuario
nombre
Colores
IdColor
Color
ColoresUsuarios
IdColorUsuario
IdUsuario
IdColor
fecha
Tienes que aclararnos si un Usuario puede obtener el mismo color en distintas fechas y que cuente varias veces, claro.
Si fuera así, prueba esto y nos dices: