Yo haria lo siguiente
Esto te da la lista de arbitros que tienen asignado un partido a una hora determinada (hora datetime). Con esto es facil encontrar los que NO tinen partido y por lo tanto estan disponibles.
Quizas deberías trabajar con un margen de tiempo para permitir los desplazamientos de los arbitros, no sea que pongas dos partidos consecutivos en el tiempo a un mismo arbitro en lugares muy alejados....