Porque no puedes calcular al mismo tiempo la media y la máxima sobre el mismo campo. Eso no tiene ningún sentido. No son operaciones compatibles.
Si lo que quieres es obtener la media de notas, y de esas medias obtener las 10 más altas, eso no es lo mismo que hacer ese menjunje de MAX(AVG()).
En todo caso, lo que debes hacer es obtener las medias, ordenarlas y luego seleccionar sólo las 10 más elevadas. ¿No te parece?
Es decir: Elimina el MAX y tendrás el resultado.
Si lo que quieres es por la máxima calificación obtenida:
La consulta que propones en el primer post hacer parecer que no tienes clara la diferencia de conceptos entre
máximo y
media de una sumatoria de valores.