Los grupos son una relación muchos a muchos. Tienes que hacer 2 cosas:
1. Determinar el grupo o grupos.
2. Sacar todos los usuarios de ese grupo o grupos.
Así sacas los grupos de un usuario
Ya que obtengas un grupo puedes sacar los usuarios de ese grupo
Si quieres obtener varios usuarios de manera única de varios grupos tienes que hacer otro queryset dependiendo de lo quieras hacer.