si tu proceso esta bien, lo único que puedes hacer es optimizar tu consulta ejemplo.
Código PHP:
$respuesta = mysql_query (" SELECT count(*) as total FROM grupos WHERE nombre_grupo = $nombre_grupo", $conex) or die (mysql_error());
$n = mysql_fetch_row($respuesta);
if ( $n[0] < 10 )
{
//Aqui ejecuto el INSERT
}
else
{
echo "Ya no se puede agregar registro a este grupo";
}
También te recomiendo que migres tu forma de crear la conexión a la base de datos, ya que el método mysql es considerado como obsoleto o irrecomendable para el desarrollo de futuros proyectos puedes utilizar PDO y mysqli
Saludos