Hay dos opciones probables:
1. El archivo NO es un tar.gz (recuerda que en Linux no importa la extensión, sino la cabecera del archivo).
2. El archivo era originalmente un tar.gz pero se dañó durante la transferencia.
Ejecuta "file nombredelarchivo" para saber si es o no un tar.gz. Si no lo es, intenta descargarlo otra vez desde el sitio original.
(En el repositorio DAG hay
un RPM de webmin para Red Hat Enterprise, que debería ser compatible con CentOS.)