El ejecutable (o mejor dicho, el binario empaquetado en un .tar.gz o algo parecido) simplemente se descomprime en un directorio y se ejecuta desde allí. El RPM se instala en la base de datos del sistema, permitiéndote actualizar/instalar/desinstalar de forma centralizada y automatizada. Si quieres mantener tu sistema ordenado, usa siempre los RPMs.
Tal vez te interese leer
este manual que escribí hace un tiempo, y que aclara estos conceptos.