Por ejemplo no tienes acceso a almacenar archivos, las configuraciones en la mayoría de los casos no se pueden modificar (y también en la mayoría de los casos no es necesario). Cosas como Crons se tienen que hacer externamente, y no tienes acceso al sistema operativo. Eso es de todos los PaaS, no solo de heroku.
Si no tienes que hacer nada loco con el sistema operativo un PaaS es una muy buena opción. Por otro lado un VPS hay desde 5USD como
https://www.digitalocean.com/
Saludos