Guardarlas en un JSON es lo mismo que dejarlas en tu settings, solo pones un paso extra.
Una buena manera es como ya te comentaron, es guardar variables de entorno, pero siempre y cuando tu aplicación corra dentro de una cuenta restringida o dentro de un contenedor (por ejemplo lxc o docker), afortunadamente heroku ya lo hace.
Para desarrollo recomiendo un entorno especifico con vagrant, así no interfieres con variables de entorno de otros proyectos. Si no, con virtualenv puedes tener variables de entorno custom, solo tienes que ponerlas en tu
activate
Saludos
