No sé, digo, Python no es para desarrollar software de escritorio, tampoco para desarrollar software web, Python es para propósito general, así que no veo problemas en usarlo solo para web, al final es solo contexto.
Tampoco Django es lo único web en Python, hay muchos (en verdad, muchos) frameworks para desarrollar web en Python.
Yo te recomendaría que te quedes con Django, o más bien con python, aunque sería bueno que digas que cosas son las que no te hacen sentir cómodas en Django.
De cualquier manera si ya conoces un lenguaje, no le veo de malo aprender otro nuevo, incluso sin dejar el anterior.
Y si decides quedarte con PHP, no lo uses sin un framework, probablemente estarías reinventando la rueda y peligrosamente haciendo cosas de la peor manera (mientras seas newbie).
Saludos
