Después de hacer pruebas y pruebas pude sacar el problema.
Al parecer el build que genera no me está agregando el archivo "qt.conf" ni la carpeta de plugins de pyqt4
C:\Python32\Lib\site-packages\PyQt4
Agregando eso al build, sale andando perfectamente.
Agregamos la carpeta plugins de pyqt4
Y modifico qt.conf
Código:
[Paths]
Prefix = .
Binaries = .
plugins = plugins