si vale la pena con php.
pero deberias tener APC y enmascarar tu extencion .php a .js con httpacces
asi APC evita recompilar el codigo php (si no ha cambiado) y el navegador pensará que lo que descarga es un .js y lo mantendra en la cache.
obviamente si estas pensando en optimizar tambien deberias mandar las peticiones comprimidas (otra funcion de php)
Cita: zlib.output_compression = On
zlib.output_compression_level = 9
Saludos