php_limit aumento de memoria que no se ve reflejado

[NUCKLEAR]

Buenas, cuando agrego memoria con la drectiva php_limit en el php.ini se ve reflejado correctamente en el phpinfo() pero no en la aplicacion que estoy ejecutando dado que siempre da este error:
Fatal error: Out of memory (allocated 20185088) (tried to allocate 318442 bytes)

El servidor tene disponible 512
Probe con 64M, incluso con 256M (una locura) pero el error persiste solo me reconoce los 20185088 bytes

Agregue tambien en una directiva en htaccess, todo indica que tiene lo que dispone, pero el error es siempre el mismo.

PD: Sucede con Wordpress y Drupal exactamente el mismo error, asi que descarto que sea alguna configuracion del CMS(de hecho tambien los configure para que aumentase la memoria desde sus respectivos config lo cual se ve reflejado de manera correcta, pero el error persiste y es exactamente igual siempre).

PD2: Ya reinicie el server.

Un dato extra

total used free shared buffers cached
Mem: 510100 154296 355804 0 0 0
-/+ buffers/cache: 154296 355804
Swap: 0 0 0
Total: 510100 154296 355804

Saludos