Yo no me preocupaba por unset, eso es más para sitios como google (el cual, no creo que use mucho php...).
La optimización será tan simple que ni mirando milésimas podrás ver la diferencia.
Busca por google como ver el rendimiento de un script con php y haz tus propias pruebas, verás como no servirá de nada