No tenes que eliminar el Home, tenes que cambiarlo por Inicio o lo que necesites pero no se puede sacar creo.
Lo editas desde header.php:
Código PHP:
<li><a href="<?php echo get_option('home'); ?>/">Inicio</a></li>
El mío dice Inicio como verás espero que lo soluciones.
Saludos