de hecho no es necesario que muestres todo con echo puedes hacer lo siguiente
<body>
<?php if (!isset($loginUsername)) { ?>
<div id="usuarios" value="<?php isset($loginUsername); ?>" >
<form ACTION="<?php echo $loginFormAction; ?>" id="login" name="login" method="POST">
<label>Usuario<input name="User" type="text" id="User" maxlength="8" /></label><br />
<label>Contraseña<input name="Password" type="password" id="Password" maxlength="8" /></label><br />
<a href="registro.php" target="contenedor" onClick="window.parent.scroll(0,300)">Registrarse</a>
<input type="submit" name="Send" id="Send" value="Enviar" />
</form>
</div>
<?php } else { ?>
<div> Bienvenido XXXXXXXXXXXXXXXXXXXXXX </div>
<?php } ?>
------------------------------------------------------------------------------------------------------------------------------------------
La razon por la que te parecen esos simbolos es pq tratas de meter codigo PHP desntro de lo que ya es PHP
echo '<form ACTION="<?php echo $loginFormAction; ?>" id="login" name="login" method="POST">';
la linea quedaria algo asi
echo '<form ACTION="'.$loginFormAction.'" id="login" name="login" method="POST">';