Vas bien encaminado .. salvo el tema de usar cookies; no lo recomiendo .. tu mismo das las razones de porqué no es seguro.
Olvidate tambien de "encriptar" algo con javascript .. eso es peor casi q usar cookies.
Que guardes las contraseñas en tu BBDD de tu hosting en algun formato de encriptacion de un solo sentido (como MD5 o crypt) te puede dar un problema: no podras hacer un "recordar contraseña".
Si no puedes o no deses usar SSL .. el sistema no será seguro al 99% (no digo %100 xDD).
Para ver un ejemplo de lo que estas o vas hacer puedes ver mi script Autentificator .. Se basa en sessiones (de servidor), Mysql como BBDD de usuarios y el codigo está ampliamente comentado a modo de tutorial. Es licencia GPL asi que puedes hacer lo que desees con el.
<a href='ir.asp?http://phpcluster.host.sk/scripts/autentificator/' target='_blank'>http://phpcluster.host.sk/scripts/autent...</a>
Un saludo,