Mirá, hoy justo tuve que hacer lo mismo.
Te corrijo un poco Libso para hacer las cosas mas seguras:
Copiar desde server1 a server2:
En Server1:
Código:
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@server2
Al primero contestale como te dijo Libso, y al segundo te va a pedir la clave de root del otro server.
Listo, con esto ya podes loguearte sin contraseña (ssh root@server2 desde server1) o usar el SCP.
Saludos.