Duda de conexión entre 2 pcs

[LittleTiNy]

Hola a todos :).

Tengo unas dudas, por si es necesario pongo aquí la información de mi hardware y eso...

Tengo 2 ordenadores:
-Uno de un año de antiguedad (P4 3.0GhZ, 1Gb de RAM, etc...)
-Y otro más viejo (PII 266MhZ, 64 Mg RAM, etc...)xD.

Conexión de internet de Telefónica, a 1 Mega (100 Kb/s - 30 Kb/s), de Ip dinámica...

-Sólo tengo conectado a mi conexión de internet el Pentium 4 por medio de conexión Ethernet a un Router(Zyxel Prestige 660HW).
-En los dos tengo una targeta NIC Ethernet (está comprobado que me funcionan las dos con el router).
-Tengo 2 cables Ethernet.

A lo que iba:
Quiero saber si es posible tener la conexión de 1 mega compartida en los dos pcs, PERO, en cada uno a 1 mega, osea, que no se divida la conexión...

Tengo entendido que es posible, con un Switch o con un Hub no estoy muy seguro de eso... por eso les pregunto.

Si es posible, se podría realizar en mi conexíon? (no quiero que sea Wi-Fi, quiero que sea por cable).

Cómo lo tendría que conectar?

Bueno, aver si alguien me responde ;)