Hola
Tolosa
No es necesario un router con tu modem y ty proxy es suficiente, como tu dices el router sólo es necesario si quieres las dos maquinas tengan acceso independiente, ya que con el proxy tienes que prender la primera para que la otra tenga salida a la web.
saludos y suerte