Suena como una buena solución
No creo que debas preocuparte de que se robe la sesión en 3 minutos, es un período lo suficientemente corto. Ahora has dejado el elemento seguridad del lado del usuario, quiero decir, un atacante tendría que apuntar directamente al usuario para obtener los datos:
Usando HTTPS correctamente, en principio no debería haber forma de obtener el tráfico como para saber la cookie (solamente posible en caso de un ataque 'man in the middle', pero no existe forma de asegurarse contra eso si el usuario no sabe al menos comprobar el certificado HTTPS)
La cookie estará en el navegador, pero de nuevo, expira rápido. Solamente podría obtenerla alguien que ingrese a la máquina del usuario menos de 3 minutos después de que éste deja la pc, y eso solamente si no cierra sesión.
Saludos.