Eso sucede porque usas medidas absolutas y no relativas que son las que se amoldan a la resolución del dispositivo. Juega con los valores pero usando medidas relativas (rem, em, %) o utiliza alguno de los plugins existentes para generar ventanas modales adaptables.
Acá te dejo dos:
fancyBox Magnific Popup
Saludos