No, el tamaño sólo depende de la duración y del bitrate, el resto son parámetros internos del codec. Éste ya se encarga de distribuir el bitrate para que el tamaño se ajuste al que quieres. Claro, que también puede suceder que el bitrate de cada frame salga tan tan bajo que es imposible codificarlo, en ese caso el codec ya se encarga de poner un valor mínimo, es en estos casos cuando el vídeo te puede quedar de un tamaño más grande que el que querías...
Si tienes dos vídeos de distinta duración, por más que uno sea muy movido y el otro no, al final el tamaño te lo determina el bitrate. Claro que, por experiencia, ya sabes que el vídeo movidito te va a quedar muy mal como le pongas un bitrate bajo.
En el gspot puedes ver la distribución de los frames utilizando el botón VGS. Ahí al lado te da también la distancia entre B-frames y keyframes (distancia máxima y media)