Ponle mejor setPreferredSize()
El setSize() puede cambiarlo el JScrollPane. El JScrollPane preguntará al panel por su getPreferredSize() y tratará de respetarlo y llamará al setSize() del panel pasándole el tamaño que tenga que darle, "machacando" el valor que tú has dado.
Si setPreferredSize() tampoco te funciona, cuando hagas el new del allPanel hazlo así
Este tipo de cosas "raras" es lo que pasa cuando se pone layout null. Es mejor poner algún layout que sea adecuado y dejar que los componentes decidan sus tamaños de acuerdo a su contenido de forma automática. Quizás este enlace pueda ayudarte
http://chuwiki.chuidiang.org/index.p...Uso_de_Layouts
Se bueno.