Es un tema de larga discucion, pasate por
http://chichote.com/category/freelance/ para que tengas una vision mas amplia,
en todo caso te recomiendo seguir con tu trabajo en la agencia, una vez que ya te consolides como freelance puedes tomar la opcion de ser freelance por tiempo completo. Una cosa no quita la otra.
y como dice el colega, lo mas importante es que tengas un portafolio muy fuerte, de otro modo sera muy dificil que agarres buenos proyectos.
saludos.