He conseguido avanzar en el problema. Ahora ya funciona, pero la altura "parpadea" del total a 0 y luego hace el efecto.
Este el código:
Código:
onSuccess: function()
{
$('test').setHTML(this.response.text)
var actualHeight=$('test').getStyle('height').toInt() //PROBLEM: In this point the effect "flicker" of actualHeight to 0 on next line
$('test').setStyle("height", 0);//Set height to 0
new Fx.Style('test','height',{wait:false,duration: 3000,transition:Fx.Transitions.Bounce.easeOut}).start(0,actualHeight)
}
Bueno al menos funciona bien, pero si se podría mejorar lo del parpadeo.