Puedes hacerlo de dos formas, la primera en tu script PHP, en lugar de hacer un echo $comentario, hagas un SELECT y leas todos los comentarios y asi darle en echo a todos los comentarios.
Otra opcion es en lugar de usar innerHTML a la hora de poner el resultado, uses algo asi:
Código:
var contenido = capaContenedora.innerHTML;
var new_comment = ajax.responseText;
capaContenedora.innerHTML = contenido + new_comment;
Saludos.