usando las clases correspondietes a dichos controles
Button unboton=new Button();
unboton.Text="un boton";
this.Page.Controls.Add(unboton);
pero a diferencia de winforms en webforms no es tan simple agregarlos ya que viven entre cada peticion al servidor y en cualquier evento que haga otro round trip el control desaparecera, hace poco alguien pregunto lo mismo por aqui anda la solucion.
que involucra uso y conocimiento del evento PreInit de tu webforma para empezar y uso de viewstate.
con eso puedes crear controles en runtime.
ahora que si lo que quieres es agregar un control en design time pues solo habre tu tag <asp:Button>...</asp:Button> o del tipo que quieres en tu archivo aspx de tu webform.