Hola pues no es muy complicado mi amigo pero primeroque nada debes tener los videos en formato .FLV que es le fomato de video de flash. si ya los tienes entonces vamos al dreamweaver y ahi vamos a insertar el video, hay un botón para ello.
Menu Insertar>Media>FlashVideo...
aparece una ventana hay un cuadro donde puedes examinar tu pc y buscar tu video te recomiendo que la pagina y el video esten en la misma carpeta para no tener problemas con las rutas,bueno escoges tu video ya listo en formato FLV.
Luego puedes escoger uno de los skins que parecen allí para que le des estilo a los ocntroles del video como el
play,
pause,
stop,
bueno lueog estan las opciones del tamaño recomeindo que dejes a dreamweaver auto detectar el tamaño, luego das click en aceptar y listo se agrega el video a tu dcodigo html.
subes el html y el video en flv y un par de archivitos swf que es el skin con los botones .
Todo eso a tu hosting y nada más, bueno nos cuentas como te fué.
saludos.