Para copiar archivos utiliza esto
Código C++:
Ver originalSystem.IO.File.Copy(rutaImagen, destinoImagen, true);
es de C# pero creo que en VB va siendo parecido
La ruta la obtienes cada ves que cargas la imagen, en ImageLocation del picture box y el destino lo das tu a donde se va a guardar la imagen, sin olvidar que cada ves que guardes debes guardar cada ruta de destino en un string, asi cuando cargues la imagenes solo le asignas el valor del string de destino a imageLocation del picture y su imagen se cargara
Saludos