Hola si quieres borrar directamente una vez cargados tus imagenes a tu BD utiliza el FIle o File info, pero si quieres seleccioner tus imagenes desde un explorador puedes utilizar el OpenDialog si revisas sus propiedas en el msdn veras que puedes recuperar el path o direccion del del archivo y luego con esa direccion puedes borrar el archivo , espero te ayude y suerte bye