Hola, creo que más o menos ya lo tengo:
Código Apache:
Ver originalRewriteCond %{REQUEST_URI} ^/producto\.php$ [NC]
RewriteCond %{QUERY_STRING} ^num=(.*)$ [NC]
RewriteRule ^(.*)$ /productos/producto/producto%1\.html? [R=301,L]
Esto redirige esta URL:
http://<tu-url>/producto.php?num=4
A esta otra:
http://<tu-url>/productos/producto/producto4.html