dll de iconos

[pkj]

Lo que tu dices que quieres hacer es asociar una extensión.
Pero una extensión no se asocia a un dll, sino a un ejecutable que la manipule despues.
Asocias la extensión .xyz a tu ejecutable y le asignas un icono del propio ejecutable.
Así cuando aparece un archivo xyz tendrá el icono asignado, y al hacer dos click se lanza el ejecutable con el fichero xyz como parámetro de línea de comandos.