La
documentación directamente de la fuente... aunque no es la más clara posible al menos la tienes en español.
Los archivos rar se dividen internamente en bloques. Cada bloque puede tener un tamaño variable pero todos van a disponer de una cabecera común que permite identificarlos. La mecánica entonces debería ser iterar sobre cada bloque buscando aquel que informa sobre la existencia de contenido cifrado (recuerda que dentro de un rar puede haber contenido mixto (cifrado y sin cifrar) por lo que entiendo que habrá un bloque de cifrado por cada fichero. Yo personalmente no he tenido que hacerlo nunca).
En el caso de los ficheros autoextraibles el funcionamiento es el siguiente: WinRar crea un ejecutable que únicamente procesa una serie de recursos embebidos. El código ejecutable en sí mismo es siempre el mismo y únicamente cambian los recursos que se embeben en el ejecutable.
Lo que tienes que hacer en ese caso es localizar el inicio de dicho recurso en el ejecutable puesto que ahí se encuentra el contenido del fichero rar de toda la vida.
Un saludo