El system("pause") que has puesto dentro de la función quítalo ya que la función siempre termina anted de llegar allí así que está ahí de decoración.
ehhh?
Código C++:
Ver originalint main(){
int num; //declarar variable
cout<<"Introduce el numero de capas: ";
cin>>num; //guardar el numero en 'num'
cout<<"Resultado: "<<rec(num);
return 0;
}