Hola:
El sistema que maneja C/C++ para la medida de ángulos es el Radian, por ello al extraer el coseno de 60, no lo haces de 60 grados sexagecimales sino de 60 radianes. Puedes usar la relacion de intercambio entre sistemas angulares para conocer el equivalente de cada ángulo entre un sistema y otro.
Espero que te sirva.
