En principio ningun requisito "raro" osea que sea un hd Ide o Ata etc.
Yo lo primero que haria seria pincharle como esclavo en un ordenador y pasarle un Scandisk.
Dices que es una 'vieja pc' no? asegurate de que el disco que compres lo reconozca la bios de la maquina.
Puedes pincharlo como tu dices y ver si accedes al hd bien sin problema eso tambien te ayudara, pero mira una cosa si el hd tiene un fallo en el sector de arranque así no lo veras.
win95 y win98 utilizan fat o fat32 como soporte de sus archivos y Xp utiliza NTFS por tanto tendrias que formatear la particion NTFS a Fat o Fat32 para que funcionase correctamente, ya que por ejemplo con fat o fat32 creo recordar que los archivos no podrian sobrepasar 4gb, es decir suponte que tienes una imagen de un juego de ps2 en .rar la imagen pesa 3 gigas y medio (por ejemplo) si al descomprimir el archivo este se pasara de 4 Gb windows daria un mensaje de alerta y te diria que al ser una particion en fat no se soporta un archivo de ese tamaño.
Una ultima cosa, por su puesto que pon el oido cuando funcione el hd de segunda mano y si notas un pequeño "clac" seguido olvidate de el.