Se hace con CSS y el código que debes poner es el siguiente:
<STYLE type=text/css>
body {
SCROLLBAR-FACE-COLOR:#9933CC;
SCROLLBAR-HIGHLIGHT-COLOR:#F4F4F4;
SCROLLBAR-SHADOW-COLOR:#FFFFFF;
SCROLLBAR-3DLIGHT-COLOR:#F4F4F4;
SCROLLBAR-ARROW-COLOR:#F4F4F4;
SCROLLBAR-TRACK-COLOR:#F4F4F4;
SCROLLBAR-DARKSHADOW-COLOR:black
}
</STYLE>
Modifica los colores por aquellos que te parezcan más indicados y listos. Que yo recuerde esto solo funciona en el IE.
P.D. La respuesta a esta pregunta la hubieras encontrado en los FAQs de CSS. Pasate por allí por si quieres más información.
Un Saludo.
