Puedes incluir este código en la cabecera de tu página:
Código HTML:
<style>
body{
scrollbar-arrow-color: #C0C0C0;
scrollbar-3dlight-color: #333333;
scrollbar-highlight-color: #808080;
scrollbar-face-color: #333333;
scrollbar-shadow-color: #808080;
scrollbar-darkshadow-color: #333333;
scrollbar-track-color: #333333;
}
</style> Modificando los números hexadecimales por los números del color que prefieras.
Puedes usar un programa que haga lo que quieres automaticamente. (Coffe Cup Free Color Bar Maker)