Creo que al pensar en que solo cargue las clases y ID que el html usa... su css contiene estilos para mas de un html, por lo que recomiendo dividirlo ya que se descarga el archivo css completo se use todo o no...
De igual forma si ya es un proyecto finalizado además de dividirlo puedes comprimirlo usando la pagina
www.cleancss.com que menciona el compañero
dargorg