Hola,
Aunque linux22 ya te dio la respuesta correcta, a mi me pareció realmente interesante tu pregunta, es algo que normalmente casi nadie se pregunta, porque normalmente solo te das cuenta cuando llega a ser un problema.
Cita:
Iniciado por 4589 
... Por que cuántas más carpetas más tarda en buscarlas y por tanto más tarda la web en cargar o eso da igual. ...
El tiempo que se tarda en buscar un recurso en el servidor depende de muchos factores, cuando alguien solicita un archivo CSS o JPEG, suceden varias cosas.
Primero el servidor HTTP, por ejemplo Apache HTTPD, traduce la solicitud y busca el recurso que se le solicitó, según la especificación de HTTP, URL, URI, etc., un recurso puede ser cualquier cosa, un archivo en disco, un registro en una base de datos, o puede que no exista físicamente en ese momento, lo puede generar al vuelo, esta última es compleja de explicar, y otros.
Suponiendo que fuera un archivo, entonces posiblemente lo tenga en algún tipo de caché, sino normalmente se lo pide 'al sistema operativo', y este es quien lo 'busca' y lo devuelve al servidor Apache.
Por lo que mientras no sean miles de archivos en una sola carpeta, técnicamente no hay problema, pero si se diera el caso que fueran demasiados, realmente demasiados, posiblemente el cache de Windows no funcionaría adecuadamente o sufriría un poco, y en ese caso si te tendrías que preocupar por el tiempo de acceso. Por ejemplo, 32,000 archivos, si el sistema de archivos, NTFS, NFS, FAT, etc., es que permite eso.
La respuesta de linux22 seguramente es correcta pero me pareció muy interesante agregar esta información,
Saludos,