opiniones y sugerencias para sistema de directorios para almacenamiento

[juanito1712]

Estoy lidiando con lo que antes o después nos encontraremos en una aplicación que va a crecer
Los límites del sistema operativo

Estoy desarrollando un sitio en el que los usuarios podrán subir fotos y me vi en la necesitad de montarme un modo que permitiese almacenar todas las fotos sin alcanzar ningún límite.

Estoy basándome sobre ext3 y las únicas limitaciones que he encontrado y que me afectasen son

El límite de la ruta y el límite de subdirectorios

He pensado en el siguiente sistema:

Una vez hayas seleccionado todas las fotos que quieras subir y las envíes al servidor, se tomará la fecha y hora de la carga y se creará una ruta similar a la actual

./año/mes/dia/hora/usuario/archivo.jpg

Espero explicarme con esa línea, he pensado esto porque si el limite son algo más de 10.000 subdirectorios, supongo que serán 10.000 subdirectorios hijos por directorio padre, no sé si estaré en lo cierto y son 10.000 subdirectorios en todo el sistema porque no he encontrado mayor explicación y 10.000 directorios para un sistema operativo completo no me parece mucho la verdad

También me ha gustado este sistema porque en el momento que aumenten mucho los usuarios, (tendrían que subir más de 10.000 usuarios distintos fotos en la misma hora), añadiría los minutos, segundos.... y podría ir añadiendo sin fin y sin la necesidad de reorganizar niveles superiores.

Mi pregunta es ¿he reinventado la rueda y encima la he hecho cuadrada, o es un buen sistema?ya que si son 10.000 subdirectorios en todo el sistema estoy creando una cantidad ingente de subdirectorios "que me sobran"

[KoswiDigital]

Hola.

Creo, no estoy seguro, que son 10 mil subdirectorios por carpeta. Pero bueno, siempre se puede optimizar un poco para no saturar los discos.

Igual es más cómodo usuario/año-mes-dia_hora/archivos.jpg. Te ahorras unos cuantos subdirectorios y utilizando siempre el mismo formato para la fecha (aa-mm-dd_hh:mm:ss) no tendrías problemas.

Es una idea... Igual te sirve :)


Un saludo.

[ZoroRoronoa]

y eso basta.
Ya que con el simple echo que no pueden existir dos usuarios igual.
Podrias usar.

usuario/intAuto.jpg

Una ruta que contenga el nombre de usuario y el valor de la fot que subio que podria ser 00001.jpg, el cual se asigna automaticamente, y cada q sube una foto, este se incrementa a 00002.jpg, 00003.jpg, para que nunca haya una igual.

Existen muchas maneras, es lo que creo :)

[juanito1712]

@KoswiDigital
en un principio me había gustado la idea. pero al pensarla mas detalladamente pierde eficiencia, ya que se crearía un subdirectorio por carga, todos al mismo nivel, cada vez que alguien suba algo se volvería a crear la carpeta mas alta que tenga en el grupo y acabaría "con subdirectorios repetidos".

supongamos que tu y yo subamos fotos ya no el mismo dia sino el mismo año
se crearían 2 subdirectorios en el mismo directorio que empezarían con el mismo año. Siempre, podría elegir a que altura cortar, pero en todos los casos terminaría igual en algun punto duplicando y perdiendo.


@ZoroRoronoa
esa fue la primera opción pero con ese modelo me limito a 10.000 usuarios ya que no podría crear mas de 10.000 y pico directorios antes de que empiecen a dar errores, la intención es poder soportar a 2 millones de usuarios por tanto esto se nos queda corto rápido.
La solución sería que podria agrupar las carpetas de usuarios en franjas por ejemplo

>fotos
>>1-30.000
>>>1-10.000
>>>10.001-20.000
>>>20.001-30.000
>>>30.001-40.000
>>>40.001-50.000
>>50.001-120.000
>>>50.001-60.000
y asi asi hasta el infinito

lo agruparé de una forma que pueda terminar con una cantidad desmesurada de usuarios y listo,creo que utilizaré este método para ahorrar directorios, pero no se, este método me inquietaba un poco y no se porqué, es esa sensación de que hay algo que se te escapa pero aun no lo has visto

gracias por todo a los 2

[Nemutagk]

Iniciado por juanito1712

@KoswiDigital
en un principio me había gustado la idea. pero al pensarla mas detalladamente pierde eficiencia, ya que se crearía un subdirectorio por carga, todos al mismo nivel, cada vez que alguien suba algo se volvería a crear la carpeta mas alta que tenga en el grupo y acabaría "con subdirectorios repetidos".

supongamos que tu y yo subamos fotos ya no el mismo dia sino el mismo año
se crearían 2 subdirectorios en el mismo directorio que empezarían con el mismo año. Siempre, podría elegir a que altura cortar, pero en todos los casos terminaría igual en algun punto duplicando y perdiendo.


@ZoroRoronoa
esa fue la primera opción pero con ese modelo me limito a 10.000 usuarios ya que no podría crear mas de 10.000 y pico directorios antes de que empiecen a dar errores, la intención es poder soportar a 2 millones de usuarios por tanto esto se nos queda corto rápido.
La solución sería que podria agrupar las carpetas de usuarios en franjas por ejemplo

>fotos
>>1-30.000
>>>1-10.000
>>>10.001-20.000
>>>20.001-30.000
>>>30.001-40.000
>>>40.001-50.000
>>50.001-120.000
>>>50.001-60.000
y asi asi hasta el infinito

lo agruparé de una forma que pueda terminar con una cantidad desmesurada de usuarios y listo,creo que utilizaré este método para ahorrar directorios, pero no se, este método me inquietaba un poco y no se porqué, es esa sensación de que hay algo que se te escapa pero aun no lo has visto

gracias por todo a los 2

Creo que estas "solucionando" ese "error" con un parche, si de verdad piensas llegar a tener 2 millones de usuarios créeme que ese servidor te va a quedar muy chico, ni si quiera vas a llegar al limite de 10,000 carpetas, porque, muy sencillo, si tienes 2 millones de usuarios de estos cuantos van a estar conectando al mismo tiempo, y de estos cuantos van a estar subiendo archivos al mismo tiempo, por lo cual vas a desbordar ese servidor, para estos casos se utiliza una granja de servidores y balanceo de carga (OJO, no por ser granja se refiere a cientos de servidores)

Todo esto es claro, teniendo en cuenta que quieras tener un servicio rápido, sin interrupciones y la menor cantidad de fallos