leer multiples json, comprobar url, crear json

[23r9i0]

Hola
No estoy seguro si es el sitio correcto sino lo es disculpadme, pero va de python.
Os expongo el tema.
Tengo un directorio que tiene múltiples subdirectorios y que algunos tienen un archivo json.
Necesito leerlos y extraer el primer valor para luego comprobar que existe en el servidor, solo comprobarlo, y si existe añadir el contenido del archivo json en otro archivo json que tendra todos los json unificados.
Una vez creado el json tengo que crear otro json que contendra los valores ordenados por un valor.

Actualmente uso walk, fnmatch para crear una lista con todas las direcciones de los archivos y luego con un with open y for escribo el nuevo json, pero me pierdo al no saber como estraer el valor del archivo y comprobarlo.

Uso Python 2.7.5 linux y este es mi codigo

Código Python:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os, fnmatch
 
m = []
 
for r, d, f in os.walk('directory'):
    for p in fnmatch.filter(f, 'data.json'):
        m.append(os.path.join(r, p))
with open('list.json', 'w') as o:
    o.write('[')
    for (i,f) in enumerate(m):
        o.write(''.join([l for l in open(f).readlines() if l.strip()]))
        if i < (len(m)-1):
            o.write(',')
    o.write(']')
 

Hace muy poco que estoy con python asi que si creeis o sabeis otra manera de hacerlo os estaria agradecido de que compartieras tus conocimientos.
Gracias

[razpeitia]

Si, puedes usar json para manejar las estructuras como objetos en python y luego volverlos a escribir como archivos json.

Ejemplo, por favor llena con los huecos (comentarios) con lo que necesites hacer.

Código Python:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os
import fnmatch
import json
 
json_files = []
for r, d, f in os.walk('directory'):
    for p in fnmatch.filter(f, 'data.json'):
        json_files.append(os.path.join(r, p))
 
results = []
for filename in json_files:
    with open(filename, 'rb') as f:
        try:
            data = json.load(f)
            # Aqui procesas los datos
            # Agrega el resultado a results
        except ValueError:
            # ValueError, error al parsear el json
            pass
 
# Ordena in-place
# Puedes definirle alguna function key o cmp
results.sort()
 
with open('list.json', 'wb') as f:
    json.dump(results, f)
 

[23r9i0]

Gracias razpeitia

[23r9i0]

Tengo un par de dudas, problemas

- El script tarda aprox un minuto en completarse, diria que es mucho.
- Como puedo ordenar el json para que este ordenado por las categorias como lo tengo en existing.

Código Python:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os, fnmatch, json, requests
 
json_files = []
existing = {'Serif':[], 'Sans Serif':[], 'Display':[], 'Handwriting':[]} # Categorias
include = ['name', 'fonts', 'fullName', 'style', 'weight', 'subsets']
 
def deleted_items(data, sub, inc):
    for d in data.keys():
        if not d in inc:
            del(data[d])
        if d == sub:
            for subdata in data[d]:
                for x in subdata.keys():
                    if not x in inc:
                        del(subdata[x])
    return data
 
for r, d, f in os.walk('googlefontdirectory'):
    for p in fnmatch.filter(f, 'METADATA.json'):
        json_files.append(os.path.join(r, p))
 
for filename in json_files: # len(json_files) = 724
    with open(filename, 'rb') as f:
        try:
            data = json.load(f)
            name = data['name'].replace(' ', '+')
            url = 'http://www.google.com/fonts/specimen/' + name
            resp = requests.head(url)
            if 200 == resp.status_code:
                cat = data['category']
                data = deleted_items(data, 'fonts', include)
                existing[cat].append(data)
        except ValueError:
            pass
 
with open('existing.json', 'wb') as f:
    json.dump(existing, f, indent=2)
 

Como vereis estoy recorriendo el directorio del googlefontdirectory creado mediante mercurial (hg) y al ser diferente del directorio de google fonts tengo que comprobar que fuente esta disponible para añadirla al json y luego elimino el contenido innecesario para no hacer un json mas grande de lo que deberia.

[razpeitia]

Iniciado por 23r9i0

- El script tarda aprox un minuto en completarse, diria que es mucho.

Es porque tu cuello de botella es que haces las peticiones http serializadas. En vez de en paralelo. Aun así se me hace un tiempo aceptable, asumiendo que no se ejecuta muy seguido este script.

Iniciado por 23r9i0

- Como puedo ordenar el json para que este ordenado por las categorias como lo tengo en existing.

Eso depende. Si una lista, si puedes lo ordenas con el método sort, si es un diccionario no puedes (de hecho es el punto de un diccionario).

[23r9i0]

Gracias, ese script se ejecutaria una vez al mes para tener el listado actualizado, todo viene por que la api de google no tiene la opcion de ordenar por categorias, no se porque pero de momento no la hay.

Sobre el diccionario pensaba que al establecerlo de una manera se mantendria asi, de echo no tiene mucha importancia ya que luego desde php lo puedo ordenar que hay entiendo mas.