Comment parcourir correctement un gros fichier json

Vous voudrez utiliser un analyseur de flux. Ceux-ci ne tirent que de petites portions de votre fichier en mémoire à la fois.

Ils sont disponibles en plusieurs versions :des analyseurs push de type SAX et des analyseurs pull. Modèles de lecteur XML :SAX contre analyseur pull XML donne un aperçu de la différence.

Envoyer l'analyseur

Ceci est un exemple rapide utilisant salsify/json-streaming-parser.

Au fur et à mesure qu'il parcourt le fichier, nous garderons une trace de l'summonerId , championId , et état. Tout est basé sur les événements - vous n'obtenez pas d'accès aléatoire avec un analyseur séquentiel, vous devez donc suivre vous-même les choses. Chaque fois qu'un totalSessionsPlayed apparaît, il fera écho à l'summonerId , identifiant du champion , et totalSessionsPlayed .

data.json

Il s'agit d'un fichier json couplé à des fins de démonstration.

[
    {
        "_id": "53b29644aafd413977b23b7e",
        "summonerId": 24570940,
        "region": "euw",
        "stats": {
            "110": {
                "totalSessionsPlayed": 3,
                "totalSessionsLost": 2,
                "totalSessionsWon": 1
            },
            "112": {
                "totalSessionsPlayed": 45,
                "totalSessionsLost": 2,
                "totalSessionsWon": 1
            }
        }
    },
    {
        "_id": "asdfasdfasdf",
        "summonerId": 555555,
        "region": "euw",
        "stats": {
            "42": {
                "totalSessionsPlayed": 65,
                "totalSessionsLost": 2,
                "totalSessionsWon": 1
            },
            "88": {
                "totalSessionsPlayed": 99,
                "totalSessionsLost": 2,
                "totalSessionsWon": 1
            }
        }
    }
]

Exemple :

class ListMatchUps extends JsonStreamingParser\Listener\IdleListener
{

    private $key;
    private $summonerId;
    private $championId;
    private $inStats;

    public function start_document()
    {
        $this->key        = null;
        $this->summonerId = null;
        $this->championId = null;
        $this->inStats    = false;
    }

    public function start_object()
    {
        if ($this->key === 'stats') {
            $this->inStats = true;
        } else if ($this->inStats) {
            $this->championId = $this->key;
        }
    }

    public function end_object()
    {
        if ($this->championId !== null) {
            $this->championId = null;
        } else if ($this->inStats) {
            $this->inStats = false;
        } else {
            $this->summonerId = null;
        }
    }

    public function key($key)
    {
        $this->key = $key;
    }

    public function value($value)
    {
        switch ($this->key) {
            case 'summonerId':
                $this->summonerId = $value;
                break;
            case 'totalSessionsPlayed':
                echo "{$this->summonerId},{$this->championId},$value\n";
                break;
        }
    }
}

$stream = fopen('data.json', 'r');
$listener = new ListMatchUps();
try {
    $parser = new JsonStreamingParser_Parser($stream, $listener);
    $parser->parse();
} catch (Exception $e) {
    fclose($stream);
    throw $e;
}

Sortie :

24570940,110,3
24570940,112,45
555555,42,65
555555,88,99

Extraire l'analyseur

Ceci utilise un analyseur que j'ai récemment écrit, pcrov/jsonreader (nécessite PHP 7.)

Même data.json que ci-dessus.

Exemple :

use pcrov\JsonReader\JsonReader;

$reader = new JsonReader();
$reader->open("data.json");

while($reader->read("summonerId")) {
    $summonerId = $reader->value();
    $reader->next("stats");
    foreach($reader->value() as $championId => $stats) {
        echo "$summonerId, $championId, {$stats['totalSessionsPlayed']}\n";
    }
}
$reader->close();

Sortie :

24570940, 110, 3
24570940, 112, 45
555555, 42, 65
555555, 88, 99