Utilisez la LIMIT
de MySQL
syntaxe pour récupérer uniquement les résultats souhaités de la base de données avant même qu'elle n'atteigne votre code PHP.
Quelque chose comme ça :
$offset = 0;
$per_page = 25;
$query = "SELECT * FROM `blah` LIMIT $offset, $per_page";
...