Le terme que vous recherchez est "pagination". Malheureusement, cela se fait différemment selon le moteur SQL.
Pour MS SQL Server, voir ceci Question de débordement de pile .
Puisque vous avez mentionné MySQL, c'est en fait assez simple :
SELECT [columns] FROM [a table] LIMIT 10000
SELECT [columns] FROM [a table] LIMIT 10000 OFFSET 10000
La première instruction récupère les résultats 1-10 000, et la deuxième instruction récupère les résultats 10 001-20 000.