Der gesuchte Begriff ist "Paginierung". Leider wird dies je nach SQL-Engine unterschiedlich gemacht.
Für MS SQL Server siehe diesen Stack Overflow-Frage .
Da Sie MySQL erwähnt haben, ist es eigentlich ganz einfach:
SELECT [columns] FROM [a table] LIMIT 10000
SELECT [columns] FROM [a table] LIMIT 10000 OFFSET 10000
Die erste Anweisung ruft die Ergebnisse 1–10.000 und die zweite Anweisung die Ergebnisse 10.001–20.000 ab.