In MariaDB und MySQL gibt es dafür keine Option. Ich bin vor einigen Monaten auf das gleiche Problem wie Sie gestoßen, habe viel gesucht und es schließlich teilweise gelöst, indem ich einen speziellen Speicherbereich auf dem NAS für die temporären Datensätze erstellt habe.
Erstellen Sie einen Ordner auf Ihrem NAS oder eine Partition auf einer internen Festplatte, die per Definition in der Größe begrenzt ist, hängen Sie sie dann ein und weisen Sie in der mysql-ini den temporären Speicher diesem Laufwerk zu:(wählen Sie entweder Windows/Linux)
tmpdir="mnt/DBtmp/"
tmpdir="T:\"
mysql-Dienst sollte nach dieser Änderung neu gestartet werden.
Bei diesem Ansatz haben Sie, sobald das Laufwerk voll ist, immer noch "seltsame Probleme" mit Abfragen auf der Festplatte, aber die anderen Probleme sind verschwunden.