Ich hasse es, wie ein mürrischer, alter Akademiker zu klingen, aber die Theorie ist wirklich das, was Sie studieren müssen, wenn Sie entschlossen sind, Ihr eigenes RDBMS zu bauen. Die Implementierungsdetails sind wirklich nur, äh, Implementierungsdetails. Abgesehen von Lehrbüchern möchten Sie vielleicht auch Forschungsarbeiten studieren, die das Thema tendenziell ausführlicher behandeln.
Wenn Sie mit der Implementierung Ihrer Datenbank-Engine beginnen, könnten Sie sich bestehende Open-Source-Implementierungen ansehen, aber erwarten Sie eine steile Lernkurve. Wie Sie bereits festgestellt haben, sind diese Projekte in der Regel recht komplex. Wenn Sie konkrete Fragen zu diesen Projekten haben, versuchen Sie, sie auf den entsprechenden Mailinglisten zu posten. Wenn Sie konkrete Fragen zu Ihrer eigenen Implementierung haben, posten Sie sie hier :)
