BIGINT UNSIGNED ist vorzeichenlos und kann nicht negativ sein.
Ihr Ausdruck ABS(lektoren.baum2.id - 6)
verwendet einen negativen Zwischenwert, wenn id kleiner als 6 ist.
Vermutlich wurden frühere Versionen implizit in SIGNED konvertiert. Sie müssen einen Cast durchführen.
Versuchen Sie es mit
ORDER BY ABS(CAST(lectoren.baum2.id AS SIGNED) - 6)