Wenn Sie möchten, dass die Daten automatisch konvertiert werden, sollten Sie den Zeichensatz angeben beim Erstellen der Engine:
create_engine('mysql+mysqldb:///mydb?charset=utf8')
Einstellung von use_unicode
alleine sagt sqlalchemy nicht, welcher Zeichensatz verwendet werden soll.