Wenn Sie einen UNIQUE haben Schlüssel (anders als ein AUTO_INCREMENT ), verwenden Sie einfach INSERT IGNORE ... um doppelte Zeilen stillschweigend zu vermeiden. Wenn Sie keinen UNIQUE-Schlüssel haben, müssen Sie nie wieder eine Zeile suchen?
Wenn Sie bereits Duplikate zugelassen haben und diese entfernen müssen, ist das eine andere Frage.