Ich weiß nicht, wie teuer es ist, aber eine alternative Möglichkeit besteht darin, eine andere Tabelle mit einem Primärschlüssel zu erstellen, alle Daten dort einzufügen und die Duplikate stillschweigend abzulehnen, wie hier angegeben
grundsätzlich mit IGNORE_DUP_KEY