Mysql
 sql >> Datenbank >  >> RDS >> Mysql

Slick 3.0-Masseneinfügung oder -aktualisierung (Upsert)

Es gibt mehrere Möglichkeiten, diesen Code schneller zu machen (jede sollte schneller sein als die vorherigen, aber es wird zunehmend weniger idiomatisch-glatt):

  • Führen Sie insertOrUpdateAll aus statt insertOrUpdate wenn auf slick-pg 0.16.1+

    await(run(TableQuery[FooTable].insertOrUpdateAll rows)).sum
    
  • Führen Sie Ihre DBIO-Ereignisse alle auf einmal aus, anstatt darauf zu warten, dass jedes einzelne festgeschrieben wird, bevor Sie das nächste ausführen:

    val toBeInserted = rows.map { row => TableQuery[FooTable].insertOrUpdate(row) }
    val inOneGo = DBIO.sequence(toBeInserted)
    val dbioFuture = run(inOneGo)
    // Optionally, you can add a `.transactionally`
    // and / or `.withPinnedSession` here to pin all of these upserts
    // to the same transaction / connection
    // which *may* get you a little more speed:
    // val dbioFuture = run(inOneGo.transactionally)
    val rowsInserted = await(dbioFuture).sum
    
  • Steigen Sie auf die JDBC-Ebene herunter und führen Sie Ihre Upsert in einem Rutsch aus (Idee über diese Antwort ). ):

    val SQL = """INSERT INTO table (a,b,c) VALUES (?, ?, ?)
    ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);"""
    
    SimpleDBIO[List[Int]] { session =>
      val statement = session.connection.prepareStatement(SQL)
      rows.map { row =>
        statement.setInt(1, row.a)
        statement.setInt(2, row.b)
        statement.setInt(3, row.c)
        statement.addBatch()
      }
      statement.executeBatch()
    }