Ziehen Sie eine von zwei Möglichkeiten in Betracht:eine SQL-gesteuerte Deduplizierungs- oder eine R-gesteuerte Deduplizierungslösung. Für Ersteres müssten Sie eine temporäre Staging-Tabelle verwenden, die den klassischen LEFT JOIN...IS NULL/NOT EXISTS/NOT IN
SQL-Abfrage. Für letzteres würden Sie den gesamten Inhalt in einen Datenrahmen importieren, Ihr aktuelles df anhängen und unique() von R ausführen . Es hört sich jedoch so an, als ob Sie letzteres nicht beabsichtigen, aber ich zeige es für zukünftige Leser.
SQL (unter Verwendung einer temporären Tabelle mit exakter Struktur der Zieltabelle)
# OVERWRITE TEMP EACH TIME
dbWriteTable(con_hub, value = my_R_dataframe,
name = "table2_temp",
overwrite = TRUE,
row.names = FALSE)
# RUN LEFT JOIN...IS NULL QUERY (COMPARE COLS --COL1, COL2, COL3-- ADD/REMOVE AS NEEDED)
dbSendQuery(con_hub, paste0("INSERT INTO table2",
" SELECT * FROM table2_temp",
" LEFT JOIN table2",
" ON table2_temp.col1 = table2.col1",
" AND table2_temp.col2 = table2.col2",
" AND table2_temp.col3 = table2.col3",
" WHERE table2.col1 IS NULL",
" OR table2.col2 IS NULL",
" OR table2.col3 IS NULL"))
R (Lesen Sie die Daten von Tabelle 2 ein, überlegen Sie, ob die Ressourcen nicht zu stark beansprucht werden, bevorzugt, wenn Sie alle Spalten deduplizieren)
# RETRIEVE table2 DATA
table2df <- dbGetQuery(con_hub, "SELECT * FROM table2")
# APPEND BOTH DATAFRAMES
stackeddf <- rbind(table2df, my_R_dataframe)
# RETURN UNIQUE ROWS
finaldf <- unique(stackeddf)
# OVERWRITE DESTINATION TABLE EACH TIME
dbWriteTable(con_hub, value = finaldf,
name = "table2",
overwrite = TRUE,
row.names = FALSE)
# CLEAN UP ENVIRON OF UNNEEDED OBJECTS
rm(table2df, stackeddf, finaldf)
gc()
