OK, hier ist meine Lösung.
Ich poste eine ausführlichere Antwort in meinem Persagen.com-Blog.
Im Grunde habe ich mich entschieden, das DO $$DECLARE ...
aufzuheben Ansatz (beschrieben in SO 49950384) zugunsten des vereinfachten Ansatzes weiter unten.
Ich kann dann auf die gemeinsam genutzte BASH/PSQL-Variable :bash_var
zugreifen , also:
xpath('//metabolite', XMLPARSE(DOCUMENT convert_from(pg_read_binary_file(:'bash_var'))))
Hier ist ein Beispiel-SQL-Skript, das diese Verwendung veranschaulicht:
hmdb.sql
\c hmdb
CREATE TABLE hmdb_identifiers (
id SERIAL,
accession VARCHAR(15) NOT NULL,
name VARCHAR(300) NOT NULL,
cas_number VARCHAR(12),
pubchem_cid INT,
PRIMARY KEY (id),
UNIQUE (accession)
);
\echo '\n[hmdb.sql] bash_var:' :bash_var '\n'
-- UPDATE (2019-05-15): SEE MY COMMENTS BELOW RE: TEMP TABLE!
CREATE TEMP TABLE tmp_table AS
SELECT
(xpath('//accession/text()', x))[1]::text::varchar(15) AS accession
,(xpath('//name/text()', x))[1]::text::varchar(300) AS name
,(xpath('//cas_registry_number/text()', x))[1]::text::varchar(12) AS cas_number
,(xpath('//pubchem_compound_id/text()', x))[1]::text::int AS pubchem_cid
-- FROM unnest(xpath('//metabolite', XMLPARSE(DOCUMENT convert_from(pg_read_binary_file('hmdb/hmdb.xml'), 'UTF8')))) x
FROM unnest(xpath('//metabolite', XMLPARSE(DOCUMENT convert_from(pg_read_binary_file(:'bash_var'), 'UTF8')))) x
;
INSERT INTO hmdb_identifiers (accession, name, cas_number, pubchem_cid)
SELECT lower(accession), lower(name), lower(cas_number), pubchem_cid FROM tmp_table;
DROP TABLE tmp_table;
Hinweise zum SQL-Skript:
-
In den XPath-Anweisungen gestalte ich den
::text
um (zB:::text::varchar(15)
) gemäß dem Postgres-Tabellenschema. -
Noch wichtiger, wenn ich es nicht täte wandeln Sie die Datentypen in der xpath-Anweisung und einem Feldeintrag um (z. B.
name
length) hat den SQLvarchar(300)
überschritten Längenbegrenzung haben diese Daten einen PSQL-Fehler ausgelöst und die Tabelle wurde nicht aktualisiert (d. h. es entsteht eine leere Tabelle).
Ich habe die in dieser Antwort verwendeten XML-Datendateien in diesem Gist hochgeladen
https://gist.github.com/victoriastuart/d1b1959bd31e4de5ed951ff4fe3c3184
Direktlinks:
-
hmdb_metabolites_5000-01.xml
-
hmdb_metabolites_5000-02.xml
-
hmdb_metabolites_5000-03.xml
-
Quelle:HMDB.ca
- Zitat
AKTUALISIERUNG (2019-05-15)
In Folgearbeiten, die in meinem Forschungsblog-Beitrag Exporting Plain Text to PostgreSQL beschrieben werden, lade ich XML-Daten direkt in PostgreSQL, anstatt temporäre Tabellen zu verwenden.
TL/DR. In diesem Projekt habe ich die folgenden Verbesserungen beobachtet.
Parameter | Temp Tables | Direct Import | Reduction
Time: | 1048 min | 1.75 min | 599x
Space: | 252,000 MB | 18 MB | 14,000x