Mysql
 sql >> Datenbank >  >> RDS >> Mysql

Arbeiten mit einer großen CSV-Datei in MATLAB

Sie sollten wahrscheinlich textscan verwenden um die Daten in Blöcken einzulesen und dann zu verarbeiten. Dies ist wahrscheinlich effizienter, als jeweils eine einzelne Zeile zu lesen. Wenn Sie beispielsweise 3 Datenspalten haben, könnten Sie Folgendes tun:

filename = 'fname.csv';
[fh, errMsg] = fopen( filename, 'rt' );
if fh == -1, error( 'couldn''t open file: %s: %s', filename, errMsg ); end
N  = 100; % read 100 rows at a time
while ~feof( fh )
  c  = textscan( fh, '%f %f %f', N, 'Delimiter', ',' );
  doStuff(c);
end

BEARBEITEN

Heutzutage (R2014b und höher) ist es einfacher und wahrscheinlich effizienter, einen zu verwenden datastore .