<div dir="ltr"><div><br><br>On Wed, Mar 22, 2017 at 9:52 PM, Markus Neteler <<a href="mailto:neteler@osgeo.org">neteler@osgeo.org</a>> wrote:<br>><br>> On Wed, Mar 22, 2017 at 9:28 PM, Markus Metz<br>> <<a href="mailto:markus.metz.giswork@gmail.com">markus.metz.giswork@gmail.com</a>> wrote:<br>> > On Wed, Mar 22, 2017 at 8:12 PM, Markus Neteler <<a href="mailto:neteler@osgeo.org">neteler@osgeo.org</a>> wrote:<br>> ...<br>> >> Nikos, for an even bigger map try<br>> >><br>> >> Global Surface Water (2000-2012, 30 m, Data coverage is from 80° north<br>> >> to 60° south):<br>> >> <a href="http://landcover.usgs.gov/glc/WaterDescriptionAndDownloads.php">http://landcover.usgs.gov/glc/WaterDescriptionAndDownloads.php</a><br>> >> by USGS. 1.6GB in size.<br>> >><br>> >> Using gdalbuildvrt I created a VRT from the 504 GeoTIFF files.<br>> >><br>> >> After import into GRASS GIS, here the timings:<br>> >><br>> >> # final map size:<br>> >> g.region -p<br>> >> ...<br>> >> rows:       493200<br>> >> cols:       1296001<br>> >> cells:      639187693200<br>> >><br>> >> (handling only works in GRASS GIS 7.3.svn since Markus Metz's recent<br>> >> improvements on global data import are needed).<br>> ><br>> > (my changes were bug fixes, not improvements)<br>> ><br>> >><br>> >> Benchmarks:<br>> >> - Import took 2h while reading the data from a CIFS mounted storage<br>> >> box (slow) and writing on SSD.<br>> >> - Displaying the entire map (639 giga-pixel) in GRASS GIS' display<br>> >> (d.mon) took ~15 sec over a ssh tunnel from my laptop to the server,<br>> >> since I am at a conference.<br>> >><br>> >> Fair deal I would say :-)<br>> ><br>> > A bit more information would help to compare:<br>> >  - what is your GDAL version?<br>><br>> GDAL 2.1.2<br>><br>> >  - are 504 GeoTIFF files compressed? If yes, which method?<br>><br>> Yes, COMPRESSION=LZW<br>><br>> >  - what are the block dimensions of the input GeoTIFFs?<br>><br>> Size is 36001, 36001  - Block=36001x1<br><br></div>This is row by row compression as in GRASS. That could help import with r.in.gdal which also reads and writes row by row.<br><div><br>> Type=Byte<br>><br>> >  - what kind of GRASS compression did you use?<br>><br>> Default raster + NULL compression enabled. I.e.,<br>><br>> r.compress -p watermask2010<br>> <watermask2010> is compressed (method 2: ZLIB). Data type: CELL<br><br></div><div>You might save disk space at the cost of longer reading times with BZIP2.<br></div><div><br>> <watermask2010> has a compressed NULL file<br>><br>> Again, the fact that I had to read from an attached storage box likely<br>> slowed down the import.<br>> Just thought to post these numbers here.<br><br></div><div>Impressive that such a large raster can be imported at all, and relatively fast!<br><br>Reading about 1.6 GB (also from an attached storage box) should not take 2 hours, therefore I think the limit is software input decompression and output compression.<br></div><div><br></div><div>Markus M <br></div></div>