<div dir="ltr"><div>Hi,<br><br>(subject renamed for clarity, original thread:<br>part 1: <a href="https://lists.osgeo.org/pipermail/grass-dev/2017-October/thread.html#86395">https://lists.osgeo.org/pipermail/grass-dev/2017-October/thread.html#86395</a><br>part 2: <a href="https://lists.osgeo.org/pipermail/grass-dev/2017-December/086738.html">https://lists.osgeo.org/pipermail/grass-dev/2017-December/086738.html</a><br>)<br><br>Here the benchmarking with SRTM 30m global with 5.4 billion pixels (run on SSD disk):<br><br><br><span style="font-family:monospace,monospace">Welcome to GRASS GIS 7.5.svn (r71892)<br>GRASS 7.5.svn (latlong):~ ><br><br>export GRASS_COMPRESSOR=ZSTD<br>time -p r.in.gdal /vsicurl/<a href="https://www.datenatlas.de/geodata/public/srtmgl1/srtmgl1.003.tif">https://www.datenatlas.de/geodata/public/srtmgl1/srtmgl1.003.tif</a> output=srtmgl1_v003_30m_ZSTD memory=3000<br>360 degree EW extent is exceeded by 0.0395247 cells<br>360 degree EW extent is exceeded by 1 cells<br>Importing raster map <srtmgl1_v003_30m_ZSTD>...<br> 100%<br>real 17697.11<br>user 17149.13<br>sys 195.68<br><br>g.region raster=srtmgl1_v003_30m_ZSTD -p<br>360 degree EW extent is exceeded by 0.0395247 cells<br>360 degree EW extent is exceeded by 1 cells<br>360 degree EW extent is exceeded by 1 cells<br>360 degree EW extent is exceeded by 1 cells<br>projection: 3 (Latitude-Longitude)<br>zone:       0<br>datum:      wgs84<br>ellipsoid:  wgs84<br>north:      60:00:00.5N<br>south:      56:00:00.5S<br>west:       180:00:00.5W<br>east:       180:00:00.5E<br>nsres:      0:00:01<br>ewres:      0:00:01<br>rows:       417601<br>cols:       1296001<br>cells:      541211313601<br>360 degree EW extent is exceeded by 1 cells<br><br>r.colors srtmgl1_v003_30m_ZSTD color=srtm_plus<br>Color table for raster map <srtmgl1_v003_30m_ZSTD> set to 'srtm_plus'<br><br>r.compress -p srtmgl1_v003_30m_ZSTD<br>360 degree EW extent is exceeded by 1 cells<br><srtmgl1_v003_30m_ZSTD> is compressed (method 5: ZSTD). Data type: CELL<br><srtmgl1_v003_30m_ZSTD> has a compressed NULL file<br></span><br><br><br>File size comparison:<br><span style="font-family:monospace,monospace"><br># ZLIB compressed, human readable:<br>mundialis:~/grassdata/latlong/srtmgl1_30m$ find . -name srtmgl1_v003_30m | sort | xargs du -h<br>4,0K    ./cats/srtmgl1_v003_30m<br>4,0K    ./cellhd/srtmgl1_v003_30m<br>293M    ./cell_misc/srtmgl1_v003_30m<br>157G    ./cell/srtmgl1_v003_30m<br>4,0K    ./colr/srtmgl1_v003_30m<br>4,0K    ./hist/srtmgl1_v003_30m<br><br># ZLIB compressed, kB:<br>mundialis:~/grassdata/latlong/srtmgl1_30m$ find . -name srtmgl1_v003_30m | sort | xargs du -k<br>4       ./cats/srtmgl1_v003_30m<br>4       ./cellhd/srtmgl1_v003_30m<br>299696  ./cell_misc/srtmgl1_v003_30m<br>163988608       ./cell/srtmgl1_v003_30m<br>4       ./colr/srtmgl1_v003_30m<br>4       ./hist/srtmgl1_v003_30m<br><br>ls -la cell_misc/srtmgl1_v003_30m/<br>total 299696<br>-rw-rw-r-- 1 mundialis mundialis 306883360 Okt 25 21:19 nullcmpr<br>-rw-rw-r-- 1 mundialis mundialis        13 Okt 25 21:19 range<br><br><br></span></div><span style="font-family:monospace,monospace"># ZSTD compressed, kB:<br></span><div><span style="font-family:monospace,monospace">mundialis:/scratch/grassdata/latlong/srtmgl1_30m$ find . -name srtmgl1_v003_30m_ZSTD | sort | xargs du -k<br>4       ./cats/srtmgl1_v003_30m_ZSTD<br>4       ./cellhd/srtmgl1_v003_30m_ZSTD<br>299708  ./cell_misc/srtmgl1_v003_30m_ZSTD<br>145278592       ./cell/srtmgl1_v003_30m_ZSTD<br>4       ./colr/srtmgl1_v003_30m_ZSTD<br>4       ./hist/srtmgl1_v003_30m_ZSTD</span></div><div><span style="font-family:monospace,monospace"><br></span></div><div><span style="font-family:monospace,monospace">ls -la cell_misc/srtmgl1_v003_30m_ZSTD/<br>total 299704<br>-rw-rw-r-- 1 mundialis mundialis 306883360 Dez  5 21:40 nullcmpr<br>-rw-rw-r-- 1 mundialis mundialis        22 Dez  5 21:40 stats<br>-rw-rw-r-- 1 mundialis mundialis        13 Dez  5 21:40 range</span><br></div><div><br></div><div>Ratio:<br></div><div><span style="font-family:monospace,monospace"># CELL file<br>> 145278592 / 163988608<br>[1] 0.8859066<br><br># null file<br>identical</span><br><br></div><div>Curiosity: would it makes sense to compress the "nullcmpr" file according to the selected compression? Probably Markus M had already explained it but I don't remember...</div><div><br></div><div>Best,</div><div>markusN<br></div><div><br>-- <br>Markus Neteler, PhD<br><a href="http://www.mundialis.de">http://www.mundialis.de</a> - free data with free software<br><a href="http://grass.osgeo.org">http://grass.osgeo.org</a><br><a href="http://courses.neteler.org/blog">http://courses.neteler.org/blog</a></div><div><br></div></div>