<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:70.85pt 70.85pt 70.85pt 70.85pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="NO-BOK" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">Hi again,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">It seems that in GRASS 7.3 (r68881) – which I used for patching - compression was not fully implemented.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">I am recompressing with latest GRASS 7.2 and
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">export GRASS_INT_ZLIB=7<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">export GRASS_COMPRESSOR=ZLIB<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">export GRASS_COMPRESS_NULLS=1<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">now and the files are compressed to ca. 9 GB (ca. 78% compressed) and thus significantly smaller than the sum of the tiles...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">Cheers<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D">Stefan<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="color:#1F497D"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-US" style="mso-fareast-language:NO-BOK">From:</span></b><span lang="EN-US" style="mso-fareast-language:NO-BOK"> grass-user [mailto:grass-user-bounces@lists.osgeo.org]
<b>On Behalf Of </b>Blumentrath, Stefan<br>
<b>Sent:</b> 23. oktober 2016 21:08<br>
<b>To:</b> grass-user grass-user (grass-user@lists.osgeo.org) <grass-user@lists.osgeo.org><br>
<b>Subject:</b> [GRASS-user] Virtual mosaics in GRASS?<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Hei,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Recently I conducted some solar radiation analysis at national scale. In order to run this efficiently, I tiled the area into ca. 590 tiles of up to 5000x5000 pixels for the relevant (land) area. For reducing the amount
 of data I truncated the r.sun output to integer with r.mapcalc (map type is now CELL) and the size of the tiles is up to 25MB each.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Currently I am patching the tiles together by day (r.patch). However, this is
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">a) time consuming and <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">b) patching the sparse tiles into a coherent raster map roughly triples the amount of storage occupied (due to the relatively large number of NoData pixels in the patched raster map I guess). One patched map is 48 GB,
 while the sum of the tiles probably is ca. 15 GB. I will try to see which effect NULL-map compression in G7.2 has, but I doubt that it will bring back the storage efficiency of the tiles...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Therefore, I was wondering if it would be of interest and possible to implement a concept similar to GDAL VRT in GRASS (8?)?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">A workaround would probably be to use r.external.out (write out tiles to e.g. GeoTIFF) in combination with gdal_buildvrt and r.external. But I would prefer to stick to native GRASS format (amongst others because then
 data management is more simple in a work flow which is parallelized by day within one single mapset)... I earlier tried to link a GDAL VRT from GRASS data (having the GDAL-GRASS-plugin installed) back to GRASS but encountered the issue that data was written
 to the mapset where the tiles reside (instead of the current mapset): </span><a href="https://trac.osgeo.org/grass/ticket/2837"><span lang="EN-US">https://trac.osgeo.org/grass/ticket/2837</span></a><span lang="EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">No idea how the performance of a linked VRT consisting of hundreds of LZW-compressed GeoTiffs would be...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">I would be happy about any hints, comments, or opinions...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Kind regards,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Stefan<o:p></o:p></span></p>
</div>
</body>
</html>