<div dir="ltr"><font size="4">Greetings,<br><br></font><div><font size="4"> I tried <br></font></div><div><font size="4">-ps 3600 7200  <br></font></div><div><font size="4"> -ps 3600,7200</font></div><div><font size="4">-ps x=3600  y=7200 </font><br></div><div> <br></div><div>Just get errors, I don't see any option to select LZW or any compression??<br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><table class="gmail-list-view" style="border-collapse:collapse;table-layout:fixed;font-size:14.4px;width:100%;font-family:Lato,"Open Sans","Lucida Grande","Segoe UI",Arial,sans-serif;letter-spacing:normal;text-indent:0px;text-transform:none;word-spacing:0px;background-color:rgb(255,255,255)"><tbody><tr><td class="gmail-highlight" style="vertical-align:top;text-align:left;border:0px none;width:112.047px;padding-right:15px;padding-left:20px;font-weight:bold">Extent</td><td style="vertical-align:top">-180.0000000000000000,-90.0000000000000000 : 180.0000000000000000,90.0000000000000000</td></tr><tr><td class="gmail-highlight" style="vertical-align:top;text-align:left;border:0px none;width:112.047px;padding-right:15px;padding-left:20px;font-weight:bold">Width</td><td style="vertical-align:top">7200</td></tr><tr><td class="gmail-highlight" style="vertical-align:top;text-align:left;border:0px none;width:112.047px;padding-right:15px;padding-left:20px;font-weight:bold">Height</td><td style="vertical-align:top">3600</td></tr><tr><td class="gmail-highlight" style="vertical-align:top;text-align:left;border:0px none;width:112.047px;padding-right:15px;padding-left:20px;font-weight:bold">Data type</td><td style="vertical-align:top">Float32 - Thirty two bit floating point<br></td></tr></tbody></table></blockquote><table class="gmail-list-view" style="border-collapse:collapse;table-layout:fixed;font-size:14.4px;width:100%;font-family:Lato,"Open Sans","Lucida Grande","Segoe UI",Arial,sans-serif;letter-spacing:normal;text-indent:0px;text-transform:none;word-spacing:0px;background-color:rgb(255,255,255)"><tbody><tr><td class="gmail-highlight" style="vertical-align:top;text-align:left;border:0px none;width:112.047px;padding-right:15px;padding-left:20px;font-weight:bold">Compression</td><td style="vertical-align:top">LZW<br></td></tr></tbody></table></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, 5 Dec 2022 at 12:32, Rahkonen Jukka <<a href="mailto:jukka.rahkonen@maanmittauslaitos.fi">jukka.rahkonen@maanmittauslaitos.fi</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg-3859280140703744819">





<div style="overflow-wrap: break-word;" lang="FI">
<div class="m_6342420496924163511WordSection1">
<p class="MsoNormal"><span lang="EN-US">Hi,<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">Let’s try to get all missing information with one mail.<u></u><u></u></span></p>
<ul style="margin-top:0cm" type="disc">
<li class="m_6342420496924163511MsoListParagraph" style="margin-left:0cm"><span lang="EN-US">You have two images:
<br>
3_data_ready_for_spectra/coastal-undefended-rcp26-2020.tif and<u></u><u></u></span></li></ul>
<p class="m_6342420496924163511MsoListParagraph"><span lang="EN-US">5_UK_prod_rasters/coastal-undefended-rcp26-2020.tif.<u></u><u></u></span></p>
<p class="m_6342420496924163511MsoListParagraph"><span lang="EN-US">Is that right? And the first one covers the world but the second one only UK, right?<u></u><u></u></span></p>
<ul style="margin-top:0cm" type="disc">
<li class="m_6342420496924163511MsoListParagraph" style="margin-left:0cm"><span lang="EN-US">What are the pixel sizes and image sizes (in pixels, width x hight) of the source images?<u></u><u></u></span></li><li class="m_6342420496924163511MsoListParagraph" style="margin-left:0cm"><span lang="EN-US">Are they compressed? With what method?<u></u><u></u></span></li><li class="m_6342420496924163511MsoListParagraph" style="margin-left:0cm"><span lang="EN-US">What are the block sizes (out of curiosity, not essential knowledge)?<u></u><u></u></span></li><li class="m_6342420496924163511MsoListParagraph" style="margin-left:0cm"><span lang="EN-US">Have you considered to create a tiled and compressed output? (you should)<u></u><u></u></span></li><li class="m_6342420496924163511MsoListParagraph" style="margin-left:0cm"><span lang="EN-US">Have you considered to use gdalwarp instead? (I would)<u></u><u></u></span></li></ul>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">With the gdalwarp option you could update the world image with the UK contents with “gdalwarp uk_image.tif world_image.tif”. However, your images are in AWS and the same recipes that
 work for local images may not work so well in the cloud. Unfortunately that is something that I have no experience yet.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">The logic in “The input files are 6.9 GB + 672 MB
</span><span lang="EN-US">The output should be 7.xx GB” is wrong. If you update part of the pixels of the 6.9 GB file then the output should be about 6.9 GB. But if you convert a 6.9 GB compressed image into an uncompressed image, as I guess that you are doing,
 the output will be much bigger. How big it will be can be calculated with a formula that numpy showed (width x height) x (bytes/pixel).
</span><span lang="EN-US"><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US">-Jukka Rahkonen-<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
<div>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0cm 0cm">
<p class="MsoNormal"><b>Lähettäjä:</b> Clive Swan <<a href="mailto:cliveswan@gmail.com" target="_blank">cliveswan@gmail.com</a>> <br>
<b>Lähetetty:</b> maanantai 5. joulukuuta 2022 13.47<br>
<b>Vastaanottaja:</b> Rahkonen Jukka <<a href="mailto:jukka.rahkonen@maanmittauslaitos.fi" target="_blank">jukka.rahkonen@maanmittauslaitos.fi</a>>; <a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a><br>
<b>Aihe:</b> Re: [gdal-dev] gdal_merge<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">Hi,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">The raster <span style="color:black;background:white">one </span>is the world, the second is the UK.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">The UK fits within the first raster...<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="color:rgb(33,33,33)"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="color:rgb(33,33,33)">We want to update UK data in raster one.<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="color:rgb(33,33,33)"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="color:rgb(33,33,33)">Regards,<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="color:rgb(33,33,33)"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal" style="background:white"><span style="color:rgb(33,33,33)">Clive<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div id="m_6342420496924163511ms-outlook-mobile-signature">
<p class="MsoNormal">Get <a href="https://eur06.safelinks.protection.outlook.com/?url=https%3A%2F%2Faka.ms%2FAAb9ysg&data=05%7C01%7Cjukka.rahkonen%40maanmittauslaitos.fi%7C405531fd73e74c5add7208dad6b66773%7Cc4f8a63255804a1c92371d5a571b71fa%7C0%7C0%7C638058376154245151%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=3iBA3SB0%2BBSUKMk8laLw5Gi7%2BnDzhHsoqTpjnfznUoY%3D&reserved=0" target="_blank">
Outlook for Android</a><u></u><u></u></p>
</div>
<div class="MsoNormal" style="text-align:center" align="center">
<hr width="98%" size="2" align="center">
</div>
<div id="m_6342420496924163511divRplyFwdMsg">
<p class="MsoNormal"><b><span style="color:black">From:</span></b><span style="color:black"> Rahkonen Jukka <<a href="mailto:jukka.rahkonen@maanmittauslaitos.fi" target="_blank">jukka.rahkonen@maanmittauslaitos.fi</a>><br>
<b>Sent:</b> Monday, December 5, 2022 11:34:53 AM<br>
<b>To:</b> Clive Swan <<a href="mailto:cliveswan@gmail.com" target="_blank">cliveswan@gmail.com</a>>;
<a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a> <<a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a>><br>
<b>Subject:</b> Re: [gdal-dev] gdal_merge</span> <u></u><u></u></p>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</div>
<div>
<div>
<p class="m_6342420496924163511xmsonormal">Hi,<u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"> <u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><span lang="EN-US">Maybe your rasters are far apart. Gdal_merge creates a raster with so large extent that all the source images fit within it. Even empty pixels take space.</span><u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><span lang="EN-US"> </span><u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><span lang="EN-US">-Jukka Rahkonen-</span><u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><span lang="EN-US"> </span><u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><span lang="EN-US"> </span><u></u><u></u></p>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0cm 0cm">
<p class="m_6342420496924163511xmsonormal"><b>Lähettäjä:</b> gdal-dev <<a href="mailto:gdal-dev-bounces@lists.osgeo.org" target="_blank">gdal-dev-bounces@lists.osgeo.org</a>>
<b>Puolesta </b>Clive Swan<br>
<b>Lähetetty:</b> maanantai 5. joulukuuta 2022 12.24<br>
<b>Vastaanottaja:</b> <a href="mailto:gdal-dev@lists.osgeo.org" target="_blank">gdal-dev@lists.osgeo.org</a><br>
<b>Aihe:</b> [gdal-dev] gdal_merge<u></u><u></u></p>
</div>
<p class="m_6342420496924163511xmsonormal"> <u></u><u></u></p>
<div>
<p class="m_6342420496924163511xmsonormal">Hi Even,<u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"> <u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal">Thanks <br>
the –configuration sorted out that issue.<u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><span style="font-size:10pt;font-family:"Courier New"">CPL_VSIL_USE_TEMP_FILE_FOR_RANDOM_WRITE is a configuration option /
</span><u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><span style="font-size:10pt;font-family:"Courier New"">environment variable, so you have to pass it with --config
</span><u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><span style="font-size:10pt;font-family:"Courier New"">CPL_VSIL_USE_TEMP_FILE_FOR_RANDOM_WRITE YES</span><u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><br>
<br>
Now I am getting a memory issue?? << The input files are 6.9 GB + 672 MB<br>
The output should be 7.xx GB<u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"> <u></u><u></u></p>
<p class="m_6342420496924163511xgmail-p1" style="margin-right:0cm;margin-bottom:0cm;margin-left:21.7pt">
<span class="m_6342420496924163511xgmail-s1"><span style="font-size:9pt;font-family:"Menlo",serif;color:purple">6.9 GB + 672MB</span></span><u></u><u></u></p>
<p class="m_6342420496924163511xgmail-p1" style="margin-right:0cm;margin-bottom:0cm;margin-left:21.7pt">
<span class="m_6342420496924163511xgmail-s1"><span style="font-size:9pt;font-family:"Menlo",serif;color:purple">numpy.core._exceptions._ArrayMemoryError: Unable to allocate 377. GiB for an array with shape (225000, 450000) and data type float32</span></span><u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"> <u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal" style="margin-bottom:12pt">Any suggestions appreciated<u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal">Kind regards,<u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal">Clive<u></u><u></u></p>
<p class="m_6342420496924163511xmsonormal"><br clear="all">
<br>
-- <u></u><u></u></p>
<div>
<div>
<div>
<div>
<div>
<div>
<p style="margin:0cm"><span style="font-size:8pt"> Regards,</span><u></u><u></u></p>
<p style="margin:0cm"> <u></u><u></u></p>
<p style="margin:0cm"><span style="font-size:8pt">Clive Swan</span><u></u><u></u></p>
<p style="margin:0cm"><span style="font-size:12pt">--</span><u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>

</div></blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><p style="margin:0cm 0cm 0pt"><span style="font-family:Calibri;font-size:8pt"> Regards,</span></p><p style="margin:0cm 0cm 0pt"><span style="font-family:Calibri;font-size:8pt"><br></span></p><p style="margin:0cm 0cm 0pt"><span style="font-family:Calibri;font-size:8pt">Clive Swan</span></p>
<p style="margin:0cm 0cm 0pt"><span><font size="3"><font face="Calibri">--</font></font></span></p>
<p style="margin:0cm 0cm 0pt"><br></p>
<p style="margin:0cm 0cm 0pt"><span style="color:gray"><font size="3"><font face="Calibri">M: +44 7766 452665</font></font></span></p></div></div></div></div></div></div>