<div dir="ltr">Thanks Markus!! <div>I will test and I will let you know how it works. </div><div><br></div><div>I have few  more questions </div><div>1) now how much is the upper limit matrix cell number that <font color="#000000"><span style="font-size:12.8px">r.stream.extract can handle?</span></font></div><div><span style="color:rgb(0,0,0);font-size:12.8px">2) is the </span><font color="#000000"><span style="font-size:12.8px">r.stream.basins add-on subjects to the same limitation? In case would be possible to update also for  r.stream.basins?</span></font></div><div><font color="#000000"><span style="font-size:12.8px">3) is </span></font><span style="color:rgb(0,0,0);font-size:12.8px">r.stream.extract support the use of m</span><font color="#000000"><span style="font-size:12.8px">ulti-threaded through openMP? Would be difficult implement?</span></font></div><div><font color="#000000"><span style="font-size:12.8px"><br></span></font></div><div><font color="#000000"><span style="font-size:12.8px">Best </span></font></div><div><font color="#000000"><span style="font-size:12.8px">Giuseppe </span></font></div><div><font color="#000000"><span style="font-size:12.8px"><br></span></font></div><div><font color="#000000"><span style="font-size:12.8px"><br></span></font></div><div><font color="#000000"><span style="font-size:12.8px"> </span></font></div><div><font color="#000000"><span style="font-size:12.8px"><br></span></font></div><div><span style="color:rgb(0,0,0);font-size:12.8px"><br></span></div><div><span style="color:rgb(0,0,0);font-size:12.8px"><br></span></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 31 October 2017 at 15:54, Markus Metz <span dir="ltr"><<a href="mailto:markus.metz.giswork@gmail.com" target="_blank">markus.metz.giswork@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><span class=""><div><br><br>On Mon, Oct 30, 2017 at 1:42 PM, Giuseppe Amatulli <<a href="mailto:giuseppe.amatulli@gmail.com" target="_blank">giuseppe.amatulli@gmail.com</a>> wrote:<br>><br>> Hi, <br>> I'm using the r.stream.extract grass command <br>><br>> r.stream.extract elevation=elv  accumulation=upa threshold=0.5    depression=dep     direction=dir  stream_raster=stream memory=35000 --o --verbose<br>><br>> where the elv is raster of 142690 *  80490 = 11,485,118,100 cell <br>><br>> and I get this error<br>><br>> 12.97% of data are kept in memory<br>> Will need up to 293.52 GB (300563 MB) of disk space<br>> Creating temporary files...<br>> Loading input raster maps...<br>> 0..3..6..9..12..15..18..21..<wbr>24..27..30..33..36..39..42..<wbr>45..48..51..54..57..60..63..<wbr>66..69..72..75..78..81..84..<wbr>87..90..93..96..99..100<br>> ERROR: Unable to load input raster map(s)<br><br></div></span>This error is caused by integer overflow because not all variables necessary to support such large maps were 64 bit integer.</div><div><br></div><div>Fixed in trunk and relbr72 with r71620,1, and tested with a DEM with 172800 * 67200 = 11,612,160,000 cells: r.stream.extract finished successfully in 18 hours (not a HPC, a standard desktop maschine with 32 GB of RAM and a 750 GB SSD).<br></div><div><span class=""><div>><br>> According to the help manual the memory=35000 should be set in according to the overall memory available. I set the HPC upper memory limit to 40G. <br>><br>> I try several combination of these parameters  but i still get the same error. <br>> If the r.stream.extract is based on r.watershed than the segmentation  library should be able to handle a huge raster. <br></div><div><br></div></span><div>r.stream.extract is based on a version of r.watershed that did not support yet such huge raster maps, therefore support for such huge raster maps needed to be added to r.stream.extract separately.<br></div><span class=""><div><br></div><div>><br>> Anyone know how to over pass this limitation/error ?<br></div><div><br></div></span><div>Please use the latest GRASS 7.2 or GRASS 7.3 version from svn.</div><div><br></div><div>Markus M</div><div><br></div><div><span class="">><br>> Thank you <br>> Best <br>> --<br>> Giuseppe Amatulli, Ph.D.<br>><br>> Research scientist at<br>> Yale School of Forestry & Environmental Studies<br>> Yale Center for Research Computing<br>> Center for Science and Social Science Information<br>> New Haven, 06511<br>> Teaching: <a href="http://spatial-ecology.org" target="_blank">http://spatial-ecology.org</a><br>> Work:  <a href="https://environment.yale.edu/profile/giuseppe-amatulli/" target="_blank">https://environment.yale.edu/<wbr>profile/giuseppe-amatulli/</a><br>><br></span>> ______________________________<wbr>_________________<br>> grass-user mailing list<br>> <a href="mailto:grass-user@lists.osgeo.org" target="_blank">grass-user@lists.osgeo.org</a><br>> <a href="https://lists.osgeo.org/mailman/listinfo/grass-user" target="_blank">https://lists.osgeo.org/<wbr>mailman/listinfo/grass-user</a><br><br></div></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>Giuseppe Amatulli, Ph.D.<br><br>Research scientist at<br><span>Yale School of Forestry & Environmental Studies<br></span><span>Yale Center for Research Computing<br></span>Center for Science and Social Science Information<br>New Haven, 06511<br><div>
   Teaching: <a href="http://spatial-ecology.org" target="_blank">http://spatial-ecology.org</a>
  </div> 
  
   Work:  <a href="https://environment.yale.edu/profile/giuseppe-amatulli/" target="_blank">https://environment.yale.edu/profile/giuseppe-amatulli/</a> <br></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</div>