<div dir="ltr"><div><div><br><br>On Mon, Oct 30, 2017 at 1:42 PM, Giuseppe Amatulli <<a href="mailto:giuseppe.amatulli@gmail.com">giuseppe.amatulli@gmail.com</a>> wrote:<br>><br>> Hi, <br>> I'm using the r.stream.extract grass command <br>><br>> r.stream.extract elevation=elv  accumulation=upa threshold=0.5    depression=dep     direction=dir  stream_raster=stream memory=35000 --o --verbose<br>><br>> where the elv is raster of 142690 *  80490 = 11,485,118,100 cell <br>><br>> and I get this error<br>><br>> 12.97% of data are kept in memory<br>> Will need up to 293.52 GB (300563 MB) of disk space<br>> Creating temporary files...<br>> Loading input raster maps...<br>> 0..3..6..9..12..15..18..21..24..27..30..33..36..39..42..45..48..51..54..57..60..63..66..69..72..75..78..81..84..87..90..93..96..99..100<br>> ERROR: Unable to load input raster map(s)<br><br></div>This error is caused by integer overflow because not all variables necessary to support such large maps were 64 bit integer.</div><div><br></div><div>Fixed in trunk and relbr72 with r71620,1, and tested with a DEM with 172800 * 67200 = 11,612,160,000 cells: r.stream.extract finished successfully in 18 hours (not a HPC, a standard desktop maschine with 32 GB of RAM and a 750 GB SSD).<br></div><div><div>><br>> According to the help manual the memory=35000 should be set in according to the overall memory available. I set the HPC upper memory limit to 40G. <br>><br>> I try several combination of these parameters  but i still get the same error. <br>> If the r.stream.extract is based on r.watershed than the segmentation  library should be able to handle a huge raster. <br></div><div><br></div><div>r.stream.extract is based on a version of r.watershed that did not support yet such huge raster maps, therefore support for such huge raster maps needed to be added to r.stream.extract separately.<br></div><div><br></div><div>><br>> Anyone know how to over pass this limitation/error ?<br></div><div><br></div><div>Please use the latest GRASS 7.2 or GRASS 7.3 version from svn.</div><div><br></div><div>Markus M</div><div><br></div><div>><br>> Thank you <br>> Best <br>> --<br>> Giuseppe Amatulli, Ph.D.<br>><br>> Research scientist at<br>> Yale School of Forestry & Environmental Studies<br>> Yale Center for Research Computing<br>> Center for Science and Social Science Information<br>> New Haven, 06511<br>> Teaching: <a href="http://spatial-ecology.org">http://spatial-ecology.org</a><br>> Work:  <a href="https://environment.yale.edu/profile/giuseppe-amatulli/">https://environment.yale.edu/profile/giuseppe-amatulli/</a><br>><br>> _______________________________________________<br>> grass-user mailing list<br>> <a href="mailto:grass-user@lists.osgeo.org">grass-user@lists.osgeo.org</a><br>> <a href="https://lists.osgeo.org/mailman/listinfo/grass-user">https://lists.osgeo.org/mailman/listinfo/grass-user</a><br><br></div></div></div>