<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Feb 13, 2015 at 10:13 AM, Paulo van Breugel <span dir="ltr"><<a href="mailto:p.vanbreugel@gmail.com" target="_blank">p.vanbreugel@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div>Hi Pietro,<br><br></div>Thanks for the suggestion, I will have a look at the documentation.<span class=""><font color="#888888"><br><br></font></span></div><span class=""><font color="#888888">Paulo<br></font></span></div><div class=""><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Feb 13, 2015 at 10:09 AM, Pietro <span dir="ltr"><<a href="mailto:peter.zamb@gmail.com" target="_blank">peter.zamb@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Dear Paulo,<br>
<span><br>
On Fri, Feb 13, 2015 at 9:57 AM, Paulo van Breugel<br>
<<a href="mailto:p.vanbreugel@gmail.com" target="_blank">p.vanbreugel@gmail.com</a>> wrote:<br>
> I guess this is because the calculations are done in-memory? Any way to<br>
> avoid this memory problem when using large data sets (something like working<br>
> with memmap objects?)<br>
<br>
</span>With memmap you still have a limits of 2Gb I guess, you should try: dask<br></blockquote></div></div></div></div></blockquote><div><br></div><div>Just reading the memmap manual page, where it reads: "Memory-mapped arrays use the Python memory-map object which
(prior to Python 2.5) does not allow files to be larger than a
certain size depending on the platform. This size is always < 2GB
even on 64-bit systems.". Which is unclear to me; I am not sure if that means that this limit is different or does not apply when on Python 2.5 or newer (what is the minimum python version for GRASS?)<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class=""><div class="h5"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Dask Array implements the NumPy ndarray interface using blocked<br>
algorithms, cutting up the large array into many small arrays. This<br>
lets us compute on arrays larger than memory using all of our cores.<br>
We coordinate these blocked algorithms using dask graphs.<br>
<br>
<a href="http://dask.readthedocs.org/en/latest/array.html" target="_blank">http://dask.readthedocs.org/en/latest/array.html</a><br>
<br>
I didn't have a chance to try it yet, but it support a numpy array<br>
syntax, and since you are using quite basic functionalities I think<br>
you should be able to work with it.<br></blockquote></div></div></div></div></blockquote><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class=""><div class="h5"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
All the best<br>
<span><font color="#888888"><br>
Pietro<br>
</font></span></blockquote></div><br></div>
</div></div></blockquote></div><br></div></div>