
<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /></head><body style='font-size: 10pt; font-family: Verdana,Geneva,sans-serif'>

<p>Hi,</p>

<p>I got information from Matthias, that the new "Temporary Output Folder Path" is only used by algorithms around GDAL, SAGA and ExecuteSQL, and not for vector based QGIS algorithms. I don't know about GRASS - probably this also runs through files?</p>

<p>I think we need to address this issue with priority, ideally also with at backport to our LT version 3.10. Running large vector files always through memory sounds dangerous to me. It can easily bring a system to halt.</p>

<p>The question is, if the switch between memory only operations, or disk based operations can be determined by software or if it requires user intervention. Often, it is hard to guess in advance, whether an algorithm runs out of memory or not. Certainly our average users would have no idea about this.</p>

<p>I wonder, how other systems do it? As far as I know, FME always does things disk based, to stay on the safe side - or am I wrong?</p>

<p>Greetings,</p>

<p>Andreas</p>

<p id="reply-intro">On 2019-12-05 08:18, Richard Duivenvoorde wrote:</p>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<div class="pre" style="margin: 0; padding: 0; font-family: monospace">On 05/12/2019 01.01, Nyall Dawson wrote:

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">What's needed/missing is a method for the memory data provider to<br />detect when a layer is growing too large, and start writing this out<br />to disk. (Important note: we CAN'T use any of the standard spatial<br />formats for this (as they are lossy when compared to the memory<br />provider support), so we'd need to directly serialize the memory layer<br />features to a custom binary format, with indexing support for rapid<br />retrieval of features.</blockquote>

<br />If I understand correct, FME is also working with (indexed) temp files?<br />I'm not an FME user, so I can bu wrong, but I always wondered what kind<br />of format that is...<br /><br />IF we (as FOSS community) could come up with some (new?) indexed file<br />format, it (besides being a in-between product for transformations) also<br />a potential data exchange format (maybe some zipped version of file+index?)?<br /><br />Anybody into this?<br /><br />Regards,<br /><br />Richard Duivenvoorde</div>

</blockquote>

<p><br /></p>


</body></html>