<div dir="ltr">Hi Andrew,<div><br></div><div><span style="line-height:1.5">Increasing SWAP is possible but wouldn't this seriously degrade the performance? I have about 30 gigs of RAM and it already takes ages to load everything in there.</span><br></div><div><br></div><div>Streaming would definitely be a way to go, as it works fine with lastools for me. I'll look into it. Chopping the data into smaller spatial blocks would be my first approach here.</div><div>Any estimate on when streaming will get into the api?</div><div><br></div><div>Best, Tom</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Wed, 16 Dec 2015 at 23:54 Andrew Bell <<a href="mailto:andrew.bell.ia@gmail.com">andrew.bell.ia@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Dec 16, 2015 at 4:38 PM, Tom van Tilburg <span dir="ltr"><<a href="mailto:tom.van.tilburg@gmail.com" target="_blank">tom.van.tilburg@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I have a las-zip file of 3 gigs and try to run a pdal splitter filter on it. PDAL will try to load the entire file into memory (30 GB) which doesn't fit and segfaults upon that.<div>Would there be an option to split the large las file first into smaller blocks based on extent by simply running over all points and writing them directly to output instead of first caching it?</div></div></blockquote><div><br></div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>When you say it doesn't fit, I'm not sure what you're saying.  Are you saying that you don't have sufficient virtual memory to deal with the dataset?  If that's the case, the easiest solution is to increase the virtual memory on your system by adding more swap space.  You can Google specific information on your system on how to do this.</div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I tried the crop filter as well but it also seems to load all points into memory first.</div><div>It is possible with lastools but I would prefer to keep my process within a pdal-based script.</div></div></blockquote><div><br></div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>We have just added "streaming" to the repository which works with some data sources and filters (LAS and the crop filter are included), however, you'd have to write C++ code at the current time to take advantage of it.  This would let you, say, divide your dataset into two files that could then be run through the splitter individually (the splitter doesn't support streaming).  If you're interested in tackling this, take a look at StreamingTest.cpp, or alternatively many of the tests for filters now contain examples to test the streaming capabilities.  You can also write back and I'd be happy to help.</div><div><br></div><div>Still, the easiest thing is to add some swap and be done unless you're running into some other limitation that I don't understand.</div><div><br></div><div>-- <br></div></div></div></div><div dir="ltr"><div class="gmail_extra"><div>Andrew Bell<br><a href="mailto:andrew.bell.ia@gmail.com" target="_blank">andrew.bell.ia@gmail.com</a></div>
</div></div></blockquote></div>