<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Dec 16, 2015 at 4:38 PM, Tom van Tilburg <span dir="ltr"><<a href="mailto:tom.van.tilburg@gmail.com" target="_blank">tom.van.tilburg@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I have a las-zip file of 3 gigs and try to run a pdal splitter filter on it. PDAL will try to load the entire file into memory (30 GB) which doesn't fit and segfaults upon that.<div>Would there be an option to split the large las file first into smaller blocks based on extent by simply running over all points and writing them directly to output instead of first caching it?</div></div></blockquote><div><br></div><div>When you say it doesn't fit, I'm not sure what you're saying.  Are you saying that you don't have sufficient virtual memory to deal with the dataset?  If that's the case, the easiest solution is to increase the virtual memory on your system by adding more swap space.  You can Google specific information on your system on how to do this.</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I tried the crop filter as well but it also seems to load all points into memory first.</div><div>It is possible with lastools but I would prefer to keep my process within a pdal-based script.</div></div></blockquote><div><br></div><div>We have just added "streaming" to the repository which works with some data sources and filters (LAS and the crop filter are included), however, you'd have to write C++ code at the current time to take advantage of it.  This would let you, say, divide your dataset into two files that could then be run through the splitter individually (the splitter doesn't support streaming).  If you're interested in tackling this, take a look at StreamingTest.cpp, or alternatively many of the tests for filters now contain examples to test the streaming capabilities.  You can also write back and I'd be happy to help.</div><div><br></div><div>Still, the easiest thing is to add some swap and be done unless you're running into some other limitation that I don't understand.</div><div><br></div><div>-- <br></div></div><div class="gmail_signature">Andrew Bell<br><a href="mailto:andrew.bell.ia@gmail.com" target="_blank">andrew.bell.ia@gmail.com</a></div>
</div></div>