At those rates, you would need to shard out across a few servers.. so picking your sharding/splitting function is crucial..<br><br><div class="gmail_quote">On Wed, May 27, 2009 at 1:25 PM, Rick <span dir="ltr"><<a href="mailto:graham.rick@gmail.com">graham.rick@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">I have a similar problem with Radar data.  I'd be interested in<br>
hearing any ideas on this topic.<br>
<br>
On Wed, May 27, 2009 at 12:43 PM, Stephen Woodbridge<br>
<<a href="mailto:woodbri@swoodbridge.com">woodbri@swoodbridge.com</a>> wrote:<br>
> Alexander Cohagen wrote:<br>
>><br>
>> Hi,<br>
>><br>
>> I have the following data in the system:<br>
>> 1. Points - retrieved from users GPS devices every 10 seconds. (x,y,z -<br>
>> lon,lat,alt)<br>
>> 2. timestamp for each point<br>
>><br>
>><br>
>> So my amount could potentially grow to:<br>
>> 1 day, 1 user = 8640 coordinates<br>
>> 1 day, 10 000 users = 8 640 000 coordinates<br>
>> A year, 10 000 users = 3 153 600 000<br>
>><br>
>> How could i store such amount of data using postgis in the most effective<br>
>> way?<br>
><br>
> "effective" with respect to what? It might be "effective" to dump them all<br>
> into a table if you never need to access them. You have only define one half<br>
> of your problem. Lets say we have them all stored in the most "effective"<br>
> possible way, now what do you need to do with all these points? How do you<br>
> need to access them? what is the most common query you will need to do? What<br>
> is the most obscure query? what performance criteria do you have? etc<br>
><br>
> -Steve<br>
><br>
>> Breaking into several little qustions:<br>
>> 1. Should i store all points in 1 table or in several tables each for<br>
>> exact time period(all inheriting 1 main table with no data)?<br>
>> 2. Should i create the GIST index and make VACUUM ANALYZE?<br>
>> 3. What other performance tips could be helpful? (if you point me to<br>
>> information about clustering tables or computers with postgis, to best<br>
>> practises of other people handling such huge amount of data - i appreciate<br>
>> it).<br>
>><br>
>> Anticipating some questions:<br>
>> 1. Yes, I can afford a computing cloud or own computer cluster if<br>
>> needed(But I dont know how to cluster the postegre)<br>
>> 2. Yes, there is some more data for each coordinate - user_id, timestamp.<br>
>> 3. Yes, there will be enough writting and quiering this database. The<br>
>> queries will extract points with distance not more than X from a given point<br>
>> for a given user_id and timestamp.<br>
>><br>
>><br>
>><br>
>><br>
>><br>
>> ------------------------------------------------------------------------<br>
>><br>
>> _______________________________________________<br>
>> postgis-users mailing list<br>
>> <a href="mailto:postgis-users@postgis.refractions.net">postgis-users@postgis.refractions.net</a><br>
>> <a href="http://postgis.refractions.net/mailman/listinfo/postgis-users" target="_blank">http://postgis.refractions.net/mailman/listinfo/postgis-users</a><br>
><br>
> _______________________________________________<br>
> postgis-users mailing list<br>
> <a href="mailto:postgis-users@postgis.refractions.net">postgis-users@postgis.refractions.net</a><br>
> <a href="http://postgis.refractions.net/mailman/listinfo/postgis-users" target="_blank">http://postgis.refractions.net/mailman/listinfo/postgis-users</a><br>
><br>
<font color="#888888"><br>
<br>
<br>
--<br>
Cheers!<br>
Rick<br>
_______________________________________________<br>
postgis-users mailing list<br>
<a href="mailto:postgis-users@postgis.refractions.net">postgis-users@postgis.refractions.net</a><br>
<a href="http://postgis.refractions.net/mailman/listinfo/postgis-users" target="_blank">http://postgis.refractions.net/mailman/listinfo/postgis-users</a><br>
</font></blockquote></div><br>