[Croatia] Benchmarking prostornih baza

[Darko Boto]

2011/2/1 Mario Miler <mmiler at geoinfo.geof.hr>:
> Da, nema zgrada, samo šume i vodene površine i za područje Njemačke je to
> cca 500 000 poligona, što je očito premalo. Postoje shp-ovi po regijama, ali
> mislim da bi merganje tih shp-ova dosta trajalo.

Ne bi smjelo to trajati.  Imam neku skriptu za merge shapefileova
(OGR) i ono sto ona radi je da appenda podatke iz vise shape fileova u
jedan i to je cisto prepisivanje.
Sumljiv mi je i taj tvoj load... zadnje veliko sto sam loadao su bile
10m izohipse za cijelu hrvatsku (oko 1,5 GB koliko se sjecam) i to je
trajalo par minuta (toliko da nisam primjetio neku sporost). Ceste za
njemacku imaju oko 870MB i nema se sto loadati 2 dana. Moze jos netko
probati to naloadati lokalno?


> Postavio sam import cijele
> Njemačke u Postgis bazu, ali to traje. Trenutno se importira već 24h i
> mislim da će do kraja dana biti gotovo, tako da sutra ću znati kaj imam od
> podataka. Komp na kojem se importa i nije baš neki, pa je to vjerojatno
> razlog. Mislio sam da će brže ići taj import, pa mi je sada glupo prekinuti.
> Nisam mislio da ćemo imati problem s količinom podataka.
> Postavlja se opet pitanje, kako uopće testirati baze? Možemo mi napraviti
> queryije koji će biti zahtijevni, recimo odrediti dva najbliža (najdalja)
> poligona i sl. što su dosta zahtijevni upiti i ne koriste baš prostorni
> index, ali tada testiramo čistu procesorsku snagu baze. Treba malo
> razmisliti.

OK je imati u vidu koji upiti koriste indexe a u koji cistu proc
snagu, i neka ima i jednih i drugih (moramo samo paziti da sve baze u
tom slucaju koriste sve jezgre). Iz toga cemo znati vise o
implementacji.
Baze koriste i razlicite indexe i implementacije su drugacije pa cemo
vidjeti... pokazat ce tko je taj dio bolje napravio.
Brzinu loada cemo isto mjeriti (i vrijeme i velicinu)

>
> On 1.2.2011. 9:46, Darko Boto wrote:
>>
>> Mario, malo sam sinoc gledao podatke tj. ove shapefileove od OSM-a i
>> nisam mogao naci zgrade ni u jednom od  shapeova.
>> Da bi povecali broj polygona pada mi na pamet da mergeamo nature (oko
>> 420 000 objekata) i zgrade kojih bi za njemacku trebalo biti dosta
>> koliko vidim.
>> Kako zgrada nema u shp-ovima trebali bi .osm file naloadati u bazu i
>> onda exportati sve polygone pa ih mergeati. To je moj prijedlog za
>> sada. Nadam se da ima jos ideja.
>>
>> btw. sinoc je namontirana informix baza (C Edition) sa spatial
>> extenzijom a veceras ide jos postgresql/postgis. Na serveru je vec
>> oracle xe... tako da cemo veceras imati tri baze namontirane.
>> Ajmo jos vidjeti koje bi baze benchmarkali da i njih do kraja tjedna
>> dignemo pa krenemo u pisanje query-ja.
>
> _______________________________________________
> Croatia mailing list
> Croatia at lists.osgeo.org
> http://lists.osgeo.org/mailman/listinfo/croatia
>



--