[Croatia] Benchmarking prostornih baza

[Darko Boto]

2011/2/2 Zoran Jankovic <zoran.jankovic at zisis.hr>:
>
>
> 2011/2/2 Dražen Odobašić <dodobas at geoinfo.geof.hr>
>>
>> On 02.02.2011 08:14, Dejan Gambin wrote:
>>>
>>> Meni je ovo:
>>>
>>>> $osm2pgsql -l -d load_test croatia.osm
>>>
>>> (croatia.osm.bz2 preuzeto sa http://download.geofabrik.de/osm/europe/,
>>> croatia.osm je 257MB)
>>>
>>> trajalo oko minute. Mac OS 10.6, 4GB RAM. Presporo?
>>>
>>> dejan
>>
>> Nema nikakvog smisla mjeriti ikakvo vrijeme na tako maloj datoteci,
>> prvenstveno zbog toga što cijela stane u memoriju. Drugo, sustav koji se
>> temelji na FULL importu podataka u bazu umjesto primjeni dnevnih/tjednih
>> razlika jer jednostavno loše zamišljen. Htjedoh reći import se radi jednom i
>> nikad više :D

Drazene, nije ovo bilo mjerenje loada... samo referenca Mariu na
trajanje loada .osm fajla u postgresql.

>>
>> Dakle osm podaci nisu u čitljivom 'GIS' formatu, te ih treba na neki način
>> pretvoriti u standardni format koji je može 'upucati' u sve baze pomoću
>> nekih loadera za bazu. Loader bi mogao biti OGR koji ima podršku za POSTGIS,
>> MSSQL, SpatiaLite i Oracle.
>>
>> Dakle prijedlog: nekako dovući OSM u spatialite bazu (SHP ima prekrasno
>> ograničenje na 2GB) i onda pomoću 'posebno' pripremljenog OGR-a puniti bazu
>> ?
>>
>> Spatialite zbog toga što se sve nalazi u jednoj datoteci...
>>
>> Dražen
>>
>
> Hm, ima li smisla po tome onda uopće benchmarkat update? Nije da ćeš
> updateat po 2 GB odjednom, već se radi o manjim količinama koje će se po
> defaultu učitati jako brzo?
> Hoću reći: ovo s OGR pristupom zvuči dobro s jedne strane, ujednačava se
> pristup svim bazama, ali mislim da bi trebalo obratiti pažnju i na initial
> load - svaka baza ima to riješeno na svoj način, i baš zato ih treba
> isprobati... Dakle, benchmarkat i jedno i drugo? Također, Spatialite kao
> početni storage je OK, ali da se ne lažemo i ne živimo u iluziji, većina
> podataka će uvijek doći u SHP (ako imamo sreće da nije neuređeni DXF :-( ).
> LP,

Nacelno se slazem sa Zoranom... nisam siguran da treba ujednacavati
load ali i to bi bilo zanimljivo probati. Sve baze imaju neki svoj
loader i to je uvijek (koliko znam) shapefile loader. Korisnici tih
baza ce koristiti njega za punjenje sajta i to je na neki nacin
sastavni dio tog sustava pa bih ga tako i tretirao.

Za punjenje s OGR-om mozemo iz baze, u koji je nagurani osm podaci,
exportati u neki textualni file (GML ili CSV npr.) pa ga s OGR-om
gurnuti u bazu. Nije puno posla a zvuci OK vidjeti da li su OGR-ovi
driveri brzi ili spriji od loadera proizvodjaca. Pada mi na pamet da
OGR driveri mogu biti bolje ili losije implementirani za razlicite
baze pa bi mogli za spori load okriviti bazu a da se OGR provuce.

Ma trebamo paziti da se ne rasirimo na benchmarking samih baza nego da
se u testovima ogranicimo na ovaj dio implementacije prostorne podrske
a i tako ce se pokazati i performanse baza.

Pitanje:
Znaci od podataka trebali bi pripremiti:
- shp polygona (merge nature i buildings)
- shp linija (streets)
- shp tocaka (POI i locations)

-te CSV ili GML export jednog od slojeva gore za load sa OGR-om?


> ---
> Zoran
>
> _______________________________________________
> Croatia mailing list
> Croatia at lists.osgeo.org
> http://lists.osgeo.org/mailman/listinfo/croatia
>
>