[Portugal] dados raster

Wed Nov 25 12:16:28 EST 2009

Pelo que eu percebi (http://www.gdal.org/gdalinfo.html), parece-me que
sim, o gdalinfo lê o tipo de bandas e tabelas de cor.

Em relação à compactação ou não das imagens a ler por um Mapserver ou
Geoserver, a lógica talvez seja a de não compactação, partindo do
princípio que a leitura será mais rápida. A criação de overviews
externos é feita numa óptica de evitar mais alterações à imagem
original, garantindo a compatibilidade. De qualquer maneira, só testando
as várias possibilidades com uma base de dados relevante é que se poderá
tirar conclusões relativas à qualidade e rapidez do serviço.

A escrita de worldfiles externos é utilizada para garantir que a imagem
será georeferenciada pela generalidade das aplicações, mesmo se não
lerem as informações internas.

Relativamente à manutenção dos metadados internos das imagens, as
aplicações GDAL não as destroem, apenas alteram consoante as
necessidades. O mesmo não se passa com a utilização de outras aplicações
de edição de imagem: se abrirmos uma imagem e a alterarmos verifica-se a
perda dos metadados internos.

Luís

On Wed, 2009-11-25 at 03:46 -0800, dncarreira wrote:
> Carlos,
> 
> Quando o formato de saída é o GTiff ou ECW, que podem incluir a
> georreferenciação no próprio ficheiro .tif/.ecw, o GDAL mantém a informação
> que detecta nos ficheiros originais. No caso caso do JPEG como no comando
> indicado pelo Luís se exporta o world file, pelo menos as coords ficam
> garantidas. Em relação ao sistema de coordenadas já não me lembro se é
> criado algum ficheiro que o identifique, mas pode não ser necessário
> consoante o programa onde os jpegs serão lidos.
> 
> Quanto ao tilling que referi no meu 1º email, queria referir-me ao tiling
> interno nos ficheiros tif com a opção "-co tiled=yes". Esta opção permite um
> acesso mais rápido a uma região dentro de um ficheiro.
> 
> Para o MapServer é mais rápido servir tudo em tiffs descomprimidos. A
> compressão deve ser bem escolhida. No caso de ortos (24 bit, 3 bandas),
> penso que a melhor compressão é do tipo lzw, usando as opções "-co
> COMPRESS=LZW -co PREDICTOR=2". Fiz um artigo em tempos com as opções e
> sintaxes: http://blog.viasig.com/2009/01/gdal-formatos-comprimidos/, mas não
> testei a performance.
> 
> Outra questão que podes querer considerar é a criação de overviews... ou
> seja, se criares ficheiros com resoluções piores, que são usados para certos
> intervalos de escalas, podes depois criar um GROUP LAYER no MapServer em que
> cada resolução é visível apenas a determinadas escalas. Consoante o
> utilizador faz zoomin, é mostrado um layer de melhor resolução, em sucessão
> até à melhor resolução nas escalas maiores. Este tipo de abordagem dá o
> melhor desempenho e também funciona nos clientes desktop. Até dispensa
> manter uma cópia dos ortos em JPEG.
> 
> Finalmente, quando se criam estas imagens de resolução inferior, devem-se
> agregar em ficheiros de maior extensão geográfica, para reduzir o número de
> ficheiros que têm de ser lidos. Isto tem um impacto significativo no
> desempenho. É mais dispendioso ler um enorme n.º de ficheiros pequenos, do
> que ler um pequeno n.º de grandes ficheiros (com limites, claro).
> 
> Suponho que a utilização do TILEINDEX no MapServer também é feita...
> 
> Já agora, o gdalinfo não mostra a profundidade de cor e n.º de bandas das
> imagens?
> 
> Até breve.
> Duarte
> 
> 
> 
> 
> carlos sousa wrote:
> > 
> > Boas,
> > 
> > Luis, muito obrigado pelas dicas que são de extrema utilidade neste
> > processo de trabalho, o qual agradecemos a ajuda e esperamos, um dia,
> > poder retribuir de forma identica.
> > Queria, só perguntar mais uma coisa, e para não bater no ceguinho,
> > preciso de saber se o processo de transformação do gdal_translate,
> > mantem a georeferenciação do ficheiro original, ou se é necessário
> > fazer uma nova georeferenciação?
> > Os .tff e .ecw que tenho já estão georeferenciados no ambiente que já
> > temos actualmente da esri.
> > 
> > Obrigado
> > 
> > Carlos
> > 
> > 2009/11/24 Luís Ferreira <lferreira75.1 at gmail.com>:
> >>
> >> Podes usar uma aplicação para verificar se a cor é indexada. O GIMP é
> >> opensource e fica pouco atrás de um Photoshop.
> >>
> >> Se as imagens tiverem apenas uma banda e um colormap, são de cor
> >> indexada. Um exemplo é a série cartográfica m888 (1:25000) da Carta
> >> Militar de Portugal, do IgeoE.
> >>
> >> No caso dos ecw, retirando a opção -expand, será:
> >>
> >> find . -type f -name '*.ecw' -exec gdal_translate -of JPEG -co
> >> "WORLDFILE=YES" {} {}.jpg \;
> >>
> >> Para a leitura do formato ecw terás de ter as librarias GDAL compiladas
> >> com suporte para ECW.
> >>
> >> No caso do Ubuntu/Debian é relativamente fácil adicionando as fontes
> >> https://launchpad.net/~ubuntugis/+archive/ubuntugis-unstable  à
> >> source.list de repositórios.
> >>
> >> Instalar o pacote gdal-ecw-src via Synaptic ou apt-get install e seguir
> >> as indicações em /usr/share/doc/gdal-ecw-src/README.Debian.
> >>
> >> #apt-get install gdal-ecw-src
> >> Copiar libecwj2-3.3 para /usr/local/libecwj2-3.3, compilar e instalar
> >> normalmente (os ficheiros vão encontrar-se em /usr/local/lib).
> >> #sudo gdal-ecw-build /usr/local/
> >> #sudo ldconfig
> >> #gdalinfo --formats | grep -i ecw
> >>
> >>
> >>
> >> On Tue, 2009-11-24 at 21:02 +0000, carlos sousa wrote:
> >>> Boas,
> >>>
> >>> Obrigado pelos 2 centimos. Como sei se os tiff são de cor indexada? e
> >>> já agora, o procedimento para converter os ecw é o mesmo sugerido nos
> >>> comandos find ?
> >>>
> >>> Obrigado,
> >>>
> >>> Carlos
> >>>
> >>> 2009/11/24 Luís Ferreira <lferreira75.1 at gmail.com>:
> >>> > My two cents.
> >>> >
> >>> > Um exemplo para conversão de formato em Ubuntu/Debian, usando
> >>> > gdal_tranlate e gdaladdo para a criação de overviews. Adapta consoante
> >>> > necessário.
> >>> >
> >>> > A opção -expand é necessária apenas no caso de teres tifs com cor
> >>> > indexada.
> >>> >
> >>> > find . -type f -name '*.tif' -exec gdal_translate -of JPEG -expand rgb
> >>> > -co "WORLDFILE=YES" {} {}.jpg \;
> >>> >
> >>> > find . -type f -name '*.jpg' -exec gdaladdo -r gauss -ro {} 2 4 8 \;
> >>> >
> >>> > Em relação a serviços WMS para WWW dou a ideia de output em formato
> >>> png.
> >>> > Já usei este formato de output com uma velocidade de upload sofrível e
> >>> > as percas de profundidade de cor cor não são relevantes. Outras ideias
> >>> > são, tal como referido pelo Duarte Carreira, um TileIndex e uma cache.
> >>> > Nunca usei o TileCache mas usei cache baseado em Apache com bons
> >>> > resultados. Um framework que está aí para ficar: Mapfish :)
> >>> >
> >>> > find . -type f -name '*.tif' -exec gdal_translate -of JPEG -expand rgb
> >>> > -co "WORLDFILE=YES" {} {}.jpg \;
> >>> >
> >>> > Bom trabalho e "fritadelas" no cêrebro.
> >>> >
> >>> > On Tue, 2009-11-24 at 20:00 +0000, carlos sousa wrote:
> >>> >> Boas,
> >>> >>
> >>> >> Obrigado pelo entusiasmo mostrado. Julgo que vou optar, numa fase
> >>> >> inicial, em usar os tiff pois não tenho problemas com espaço em
> >>> disco,
> >>> >> nem com a rede local pois esta está a funcionar em GBps e tenho fibra
> >>> >> óptica a ligar os servidores aos switch onde estao os utilizadores.
> >>> >> Em alternativa pode-se usar os jpegs e png pois estou a trabalhar com
> >>> >> os dados reduzidos ao meu concelho, logo não devo ter muito mais do
> >>> >> que uns 18-25gb ocupados com os tiff.Quando tiver tudo direitinho a
> >>> >> funcionar como WMS, posso acrescentar outro serviço em jpg para poder
> >>> >> ser visualizado pela internet sem grandes atrasos.
> >>> >> Sendo um adepto das tecnologias abertas, apenas vou pedir ao pessoal
> >>> >> para dar uma ajuda a criar o processo de converter as minhas cartas
> >>> >> militares em tiff e os ortofotos em ecw para o mesmo formato, 1º em
> >>> >> tiff comprimido e 2º em jpg.
> >>> >>
> >>> >> Obrigado
> >>> >>
> >>> >> Carlos
> >>> >>
> >>> >> 2009/11/24 dncarreira <DCarreira at edia.pt>:
> >>> >> >
> >>> >> > Carlos,
> >>> >> >
> >>> >> > Em 1º lugar, parabéns pelo avanço no projecto.
> >>> >> >
> >>> >> > Em relação aos rasters, a opção que indicas parece ser a mais
> >>> universal,
> >>> >> > porque embora o PostGIS tenha já um projecto de suporte a raster na
> >>> bd, o
> >>> >> > acesso aos mesmos é ainda muito restrito. Teremos de aguardar até
> >>> que se
> >>> >> > massifique esta opção.
> >>> >> >
> >>> >> > Há formas de optimizar o acesso aos rasters no MapServer, e aqui
> >>> julgo que
> >>> >> > valerá muito a pena investir o tempo suficiente até afinar bem a
> >>> >> > configuração. Material não falta e o processo não é muito
> >>> complicado:
> >>> >> > http://mapserver.org/optimization/raster.html
> >>> >> >
> >>> >> > A questão de escolher o formato de imagem para criar o repositório
> >>> já é mais
> >>> >> > ambiguo e é preciso alguns testes. O Tiff é o mais rápido mas ocupa
> >>> mais
> >>> >> > espaço, e a partir de certo tamanho compensa usar um formato
> >>> comprimido como
> >>> >> > o ECW (porque o acesso ao disco começa a ser mais lento que a
> >>> >> > descompressão). Aqui começam as questões de licenciamento... é
> >>> preciso
> >>> >> > investigar se podemos ou não usar o driver ECW para comprimir as
> >>> nossas
> >>> >> > imagens. (Isto tem mudado e já não tenho a certeza disto, mas penso
> >>> que
> >>> >> > podemos comprimir até certo tamanho.)
> >>> >> > Uma opção a ter em conta será Tiff com compressão JPEG, mas
> >>> testando é que
> >>> >> > se conclui o que funciona melhor para as imagens em causa.
> >>> >> >
> >>> >> > Claro que criar overheads (pirâmides) é essencial para imagens de
> >>> grande
> >>> >> > resolução. E tilling quando cobrem áreas geográficas relativamente
> >>> grandes
> >>> >> > quando comparadas com as visualizações mais comuns feitas pelos
> >>> nossos
> >>> >> > utilizadores.
> >>> >> >
> >>> >> > Bom trabalho, e diz-nos as conclusões a que chegarem! Aqui está uma
> >>> óptima
> >>> >> > apresentação!
> >>> >> >
> >>> >> > Um abraço,
> >>> >> > Duarte
> >>> >> >
> >>> >> >
> >>> >> >
> >>> >> > carlos sousa wrote:
> >>> >> >>
> >>> >> >> Caros amigos,
> >>> >> >>
> >>> >> >> Quero partilhar convosco a novidade do facto de nós aqui no nosso
> >>> >> >> serviço ja termos implementado a utilização a das ferramentas sig
> >>> em
> >>> >> >> opensource, a cerca de 3/5 do objectivo pretendido, deixar de
> >>> depender
> >>> >> >> de estruturas closed source sig e redução de custos:
> >>> >> >>
> >>> >> >> 1 - 5 : Trabalho em desktop opensource sig: QGIS, uDig e gvSig;
> >>> >> >> 2 - 5 : Criação do servidor e base de dados postgres/postgis ;
> >>> >> >> 3 - 5 : Carregamento dos dados vectoriais, cartográficos,
> >>> temáticos e
> >>> >> >> diversos;
> >>> >> >>
> >>> >> >> falta:
> >>> >> >>
> >>> >> >> 4 - 5 : Carregamento dos dados raster, ortofotos, cartas
> >>> militares,
> >>> >> >> blue marble, 500k, crif;
> >>> >> >> 5 - 5 : Formação interna junto dos diversos sectores que utilizam
> >>> ou
> >>> >> >> tem necessidade de gerar informação gráfica;
> >>> >> >>
> >>> >> >> Para chegar a este ponto contamos com a formação da amal e apoios
> >>> no
> >>> >> >> OSGEO-Pt e com a ajuda preciosa da ferramenta gisvm do Ricardo
> >>> Pinho,
> >>> >> >> sem a qual não teriamos chegado a este patamar em tão pouco tempo.
> >>> >> >>
> >>> >> >> Gostava era de contar com a vossa ajuda para ter a noção de qual o
> >>> >> >> melhor passo a dar para passar à fase 4-5: dados raster. Isto é um
> >>> >> >> pouco complicado pois passar da solução
> >>> >> >> ArcSDE/ArcIMS/MicrosoftSQLServer para a solução opensource, não é
> >>> >> >> possível replicar a existencia de dados raster na base de dados
> >>> >> >> postgis, à semelhanca da solução da Esri.
> >>> >> >>
> >>> >> >> A ideia com que fiquei e com a ajuda do ricardo pinho, a sugestão
> >>> é
> >>> >> >> criar um servidor mapserver ou geoserver para servirem WMS dos
> >>> dados
> >>> >> >> raster, e que tanto serve para os projectos internos em desktop,
> >>> como
> >>> >> >> para o openlayers ou pmapper para o exterior e internet.
> >>> >> >>
> >>> >> >> Esta solução é a mais sensata no estado actual das soluções
> >>> opensource
> >>> >> >> ou há outra solução a poder implementar e que eu não tenha
> >>> >> >> conhecimento
> >>> >> >>
> >>> >> >> Obrigado
> >>> >> >>
> >>> >> >> Carlos Sousa
> >>> >> >> _______________________________________________
> >>> >> >> Portugal mailing list
> >>> >> >> Portugal at lists.osgeo.org
> >>> >> >> http://lists.osgeo.org/mailman/listinfo/portugal
> >>> >> >>
> >>> >> >>
> >>> >> >
> >>> >> >
> >>> >> > -----
> >>> >> > Duarte
> >>> >> > --
> >>> >> > View this message in context:
> >>> http://n2.nabble.com/dados-raster-tp4052977p4059614.html
> >>> >> > Sent from the OSGeo Portuguese Local Chapter mailing list archive
> >>> at Nabble.com.
> >>> >> > _______________________________________________
> >>> >> > Portugal mailing list
> >>> >> > Portugal at lists.osgeo.org
> >>> >> > http://lists.osgeo.org/mailman/listinfo/portugal
> >>> >> >
> >>> >> _______________________________________________
> >>> >> Portugal mailing list
> >>> >> Portugal at lists.osgeo.org
> >>> >> http://lists.osgeo.org/mailman/listinfo/portugal
> >>> >
> >>> >
> >>> >
> >>
> >>
> >>
> > _______________________________________________
> > Portugal mailing list
> > Portugal at lists.osgeo.org
> > http://lists.osgeo.org/mailman/listinfo/portugal
> > 
> > 
> 
> 
> -----
> Duarte