[Spanish] Almacenamiento y visualizacion de datos geotemporales

[Jorge Sanz]

El día 1 de abril de 2015, 9:53, Iván Sánchez <ivan en sanchezortega.es> escribió:
> El Miércoles 1. abril 2015 09.39.35 Wladimir Szczerban escribió:
>> Hola Raquel,
>>
>> Yo contactaría con la gente de CartoDB que han hecho cosas parecidas y que
>> trabajan con gran cantidad de datos. Si no me equivoco también tienen
>> fichado al Sr. PostGIS así que seguro te podrán ayudar.
>>
>> Aquí puedes ver un ejemplo de lo que te digo
>> http://cartodb.com/case-studies/wwi-royal-navy/
>
> Y viendo las peticiones que hace eso por dentro se pueden sacar varias
> conclusiones. Si capturas una de las peticiones a datos te sale:
>
> WITH
>   hgrid AS (
>     SELECT CDB_RectangleGrid(
>       CDB_XYZ_Extent(1, 1, 2),
>       CDB_XYZ_Resolution(2) * 2,
>      CDB_XYZ_Resolution(2) * 2
>    ) as cell  )
>  SELECT      x, y, array_agg(c) vals, array_agg(d) dates  FROM (
>    SELECT
>      round(CAST (st_xmax(hgrid.cell) AS numeric),4) x,
>      round(CAST (st_ymax(hgrid.cell) AS numeric),4) y,
>      count(i.cartodb_id) c,
>      floor((date_part('epoch',date)- -1796072400)/508305) d
>    FROM
>       hgrid, ow i
>    WHERE
>       ST_Intersects(i.the_geom_webmercator, hgrid.cell)
>    GROUP BY         hgrid.cell, floor((date_part('epoch',date)-
> -1796072400)/508305)
> ) f GROUP BY x, y
>
>
> Lo cual te dice:
> * Estos tíos de CartoDB saben escribir SQL
> * Saben escribir sus propias funciones y extensiones a PostgreSQL (véase
> https://github.com/CartoDB/cartodb-postgresql/wiki )
> * Tienen los datos organizados en una pirámide de tiles (por la estructura de
> las llamadas a CDB_XYZ_Extent y CDB_XYZ_Resolution, lo cual implica que
>   * Esa es la BDD de explotación, donde tienen los datos desnormalizados y
> reproyectados para que el cliente tenga que pensar lo menos posible, lo cual
> implica que
>     * No se envían al cliente datos innecesarios
> * Filtran las cosas por celda de la pirámide, usando índices espaciales
>
> Véase también
> https://gijs.github.io/images/cartodb_datacubes.pdf
>
> Para la visualización, D3 o algo propio con WebGL/Canvas, o mucha magia para
> leaflet/openlayers. El mostrar millones de filas con javascript y que el
> navegador no se despeine es... un arte :-)
>

... con el que hasta un gañán como un servidor puede hacer cosas
molonas cuando se aburre :-)

http://climate-viz.jorgesanz.net/thunders.html

-- 
Jorge Sanz
http://www.osgeo.org
http://wiki.osgeo.org/wiki/Jorge_Sanz
GPG: 86F8 3EA0 BD19 0CA2 801D  4FB2 6B45 68E4 6FB2 D89D