<div dir="ltr"><div>Hi everybody,</div><div><br></div><div>thanks for the comments. Regarding the technical details:</div><div><br></div><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">Each Tile is its own discrete dataset therefore the hardest part would be merging of features into the original features across tiles. You could use some complicated merging technique, but that could be very expensive.<br></div></blockquote><div><br></div><div>The driver could require "id" parameter, which specifies name of an attribute with unique identifier on the features shared across the tiles. Both MapBox vector tiles and OSM2VectorTiles tiles have an unique non-zero "osm_id" in place. The first version of driver could read only features with such ID. The identifier does not have to be always filled, but often it is, especially in deeper zoom levels derived purely from OpenStreetMap - but yeh, a completely general stitching would be much harder.</div><div><br></div><div>The clipping + merging of shapes itself can be implemented with underlaying GEOS library functions.<br></div><div><br></div><div>BTW It is possible to examine vector tiles data in pure JavaScript X-Ray viewer (no WebGL support on browser required) made in OpenLayers3:</div><div><a href="http://klokantech.github.io/ol3-sandbox/vector/xray.html">http://klokantech.github.io/ol3-sandbox/vector/xray.html</a><br></div><div><br></div><div>or with WebGL-enabled webbrowser with higher performance MapBox GL JS powered X-Ray: <br></div><div><div><a href="http://klokantech.github.io/mapbox-gl-js-offline-example/xray.html">http://klokantech.github.io/mapbox-gl-js-offline-example/xray.html</a><br></div></div><div><br></div><div>A debug viewer for each vector tile (made in OL3) decoded in pure JavaScript:</div><div><a href="http://klokantech.github.io/ol3-sandbox/vector/tile-inspector.html">http://klokantech.github.io/ol3-sandbox/vector/tile-inspector.html</a></div><div><br></div><div>The OGR driver could be also practical for the unsimplified / ungeneralised MBTiles with OSM data available at: <a href="http://osmlab.github.io/osm-qa-tiles/">http://osmlab.github.io/osm-qa-tiles/</a></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">If you wanted to simply view vector tile data it could get confusing as well since most vector tiles need a buffer when they are used for visualization programs. This is important for things like labeling on maps etc. Therefore, you could get a large amount of overlapping data on tiles if you loaded them all in at once. <br></div></blockquote><div><br></div><div>Clipping on border of each tile must be applied before stitching the vector features together  - so the buffer is removed. Buffer is there only for visualisation and labeling.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">As far as writing a simple decoder -- the mapnik-vector-tile decoder isn't currently able to decode vector tiles into a form not supported by mapnik. Therefore, OGR would not be able to easily use this.</div></blockquote><div><br></div><div>Correct. It can't be used directly (GDAL can't link against), but the relevant code can be extracted and reused directly. For basic decoding critical is the Protobuf library (which is already in GDAL) and <a href="https://github.com/mapbox/mapnik-vector-tile/blob/master/proto/vector_tile.proto">https://github.com/mapbox/mapnik-vector-tile/blob/master/proto/vector_tile.proto</a> + the code for converting pixel coordinates in features to relevant geo coordinates and GEOS-based merging of features.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">We plan to write a generalized encoder and decoder eventually so that any other library can plugin with out the mapnik requirement.</div></blockquote><div><br></div><div>This would be amazing.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">If you have any questions specifically about Mapnik Vector Tile or <span style="font-size:12.8px">the Mapbox Vector Tile Specification feel free to ask me. I would note that you guys will want to update your vector tiles once the V2 specification changes are into Mapnik-Vector-Tile. <br></span></div></blockquote><div><br></div><div>Cool! Thanks. Our world tiles are generated via Docker containers on a cluster of computers - using Mapnik via Tilelive directly - so upgrades on Mapnik-Vector-Tile will propagate to the open-source rendering software.</div><div>I expect V2 spec will mean also new MapBox Streets V7, right?</div><div><br></div><div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">I see you mention MVT in MBTiles. Is it a recognized practice ? I don't see<br>mention of that neither in the MVT spec ( <a href="https://github.com/mapbox/vector-tile-spec/tree/master/2.0" rel="noreferrer" target="_blank">https://github.com/mapbox/vector-<br>tile-spec/tree/master/2.0</a> ) nor the MBTiles one (<br><a href="https://github.com/mapbox/mbtiles-spec/blob/master/1.2/spec.md" rel="noreferrer" target="_blank">https://github.com/mapbox/mbtiles-spec/blob/master/1.2/spec.md</a> ), although I<br>guess it is just a matter of storing a MVT blob in the tile_data column.<br></blockquote><div><br></div><div>Yes. MapBox Studio Classic generates such MBTiles with Vector Tiles inside - and Mapnik reads them directly when rasterising. Storing the vector tiles in SQLite make sense - and it simplifies deployment, and you can then easily have complete world on each node of a cluster of tileservers. If you don't want to upgrade your base map too often, this approach is pretty efficient and removes the centralised database as typical bottleneck.</div><div><br></div><div>I did some tests on vector tiles vs raster in MBTiles and documented these in README.md at and <a href="https://github.com/klokantech/vector-tiles-sample">https://github.com/klokantech/vector-tiles-sample</a> before we started to work on OSM2VectorTiles project.</div><div>There are also sample data and offline MapBox GL JS viewer in that repo.</div><div>Vector tiles can be hosted also "unpacked", just as files in folders on a standard web server - exactly like GDAL2Tiles or MapTiler.com does by default for raster tiles.</div><div><br></div><div>If OGR driver is implemented, the primary source should be probably reading from an URL via curl.</div><div><br></div><div>Reading PBFs from an MBTiles (or another SQLite) is just the most practical portable alternative to it.<br></div><div><br></div><div>Technically people may store the tiles in different ways - for example Wikimedia guys (<a href="http://maps.wikimedia.org/">http://maps.wikimedia.org/</a> and <a href="https://github.com/kartotherian/">https://github.com/kartotherian/</a>) use Cassandra for tile storage, I guess MapBox internally is also on a different storage for production servers ... for transfers and streaming tilesets there is the  - but tiles are ALWAYS exposed via HTTP.</div><div><br></div><div>Regards,</div><div><br></div><div>Petr</div></div></div></div>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr">Petr Pridal, Ph.D.<br>CEO<br><br>Klokan Technologies GmbH<br>Hofnerstrasse 98, 6314 Unterageri, Switzerland<br>Tel: +41 (0)41 511 26 12<br>Email: <a href="mailto:info@klokantech.com" target="_blank">info@klokantech.com</a><br>Web: <a href="http://www.klokantech.com/" target="_blank">http://www.klokantech.com/</a></div></div></div></div>
</div></div>