<div dir="ltr"><div><div><div>Hello WMS benchmarkers!<br><br></div><font>I'm writing because my abstract "<span style="font-family:Arial;color:rgb(34,34,34);background-color:transparent;font-weight:normal;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline">WMS Server Benchmarking for Large Raster Formats" was accepted for the upcoming FOSS4G North America conference in Minneapolis at the end of May.<br>
<br>I wante<font>d <font><font>to make sure this list was made aw<font>are of this in </font></font>hopes of getting some constructive feedback</font></font> <font>on our methods or other <font>recommendations for additional tests or on other software plat<font>forms to test. <font><font><font><font><font><font><font>Here's the abstract in full:<br>
<br><font>"</font></font></font></font></font></font></font></font></font></font></font></span></font><font><span style="font-family:Arial;color:rgb(34,34,34);background-color:transparent;font-weight:normal;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline"><font><font><font><font><font><font><font><font><font><font><font>Prompted by a client's need to serve ~250GB of JPEG2000 imagery, we evaluated several opensource (MapServer, GeoServer) and several proprietary (ERDAS ApolloIWS, ArcGIS Server) WMS platforms for usability and speed of return of large raster datasets.<br>
<br>The 4 platforms were configured on virtual machines with identical system specifications. Our test data was a series of 260 Great Lake Shoreline border images that we converted into three formats for evaluation: a mosaicked TIF, a mosaicked JP2, and platform­ specific virtual mosaics. Following previous FOSS4G WMS Benchmarking exercises, HTTP return metrics were evaluated using Apache JMeter. We evaluated return speed at three zoom levels in order to account for potential differences in serving highest­ resolution vs. overview data.<br>
<br>ArcGIS Server and GeoServer had the fastest return times for the TIF formats, with MapServer also performing well. ERDAS Apollo had slow return times for TIF format but was extremely fast with the JP2 format. ERDAS Apollo was also generally the fastest returning the virtual mosaic format, although ArcGIS Server and MapServer had very comparable results.<br>
<br>Taking both usability and performance into account, it is difficult to identify a clear preference. ERDAS Apollo excelled in speed tests (aside from TIF format), but had many usability issues. MapServer and ArcGIS Server were well­<font>-</font>rounded in terms of usability and performance. GeoServer's usability impressed, though the quality of virtual mosaicking was low compared to the other platforms."</font><br>
</font><br></font></font></font></font></font></font></font></font></font></span></font></div><font><span style="font-family:Arial;color:rgb(34,34,34);background-color:transparent;font-weight:normal;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline"></span></font>The notable differences between the "official" benchmarking exercises of years past and our tests are as follows:<br>
</div><div>-We evaluate only serving of raster datasets<br></div><div>-Our tests were 'low stress' for the most part- 100 threads of the same request over 1000 seconds<br></div><div>-Throughput, which seemed to be the primary metric for evaluating server performance in the previous exercises, ended up being almost identical for each test and platform, so we focused instead on the return speed results from JMeter<br>
</div><div><br>I've already been in communication with Andrea Aime regarding our GeoServer results (the virtual mosaicking quality problems mentioned in the abstract turn out to be at least partially if not entirely due to user error). If anyone would like any more details/clarification of methods or if there are other platforms that anyone thinks we should evaluate, please let us know! <br>
<br></div><div>cheers,<br>Mike<br><br>-- <br>Michael Billmire<br>
<span>Research</span> <span>Scientist</span><br>
Michigan Tech <span>Research</span> Institute (MTRI)<br>
3600 Green Ct. Suite 100<br>
Ann Arbor, MI 48105<br>
<br>
<a href="mailto:michael.billmire@mtu.edu" target="_blank"><span>michael.billmire@mtu.edu</span></a><br>
work: <a value="+17349136853">734.913.6853</a><br>
cell: <a value="+15137390686">513.739.0686</a><br>
fax: <a value="+17349136880">734.913.688 </a>
</div></div>