<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">At approximately 10:12 AM PDT (1712 UTC) mysql3 (the primary master server for our <a href="http://vip-mysql2.osuosl.org">vip-mysql2.osuosl.org</a> cluster) was accidentally rebooted and caused several outages includes services related to both of our OpenStack clusters. No VMs were offline during the outage, however any API queries would have likely failed. All services should have been restored by around 10:24 AM PDT (1724 UTC).</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">We've been working on getting this cluster into a master-master setup so that this would be prevented in the future.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Thanks and sorry for the issues.</div><div><br></div>-- <br><div class="m_6208392284752944852gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</div>