<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">All,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">At approximately 2:36AM PDT (0900 UTC), one of the hypervisors (gprod1) in our primary Ganeti cluster started having hardware issues. This took down all of the instances running on that node. I attempted to bring the node back online however the hardware issue prevented it to come back online. At that point I failed all of the VM instances over to their secondary nodes and forced another node to become the Ganeti master (since gprod1 WAS the master). All of the instances were back online by around 7:40AM PDT (1400 UTC).</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Everything at this point seems to be back to normal (except for gprod1). I will look into bringing gprod1 back online later today.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Thank you and sorry for the outages this caused.</div><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</div>