<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Just got another update from the data center manager.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">The power should be stable and we don't expect another outage to happen today or the rest of the weekend. When the power went out, everything worked as expected but for some reason the generator was out of phase and the UPS went to battery and then ran out of power. They still aren't sure why that happened but they are confident is it stable for now.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">They are planning on fixing the wiring they changed today tomorrow morning between 10am-11am PST. They are planning on doing it without an outage, but there is a risk they could lose power again. The UPS will be on battery while they make the change and have about six minutes to make the change. They did it with three minutes today without an issue.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I am still working on the full incident report and will send it later today or sometime tomorrow.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Dec 17, 2016 at 11:47 AM, Lance Albertson <span dir="ltr"><<a href="mailto:ramereth@osuosl.org" target="_blank">ramereth@osuosl.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I just got word that the power restoration is not stable and it may go down again today. I will send an update once the power has been stabilized. </div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Dec 17, 2016 at 11:27 AM, Lance Albertson <span dir="ltr"><<a href="mailto:ramereth@osuosl.org" target="_blank">ramereth@osuosl.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">All,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">We had a major network outage today caused by a UPS fault in the data center which houses our upstream connection with NERO. All of our systems remained online during the outage, however our upstream connection to the Internet was down due to the NERO switches being powered off.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Everything seems to be back online currently and I'm waiting to hear a more detailed report back on the root cause.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I will be working on sending a more detailed report later today once more information is available. </div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Thank you for your patience.</div><span class="m_3355827608202262797HOEnZb"><font color="#888888"><div><br></div>-- <br><div class="m_3355827608202262797m_-4573699977176812226gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_3355827608202262797gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</div>