<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Hi All,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Thanks again for your patience. Everything appears to be online and also confirmed via Jeff McKenna on IRC. I wanted to fill you in on what happened and how I'll prevent it from happening again.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">We've been working on upgrading our Ganeti servers to be managed via Chef on CentOS 7. A part of that process is upgrading Ganeti itself to a version that works on CentOS 7 and then eventually scheduling a time to rebuild the nodes with CentOS.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">In order to upgrade Ganeti, I needed to upgrade some of the packages on these systems (which currently run Gentoo). During that process I ran into an issue with incompatible versions of ncurses and eventually incompatible versions of glibc. In an attempt to resolve the issue, I tried to manually update glibc which immediately caused all the processes to fail on the machine. To fix the problem, I had to boot the machine up on a LiveCD and manually copy the original versions of the libraries involved back onto the system.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I had tried this same upgrade on another node without any issues related to this but apparently I didn't do the steps in correct order this time. Moving forward I'm going to make sure I document the process better and make local backup copies of the current system packages installed. Also, I won't try to manually upgrade glibc on the system as that was silly of me to do :(</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I'll likely be working on this later today again but will be more careful on what I'm doing. It shouldn't have caused an issue like it did today and I don't plan on it doing that further.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">If you have any further questions please let me know.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Thanks-</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 21, 2017 at 9:41 AM, Lance Albertson <span dir="ltr"><<a href="mailto:lance@osuosl.org" target="_blank">lance@osuosl.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I was doing to do some simple upgrades on osgeo3 this morning and unfortunately I caused it to go offline which effected all vms running on that node. We're working on fixing it right now.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Apologize for the outage.</div><span class="HOEnZb"><font color="#888888"><div><br></div>-- <br><div class="m_-53311311759297321gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>
</div>