<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">We just had the same thing happen to another node (gprod1). All of the VMs are back online now. List of affected VMs are the following:</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">    - <a href="http://apereo1.osuosl.org">apereo1.osuosl.org</a><br>    - <a href="http://app2.osuosl.org">app2.osuosl.org</a><br>    - <a href="http://area51-1.phpbb.com">area51-1.phpbb.com</a><br>    - <a href="http://buildroot-sources.osuosl.org">buildroot-sources.osuosl.org</a><br>    - <a href="http://deluge.osuosl.org">deluge.osuosl.org</a><br>    - <a href="http://jenkins-radish.osuosl.org">jenkins-radish.osuosl.org</a><br>    - <a href="http://ldap1.ntf.osuosl.org">ldap1.ntf.osuosl.org</a><br>    - <a href="http://mandrivausers2.osuosl.org">mandrivausers2.osuosl.org</a><br>    - <a href="http://scripts.phpbb.com">scripts.phpbb.com</a><br>    - <a href="http://snowdrift-app.osuosl.org">snowdrift-app.osuosl.org</a><br>    - <a href="http://snowdrift-smtp.osuosl.org">snowdrift-smtp.osuosl.org</a><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Jul 30, 2022 at 6:23 PM Lance Albertson <<a href="mailto:lance@osuosl.org">lance@osuosl.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">All,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">One of our production Ganeti nodes (gprod3) decided to reboot on its own for some reason. All of the VMs should be back online but you might double check that your services are running properly. There was a thundering herd problem after the node booted where most of the VMs decided to do a file system check and caused high I/O. I had a few VMs had problems with services such as polkit timing out causing other issues on the VMs. A reboot of those VMs seems to have fixed the issue.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">The list of affected VMs are the following:</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">    - <a href="http://chiral.oftc.net" target="_blank">chiral.oftc.net</a><br>    - <a href="http://civicrm.osm.osuosl.org" target="_blank">civicrm.osm.osuosl.org</a><br>    - <a href="http://lf-bugs.osuosl.org" target="_blank">lf-bugs.osuosl.org</a><br>    - <a href="http://lf-lists.osuosl.org" target="_blank">lf-lists.osuosl.org</a><br>    - <a href="http://mageiavm.osuosl.org" target="_blank">mageiavm.osuosl.org</a><br>    - <a href="http://ntpsec-service3.osuosl.org" target="_blank">ntpsec-service3.osuosl.org</a><br>    - <a href="http://osu1php.osuosl.org" target="_blank">osu1php.osuosl.org</a><br>    - <a href="http://web3.osuosl.org" target="_blank">web3.osuosl.org</a><br>    - <a href="http://www1.phpbb.com" target="_blank">www1.phpbb.com</a><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">If you have any other issues related to this, please send an email to support.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">Thanks-</div><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>