refirio.org

サーバに繋がらないという連絡 Zabbixで「Too many processes on {HOSTNAME}」の項目を確認すると、プロセス数が300を超えていた。 topコマンドで確認すると、MySQLの負荷が異常に高い MySQLのスロークエリを確認すると、以下のSQLなど複数のクエリで長時間ロックされていた。 MySQL方面からは、これ以上のことは判らず。 引き続き原因調査のため、SSHでログインしてしばらく操作していると、以下のメッセージが表示された。 エラーメッセージでググる。 OSが認識していない理由コードでNMIが発生したというメッセージ http://japan.zdnet.com/article/20367195/ Dazed and confused, but trying to cont... http://ossmpedia.org/messages/linux/2.6.9-34.EL/58911.ja 「実際の報告事例としては相性も含めてメモリカードの不具合が一番多い。」 誰も教えてくれなかったMySQLの障害解析方法 http://qiita.com/muran001/items/14f19959d4723ffc29cc ハードウェアの故障やメモリの容量不足によっても、スロークエリは発生するみたい ハードの問題の可能性が高いため、サブ機に切り替えて様子見。 その後、IPが変化したり、Zabbixの監視対象から外れていないか確認。 SSHアクセス、HTTPアクセス、バックアップの仕組みが動いているか、など諸々の動作確認を行う。 さくらに連絡 マザーボードの問題らしい 載せ替えて対応してくれるらしいが、ネットワークカードのMacアドレスが変わる よってサーバ内の設定調整が必要になるが、Macアドレスを使うアプリケーションは走らせていないので問題無いと思われる （Macアドレスでライセンス認証を行うものがあるので注意。）