refirio.org

ドメイン/IPアドレス サーチ 【whois情報検索】 https://www.cman.jp/network/support/ip.html KEIROMICHI | IPアドレスから住所検索 http://keiromichi.com/ IPひろば：メイン https://www.iphiroba.jp/ Downdetector https://downdetector.jp/ Check server: Check host - online website monitoring https://check-host.net/ ■AWS AWS Service Health Dashboard （東京リージョンは「Asia Pacific」タブ） https://status.aws.amazon.com/ ■さくら メンテナンス・障害情報 - さくらのサポート情報 https://help.sakura.ad.jp/maintenance/ ■ムームードメイン インフォメーション | ムームードメイン https://muumuu-domain.com/?mode=info ■その他 ・大規模障害の場合、Twitterを検索すると同じ状態になっている人が見つかるかもしれない 他社が立てたサーバで、トラブルがあった時だけ有償対応するのは危険。対応は慎重に検討する 自分で立てたサーバなら監視ツールなども入れるし継続的に監視もできるが、 他社が立てたサーバの場合、それらが何も無いことがある また、想定外のツールが仕込まれていて、それがもとでトラブルになった場合の対応が難しい サーバの設定を変更した場合その後継続的な監視も必要なので、1日2日で完了するものでは無い 一般に「サーバの監視を継続的に行う」という仕事が成立している以上、 一時的な対応で簡単に対応できるとは考えないほうがいい 「何かトラブルがあったときだけ対応」という以来は避けたほうが賢明 まずはサーバ会社の障害情報を確認する （上位回線に攻撃があった場合、Zabbixなどでは感知できない。） 次にZabbixなどで、外部からの大量リクエストによって重くなっているのか、そうでないのかを確認する リクエストによって重くなっている場合、そのリクエストの詳細を調べて、必要なら遮断するなどする 内部で問題が起こっている場合、該当プログラムを探す。 （以下の「サーバが重い・サーバに繋がらない」「Webページにアクセスできない」の具体例を参照） 原因が不明な場合、サーバーの再起動が有効な場合がある サーバに繋がらないという連絡 Zabbixで「Too many processes on {HOSTNAME}」の項目を確認すると、プロセス数が300を超えていた。 topコマンドで確認すると、MySQLの負荷が異常に高い MySQLのスロークエリを確認すると、以下のSQLなど複数のクエリで長時間ロックされていた。 MySQL方面からは、これ以上のことは判らず。 引き続き原因調査のため、SSHでログインしてしばらく操作していると、以下のメッセージが表示された。 エラーメッセージでググる。 OSが認識していない理由コードでNMIが発生したというメッセージ http://japan.zdnet.com/article/20367195/ Dazed and confused, but trying to cont... http://ossmpedia.org/messages/linux/2.6.9-34.EL/58911.ja 「実際の報告事例としては相性も含めてメモリカードの不具合が一番多い。」 誰も教えてくれなかったMySQLの障害解析方法 http://qiita.com/muran001/items/14f19959d4723ffc29cc ハードウェアの故障やメモリの容量不足によっても、スロークエリは発生するみたい ハードの問題の可能性が高いため、サブ機に切り替えて様子見。 その後、IPが変化したり、Zabbixの監視対象から外れていないか確認。 SSHアクセス、HTTPアクセス、バックアップの仕組みが動いているか、など諸々の動作確認を行う。 さくらに連絡 マザーボードの問題らしい 載せ替えて対応してくれるらしいが、ネットワークカードのMacアドレスが変わる よってサーバ内の設定調整が必要になるが、Macアドレスを使うアプリケーションは走らせていないので問題無いと思われる （Macアドレスでライセンス認証を行うものがあるので注意。） ブラウザから見て画面が表示されないという連絡 topで確認すると、MySQLのプロセス1つがCPU使用率100%になっていた Zabbixで確認すると全体の25%を使用している CPUのコア数は4なので、CPUを1つ使い切っている。重い処理が1つ走った可能性がある また、ロードアベレージも1〜3程度まで上昇し、メモリもfreeが普段の半分くらいになっている スロークエリを確認（ファイルに記録している場合。以下の場所は一例） ログが見当たらない場合、/etc/my.cnf の設定を確認するか、ファイルを検索する スロークエリを確認（データベースに記録している場合） 以下のクエリが実行された以降、重くなった？ また、以下の様な処理が何度もスロークエリに記録されている ログイン時、もしくはダッシュボードで常に重い処理が走っているみたい 普段から重いが、MySQLが重くなると致命的になる？ プログラム側の改修が必要の可能性あり 以下のSQLで、60秒より長く実行され続けているクエリを探すこともできる CloudWatchを確認すると、RDSのCPU使用率が60%ほどに達していた AWSのコンソールからスロークエリログをダウンロードして確認 （テーブルに記録している場合、SQLでスロークエリログを確認する） のような、検索のスロークエリログが大量に記録されている このクエリをNavicatで実行すると1.112秒かかる。7秒以上かかるときもある。遅い 使用していたRDSは db.t2.large。t2系なので、CPUクレジットを確認すると枯渇していた CPUCreditBalanceで残高、CPUCreditUsageで使用状況を確認できる （監視対象に入れていなかったが、これも監視対象に入れておくと良い。その他、AWSならではな監視項目があるかもなので、ひととおり確認する） CPU クレジット - T2 インスタンス - Amazon Elastic Compute Cloud http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/t2-instances.html#t2-instances-cpu-credits 引き続き、CPUクレジットを消費した原因を調査 MySQLの以下のコマンドでプロセスを確認すると、ゾンビプロセスがいた 処理時間が非常に長いのでKILLした（らしい） すぐにRDSのCPU使用率が下がり始めた 直接の原因は最近行った改修内容と思われる 改修以降にCPU負荷が高くなったため、該当箇所を再調整して様子を見る Apacheのログに のように出力されている場合、セグメンテーション違反が発生している セグメンテーション違反は、 ・プログラムの不具合で、大量のメモリを消費した ・C/C++などで作成されたプログラムが、mallocで確保した領域の外など参照してはいけない領域のメモリを参照してしまった ときなどに発生する このとき、psの結果は以下のようになっていた ApacheがCPUをまったく消費していない（動作していない） Apacheを再起動するとCPUが消費されるようになり、 「Segmentation fault」もなくなり、Webページにアクセスできるようになった プログラムの不具合なら、yum update で解決するかもしれない もしくは依存ライブラリを差し替えるなど 可能なら試す サーバの再起動で解決することもあるらしい 「再起動によって不正な状態にあったメモリが解消された」 「再起動によって十分なメモリが確保された」 ということかもしれない インフラエンジニアがSegmentation fault をなんとか治してみる http://sarface2012.hatenablog.com/entry/20101027 Cライブラリの問題などで発生することが多いようだが、 PHPで「不正なクラスを参照したために大量のメモリを消費された」場合など、 メモリ不足でも発生することがあるみたい CentOS6 + Apache + PHP で Segmentation fault http://d.hatena.ne.jp/pospome/20140420/1398016279 ZabbixとCloudWatchから、「CPUの空きが少なくなっている」と警告が来た。 その時間のps結果（記録する仕組みを構築してあった）を見ると となっていた。 Apacheが51.2%のメモリを消費している。 その時間のApacheエラーログを確認すると とあった。 Webアプリケーションから巨大なファイルアップロードをしようとして、エラーになったもの。 毎週日曜日になるとIOの数値が異常に上がり、サイトがダウンする 日曜日に何か特別な作業をしたりはしていない 該当日時の /var/log/messages を確認すると のようなログがあった。メモリ不足でMySQLやApacheが強制終了させられている また /var/log/httpd/error_log には大量の404エラーが、/var/log/messages にはSMTPへのauth failureが大量に記録されている ・外部からのアタックによりサーバがダウンしている ・平日はギリギリ稼働しているが、日曜日にアタックが多くなりダウンしている ・エラーログ読み書きのためにIOの数値が上がっている という可能性がある。対応としては ・固定IPからの攻撃ならブロックする ・SMTPが不要なサーバならポートを閉じる。他にも不要なポートが空いていれば閉じる ・サーバのスペックを上げる（メモリの増加） などがある 朝の10時過ぎから、某学校サーバにアクセスしづらい状態になった Zabbixで確認するとトラフィックが急激に増加していた。原因は10時から合格発表があったため SSHでサーバにログインし、sarコマンドでトラフィックをリアルタイムに監視。 右から4番目の値が、1秒間あたりの送信キロバイト数。 コンテンツを表示させるため、最大で1秒間に 12,120 Kbytes（96,960 Kbits）のデータが送信された。 つまり、約95Mbpsの速度が出たことになる。計測したサーバの回線は ・アップリンク：100Mbps ・接続形態：100Base-TX ・ご利用帯域目安：10Mbps（優先制御回線） となっているので、十分な速度が出ていると判断できる。（目安10Mbps、最大100Mbps。） 回線の限界までデータが流れているため、表示が遅くなっている状態。 契約上保証されている10Mbpsどころか、回線の限界である100Mbpsの速度がでているため、 「30Mbps（優先制御回線）」の契約に変えても合格発表直後は回線が詰まると思われる。 合格発表直後30分程度でアクセスは落ち着くようなので、その間だけ遅いのを良しとするか否か。 良しとできないなら、さくらの契約的に対処は難しいので、コンテンツを軽くする必要があると思われる。 Zabbixからサーバについての警告 確認すると、突然ロードアベレージが上がっており、大量のトラフィックも記録されている CPUはuser（アプリケーション）によって大量に使用されている WordPressを使っているサイトだったので、大量アクセスが原因と思われる アクセスログを見ると、以下ようなアクセスが大量に記録されている ツールによるイタズラと思われる http://www.iphiroba.jp/ でIPアドレスを調べると以下の内容だった どこかの人がAWSに立てたEC2サーバと思われる IPアドレス: 52.196.209.177 ホスト名: ec2-52-196-209-177.ap-northeast-1.compute.amazonaws.com 国: 日本 都道府県: 東京 市区町村: 新宿区 ツールを名指しでアクセス制限してみた 即座に負荷が減った ロードバランサー環境でIP制限する方法などは Defense.txt を参考に AWSのEC2インスタンス一覧で、「アラームのステータス」が「データなし」となった しばらくすると自動で復旧した （インスタンスを10台程度起動させていると、数ヶ月に一度（1台）くらいの頻度で起きるように思う） cat /var/log/messages で繋がらなくなった時間のログを確認。uptime でサーバの稼働時間も確認。 再起動された形跡があれば、以下の可能性が高い AWS Developer Forums: インスタンスが勝手に再起動される https://forums.aws.amazon.com/message.jspa?messageID=288044 ハードウェアの問題などでAWSがインスタンスを強制的に再起動することがある その際AWSから個別連絡は行われない。上記のページで 「ハードウェア障害が原因となって再起動が行われた場合に個別にご連絡を差し上げることは行っておりません。」 と回答されている 防ぐためには、マルチAZでの複数台構成にする必要がある （最低でも2台以上の構成にする必要があるが、1台になったときにアクセスが集中することを考えれば3〜4台以上にすることが好ましい） 計画停止の場合、15日前くらいにメールで通知されるので、メールは確認しておく 止まった時の /var/log/messages ファイルの内容は以下のとおり。 ただしハードウェア障害対応の場合、事前事後の通知なくAWS側でインスタンスの再起動が行われる可能性がある その際上にあるように、AWSから個別連絡などはされないため、これがマルチAZを推奨する根拠の一つとなっている AWS Developer Forums: インスタンスが勝手に再起動される https://forums.aws.amazon.com/message.jspa?messageID=288044 「ハードウェア障害が原因となって再起動が行われた場合に個別にご連絡を差し上げることは行っておりません。」 それ以外には、以下のような可能性も考えられる http://www.harumaki.net/2015/01/06/aws-ec2-rhel6-error-ttys0-messages/ 対処方法と思わしき記事はあるが、1台のみでの発生だったので関係ないかも https://access.redhat.com/ja/node/1218334 OS自体の不具合の可能性がある？ 諸々をupdateしてコールドリブート（完全に停止させてからの起動）をするといいかも Zabbixからサーバについての警告 突然web1サーバが停止した。SSHでもHTTPでもアクセスできない コンソールからEC2を再起動してみたが反応なし 次に停止させてみたが、「stopping」のまま反応なし…だったが、20分程度経ってから停止した。 停止を実行した後に再度停止を実行すると、それは強制停止になるらしい。（その後、「強制停止」という選択肢が追加されたみたい？） 停止を確認後、起動させると問題なくアクセスできるようになった。 調べてみる限り、AWSではときどき発生しているらしい。 サーバが入っているハードに何らかの問題が起きて、それが原因で正しく動作しなくなることがあるらしい。 サーバを起動し直す（再起動ではなく、停止＆開始）と物理的に別の場所にサーバが立ち上がるようで、一応はそれが定番の対応らしい。 サーバが停止しない場合、フォーラムでAWSに再起動を依頼する。 インスタンスのライフサイクル - Amazon Elastic Compute Cloud https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ec2-instance-lifecycle.html#instance-launc... 「起動時に指定したインスタンスタイプによって、インスタンスのホストコンピュータのハードウェアが決定します。」 インスタンスのライフサイクル - Amazon Elastic Compute Cloud https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ec2-instance-lifecycle.html#lifecycle-diff... 「停止/開始 (Amazon EBS-Backed インスタンスのみ) インスタンスは新しいホストコンピュータに移動されます (ただし、場合によっては、インスタンスが現在のホストに残ることもあります）。」 AWS EC2インスタンスの再起動と停止/起動の違い | ぼぶろぐ https://ameblo.jp/hackerbobchan/entry-12129315767.html 「EC2インスタンスの再起動と停止/起動では動作が異なります。 一番大きな違いはというと、停止/起動では、起動するホストコンピュータ(物理的な基盤)が 変わるということです。」 AWS Developer Forums: EC2インスタンスが停止できない。 ... https://forums.aws.amazon.com/thread.jspa?threadID=84070 以下、問題があったときの /var/log/messages だが、特に問題は見られない なおハードウェア障害対応の場合、事前事後の通知なくAWS側でインスタンスの再起動が行われる可能性がある 詳細は「サーバが重い・サーバに繋がらない 10」を参照 ZabbixからCPU負荷が高いという警告があった Zabbixを確認すると、負荷が上がった時間で「Incomming traffic」が上がっている 大量アクセスがあったか、重い画像が表示されたかと予想 アクセスログファイル /var/log/httpd/access_log で該当時間のアクセスを調べると、 以下のようなアクセスが大量にある。sitemapxmlというツールらしい サイト運営者に確認すると、「サイトマップ作成ツールを使いました」とのことなのでそれが原因。 サイトが突然503エラーになった AWSコンソールで確認すると、Webサーバが二台ともロードバランサーから外れていた WebサーバのCPU使用率やネットワークINは普段より多いものの、異常と言えるほどではない 10分ほど経つと自動で回復した 以下調査内容 RDSの状態を確認すると、15:50ごろから「DB接続（カウント）」がどんどん上がっている アプリケーション（Laravel）のログを確認すると、 と記録されている ・15:50ごろにロックが発生し ・RDS側で処理が詰まり ・16:04にようやくログとして記録された という状況だと思われる その間にもどんどんアクセスが来るので、nginxのアクセス数上限に達して503エラーが返された？ それがもとでロードバランサーから外されてしまった？ 設定ファイルでは以下のように設定されているので、「worker_processes * worker_connections」でnginxは1024の接続数を捌けるみたい /etc/nginx/nginx.conf 2台のWebサーバがダウンしたことにより、アクセス元が無くなってロックが解除されたか もともと10分程度ロックし続ける処理で、それが終わったからロックが解除されたか …だと思われる 根本解決は難しいが、いったん 「どうしても長く処理すべき処理以外は、タイムアウトの時間を短くする」 で対応できるか検討する ・ロックした状態でPHPからSELECTするとどんな挙動になるか ・500番台のエラーになるのか、200番台で処理を返せるのか ・ロックを検知して強制解除はできるのか などは要検証 MySQLのプロセス確認と強制終了の方法は、 Command.txt の「MySQLでプロセスを確認＆強制終了」を参照 デッドロックおじさん戦記 - Mercari Engineering Blog http://tech.mercari.com/entry/2017/12/18/deadlock MySQLのデッドロックを意図的に発生させる http://linuxserver.jp/%E3%82%B5%E3%83%BC%E3%83%90%E6%A7%8B%E7%AF%89/db/mysql/%E3%83%87%E3%83%83%E3%8... MySQLのデッドロックを解除 http://fukuchiharuki.me/wiki/index.php?MySQL/%E3%83%AD%E3%83%83%E3%82%AF%E3%82%92%E8%A7%A3%E9%99%A4%... MySQLの障害解析方法。ロックについても触れられている https://qiita.com/muran001/items/14f19959d4723ffc29cc auのAndroidスマートフォンからアクセスできないという問い合わせがあった 「ウイルスバスター for au」のようなソフトを入れられてるようで、その防御レベルを高に設定していると入れないらしい 「ウイルスバスター for au」簡易マニュアル https://www.au.com/content/dam/au-com/static/designs/extlib/pdf/mobile/service/smartphone/safety/vir... 上記にソフトのマニュアルがあり、P.8に規制対象のカテゴリがある 「高」にしているとかなりのサイトが規制対象になるため、「中」に設定してもらうように案内 7月6日10時ちょうどに、某学校サーバのプロセス数が急激に増えた ブラウザからアクセスしても、トップページが表示されない Zabbixで確認すると、ロードアベレージ・Network・プロセス数が、10時ちょうどに急激に上がっている SSHではアクセスできたので、直接ロードアベレージを確認 負荷はかなり高い プロセスを確認。httpdが大量にある（250行ほど表示された。通常なら100行ほどのサーバ） Apacheのアクセスログを確認 以下のようなログが大量に記録されている Apacheが処理を捌ききれなくなっていると思われる 単純にアクセスが多すぎて捌ききれなくなった可能性が高い ロードアベレージは徐々に下がりつつあったのでしばらく様子を見ていると、HTTPDでアクセスできるようになった トップページに「重要なお知らせ」として以下が掲載されている 恐らく学校が「休講に関する情報はホームページで確認してください」のアナウンスを出し、 これを確認するためにアクセスが集中したと思われる - - - - - - - - - - - - - - - - - - - - 2018/07/06 ７月６日（金）大雨に伴う終日全学一斉休講について 2018/07/05 【緊急のお知らせ】７月６日（金）大雨に伴う全学一斉休講について - - - - - - - - - - - - - - - - - - - - サイトにアクセスできないと言われて調査 Zabbixで確認すると、ロードアベレージが急激に上がっている途中だった（最終的に100を超えた） 過去のps結果を確認すると、 のようにhttpdのプロセスが100くらい並んでいる。つまりWebへのアクセスで何かあった可能性が高い HTTPでのアタックかと思ったが、ネットワークIN/OUTの量に異常は見当たらない OOM Killer が走っていることは確認できたが、それ以外に異常は見つけられない 負荷が上がり始めたときのアクセスログを見ると、画像の404エラーが頻発している 画像エラーにしてはレスポンスタイムが異常に大きい そんなに巨大な画像があるのかと思って実際にアクセスすると、WordPressの画面が表示された 元記事にアクセスすると、壊れた画像がたくさん表示されている サイト構築者に確認すると、昔の記事は画像なしで記事だけ移植したらしい 画像が大量に掲載されたページにアクセスするとimgタグによってWordPressのページが呼び出され、WordPressへのアタックのような状況になっている （再現するか確認すると、ページによっては数回のリロードでロードアベレージが50くらいまで上がった） 対策としては、上記のようなURLにアクセスしたときにWordPressを経由しないようにすること また、壊れた画像が残っていること自体好ましくないので、過去の記事を整備すること なお上のことが原因の場合、SSHで操作できる程度の負荷なら のみでも解消できる。ただしOOMKillerが走った後なら、念のためサーバを再起動しておく方が無難 SSHで接続できないほどに負荷が高い場合も、サーバを再起動する WordPressを使ったサイトで、突然負荷が上がった 以下は負荷が上がったときのアクセスログ 日を改めて、負荷が上がった時間にやはり wp-cron.php が実行されている 「wp-cron.php が実行される＝負荷が上がる」とは限らないようだが、以下は実行に非常に時間がかかっている（20秒以上） wp-cron.php によって負荷が上がることがあるみたい WordPressのCron処理が不要なら、無効にしてみる wp-config.php の先頭に、以下のコードを追加すると無効になる WordPressで定期的に処理をさせる！WP-Cronの設定方法 - 東京のホームページ制作 / WEB制作会社 BRISK https://b-risk.jp/blog/2017/09/wp_cron/ WordPress の wp-cron を無効にしたら劇的にパフォーマンスが改善した話 | あぱーブログ https://blog.apar.jp/web/7430/ wp-cron.phpを無効化して高速化される理由 | ハックノート https://hacknote.jp/archives/37075/ アプリケーションのログを調べると、ElastiCacheに接続できない旨のログが残っていた ElastiCacheのイベントを調べると、2019年2月8日金曜日 14時16分34秒 UTC+9に「Recovering cache nodes 0001」というログが残っていた （なおAmazon側で自動的にサービスが落ちたことを検知し、自動復旧している） Amazonに問い合わせた際の回答は以下のとおり 要約すると「ハードが良くない可能性が高いので、変更を推奨する」という回答 突然EC2に一切繋がらなくなった AWSコンソールから確認しても「確認できない」となっている コンソールのアラート（上部メニューのベルマーク）から確認すると、以下の内容が表示されていた 最初に確認したときは「09:18 PM PDT」の内容のみだった 以下は和訳したもの 東京リージョンの Availability Zone 自体の障害らしく、AWSが調査中とのこと 非公式だが、ニュースも出ていた 日本時間2019年8月23日(金) 13:18:32 EC2 (東京) お知らせ ネットワーク接続性の問題 https://twitter.com/awsstatusjp/status/1164754914695770113?s=20 AWSで障害、スマホ決済「PayPay」などに影響 - Engadget 日本版 https://japanese.engadget.com/2019/08/23/aws/ AWSで大規模障害が発生中　『アズレン』で通信障害を報告　『アナデン』『ダンメモ』『シノアリス』『ガルパ』などにも影響【追記】 | Social Game Info https://gamebiz.jp/?p=246869 ■顛末 最終的に、コンソールのアラートには以下が表示されていた 以下のサイトなどでも、原因について触れられている 空調設備の異常が原因で、マルチAZでの冗長構成でも防げなかったとのこと AWS障害、大部分の復旧完了　原因は「サーバの過熱」 - ITmedia NEWS https://www.itmedia.co.jp/news/articles/1908/23/news117.html AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず − Publickey https://www.publickey1.jp/blog/19/aws23.html AWS大障害、冗長構成でも障害あったと公式に認める | 日経 xTECH（クロステック） https://tech.nikkeibp.co.jp/atcl/nxt/news/18/05816/ AWS障害、“マルチAZ”なら大丈夫だったのか？　インフラエンジニアたちはどう捉えたか、生の声で分かった「実情」 (1/3) - ITmedia NEWS https://www.itmedia.co.jp/news/articles/1908/28/news127.html AWSのCloudWatchから、ALBについて「ALB UnHealthy Host Count」の警告が来た サイトも「504 Gateway Time-out」の表示になった で確認すると、Apacheのプロセス数が300くらいになっていた。普段は10〜50程度 でApacheを再起動しても変わらず ネットワークの障害が関係しているのかと思って同じVPC内にEC2を立ててApacheをインストールすると、問題なくアクセスできた 状況としては ・SSHでは問題なく接続できる ・ロードアベレージとCPU使用状況は普段どおり ・メモリは普段より使われているものの、稼働に問題があるとは思えない ・ディスク容量とinodeも普段どおり ・ネットワークの使用状況も普段どおり ・接続中のユーザ数は跳ね上がっている ・プロセスはApacheが大量に立ち上がっている ・HTTPDの接続数は跳ね上がっている ・Apacheのメモリ確保量は跳ね上がっている ・HTTPステータスは、「200 OK」が普段より非常に多いタイミングがある しばらく原因が判らなかったが、Apacheのアクセスログを確認すると、負荷が上がった時間帯から以下のようなログが大量に現れていた /var/log/httpd/access_log また、Apacheのエラーログを確認すると、負荷が挙がった時間帯から以下のようなログが現れていた /var/log/httpd/error_log 136.175.9.209 の接続元を調べるとアメリカだった 攻撃と思われるので、ネットワークACLでこのIPに対して「すべてのトラフィック」を遮断した 復旧したが、またすぐに重くなった どこかで「このサイトを攻撃しよう」のようにして晒されている可能性があるかもしれない いったん、目についたいくつかのIPアドレスをアクセス制限対象にし、EC2を3台とも再起動すると復旧した それだけだとイタチごっこになる可能性があるので、Webサーバへの直接アクセス自体を遮断した つまり ・ロードバランサー経由でWebサーバへは、これまでどおりアクセスできる ・IPアドレスを指定してのWebサーバへの直接アクセスは禁止。ただしメンテナンスのため、自社のIPアドレスからなら許可 とした この状態で各Webサーバを再起動することで復旧した 今回のように「Webサーバへの直接アクセスを遮断する」という対応がしづらいため そもそも、ロードバランサーとWebサーバのセキュリティグループは別々にしておくべきではあった ■攻撃手法 うちのapacheにCONNECTとかいうリクエストが。 - Blanktar https://blanktar.jp/blog/2013/10/what-is-http-connect-request HTTPのCONNECTというのは、代理接続を要求するためのメソッド 今回のサーバを踏み台にした上で、他のサーバへ接続しようとしている ただし踏み台にしようとしたというより、アクセスできないサイトへの接続欲求を大量に送ることにより、サーバの負荷を上げようとしたものと思われる 詳細は引き続き要勉強 ZabbixからCPU負荷が高いという警告があった アクセスログファイル /var/log/httpd/access_log で該当時間のアクセスを調べると、 以下のようなログが大量に記録されていた Facebookのクローラーで、これが原因で負荷が高くなることはあるらしい これで解決: ログのfacebookexternalhitとは http://koredekaiketsu.blogspot.com/2015/05/facebookexternalhit.html facebookexternalhitについて - あんちょこメモ https://anchoko.floppy.jp/facebookexternalhit%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/ 以下によると、クローラーというよりプレビュー情報を取得するためのリクエストらしい LINEやSlackからも同じようなリクエストが来ることがあるらしい LINEやFacebookやSlackアプリでURLプレビュー時にサイトへ飛ぶリクエストのUserAgent - Qiita https://qiita.com/cacarrot/items/35caf00f90c05970a925 ドメインの契約が切れていないか？ ドメインやDNSの設定を変更していないか？ などを確認する。それ以外に、以下のような原因も考えられる ■ネームサーバの障害 DoS攻撃によりネームサーバに障害が発生することがある メンテナンス・障害情報・機能追加｜さくらインターネット公式サポートサイト https://support.sakura.ad.jp/mainte/mainteentry.php?id=20072 以下のようなページでニュースを確認する（契約サービスのニュースを確認する） 現在発生中の情報（12時間前後） - さくらのサポート情報 https://help.sakura.ad.jp/hc/ja/articles/206091882 ■ドメインの認証 規約の変更により、ドメインの認証が必要になることがある インフォメーション | ムームードメイン https://muumuu-domain.com/?mode=info&id=2927 以下のようなページでニュースを確認する（契約サービスのニュースを確認する） インフォメーション | ムームードメイン https://muumuu-domain.com/?mode=info 以下はclientHoldで停止されたときのwhoisの状態（上側） 大丈夫なときは「clientTransferProhibited」などと表示される（下側） 【clientHoldとは？】ドメインが急に利用できなくなりました。 | よくある質問 | ムームードメイン https://muumuu-domain.com/?mode=faq&state=answer&id=000717 レジストラロックとはなんですか。 | 名づけてねっと https://faq.nttpc.co.jp/faq/show/1688?site_domain=nadukete 以下を確認する ・接続情報が正しいか ・IP制限など、何らかの制限を解除し忘れていないか ・ホームディレクトリのパーミッションが777になっていないか ・authorized_keysを読み込む権限があるか（鍵認証の場合） ・/var/log/secure にエラーメッセージが記録されていないか ■さくらVPS 設定ミスでVPSに入れなくなった場合、以下などを参考にする VNCコンソールを利用する - さくらのサポート情報 https://help.sakura.ad.jp/hc/ja/articles/206208001-VNC%E3%82%B3%E3%83%B3%E3%82%BD%E3%83%BC%E3%83%AB%... ■AWS 設定ミスでEC2に入れなくなった場合、以下などを参考にする パーミッション変更をミスってEC2に入れなくなった時の対処方法 - Qiita https://qiita.com/MikioSuematsu/items/7087be7d5cdec3e38a87 Amazon EC2 - Amazon EC2の設定ミスでrootになれなくなってしまった場合の対処法を教えてください｜teratail https://teratail.com/questions/17102 Cloud-Init とユーザーデータを使用して追加 SSH ユーザーアカウントを追加する https://aws.amazon.com/jp/premiumsupport/knowledge-center/ec2-user-account-cloud-init-user-data/ Amazon EC2起動時にユーザーデータで任意のSSHポートに変更する ｜ DevelopersIO https://dev.classmethod.jp/server-side/os/how-to-change-ssh-default-port-using-user-data/ EC2のuser-dataで起動時shell scriptを書く - Qiita https://qiita.com/soeda_jp/items/495aedf4c097b7f822e1 user-dataはEC2の初回起動時にしか実行されないみたい？ cloud-init の bootcmd なら再起動のたびに実行できるみたい？ Amazon EC2 - Amazon EC2の設定ミスでrootになれなくなってしまった場合の対処法を教えてください｜teratail https://teratail.com/questions/17102 ユーザーデータは、EC2の一覧から対象インスタンスを選択して 「アクション → インスタンスの設定 → ユーザーデータの表示/変更」 から編集できるようだが、実際の操作は要検証 以下、上記ページからの引用 マネジメントコンソールを使えるなら、インスタンスを停止した後、 ユーザーデータに下記のように入力してからインスタンスを起動すると、 cloud-init の bootcmd で sudoers を元に戻せないでしょうか。 bootcmd はインスタンスの最初の起動だけではなく、起動毎に毎回実行されるはずです。 「突然SFTPで接続できなくなった」という連絡。ログを確認すると、以下のエラーが記録されている 手元の環境で試すと認証でき、IP制限なども無い 原因不明だったが、接続側の設定ミスかもしれない 以下、解決したという内容のメッセージ 「一から再設定しましたら、接続できるようになりました。 　恐らくどこかのタイミングでFTP設定欄の値を削ってしまったのかもしれません。」 何らかのトラブルで負荷が高くなりすぎて、SSHログインすらできなくなることがある 接続時、 のようにオプション v を付けるとデバッグ情報が表示される コントロールパネルなどからサーバを再起動できるなら試す psコマンドで起動しているか確認。起動していなければ起動させる 自動起動の設定を行っていない場合、OS再起動時に停止してしまうので確認する 自動起動に設定 DoS攻撃とは限らないので注意。 HTTPステータスコード「206」について。 http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1192824606 ステータスコード206はバイトレンジリクエストなどと呼ばれているものです。 大きなバイナリデータを転送する際、全てではなく一部をキャッシュし、 再度アクセスする際に一部分だけをリクエストするという、チャンク通信の効率を上げるためのものです。 ですので、206がログに上がること自体はPDF参照においては正常な動作だと思います。 Poderosaで発生。コマンドを実行すると と表示される。xtermに切り替えると使える 原因不明だが、xtermが標準的なターミナルエミュレータなので普段からxtermにしておくと良さそう SELinuxが有効になっている場合、公開ディレクトリを変更しても変更前のページが表示され続ける SELinuxを無効にするか、SELinuxのパーミッションを設定する 【ざっくりと理解する】SELinuxとは？ https://eng-entrance.com/linux-selinux 「ドメイン経由でサーバに繋がらない」を参照 問題なければ ・作業ミスで書き換えてしまっていないか？ ・サーバに侵入されて書き換えられていないか？ ・Webアプリケーションの管理画面に侵入されて書き換えられていないか？ などを確認する 中間証明書をインストールしていなかったり、正しくインストールできていない場合に表示されるみたい 「Androidでだけ警告が表示される」などがあるので、色々な環境で表示確認をしておく OS X でSSL証明書が壊れることがある。Yosemiteで発生することがあるみたい ブラウザにパスワードを記録したときに壊れることがあるらしい MacをOS X El CapitanにしたらApp StoreとかTwitterに繋がらなくなった時の解決方法 http://dev.classmethod.jp/etc/mac-os-x-el-capitan-app-store/ httpsでエラーが表示されるお客様へ - ATWインターネットサービス https://www.atw.jp/article/2020072701/ TLS1.2への対応が必要とある ただし調べてみるとTLS1.2に対応しており、 POODLE SSLv3.0 脆弱性問題にも対応していた ただしIEからアクセスしてページのプロパティを確認すると、確かにTLSv1.0となっていた Apache での TLS1.0 と TLS1.1 の無効化と確認方法メモ | あぱーブログ https://blog.apar.jp/web/10025/ 「TLS1.2 を使うには OpenSSL が バージョン 1.0.1 以上であることが必要」とある OpenSSLのバージョンを確認し、最新版でなければ以下のようにアップデートする 今回はこれで解決できた ALBにてSSLを有効にすると、iOS・macOSでのみ一部画像が読み込めなかったりそもそもページが表示されなかったりする Apache から出力された Upgrade header がプロキシ経由でブラウザに届くと、失敗したりコネクションを破棄したりしてしまうらしい 解決方法としては、Upgrade header を送らないようにすればいい EC2 → ロードバランサー → ロードバランサーを選択 説明タブの「属性」で「HTTP/2」が有効になっていたら無効にする AWS(Amazon Web Services) - iPhoneでAWS上のサイトが見れない｜teratail https://teratail.com/questions/163592 iOS 11, macOS Hight Sierra で The operation couldn't be completed. Protocol error が出る場合の対処 - Qiita https://qiita.com/ameyamashiro/items/8d4be0f11ffe12472052 /var/log/nginx/error.log には以下のように記録されている /etc/nginx/nginx.conf の以下の部分で、最後の「;」を忘れていたことが原因だった nginxの設定ファイルに文法ミスが無いかよく確認する タイムゾーンの設定が必要 date関数で”Asia/Tokyo・・”なんかのエラーが出る件：PHP5.1.0以降 http://www.res-system.com/weblog/item/563 タイムゾーンの設定が必要 PHPで「Warning: strtotime()〜」のエラーが出た時 http://ivystar.jp/programming/php/php%E3%81%A7%E3%80%8Cwarning-strtotime%EF%BD%9E%E3%80%8D%E3%81%AE%... 以下など他のファイルで値が上書きされていないか確認する また php-fpm を導入している場合、httpd だけでなく php-fpm も再起動する nginx と PHP-FPM の仕組みをちゃんと理解しながら PHP の実行環境を構築する - Qiita https://qiita.com/kotarella1110/items/634f6fafeb33ae0f51dc それでも駄目なら以下も確認する PHPでdate.timezoneを設定したのに反映されない時の対処法メモ（Macユーザー向け） - Qiita https://qiita.com/okame_qiita/items/93ed3e62f2d04fe1431a PHP5.3.9以降では max_input_vars という設定が設けられており、入力データ数が多すぎる場合は自動的にデータがカットされる 初期値は1000なので、入力欄を1500個並べても、PHP側で受け取れるのは1000個まで。 以下は2000個まで受け取るための /etc/php.ini の設定例 PHPのPOSTパラメータ数の上限トラップ - Qiita https://qiita.com/bami3/items/c23cd94a6e9297649610 max_input_vars対策にデータをまとめて送信 | refirio.org http://refirio.org/view/342 PHPの初期設定では2MBまでしか受け付けない。それ以上のサイズだと、ファイルを選択しなかったときと同じ扱いになる php.iniや.htaccessで、upload_max_filesizeとそれに関連する設定を変更する必要がある。 以下は php.ini での、10MBまでのアップロードを受け付けるための設定例 以下は .htaccess での、10MBまでのアップロードを受け付けるための設定例 PHPでファイルアップロードサイズの上限を変更 http://refirio.org/view/347 ■nginx Webサーバにnginxを使用している場合、「413 Request Entity Too Large」というエラーになる client_max_body_sizeの設定が必要 Nginx での 413 Request Entity Too Large エラーの対処法 - Qiita https://qiita.com/takecian/items/639deeae094466de6546 また先の手順で php.ini を編集した後、以下のように php-fpm を再起動する必要がある ■タイムアウト PHPのタイムアウト設定は、主に以下を確認する Apacheの場合は以下も設定する PHPでファイルをアップロードするときの設定 http://www.maidsphere.jp/archive/PHP%E3%81%A7%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E3%82%A2%... nginxの場合は以下も設定する 具体例としてphp-fpm+nginxの場合、以下のように設定すればタイムアウトが5分になるはず（要検証） 設定したら、php-fpmとnginxを再起動する Nginx+PHP-FPMでタイムアウトを伸ばす - WP Advisor https://hacknote.jp/archives/2594/ nginx でupstream timed outエラーが発生した時の対処 | レンタルサーバー・自宅サーバー設定・構築のヒント https://server-setting.info/centos/nginx-upstream-timed-out.html AWSを使用している場合、ロードバランサーやCloudFrontの設定も必要 504 Gateway Time-out が出た際は Elastic Load Balancing の設定にも注意しよう - Qiita https://qiita.com/kotarella1110/items/169ddcef03983f5d64b2 ただしCloudFrontは、タイムアウトを60秒以上にする場合は申請が必要なので注意 いますぐ使う CloudFront - Qiita https://qiita.com/sasasin/items/0f0ec1a90af6295589f9 ディストリビューションを作成または更新する場合に指定する値 - Amazon CloudFront https://docs.aws.amazon.com/ja_jp/AmazonCloudFront/latest/DeveloperGuide/distribution-web-values-spe... ■データベース アップロードファイルをデータベースに保存する場合、データベースの設定にも影響を受ける サーバのログファイルに というエラーがあったり、アップロード時に画面に と表示されたりする場合、データベースの設定が原因の可能性がある。 MySQLの場合、max_allowed_packetの上限を上げればいい。 通常のMySQLならmy.cnfで設定、RDSならパラメータグループの編集で対応できる。 （パラメータグループの反映にはRDSの再起動が必要と紹介されているが、再起動しなくても反映された。） インポート時に「MySQL server has gone away」が発生したときの対処 http://company.nankikumano.jp/contents/tech_info/104/ Amazon RDS編〜大きなデータのインポート（MySQL server has gone awayが発生した時）編〜 http://recipe.kc-cloud.jp/archives/3963 何故か php-mysql の再インストールで直った サーバをほとんど触っていない時に対処したものなので、今後発生した場合はきちんとした原因究明を推奨 CentOSにPDOインストールするメモ http://d.hatena.ne.jp/toytools/20070813 /etc/my.cnf を編集してMySQLを再起動した直後に発生した 特定のファイルを削除し、MySQLを再起動する必要がある 【MySQL】Unknown table engine ‘InnoDB’。 http://note.onichannn.net/archives/1799 innodb_log_file_size を変えたら ib_logfile* の削除が必要 http://qiita.com/phanect/items/1e09925ade0190d713ca エラーが発生したままなら、MySQLの再起動を試す それでも駄目なら、手動で mysql.sock を作るといいらしい（未検証） MySqlのソケットエラーを解決する - Qiita https://qiita.com/kanohisa/items/564035efd74d9c75bdcb mysqlが起動できない（Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)） - Qiita https://qiita.com/carotene4035/items/e00076fe3990b9178cc0 ただし稼働中のサーバで、常にではなく時々発生しているものがある（すぐに自動で回復する） メモリ不足や同時接続数の問題で、たまたま mysql.sock を読み込めなかった…とかかも PHP - 【Mysql、PHP】mysql.sockが消えてしまう(105500)｜teratail https://teratail.com/questions/105500 正しい接続をしなかった場合にも発生することがあるらしい MySQLがクラッシュした場合にもソケットファイルは削除されるらしい ディスク使用率が100%になった場合にも、この現象が発生することがある その場合、「ディスク容量が残り少ない」を参考に不要なデータを削除する ■エラーになってMySQLを再起動するまで回復されなかったときに調査した内容 15:28前後にロードアベレージが急激に上がっている （シングルコアのサーバなのに、瞬間的に6近くまで上がっている / 過去のロードアベレージを記録する仕組みはあらかじめ構築してある） メモリ不足になったようで、OOM Killer によりMySQLが強制終了させられている 直後に、mysqld_safeがMySQLを再起動しようとしている が、「Fatal error: cannot allocate memory for the buffer pool」などがあるので、 メモリ不足で再起動に失敗し、そのままになっている 発生したサーバはAWSのEC2のmicroなので、単純に性能不足なのかもしれない PHPプログラムやMySQLのチューニングでいくらか改善できるかもしれない mysqldが落ちてた時の対応メモ - itochin2の日記（仮） http://itochin2.hatenablog.com/entry/2014/03/06/142225 mysqldとmysqld_safeの関係 | OpenGroove https://open-groove.net/mysql/mysqld-mysqldsafe/ トランザクションの途中で処理が終了してしまった際、 コミットもロールバックもされていないとロックを取得したまま処理が残ることがある 「SHOW PROCESSLIST」と「SHOW INNODB STATUS」でスレッドを調べ、「KILL」で終了させる transactionの途中でトランザクションが切れてしまった時にそのトランザクションを殺す方法 - Garbage in, gospel out http://libitte.hatenablog.jp/entry/20141129/1417254010 トランザクションを強制的に終了させる - HHeLiBeXの日記 正道編 https://hhelibex.hatenablog.jp/entry/20110329/1301421815 ロック待ちのタイムアウト時間の確認／設定 - Qiita https://qiita.com/snaka/items/bb8e6c6d76494d771bff なお、innodb_lock_wait_timeout の値を伸ばすことで対応するという方法もあるかもしれない が、あまり無闇に伸ばすのも良くないかもしれない デッドロックの発生率が高くなるらしい？ 要検証 環境によっては「ALL PRIVILEGES」で一括指定するとエラーになるので、必要なものを個別に指定する 特定データベースの全権限を持つユーザの作成（RDS for MySQL 5.6） - Qiita https://qiita.com/s-katsumata/items/0b87e5fafe8e706e9c86 [AWS]GRANT ALLできねぇええ！はぁ？の巻｜RDS｜MariaDB - TrippyBoyの愉快な日々 https://blog.trippyboy.com/2019/aws/rds/awsgrant-all%E3%81%A7%E3%81%8D%E3%81%AD%E3%81%87%E3%81%88%E3... ・巨大なクエリを実行した ・サイズの大きいデータをインポートした ・接続がタイムアウトした、接続がクローズした のようなときに発生するみたい max_allowed_packet の値を大きくすると改善することがあるみたい 上の対策で効果が無ければ、タイムアウトも長く調整してみる MySQLのエラーと対策まとめ - Qiita https://qiita.com/RyutaKojima/items/3772d695db5e2342ab47 インポート時に「MySQL server has gone away」が発生したときの対処 | 南紀熊野ウェブサービス(大阪、新宮市) http://company.nankikumano.jp/contents/tech_info/104/ mysql max_allowed_packetを変更する - Qiita https://qiita.com/_am_/items/91824da643256d46b847 MySQL に大きなデータを送る際に max_allowed_packet を確認した方がいい | Sun Limited Mt. http://blog.syuhari.jp/archives/1307 【MySQL】MySQLセッションタイムアウト(wait_timeout)の時間を変更する方法 - MEMO REC http://gontora.hatenadiary.com/entry/2018/08/02/121842 ■未検証 net_read_timeout や net_write_timeout の値も関係しているかもしれない（未検証） SELECT文をタイムアウト強制終了させる「MAX_EXECUTION_TIME」使ってる？ - なからなLife http://atsuizo.hatenadiary.jp/entry/2017/12/09/000000 第75回　MySQLのさまざまなタイムアウトオプションについて：MySQL道普請便り｜gihyo.jp … 技術評論社 https://gihyo.jp/dev/serial/01/mysql-road-construction-news/0075 XAMPP環境で発生 TEXT型やBLOB型のカラムが多いと、テーブル管理サイズを超えてしまうのでエラーになる…という現象みたい C:\xampp\mysql\bin\my.ini の最後に以下を追加したら、ダンプデータを登録できた XAMPPでのinnodb_strict_mode=OFF設定 - Qiita https://qiita.com/sebon77_Gifu/items/3ac53be2578354231bfd ただし根本解決では無いみたい 以下を参考に、改めて検証したい 【MySQL5.6->5.7】 とてもたくさんの列をもったテーブルをつくりたい／Row size too large (> 8126)についてかんがえる - Qiita https://qiita.com/rhap/items/298cbd4b8e15a212df98 XAMPP環境でMySQLにダンプデータを登録しようとしたとき、以下のエラーになることがあった C:\xampp\mysql\bin\mysql -u root -p test --default-character-set=binary < local_20220808.sql ERROR 1153 (08S01) at line 257: Got a packet bigger than 'max_allowed_packet' bytes 以下のように max_allowed_packet の値を増やすことで、登録できるようになった max_allowed_packet については、このファイル内の 「PHPでファイルをアップロードできない / タイムアウトする」 「MySQLでときどき MySQL server has gone away と表示される」 も参照 ■mysqlcheckで修復 テーブルが壊れているかと思ったので、mysqlcheckで修復したときのメモ http://qiita.com/tachitechi/items/e8fd8f8fbf34a3bd884d ■SQLで修復 MySQLのトランザクション分離レベルはデフォルトで REPEATABLE READ となっていて、 この場合に意図しない挙動になることがある Programming.txt の「MySQLで意図した値を参照できない」を参照 FileZillaなら、ソフトウェア側の設定で表示されることもある メニューの「サーバ → 強制的に隠しファイルを表示」にチェックを入れて試す lsyncdがエラーになっていないか、を確認する エラーになっていたら、エラーメッセージから原因を特定できるか、もしくは再起動で復旧するか、も確認する 基本的には、同期の設定は以下にあるので内容を確認する rsyncの設定ファイルである /etc/lsyncd.conf を確認すると となっているので、ここにログファイルがある が、ログファイルディレクトリ /var/log/lsyncd/ 内を確認するも、1ヶ月ほど前から何も記録されていない rsync自動起動の設定を確認する 確認すると、Web3でのみ lsyncd の自動起動が有効になっていなかったので有効にした （「static」は「他のユニットに依存する」という意味） 1ヶ月ほど前に再起動したと思われるが、その際にrsyncが無効になった よってエラーログなども出力されなかった 対策としては、自動起動を忘れずに設定する…とするしか無いか もしくは を監視して、結果がゼロなら警告する仕組みを作るか CentOS7 systemctlコマンドの使い方 https://www.unix-power.net/networking/post-684 rsyncのログを確認すると、以下が記録されていた Lsyncd が動かなくなった時 : プログラマー社長の「日々発見」 http://blog.livedoor.jp/kmiwa_project/archives/1072412621.html lsyncdが落ちる - Qiita https://qiita.com/miisuke/items/50493a57abe365afc5c0 監視するファイルの上限に引っかかったらしい 現在の設定を確認 デフォルト値になっていたので、/etc/sysctl.conf に以下の設定を追加した（監視するファイルの上限を増やした） 以下で設定反映（「/sbin/sysctl -p」が必要だった） しばらく待つと同期が再開された ※DNS設定と、確認すべき基本事項と、判定ツールについて その他サーバ設定やプログラムの記述については、「メールを送信しても届かない / 迷惑メールとして処理される 2」以降に記載している Aレコード、SPFレコード、TXTレコードの設定などを行う 今はさらに DKIM、DMARC も設定するといいとされる 具体的な内容は Network.txt の「メールを送信する際、迷惑メール扱いされないための設定」を参照 プログラムから送信する際に送信元メールアドレス（送信元サーバ）を改変している場合で、突然迷惑メール扱いされることが増えた場合、 そのドメインにSPF・TXTレコードが最近設定された可能性はある （以前は設定されていなかったが、迷惑メール対策に後から追加されることはある） 以下のようなコマンドで、SPF・TXTレコードが設定されているかどうかは判る そもそも送信元メールアドレスの改変は非推奨だが、 どうしても改変が必要ならドメインの所有者にSPF・TXTレコードを設定してもらう必要がある ■DNSの逆引き設定 AWSの場合、DNSの逆引き申請を行うと解消されることがある 例えば web1.refirio.net (203.0.113.1) と web2.refirio.net (203.0.113.2) の2台構成のサーバがあるとして、 あらかじめDNSで このように設定を行って web1.refirio.net と web2.refirio.net でサーバを参照できるようにしておき、AWSにDNSの逆引き申請を行う 詳細は AWS.txt の「メールの制限緩和」を参照 ■メールの本文 本文にURLが記載されたメールを受け取らない設定になっていることもある キャリアの設定画面で変更できることがある システムからサンクスメールを送る必要がある場合、 入力された本文は記載せずに送信完了の旨の定型文を送るだけにすることも検討する ■メールアドレスの存在確認 単純にメールの送信先を間違っている可能性がある 精度は不明だが、以下のツールでメールアドレスの存在を確認できる メールアドレス存在・生存・死活確認ツール http://address-kakunin.com/ ■メールアドレスのRFC違反 「.」（ピリオド）をアドレス内で連続使用したり、アドレスの最後に設定すると、一部のプロバイダとメールを送受信できない場合がある 根本解決は、メールアドレスを変えてもらうしかない NTTドコモ／auの連続ドット／@前ドットメールアドレスの問題 - The blog of H.Fujimoto https://www.h-fj.com/blog/archives/2009/03/01-100125.php 特殊な形式のアドレス（RFC違反アドレス）のご利用について | ドコモメール | サービス・機能 | NTTドコモ https://www.docomo.ne.jp/service/docomo_mail/rfc_add/ 長年苦しめられてきた、ドコモメールの駄目な仕様が、iOS14のお陰で予定より早く消えそうで嬉しい！ - 人生100年!生涯エンジニア人生! https://kawahara-ci.hatenablog.com/entry/2020/11/16/email_address_violated_rfc 何かしらのサービスを提供しているなら、以下のような案内を記載しておくといいかもしれない 【重要】ドコモ、auのメールアドレスをご利用のお客様へ | SONOKO オンラインショップ https://www.sonoko.co.jp/user_data/oshirase10.php 以下にエラーメッセージの表示例がある メールの送受信ができない!? RFC違反メールアドレスを知っていますか？ : ビジネスとIT活用に役立つ情報（株式会社アーティス） https://www.asobou.co.jp/blog/web/mail-rfc ■不正なドメイン＆サブドメインからの送信 from@dev-test.example.com から送信するのは問題無いが、from@dev_test.example.com から送信しても届かないことがある 環境によっては届くこともあるようだが、ドメイン・サブドメイン部分にアンダーバーを含むのはそもそも推奨されない メール送信に限らず、SSL証明書を発行できないなどのトラブルが発生することもある ドメイン・サブドメインにアンダーバーを含めないように注意する ドメイン名に"＿"(アンダースコア)を使ってはいけない | 企業組合コンピュータユニオン https://ccu.or.jp/2019/02/%E3%83%89%E3%83%A1%E3%82%A4%E3%83%B3%E5%90%8D%E3%81%AB%EF%BC%BF%E3%82%A2%E... ドメインにアンダーバーが使えないって誰が決めたんだ - Qiita https://qiita.com/daichi_yamazaki/items/d5e3e0b11d11ef987334 ホスト名（ドメイン名）にアンダースコアが使えないってやつ - まぐねっとのブログ https://magnet88jp.hateblo.jp/entry/2020/12/01/165958 Apache 2.4.25 以降でホスト名のアンダースコアで 400 が出る場合の対処方法 | gotohayato.com https://gotohayato.com/content/148/ 上記の内容をまとめると、以下のようになる ・URIの仕様上、アンダーバーを使うことは問題無い ・ドメイン名にアンダーバーを使うことは推奨されない（禁止ではないみたい） ・ただしレジストラの技術細則で「英字（"A"から"Z"）、数字（"0"から"9"）、ハイフン（"-"）からなる文字列」と定義されていることがある 「.jp」や.「tokyo」では、アンダーバーは認められていない ・余計なトラブルを避けるためにも、「ドメイン＆サブドメインではアンダーバーを使わない」とするのが無難 ■バウンスメールを解析 Command.txt の同項目を参照 ■迷惑メール度の判定 「mail-tester」を使えば、メールアドレスの迷惑メール度を判定できる サイトにアクセスすると test-ctz0b@mail-tester.com のようなメールアドレスが表示される 表示されたメールアドレスにメールを送信 「THEN CHECK YOUR SCORE」をクリックすると、判定が表示される もしPHPから送信するメールの迷惑メール度を判定したいなら、そのPHPから mail-tester にメールを送る Newsletters spam test by mail-tester.com https://www.mail-tester.com/ 迷惑メール度判定サービス「mail-tester」 | SendGridブログ https://sendgrid.kke.co.jp/blog/?p=5190 あなたのメールアドレスがどれぐらいスパムっぽいか判定してスコア付けする「mail-tester」 - GIGAZINE https://gigazine.net/news/20151019-mail-tester/ SendGridのブログにて、「mail-tester」より後に「MailGenius」が紹介されている 後発の記事なので、もしかしたらこちらの方がいいかもしれない 迷惑メール度判定サービス 「MailGenius」のご紹介 | SendGridブログ https://sendgrid.kke.co.jp/blog/?p=14778 ※主にサーバ設定について サーバのホスト名を設定していない場合、メールの送信元ドメインも適切なものにならない これが原因で、環境によってはメールが届かないことがある（迷惑メール対策を厳しく行っている場合など） サーバ用にドメイン（もしくはサブドメイン）を用意し、 hostname /etc/hosts /etc/sysconfig/network でホスト名に設定する。（例えば mail.refirio.net などを設定する） DNS側でも のように設定しておく 送信されるメールのメールヘッダが このような状態から のような状態になればOK メールが届くか様子を見る ※主にプログラムについて ■Return-Path を追加する Return-Path は、メールが届けられなかったときにエラーメールを送信するときの宛先 Return-Path に差出人と同じメールアドレスを設定すると、迷惑メール判定されにくくなる PHPでメール送信する際に迷惑メールと判断されないために気をつけること https://blog.ver001.com/php_mail_spam/ mb_send_mail()，mail()で第5引数を設定する際の注意点 - t_komuraの日記 https://t-komura.hatenadiary.org/entry/20131223/1387804821 mb_send_mail関数でReturn-Pathを設定する方法 | PHPプログラミングの教科書 [php1st.com] https://php1st.com/2329 ■X-PHP-Originating-Script を削除する PHPプログラムでメールを送信すると、メールヘッダに「X-PHP-Originating-Script」が含まれることがある が、本番環境では含まれない設定にすることが推奨されている X-PHP-Originating-Script【メールヘッダ】とは｜「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典 https://wa3.i-3-i.info/word16324.html icloud.comやme.comやhotmailにメールが届かない時 - Qiita https://qiita.com/menkatsukiroku/items/98d447317c3cafd65602 mail.add_x_header はデフォルトで On なので、メールヘッダに以下のような情報が記録される mail.add_x_header を Off にすると記録されなくなる 本番環境では Off にすることを推奨されている ■PHPMailerでのメール送信について ※PHPMailerでのメール送信については、Etcetera.txt の「PHPMailerを使ってSMTPでメールを送信する」も参照 PHPMailerでメールを送信している場合、RFC違反のメールアドレスにはそもそも送信処理自体が行われない （RFCについては、このファイル内の「メールアドレスのRFC違反」を参照） つまりmaillogなどに送信ログもエラーログも残らないので注意 以下の記事を参考に、RFC違反のメールアドレスにも無理矢理送信できるようになるみたい（未検証） RFC規格に沿わないメールアドレスにPHPMailer6系でメールを送信出来るようにする - Qiita https://qiita.com/sayama0402/items/72d41ff5b030dba88982 ※主にブラックリストについて ■IP拒否 その1 以下を参考に、受信拒否リストからの削除依頼をすれば届くようになることがある 「Web1から送信すれば届くのに、Web2から送信すると届かない」のような場合も、IP拒否の可能性が高い iCloudメール送信エラー proofpointのブロック解除 | かっぱの知恵袋 https://onaraboo.com/?p=537 proofpointでiCloud.comへのメールがブロックされた際の解除方法 | 己で解決！泣かぬなら己で鳴こうホトトギス https://onoredekaiketsu.com/unlock-emails-to-icloud-of-proofpoint/ @me.comや@icloud.comなどのメアドがお問い合わせフォーム、メール送信できない場合に確認する事 https://www.beginnerweb.net/icloudmaile-formspam.html 以下はAppleが運営しているメールサーバフィルタらしい Home | Proofpoint Dynamic Reputation - IP Lookup https://ipcheck.proofpoint.com/ IPアドレスを入力し、ブロックされていれば解除申請画面が表示される 以下は申請例。「Additional Details」は日本語でいいらしい Contact Name: Taro Yamada Email: taro@refirio.net Company: refirio.net Additional Details: ブロックの解除をお願い致します。 ■IP拒否 その2 Proofpoint以外にもMicrosoft・SpamCop・Spamhausなど、色々な企業がブラックリストを作っており、色々な企業がそのリストを利用している ブラックリストによって拒否された場合、エラーメールに 「554 5.7.1 Service unavailable; Client host [203.0.113.1] blocked using bl.spamcop.net」 のように記載される可能性が高いため、これによって対象となったリストを判断できる ブラックリストの基礎知識と対処法 | SendGridブログ https://sendgrid.kke.co.jp/blog/?p=11357 リストから除外のポータルを使って、Office 365 の受信拒否リストから自分自身を削除する https://technet.microsoft.com/ja-jp/library/mt661881(v=exchg.150).aspx SpamCopとは http://b2antispam.s33.xrea.com/doc/help/online/03_ShochiIraiShien/5-4_SpamCopRiyou/5-6-0_aboutSpamCo... SpamCop提供のDNSBLに登録されてしまった時 | ぽちゃ猫.com https://www.pochaneko.com/spamcop/ [共通] SPAMHAUSでのブラックリスト登録解除手順 https://faq.wadax.ne.jp/s/article/1500 ■IP拒否 その3 2021年2月1日、SpamCop側のトラブルで正常なメールもブラックリスト扱いになる…というトラブルがあった 「何故急にブロックされたのか分からない」という場合、 「Proofpoint」「SpamCop」などのサービス名でTwitterやYahoo!でのリアルタイム検索を利用すると原因にたどり着けるかもしれない https://twitter.com/umiushizn/status/1356044492634116097 https://twitter.com/tss_0101/status/1356019638912466948 https://twitter.com/unos/status/1356143511507148802 https://twitter.com/tss_0101/status/1355886898590359552 https://twitter.com/NETASSIST_/status/1356060529647734785 ■IP拒否 その4 企業が独自にIP拒否を行っている可能性がある（AWSサーバからの一斉拒否、など） その場合、IPアドレスを知らせて許可してもらう ■AOL AOLは一般的に届かないことが多いらしい 当社からのメールが受信できないお客様へ http://www.ats.co.jp/mailmissing.html AOL曰く 「AOLでは対処方法を提示できませんので、対象の方との連絡については、別途の方法をご検討ください」 とのこと 一部のメールアドレスと送受信できない http://info.aol.jp/mail/help02401/ どうやらAOLは、AOLユーザ同士のやりとり以外を重視していないらしい 「AOLは届かないことが多いので、他のアドレスを使ってください」と案内しておくのが安全そう ■Hotmail Hotmailも届かないことが多いらしい 『ホットメールをお使いの皆様へ』-北海道.co.jp- https://web.archive.org/web/20081120021223/http://www.origotou.net/hajimete/hotmail_faq.htm OutlookやHotmail宛にメールが届かない！ Microsoftのブロックリストの解除申請方法 - ベアメールブログ https://baremail.jp/blog/2022/11/24/2882/ Hotmail（ホットメール）で、メールの受信がうまくいかない場合の対処方法 | CanaGo-Visa Consulting https://canago-visa.com/hotmail/ hotmailでメールが届かない理由と対処法 | ガジェット・ITメモ https://jpneet.com/gadget/hotmail_dontget/ ブラックリストに登録された場合、Microsoftに申請することで解除される可能性があるらしい Outlook.comのサーバーへのメールが届かない場合の対処法 - ドットワン合同会社 https://dot1.tv/outlook-blocks3150/ Microsoft系メールサーバーにメールが届かない場合の解決方法について (S3140) | GMOアドパートナーズ TECH BLOG byGMO https://techblog.gmo-ap.jp/2022/04/26/microsoftmailservers3140/ hotmailメールアドレスがブラックリストに登録されているため解除をしたい - お客さまサポート https://help.arena.ne.jp/hc/ja/articles/360034194854-hotmail%E3%83%A1%E3%83%BC%E3%83%AB%E3%82%A2%E3%... ■Ezweb ezweb.ne.jpも厄介らしい ・届く場合と届かない場合がある ・ezwebはエラーがあってもエラーを返さないので調査が困難 ・ドメイン指定受信以外に「なりすまし規制」設定の変更で届くことがある ・同じサーバから送っても、本文の差でなりすまし規制に引っかかった…という可能性はゼロではない Gmailからau(ezweb)にメールが届かない！原因と対策 - NAVER まとめ https://matome.naver.jp/odai/2147045052147274001 SSHのポート番号を10022に変更している場合、以下の設定を行う 「設定 → ホスト → アイテム」で「Template_Linux:SSH server is running」を複製し、 説明 : SSH(10022) server is running キー : net.tcp.service[ssh,,10022] を作成する 「設定 → ホスト → トリガー」で「Template_Linux:SSH server is down on {HOSTNAME}」を複製し、 名前 : SSH(10022) server is down on {HOSTNAME} 条件式 : {refirio.net:net.tcp.service[ssh,,10022].last(0)}=0 を作成する これでSSHの監視対象が10022番ポートになる （「アイテム → トリガー」の順で作成しないとエラーになる） 補足： net.tcp.service[tcp,,10022] ではなく net.tcp.service[ssh,,10022] にしておくと、返ってきた値がsshとして正しいか判定する？ Zabbixは10055番ポートで対象サーバにアクセスし、そこから127.0.0.1として各サービスを監視する 従ってFTPにアクセス制限を設けている場合、ローカルからFTP接続できるようにする必要がある 421 Service not available.　で FTP の get が失敗する http://tooljp.com/linux/faq/709FC95863056BEC49257CAC005F00B4.html Zabbix(Webフロントエンド)がデータを返さない http://blog.5v-gnd.net/archives/1070 WordPressで画面真っ白や502エラーの原因は「eAccelerator」だった http://www.multiburst.net/sometime-php/2010/06/eaccelerator/ php_flag eaccelerator.enable 0 php_flag eaccelerator.optimizer 0 この設定を追加すれば直ることがある zabbixのドキュメントルート /usr/share/zabbix それでも駄目ならhttpdの再起動で直ることがある。 chkrootkit 誤検知の対応方法 http://qiita.com/KoriCori/items/4094e79a7d7fc0329117 chkrootkit report in refirio.net Checking `bindshell'... INFECTED (PORTS: 37998) というCron実行メールが届く rootkitを仕掛けられた可能性があるが、誤検知の可能性があるので以下で様子を見る AWSのマウントでハマった時のメモ http://qiita.com/shoya/items/009ca1e06d6d9c9f2e67 rpcbindを再起動すると直るかも？ 今回は原因不明だったが、yumですべてをアップデートしてサーバを再起動すれば表示されなくなった 以下の内容が大量に記録されたCron実行メールが届く /var/log/freshclam.log を確認すると、以下のメッセージが何度も記録されていた Clam AntiVirus 自体の問題かもしれないが、アップデートすればエラーが出なくなった AWSのClamavとPCRE http://d.hatena.ne.jp/tetsuya_odaka/20160927/1474957752 その他参考になりそうなページ /var/log/freshclam.log is locked by another process https://www.shigizemi.com/2012/12/23/freshclam-log-is-locked-by-another-process/ Clam AV http://takeshou.blogspot.jp/2009/10/clam-av.html Debian 8 (Jessie) - アンチウイルスソフト導入！ http://www.mk-mode.com/octopress/2015/05/29/debian-8-anti-virus-installation/ freshclam の更新がうまくいきません。 https://forums.ubuntulinux.jp/viewtopic.php?pid=112772 ClamAVがアップデートした際にfreshclamが正常に動かない http://www.sys-cube.co.jp/blog/995.html /etc/yum.conf に例えば以下の設定がある場合、yum install php-xml など、追加インストールも行えなくなる （依存性を解決できない、と言われたりする） いったん設定を無効にしてyumを実行する 1時間ごとに、Cronから以下のようなメールが届く 「リポジトリの情報が更新されたので、サーバ上にある情報は古いです」という内容 yumのキャッシュをクリアすることで解消する 以下は実行例 yum のエラー「Not using downloaded repomd.xml because it is older than what we have」 - ラボラジアン https://laboradian.com/yum-errr-not-using-downloaded-repomd-xml-older-have/ [忘備録]yumでリポジトリエラーが出る場合の対処法[CentOS] https://blog.k-abe.com/memo/post-157 yum update でエラー | 自宅サーバー構築メモ(CentOS) http://yokensaka.com/centos/?p=483 カスタムRPMや独自yumリポジトリではじめるソフトウェア管理術 | さくらのナレッジ https://knowledge.sakura.ad.jp/1086/ それでも駄目な場合、yumのキャッシュを直接削除してみる それでも駄目なことがあったが、数日放置すると収まった 参照先リポジトリの問題で、そちらで何かしらの対策がされたか CentOS7.6でyumが「Not using downloaded remi-safe/repomd.xml because it is older than what we have」というエラーを吐いた - Qiita https://qiita.com/shimano_equipped/items/c4dfa635216f804e2fcd Cronからremi-safeに関するメールが届いた場合の3つの対処法 | Minory https://minory.org/cron-remi-safe.html 「「Not using downloaded repomd.xml because it is older than what we have」というメールが届く」を参照 1時間ごとに、Cronから以下のようなメールが届く yumやepelなどのリポジトリ側で問題があったとき、このようなエラーになるみたい というコマンドで再現できる もしくは というコマンドでメタデータやキャッシュをクリアすることで収まることがあるみたい …だが、実行しても解消しなかった。まだyumやepelなどのリポジトリ側の問題が解消していないのかも？引き続き要確認 /etc/cron.hourly/0yum-hourly.cron: Updateinfo file is not valid XML のエラーメールが届く | キュア子の開発ブログ https://curecode.jp/tech/yum-cron-updateinfo-file-is-not-valid-xml/ 「Updateinfo file is not valid XML」について | NetCircus Envisage https://www.netcircus.jp/2017/06/23/%E3%80%8Cupdateinfo-file-is-not-valid-xml%E3%80%8D%E3%81%AB%E3%8... Twitterで「Updateinfo file is not valid XML」を検索すると、同じ症状に遭遇している人は世界中に多数 CentOS7で発生しているみたい https://twitter.com/centoslinux/status/1133787232429596673 https://twitter.com/tAkA_twitte/status/1133680637246754816 https://twitter.com/curecochan/status/877741585164673025 https://twitter.com/stockton_jazz/status/877821713379016704 以下は公式のツイートではないが、まだyumやepelなどのリポジトリ側の問題が解消していないみたい？ https://twitter.com/tAkA_twitte/status/1133932386129809408 Googleで「epel error」で24時間以内の記事を検索すると以下などのトピックもある https://unix.stackexchange.com/questions/521770/yum-failing-check-update https://www.spinics.net/linux/fedora/epel-devel/msg02794.html 大元のリポジトリがなかなか完全復旧しない場合、/etc/cron.hourly/0yum-hourly.cron を編集すれば毎時の更新チェックを無効化できる この状態で様子見し、数日後に「yum check-update」を実行してみると「Updateinfo file is not valid XML」のメッセージは表示されなくなっていた 問題無さそうなら、上記のファイルをもとに戻しておく 複数のサーバから、以下のようなメールが届いた EPELリポジトリにアクセスしようとしてタイムアウトになっている 大元のサーバが不安定なだけの可能性はあるので様子見とした 以下は直接の原因では無いが、参考にはなりそう yumでepel使った時、「Could not get metalink https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=x86_64」って怒られたもんで - Opensourcetechブログ https://www.opensourcetech.tokyo/entry/20200529/1590737497 1時間ごとに、Cronから以下のようなメールが届く サーバにインストールされている中間証明書の期限が切れていたため、curl系のコマンドでSSL接続をした時にエラーになっていた （証明書が何らかの理由で破損したときも、このエラーになるらしい） 有効な証明書なのにcertificate has expiredになる件 | Otogeworks https://otogeworks.com/blog/a-valid-certificate-has-expired/ 以下は実際に対応したときの内容 curlでエラーになることが確認できる ca-certificatesパッケージ（証明書が含まれている）を更新 curlでエラーにならないことが確認できる 以下はca-certificatesパッケージの更新前と更新後の比較 若干新しくなっていることが確認できる 有効な証明書なのにcertificate has expiredになる件 | Otogeworks https://otogeworks.com/blog/a-valid-certificate-has-expired/ ここでは「管理しているサーバ = refirio.net」であるとする メール受信のための設定をしていない、さらにPostfix自体も稼働させていないサーバから送信元 info@refirio.net として server@refirio.org に迷惑メールが送られてきた メールヘッダを確認すると、送信元サーバは batch1.refirio.net のように見える 以下は 「refirio.net ではメールの受信は行っていないので外部からメールは受け取らないはず、迷惑メール送信の不正プログラムでも設置されたのか」 と思って調査したメモ 確認に使用したメールの送信元は、ここでは example@example.com とする ■確認 example@example.com を送信元として info@refirio.net にメールを送ると、batch1サーバの /var/log/maillog に以下が記録された。 これは 送信日時: 02/24 18:12:19 送信元: example@example.com 送信先: server@refirio.org 送信元サーバ: mail-proxy111.phy.lolipop.jp 送信先サーバ: mx01.lolipop.jp 追加情報: - サイズ: 2KB 結果: 成功 ということなので、迷惑メールのときと状況は一致する つまり現象を再現できた ■調査 refirio.net のMXレコードは以下のようになっている 上記設定により、メールは batch1.refirio.net サーバが受け取るように指定されている batch1.refirio.net サーバでPostfixは稼働させていないが、古いサーバなのでsendmailが稼働していた 参考までに、Postfixを稼働させている場合は以下のようになる batch1.refirio.net サーバの /etc/aliases を確認すると、以下の記述がある。 メールエイリアスの設定 | 技術ノート http://www.gabacho-net.jp/tech-note/aliases.html 上記ページによると > これらは、MAILER-DAEMON（メール配送デーモン：sendmailデーモンのこと）宛に通知されたメールはpostmaster（郵便局長の意味）が受け取るべきこと、 > さらにpostmaster宛のメールはroot（システム管理者）が受け取るべきことを定義しています。 とのこと よって 1. example@example.com（外部）から info@refirio.net へメールを送信 2. DNSのMXレコードにより、batch1.refirio.net へ転送 3. batch1.refirio.netのAliasにより、postmaster → root → server@refirio.org の順で転送 となる つまり、迷惑メール送信リストの中に info@refirio.net があり、その内容が server@refirio.org に転送されてきた …というもの ■参考 MXレコードとは？役割と確認方法についてわかりやすく解説！ - Value Note - わかる、なるほどなIT知識。 https://www.value-domain.com/media/mx_record/ オープンソースのPostfixとsendmailを比較 https://www.ossnews.jp/compare/postfix/sendmail reCatnap: linux MTAの確認（sendmail、postfixの確認） https://tips.recatnap.info/laboratory/detail/id/345 postfixのメール再送信と、再送メールキューの動作 | りんか ネット https://rin-ka.net/postfix-postqueue/ Postfixのキューの再送間隔がわかりにくいため、やさしく解説してみた | KITA-SAN.BLOG https://kita-san.blog/computer-related/postfix-retry/ Postfixでの具体的な設定箇所が説明されている メールエイリアスの設定 | 技術ノート http://www.gabacho-net.jp/tech-note/aliases.html ディスク容量は以下のコマンドで確認できる 根本解決にはディスクの容量アップが必要だが、不要ファイルを削除することで対処できることがある /var/cache/yum の容量は大きくなりがちなので、クリーンすることで容量を減らすことができる /var/cache/ 内のデータをすべて削除するのは危険 /var/cache 下のファイルは消して良いのか http://qiita.com/amedama/items/eee14483b86de2842c42 ディスク容量がいっぱいの時にやる事 http://qiita.com/oshou/items/2630f9f1c1131beb748e なお「yum clean all」はCentOS用なので、Ubuntuの場合は「apt-get clean」とする（未検証） Ubuntuで不要なファイルを削除してディスクスペースを確保する - Qiita https://qiita.com/inohiro/items/5d358c30eb7bacb37c7c Linuxではファイルやディレクトリに重複しない番号が割り振られていて、これをinodeと呼ぶ この番号は、パーティションサイズにより上限が定められている つまりサイズの小さいファイルを大量に作成すると、 データ領域の容量に余裕があっても新規にファイルやディレクトリを作成できなくなる 古いログファイルは削除するなどして、容量を確保する 以下のようにすれば、カレントディレクトリ以下のinode使用量をディレクトリごとに表示できる ただしrootディレクトリなど対象ファイルの多い場所で実行すると遅い 例えば /var/log/command/uptime 内に 20160401, 20160402, 20160402 のようなディレクトリごとにログファイルを記録している場合、 それらをまとめて 2016.zip としてバックアップしてから2016年のデータを削除するには以下のようにする iノード（inode）とは http://kazmax.zpp.jp/linux_beginner/inode.html Linuxでファイル名が文字化けして消せないファイルを、inode番号を指定して削除する方法 http://hamamuratakuo.blog61.fc2.com/blog-entry-1025.html inodeとは/inode消費が多いディレクトリの確認 http://tagutagu.com/?page_id=985 「sudo yum install php-mysql」を実行して のようなエラーになる場合、 Full Update to PHP5.5 on Amazon Linux http://serverfault.com/questions/566662/full-update-to-php5-5-on-amazon-linux などを参考にしつつ以下のコマンドを入力 PHPからmysql_connect()とPDOの両方で接続できるようになった 他の人が管理しているサーバだったので、PHPを正しく設定できていなかっただけかも だけでも良かったかも（要検証） はじめからインストール＆起動されていないか確認する 例えば とすれば、httpが起動しているかどうか確認できる ハードディスクへの書き込みエラー ハードディスクが物理的に故障している可能性がある エラーログで障害原因を突き止めろ！ | Think IT（シンクイット） https://thinkit.co.jp/article/736/1 ログインのたびに「LC_CTYPE: cannot change locale (ja_JP.UTF-8): No such file or directory」のようなエラーが表示される Vagrant + CentOS7 + Ansible でセットアップ…とした環境で発生することがあった CentOS7は、バージョンによっては日本語ロケールを取得できない？以下のようにして対処はできたい cannot change locale をやっつける - ARCHIVESDRIVE HB https://donbulinux.hatenablog.jp/entry/2018/08/06/143722 コンソールでシャットダウンを押してもシャットダウンが始まらない。 15分ほど待っても何も起きないのでさくらに再起動を依頼。 機器リブート（サーバ再起動） http://www.sakura.ad.jp/function/security/reboot.html さくらのID、自身の名前、対象サーバのIPアドレスを連絡する必要がある。 依頼してから15分後くらいに連絡があり、再起動をしてくれた。 諸々の確認作業があるので、即座に再起動はできないらしい。 シャットダウンが始まらなかった原因は不明。