各種ログを確認する

サーバ管理

ログを確認することは、システム管理の基本中の基本です。必ず目を通すようにしましょう。漠然と眺めるのも効率が悪いので、僕が意識してやっているコツを記載します。

どのログファイルを見ておけばいいのか
どんなワーニングメッセージがやばいのか
ログが言わんとしていることは何か
障害対応したときのログと対応策をノウハウとして蓄積

以下、簡単に説明します。

どのログファイルを見ておけばいいのか

どれか1つと限定されれば、Solarisの場合、間違いなく/var/adm/messagesです。システムの悲鳴は、/var/adm/messagesに出力されるので、絶対見ておく必要があります。その他余裕が有るのならば、以下も見ておきましょう。

【logファイル】
ログファイル	説明
/var/adm/messages	システムのログ
/var/adm/sulog	suコマンドのログ
/var/adm/{utmpx,wtmpx}	どちらもバイナリログファイルです。前者はwhoコマンド、後者は、lastコマンドで閲覧できます。定期的に見て変なユーザがログインしていないか確認する事をお薦めします。
/var/log/syslog	メールのログなど
/var/log/xferlog	ftpのログ

どんなワーニングメッセージがやばいのか

"panic、alert、crit、err、warning、notice"辺りは、やばいと思われます。まーwarning、noticeは、そんなにやばくないのですが、障害予備群かもしれないので、一応目を通して確認しておきます。面倒臭くても後で泣きを見るよりはいいので。

これらをegrepやらswatchやらでログから引っかけておきます。後は、やばそうなメッセージ集を運用中に随時カスタマイズと言うことで。

ログが言わんとしていることは何か

覚えている範囲で遭遇したメッセージのことを書きます。まーそんなに無いのですが。いずれも/var/adm/messagesの内容です。

【messagesエラー】
メッセージ	意味	対策
panic[cpu0]	CPUパニック	その前後のログに有益な情報がありますが、詳細な原因調査にはクラッシュダンプの解析が必要となる場合が多いです。ケースバイケースですが、頻発するようならCPUの交換が手っ取り早いです。
WARNING: /pci@1f,4000/scsi@5,1/st@4,0 (st25): Error for Command: write	テープへの書込時のエラー	・メディアの交換・DDS本体のヘッドクリーニング・DDS本体の交換・ケーブル接続の確認
WARNING: /pci@1f,0/pci@1,1/scsi@2 (glm0): SCSI bus MESSAGE IN phase parity error	SCSIデータ転送のフェーズにおいてMESSAGE INフェーズにてパリティーエラーを検出	・SCSIデバイスの交換・SCSIケーブル接続の確認や交換
WARNING: /pci@1f,0/pci@1,1/scsi@2 (glm0): SCSI transport failed: reason 'reset': retrying command	SCSIデータ転送中のエラー。ターゲットがイニシエータからreset応答を受けたためにエラーになった可能性が高い。	その前後のログに有益な情報がありますが、可能性としてはディスクI/Oの高負荷、接続部位(SCSIデバイス、SCSIケーブル、インターフェースなど)の不具合が考えられます。頻発するようならこれらのデバイス交換が必要です。
Not enough spaceとかOut of memory	メモリ、スワップ不足	一時的にswapコマンドでスワップを追加するか、高負荷なプロセスが動いていないか確認する。
WARNING: High TCP connect timeout rate! System (port 80) may be under a SYN flood attack!	80番ポートにSYN flood攻撃を受けてるっぽい。	気になるようならnddコマンドでネットワークパラメータをチューニングする。