Apache Webサーバのエラーログから日別、ホスト名・IPアドレス毎にエラー数を集計するシェルスクリプト(バッチ処理プログラム) ～サーバーやミドルウェアの脆弱性を狙ったサイバー攻撃、Dos攻撃、WordPress等のソフトウェアへの攻撃検知にも使えるエラー集計～
前回、下記の記事でApacheのアクセスログを集計するシェルスクリプト(バッチ処理プログラム)を紹介しました。
アクセスログに加えて、Webサーバを運用する上でどのようなIPからのアクセスでエラーが出ているかを知っておくことも重要な事です。
最近ではGoogleアナリティクスなど高性能なツールでウェブブラウザからのアクセス分析をすることが可能になりましたが、Webサーバで発生したエラーログを分析する機能を持ち合わせているパッケージは少ないでしょう。
特にJavaScriptが動作しないクローラーやCurl、Wgetなどのコマンドでのアクセスで発生したエラーはWebサーバのエラーログを直接参照する必要があります。
さらにエラーログを定期的に監視することはサーバーやミドルウェアの脆弱性を狙ったサイバー攻撃、Dos攻撃、Wordpress等のソフトウェアへの攻撃に気づくことにも繋がります。
今回はクローラーやコマンドなどのウェブブラウザ以外からのアクセスも含んだWebサーバのエラーログから日別、ホスト名・IPアドレス毎にエラー数を集計するシェルスクリプト(バッチ処理プログラム)を備忘録として記載します。
Apache Webサーバのエラーログから日別、ホスト名・IPアドレス毎にエラー数を集計するシェルスクリプト(バッチ処理プログラム) ～サーバーやミドルウェアの脆弱性を狙ったサイバー攻撃、Dos攻撃、Wordpress等のソフトウェアへの攻撃検知にも使えるエラー集計～
基本方針としてはエラーログファイルのパスに「*」を付けてログローテーションしたファイルも含めて日付指定で集計します。
Apache Webサーバのエラーログから日別、ホスト名・IPアドレス毎にエラー数を集計するシェルスクリプト(バッチ処理プログラム)
引数に整数を入力することで当日から数えて引数の日数前のアクセス数を集計できるようにしています。
また、「all」を引数にすると全ての日付に対して集計をかけることができます。
集計した結果はアクセス数が少ない順にソーティングして表示しています。
1 | vim check_error_log_count_each_ip.sh |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 | #!/bin/bash#エラーログファイルのパスLOG_PATH=/var/log/httpd/error_log#引数取得target=${1}if [ "${target}" = "all" ]; then #引数がallであれば全ての日付を指定 target=allelif [ "${target}" = "" ]; then #引数がなければ当日を指定 target=0elif [[ ! "${target}" =~ ^[0-9]*$ ]]; then #引数があり、整数であれば引数の日数前を指定 target=0fiexport LANG=en_US.UTF-8#macOSはgdateコマンドで日付を出力if [ "$(uname)" == 'Darwin' ]; then DATECMD=gdateelse DATECMD=datefiif [ "${target}" = "all" ]; then #全日指定であれば日付指定無し APACHE_DATE=""else #集計対象の日付文字列を作成 APACHE_DATE=`${DATECMD} "+%a %b %d" --utc --date "${target} day ago"`fi#改行への変換を行うための改行コードを指定。LF=$'\\\x0A'#エラーログの日別、ホスト名・IPアドレス毎の集計処理cat ${LOG_PATH}* | egrep "\[${APACHE_DATE} " | grep client | sed 's/[^0-9.]/'"$LF"'/g' | grep '^[0-9]' | sed 's/^\.//g' | sed 's/\.$//g' | grep '[0-9]*\.[0-9]*\.[0-9]*\.[0-9]*' | sort -n | uniq -c | sort -n |
Apache Webサーバのエラーログから日別、ホスト名・IPアドレス毎にエラー数を集計するシェルスクリプト(バッチ処理プログラム)
引数にallを指定して存在するエラーログ全ての日付に対してエラーログのホスト名・IPアドレス毎の集計を計算している例です。
実行結果の内容はあくまでサンプルです。
この例であれば「123.456.789.016」「123.456.789.015」などエラー数が多いIPアドレスは何らかの攻撃を仕掛けている可能性もあるので、再度エラーログを検索して不正アクセスがないか確認する必要があるでしょう。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | [magtranetwork@localhost ~]# chmod 755 check_error_log_count_each_ip.sh[magtranetwork@localhost ~]# ./check_error_log_count_each_ip.sh 1 1 123.456.789.001 1 123.456.789.002 1 123.456.789.003 1 123.456.789.004 1 123.456.789.005 2 123.456.789.006 2 123.456.789.007～省略～ 3 123.456.789.008 3 123.456.789.009 3 123.456.789.010 3 123.456.789.011 3 123.456.789.012 6 123.456.789.013 6 123.456.789.014 11 123.456.789.015 24 123.456.789.016 |