使用MySQL語句來查詢Apache服務(wù)器日志的方法

Linux 有一個顯著的特點，在正常情況下，你可以通過日志分析系統(tǒng)日志來了解你的系統(tǒng)中發(fā)生了什么，或正在發(fā)生什么。的確，系統(tǒng)日志是系統(tǒng)管理員在解決系統(tǒng)和應(yīng)用問題時最需要的第一手資源。我們將在這篇文章中著重講解 Apache HTTP web server 生成的 Apache access 日志。

這次，我們會通過另類的途徑來分析 Apache access 日志，我們使用的工具是 asql。asql 是一個開源的工具，它能夠允許使用者使用 SQL 語句來查詢?nèi)罩荆瑥亩ㄟ^更加友好的格式展現(xiàn)相同的信息。
Apache 日志背景知識

Apache 有兩種日志：

•     Access log：存放在路徑 /var/log/apache2/access.log (Debian) 或者 /var/log/httpd/access_log (Red Hat)。Access Log 記錄所有 Apache web server 執(zhí)行的請求。
•     Error log：存放在路徑 /var/log/apache2/error.log (Debian) 或者 /var/log/httpd/error_log (Red Hat)。Error log 記錄所有 Apache web server 報告的錯誤以及錯誤的情況。Error 情況包括（不限于）403（Forbidden，通常在請求被拒絕訪問時被報告），404（Not found，在請求資源不存在時被報告）。

雖然管理員可以通過配置 Apache 的配置文件來自定義 Apache access log 的詳細程度，不過在這篇文章中，我們會使用默認的配置，如下：
   

因此一個典型的 Apache 日志條目就是下面這個樣子：

但是 Apache error log 又是怎么樣的呢？因為 error log 條目主要記錄 access log 中特殊的請求（你可以自定義），所以你可以通過 access log 來獲得關(guān)于錯誤情況的更多信息（example 5 有更多細節(jié)）。

此外要提前說明的， access log 是系統(tǒng)級別的日志文件。要分析虛擬主機的日志文件，你需要檢查它們相應(yīng)的配置文件（例如： 在 /etc/apache2/sites-available/[virtual host name] 里（Debian））。
在 Linux 上安裝 asql

asql 由 Perl 編寫，而且需求以下兩個 Perl 模塊：SQLite 的 DBI 驅(qū)動以及 GNU readline。
在 Debian, Ubuntu 以及其衍生發(fā)行版上安裝 asql

使用基于 Debian 發(fā)行版上的 aptitude，asql 以及其依賴會被自動安裝。

  # aptitude install asql

在 Fedora，CentOS，RHEL 上安裝 asql

在 CentOS 或 RHEL 上，你需要啟用 EPEL repository，然后運行以下代碼。在 Fedora 中，直接運行以下代碼：

  # sudo yum install perl-DBD-SQLite perl-Term-Readline-Gnu
  # wget http://www.steve.org.uk/Software/asql/asql-1.7.tar.gz
  # tar xvfvz asql-1.7.tar.gz
  # cd asql
  # make install

asql 是如何工作的？

從上面代碼中的依賴中你就可以看出來，asql 轉(zhuǎn)換未結(jié)構(gòu)化的明文 Apache 日志為結(jié)構(gòu)化的 SQLite 數(shù)據(jù)庫信息。生成的 SQLite 數(shù)據(jù)庫可以接受正常的 SQL 查詢語句。數(shù)據(jù)庫可以通過當前以及之前的日志文件生成，其中也包括壓縮轉(zhuǎn)換過的日志文件，類似 access.log.X.gz 或者 access_log.old。

首先，從命令行啟動 asql：

  # asql

你會進入 asql 內(nèi)置的 shell 交互界面。

輸入 help 列表可執(zhí)行的命令：

首先在 asql 中加載所有的 access 日志：

比如在 Debian 下：

在 CentOS/RHEL 下：

當 asql 完成對 access 日志的加載后，我們就可以開始數(shù)據(jù)庫查詢了。注意一下，加載后生成的數(shù)據(jù)庫是 "temporary" （臨時）的，意思就是數(shù)據(jù)庫會在你退出 asql 的時候被清除。如果你想要保留數(shù)據(jù)庫，你必須先將其保存為一個文件。我們會在后面介紹如何這么做（參考 example 3 和 4）。

生成的數(shù)據(jù)庫有一個名為 logs 的表。輸入下面的命令列出 logs 表中提供的域：

一個名為 .asql 的隱藏文件，保存于用戶的 home 目錄下，記錄用戶在 asql shell 中輸入的命令歷史。因此你可以使用方向鍵瀏覽命令歷史，按下 ENTER 來重復(fù)執(zhí)行之前的命令。
asql 上的示例 SQL 查詢

下面是幾個使用 asql 針對 Apache 日志文件運行 SQL 查詢的示例：

Example 1：列出在 2014 年 10 月中請求的來源 / 時間以及 HTTP 狀態(tài)碼。

  SELECT source, date, status FROM logs WHERE date >= '2014-10-01T00:00:00' ORDER BY source;

    Example 2：從小到大顯示單個客戶端處理的請求大?。╞ytes）。

 SELECT source, SUM(size), AS NUMBER FROM logs GROUP BY source ORDER BY Number DESC;

    Example 3：在當前目錄中保存數(shù)據(jù)庫為 [filename]。

    這樣做可以避免使用 load 命令對日志的語法分析所占用的處理時間。

Example 4：在重新進入 asql 后載入數(shù)據(jù)庫。

    Example 5：返回 access 日志中記錄的 error 情況。在這個例子中，我們將顯示所有返回 HTTP 狀態(tài)碼為 403（access forbidden）的請求。

  SELECT source, date, status, request FROM logs WHERE status='403' ORDER BY date

    這個例子想要表現(xiàn)的是：雖然 asql 只分析 access 日志，我們還是可以通過使用請求的狀態(tài)域來顯示有 error 情況的請求。
小結(jié)：

我們體驗了 asql 如何幫助我們分析 Apache 日志文件，并將結(jié)果通過友好的格式輸出。雖然你也可以通過使用命令行的工具（例如 cat 與 grep，uniq，sort，wc 等等之間的管道）來實現(xiàn)類似功能，與此比較起來 asql 展示了它如同瑞士軍刀一般的強大功能，使我們在自己的需求下能夠通過標準 SQL 查詢語句來過濾日志。

希望這篇教程能幫助到你們。