golang如何實(shí)現(xiàn)抓取IP地址的蜘蛛程序詳解

func main() {
 //利用go基本庫封裝的網(wǎng)頁抓取函數(shù)，后面有說明
 ctx := common.HttpGet("http://ips.chacuo.net/") 
 //正則表達(dá)式，有兩個分組（兩組小括號），分別取城市信息與url，具體分析代碼后面有說明
 reg := regexp.MustCompile(`li>a title="[\S]+" href='([^']+?)'>([^]+?)/a>/li>`)  
 //取得頁面上所有的城市及相應(yīng)url
 ips := reg.FindAllStringSubmatch(string(ctx), -1)

 ch := make(chan string) //建立無緩沖字符串通道

 for _, el := range ips { //一個協(xié)程處理一個具體頁面
  go ipSpider.SpiderOnPage(el[1], el[2], ch)
 }

 for range ips {   //阻塞等待所有抓取工作全部完成
  fmt.Println(-ch)
 }
}

a title="北京最新IP地址段"  rel="external nofollow" >北京/a>

 //獲取頁面數(shù)據(jù)
 ctx := common.HttpGet(url)
 //reg := regexp.MustCompile(`li>a title="[\S]+" href='([^']+?)'>([^]+?)/a>/li>`)
 //兩個分組分別對應(yīng)IP段開始與結(jié)束
 reg := regexp.MustCompile(`dd>span class="v_l">([^]+?)/span>span class="v_r">([^]+?)/span>div class="clearfix">/div>/dd>`)
 //dd>span class="v_l">49.64.0.0/span>span class="v_r">49.95.255.255/span>div class="clearfix">/div>/dd>
 //取得所有匹配的分組信息
 ip := reg.FindAllStringSubmatch(string(ctx), -1)
 //沒有取得任何信息，提前返回，很重要，不然主進(jìn)程會一直等待結(jié)束不了
 if len(ip) == 0 {
  ch - "There are no data exist."
  return nil
 }

CREATE TABLE `ip_addr_info` (
 `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '索引，自動增長',
 `ip_addr_begin` varchar(32) NOT NULL DEFAULT '' COMMENT 'ip地址段開始',
 `ip_addr_end` varchar(32) DEFAULT '' COMMENT 'ip地址段結(jié)束',
 `province` varchar(32) DEFAULT '' COMMENT '所屬省',
 `ip_comp` varchar(32) DEFAULT '' COMMENT '運(yùn)營商',
 PRIMARY KEY (`id`),
 UNIQUE KEY `ip_addr` (`ip_addr_begin`,`ip_addr_end`)
) ENGINE=InnoDB AUTO_INCREMENT=7268 DEFAULT CHARSET=utf8 COMMENT='表';

 var vs [] interface{}  //存儲輸入?yún)?shù)的接口數(shù)組
 var vss string    //待拼接的輸入?yún)?shù)占位符字符串
 for _, el := range ip {  //處理所有的數(shù)據(jù)
  vs = append(vs, el[1], el[2], province) //每一列包括開始地址、結(jié)束地址與省份
  vss += "(?,?,?),"  //占位符
 }
 vss = vss[0:len(vss) -1]  //去掉最后的逗號
 var configs interface{}  //從配置文件取數(shù)據(jù)庫信息
 fr, err := os.Open("./configs.json") //配置文件內(nèi)容請參照上篇文章《golang實(shí)現(xiàn)mysql數(shù)據(jù)庫備份》
 if err != nil {
  ch - err.Error()
  return err
 }
 decoder := json.NewDecoder(fr)
 err = decoder.Decode(configs)

 confs := configs.(map[string]interface{})
 dialect := confs["database_dialect"].(string)

 dbConf := confs["db_"+dialect+"_config"].(map[string]interface{})
 dbHost := dbConf["db_host"].(string)
 dbPort := strconv.FormatFloat(dbConf["db_port"].(float64), 'f', -1, 32)
 dbUser := dbConf["db_user"].(string)
 dbPass := dbConf["db_pass"].(string)
 dbName := dbConf["db_name"].(string)
 dbCharset := dbConf["db_charset"].(string)

 dao, err := mysql.Open(dialect, dbUser + ":"+dbPass+"@tcp("+dbHost+":"+dbPort+")/"+dbName+"?charset="+dbCharset)
 defer dao.Close()
 if err != nil {
  ch - err.Error()
  return err
 }
 //批量插入語句拼接
 sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,province) values " + vss
 stmt, err := dao.Prepare(sqlstr) //預(yù)處理帶參數(shù)的sql語句
 rs, err := stmt.Exec(vs...)   //帶參數(shù)執(zhí)行sql語句
 if err != nil {     //出錯，返回錯誤信息
  ch - err.Error()
  return err
 }else {       //成功，返回成功信息
  affect, _ := rs.RowsAffected()
  ch - "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
  return nil
 }

 //前提數(shù)據(jù)庫表定義要設(shè)定唯一索引，主鍵或其它定義的unique索引
 ...
 
 sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,ip_comp) values " + vss +
  //提供更新（唯一索引沖突時）時要對應(yīng)原字段與值
  " ON DUPLICATE KEY UPDATE ip_addr_begin = values(ip_addr_begin), ip_addr_end = values(ip_addr_end), ip_comp = values(ip_comp)"
 stmt, err := dao.Prepare(sqlstr)
 rs, err := stmt.Exec(vs...)
 if err != nil {
  ch - err.Error()
  return err
 }else {
  affect, _ := rs.RowsAffected()
  ch - "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
  return nil
 }

git clone https://github.com/zhoutk/goTools
cd goTools
go get
go run ip.go

go buid ip.go
./ip