python re模塊和正則表達(dá)式

import re

ret = re.findall('a', 'ea eg an') # 返回所有滿足匹配條件的結(jié)果,放在列表里
print(ret) #結(jié)果 : ['a', 'a']

ret = re.search('a', 'va eg an').group()
print(ret) #結(jié)果 : 'a'
# 函數(shù)會在字符串內(nèi)查找模式匹配,只到找到第一個匹配然后返回一個包含匹配信息的對象,該對象可以
# 通過調(diào)用group()方法得到匹配的字符串,如果字符串沒有匹配，則返回None。

ret = re.match('a', 'abc').group() # 同search,不過盡在字符串開始處進行匹配
print(ret)
#結(jié)果 : 'a'

ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在對''和'bcd'分別按'b'分割
print(ret) # ['', '', 'cd']

ret = re.sub('\d', 'H', 'va3eg4an4', 1)#將數(shù)字替換成'H'，參數(shù)1表示只替換1個
print(ret) #vaHeg4an4

ret = re.subn('\d', 'H', 'va3eg4an4')#將數(shù)字替換成'H'，返回元組(替換的結(jié)果,替換了多少次)
print(ret)

obj = re.compile('\d{3}') #將正則表達(dá)式編譯成為一個 正則表達(dá)式對象，規(guī)則要匹配的是3個數(shù)字
ret = obj.search('abc123eeee') #正則表達(dá)式對象調(diào)用search，參數(shù)為待匹配的字符串
print(ret.group()) #結(jié)果 ： 123

import re
ret = re.finditer('\d', 'ds3sy4784a')  #finditer返回一個存放匹配結(jié)果的迭代器
print(ret) # callable_iterator object at 0x10195f940>
print(next(ret).group()) #查看第一個結(jié)果
print(next(ret).group()) #查看第二個結(jié)果
print([i.group() for i in ret]) #查看剩余的左右結(jié)果

import re

ret = re.findall('www.(baidu|xunlei).com', 'www.xunlei.com')
print(ret) # ['xunlei']   這是因為findall會優(yōu)先把匹配結(jié)果組里內(nèi)容返回,如果想要匹配結(jié)果,取消權(quán)限即可

ret = re.findall('www.(?:baidu|xunlei).com', 'www.xunlei.com')
print(ret) # ['www.xunlei.com']

ret=re.split("\d+","va3eg4an")
print(ret) #結(jié)果 ： ['va', 'eg', 'an']

ret=re.split("(\d+)","va3eg4an")
print(ret) #結(jié)果 ： ['va', '3', 'eg', '4', 'an']

#在匹配部分加上（）之后所切出的結(jié)果是不同的，
#沒有（）的沒有保留所匹配的項，但是有（）的卻能夠保留了匹配的項，
#這個在某些需要保留匹配部分的使用過程是非常重要的。

import re

ret = re.search("(?Ptag_name>\w+)>\w+/(?P=tag_name)>","h1>hello/h1>")
#還可以在分組中利用?name>的形式給分組起名字
#獲取的匹配結(jié)果可以直接用group('名字')拿到對應(yīng)的值
print(ret.group('tag_name')) #結(jié)果 ：h1
print(ret.group()) #結(jié)果 ：h1>hello/h1>

ret = re.search(r"(\w+)>\w+/\1>","h1>hello/h1>")
#如果不給組起名字，也可以用\序號來找到對應(yīng)的組，表示要找的內(nèi)容和前面的組內(nèi)容一致
#獲取的匹配結(jié)果可以直接用group(序號)拿到對應(yīng)的值
print(ret.group(1))
print(ret.group()) #結(jié)果 ：h1>hello/h1>

import re

ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #['1', '2', '60', '40', '35', '5', '4', '3']
ret=re.findall(r"-?\d+\.\d*|(-?\d+)","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #['1', '-2', '60', '', '5', '-4', '3']
ret.remove("")
print(ret) #['1', '-2', '60', '5', '-4', '3']

import requests

import re
import json

def getPage(url):

  response=requests.get(url)
  return response.text

def parsePage(s):
  
  com=re.compile('div class="item">.*?div class="pic">.*?em .*?>(?Pid>\d+).*?span class="title">(?Ptitle>.*?)/span>'
          '.*?span class="rating_num" .*?>(?Prating_num>.*?)/span>.*?span>(?Pcomment_num>.*?)評價/span>',re.S)

  ret=com.finditer(s)
  for i in ret:
    yield {
      "id":i.group("id"),
      "title":i.group("title"),
      "rating_num":i.group("rating_num"),
      "comment_num":i.group("comment_num"),
    }

def main(num):

  url='https://movie.douban.com/top250?start=%sfilter='%num
  response_html=getPage(url)
  ret=parsePage(response_html)
  print(ret)
  f=open("move_info7","a",encoding="utf8")

  for obj in ret:
    print(obj)
    data=json.dumps(obj,ensure_ascii=False)
    f.write(data+"\n")

if __name__ == '__main__':
  count=0
  for i in range(10):
    main(count)
    count+=25

import re
import json
from urllib.request import urlopen

def getPage(url):
  response = urlopen(url)
  return response.read().decode('utf-8')

def parsePage(s):
  com = re.compile(
    'div class="item">.*?div class="pic">.*?em .*?>(?Pid>\d+).*?span class="title">(?Ptitle>.*?)/span>'
    '.*?span class="rating_num" .*?>(?Prating_num>.*?)/span>.*?span>(?Pcomment_num>.*?)評價/span>', re.S)

  ret = com.finditer(s)
  for i in ret:
    yield {
      "id": i.group("id"),
      "title": i.group("title"),
      "rating_num": i.group("rating_num"),
      "comment_num": i.group("comment_num"),
    }


def main(num):
  url = 'https://movie.douban.com/top250?start=%sfilter=' % num
  response_html = getPage(url)
  ret = parsePage(response_html)
  print(ret)
  f = open("move_info7", "a", encoding="utf8")

  for obj in ret:
    print(obj)
    data = str(obj)
    f.write(data + "\n")

count = 0
for i in range(10):
  main(count)
  count += 25