Python OpenCV實現(xiàn)視頻追蹤

本文實例為大家分享了Python OpenCV實現(xiàn)視頻追蹤的具體代碼，供大家參考，具體內(nèi)容如下

1. MeanShift

假設(shè)有一堆點集和一個圓形的小窗口。現(xiàn)在需要將此窗口移動到具有最高點集密度的區(qū)域，如下圖：

第一個窗口C1是藍(lán)色圓圈的區(qū)域。藍(lán)色環(huán)的中心用藍(lán)色矩形標(biāo)記并命名為 C1_o。窗口中所有點的點集形成的質(zhì)心在藍(lán)色圓形點C1_r。顯然，質(zhì)心和環(huán)的質(zhì)心不重合。移動藍(lán)色窗口，使質(zhì)心與先前獲得的質(zhì)心重合。在新移動的圓環(huán)的區(qū)域內(nèi)再次找到圓環(huán)包圍的點集的質(zhì)心，然后再次移動。通常，形心和質(zhì)心不重合。繼續(xù)執(zhí)行上述移動過程，直到形心與質(zhì)心大致重合。這樣，最終的圓形窗口就會落到像素分布最大的地方，也就是圖中的綠色圓圈C2。

除了用于視頻跟蹤之外，MeanShift算法在涉及數(shù)據(jù)和無監(jiān)督學(xué)習(xí)的各種場景中都有重要的應(yīng)用，例如聚類、平滑等。它是一種廣泛使用的算法。

圖像是信息矩陣。如何使用MeanShift算法跟蹤視頻中的移動物體？一般流程如下：

1）在圖像上選擇一個目標(biāo)區(qū)域，

2）計算選中區(qū)域的直方圖分布，一般是HSV顏色空間的直方圖。

3）計算下一幀圖像 b 的直方圖分布。

4）計算圖像b中與所選區(qū)域的直方圖分布最相似的區(qū)域，并使用MeanShift算法將所選區(qū)域沿最相似的部分移動，直到找到最相似的區(qū)域。

5）重復(fù)3到4的過程，完成整個視頻目標(biāo)跟蹤。

一般情況下，我們使用直方圖反投影得到的圖像和目標(biāo)物體在第一幀的起始位置。當(dāng)目標(biāo)物體的運動會在直方圖反投影圖像中反映出來時，MeanShift算法會將窗口移動到反投影圖像中灰度密度最高的區(qū)域。

假設(shè)我們有一個 100x100 的輸入圖像和一個 10x10 的模板圖像，直方圖反投影的過程是這樣的：

1）從輸入圖像的左上角(0,0)開始，從(0,0)到(10,10)剪切一張臨時圖像。

2）生成臨時圖像的直方圖。

3）將臨時圖像的直方圖與模板圖像的直方圖進(jìn)行比較，比較結(jié)果標(biāo)記為c。

4）直方圖比較結(jié)果c為結(jié)果圖像中(0,0)處的像素值。

5）將輸入圖像的臨時圖像從(0,1)剪切到(10,11)，對比直方圖，記錄結(jié)果圖像。

6）重復(fù)步驟1到5，直到輸入圖像的右下角，形成直方圖的反投影。

cv.meanShift(probImage, window, criteria)

參數(shù)：

probImage ROI區(qū)域，即目標(biāo)的直方圖的反向投影。

window  初始搜索窗口，就是定義ROI的rect。

criteria 確定窗口搜索停止的準(zhǔn)則，主要有迭代次數(shù)達(dá)到設(shè)置的最大值，窗口中心的漂移值大于某個設(shè)定的限值等。

2. CamShift

MeanShift的結(jié)果有一個問題，檢測窗口的大小是固定的，而狗是一個由近到遠(yuǎn)逐漸變小的過程，固定的窗口是不合適的。 所以需要根據(jù)目標(biāo)的大小和角度來修正窗口的大小和角度。

CamShift（Continuously Adaptive Mean-Shift algorithm）是MeanShift算法的改進(jìn)算法，可以解決這個問題。它可以隨著跟蹤目標(biāo)大小的變化實時調(diào)整搜索窗口的大小，具有更好的跟蹤效果。 Camshift 算法首先應(yīng)用MeanShift。 一旦MeanShift收斂，它就會更新窗口的大小，同時計算出最佳擬合橢圓的方向，從而根據(jù)目標(biāo)的位置和大小來更新搜索窗口。

例：使用MeanShift和CamShift方法獲取視頻中的狗，并標(biāo)注。

import cv2 as cv
import numpy as np
 
# 獲取視頻
cap = cv.VideoCapture('image/DOG.wmv')
 
# 指定追蹤目標(biāo)
ret, frame = cap.read()
r, h, c, w = 197, 141, 0, 208
win = (c, r, w, h)
roi = frame[r:r + h, c:c + w]
 
# 計算直方圖
hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
roi_hist = cv.calcHist([hsv_roi], [0], None, [180], [0, 180])
cv.normalize(roi_hist, roi_hist, 0, 255, cv.NORM_MINMAX)
 
# 目標(biāo)追蹤
term = (cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1)
 
# meanshift
while True:
    ret, frame = cap.read()
    if ret:
        hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
        dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1)
 
        ret, win = cv.meanShift(dst, win, term)
 
        x, y, w, h = win
        img2 = cv.rectangle(frame, (x, y), (x + w, y + h), 255, 2)
        cv.imshow("frame", img2)
        if cv.waitKey(60)  0xFF == ord('q'):
            break
 
# camshift
while True:
    ret, frame = cap.read()
    if ret:
        hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
        dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1)
 
        ret, track_window = cv.CamShift(dst, win, term)
 
        # 繪制追蹤結(jié)果
        pts = cv.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv.polylines(frame, [pts], True, 255, 2)
        cv.imshow("frame", img2)
        if cv.waitKey(60)  0xFF == ord('q'):
            break
 
# 釋放資源
cap.release()
cv.destroyAllWindows()

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。