文章目錄

• 項目介紹前言
• 文檔識别步驟簡介
• 項目圖像處理步驟詳細介紹
• 項目OCR識别操作介紹

我們在日常生活或者辦公中，可能都使用過萬能掃描王這個軟件，或者qq中的照片文字掃描功能，然後直接利用扒下來的文檔直接複制粘貼直接使用，那麼他這個原理是什麼呢？又是怎麼用OpenCV來實現的呢。我們這次博客就來全面介紹一下這個整體流程。并進行真實案例操作。

我們要完成對于文檔圖片的掃描工作。大緻流程主要步驟分為以下幾個步驟。

1. 圖像邊緣檢測。2. 獲取輪廓信息。3. 透視變換，經過旋轉、平移等操作對文檔圖片進行處理。4. OCR識别圖片當中每一個字符。

首先我們要對兩個文件進行處理，我們先來看一下預處理的圖片什麼樣子。

我們這裡以一個英文的文件，一個自己用中文的一首詩來去做這個項目。因為怕其他東西幹擾邊緣，于是自己畫了個框把邊緣圈起來了。首先我們還是要導入第三方庫，然後獲取參數。

import numpy as np import argparse import cv2 ap = argparse.ArgumentParser() ap.add_argument("-i", "--image", required = True, help = "Path to the image to be scanned") args = vars(ap.parse_args()) 12345678

這裡我們一定要會這種導入參數的形式，非常方便，後期設置參數也非常方便，指定路徑就完全OK了。這裡我們隻需要指定一個傳入參數，原始圖像就OK了。然後我們使用DEBUG操作一步一步進行操作，首先我們對圖像進行一個resize操作。

image = cv2.imread(args["image"]) ratio = image.shape[0] / 500.0 orig = image.copy() image = resize(orig, height = 500) 12345

首先我們讀取image數據，然後對圖像進行一個求比例的操作。後期會用得到，再對圖像進行resize操作時候，我們會把圖像的h和w設置成同一比例。這裡我們對image進行了resize函數操作，那麼resize函數是什麼呢？我們繼續看。

def resize(image, width=None, height=None, inter=cv2.INTER_AREA): dim = None (h, w) = image.shape[:2] if width is None and height is None: return image if width is None: r = height / float(h) dim = (int(w * r), height) else: r = width / float(w) dim = (width, int(h * r)) resized = cv2.resize(image, dim, interpolation=inter) return resized 12345678910111213

上方我們傳入resize函數的參數是orig, height = 500，那麼orig是原始圖像的copy，因為取輪廓是不可逆的，所以我們用copy去做，這裡我們提取到圖像的h和w，因為我們設置了height所以直接跳到if width is None，比例r=height/float(h)，為了把width設置成和height同比例，所以進行了dim = (int(w * r), height)，完成之後呢，就把dim傳入到cv2.resize(image,dim,interpolation=inter)，這裡就把圖像進行了同比例的resize操作。完成之後呢我們繼續DEBUG繼續看。

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) gray = cv2.GaussianBlur(gray, (5, 5), 0) edged = cv2.Canny(gray, 75, 200) 123

對圖像進行了形态學處理，分别是顔色空間轉換，也就是彩色BGR轉灰度，然後，進行了一次高斯濾波操作，可以讓原圖像模糊，目的就是為了去除噪音，最後計算出邊緣信息，阈值設置為75到200。

cv2.imshow("Image", image) cv2.imshow("Edged", edged) cv2.waitKey(0) cv2.destroyAllWindows() 1234

展示一下處理之後的結果。

這就是邊緣檢測之後的結果了，但是邊緣檢測之後的結果是一個點一個點的，所以我們要進行輪廓的提取。然後我們要進行一個輪廓的提取，我們要對圖像中最外面的輪廓進行提取，因為我們要提取文檔。

cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[0] cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5] 12

這裡我們首先進行了一個輪廓的提取，裡面的參數cv2.RETR_LIST表示檢測的輪廓不建立等級關系，cv2.CHAIN_APPROX_SIMPLE這裡表示隻簡單的進行提取輪廓，用四個點來展示輪廓。因為這裡返回了兩個參數，老版本的CV返回的三個參數，但是我們隻要輪廓參數就好了。所以設置索引為0，得到輪廓後呢，我們把輪廓按照面積大小進行了排序，由大到小，并且隻取前五個。

for c in cnts: # 計算輪廓近似 peri = cv2.arcLength(c, True) approx = cv2.approxPolyDP(c, 0.02 * peri, True) # 4個點的時候就拿出來 if len(approx) == 4: screenCnt = approx break # 展示結果 print("STEP 2: 獲取輪廓") cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2) cv2.imshow("Outline", image) cv2.waitKey(0) cv2.destroyAllWindows() 12345678910111213141516

這裡cv2.arcLength表示計算輪廓的周長。cv2.approxPolyDP主要功能是把一個連續光滑曲線折線化，其中0.02 * peri表示從原始輪廓到近似輪廓的最大距離，它是一個準确度參數。當輪廓是四個點的時候就拿出來，然後我們進行一個顯示。得到的結果是：

接下來就是一個最主要的一個部分，就是透視變換，也就是說我們想把後面的背景全部去掉，也就是想把我們輪廓檢測出來的這一塊拿出來單獨成一個圖像，然後方便我們去OCR文字識别。

warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio) 1

我們直接跳進four_point_transform函數中。

def four_point_transform(image, pts): rect = order_points(pts) (tl, tr, br, bl) = rect # 計算輸入的w和h值 widthA = np.sqrt(((br[0] - bl[0]) ** 2) ((br[1] - bl[1]) ** 2)) widthB = np.sqrt(((tr[0] - tl[0]) ** 2) ((tr[1] - tl[1]) ** 2)) maxWidth = max(int(widthA), int(widthB)) heightA = np.sqrt(((tr[0] - br[0]) ** 2) ((tr[1] - br[1]) ** 2)) heightB = np.sqrt(((tl[0] - bl[0]) ** 2) ((tl[1] - bl[1]) ** 2)) maxHeight = max(int(heightA), int(heightB)) # 變換後對應坐标位置 dst = np.array([ [0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype = "float32") # 計算變換矩陣 M = cv2.getPerspectiveTransform(rect, dst) warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight)) # 返回變換後結果 return warped 1234567891011121314151617181920212223242526

首先利用order_points獲取坐标。我們可以看到首先設定了rect這個0矩陣，用來傳我們的坐标點，按順序找到對應坐标0123分别是 左上，右上，右下，左下

def order_points(pts): # 一共4個坐标點 rect = np.zeros((4, 2), dtype = "float32") s = pts.sum(axis = 1) rect[0] = pts[np.argmin(s)] rect[2] = pts[np.argmax(s)] # 計算右上和左下 diff = np.diff(pts, axis = 1) rect[1] = pts[np.argmin(diff)] rect[3] = pts[np.argmax(diff)] return rect 1234567891011121314

這裡pts.sum(axis = 1)就是把橫縱坐标進行一個相加的操作，那麼最小的肯定就是左上的點，最大的肯定就是右下。np.diff(pts, axis = 1)是求diff=y-x, 那麼最小的是右上，最大的是左下。這樣我們就把輪廓的四個點拿出來了。返回去我們繼續看，(tl, tr, br, bl) = rect這裡拿到了這四個點。widthA和widthB分别計算矩形上下的邊長分别是多少，我們需要選擇一個相對更大的，來把整個文件圖片框住。heightA和heightB就是對于豎直的兩個邊進行了判斷。然後定義一個轉換後的坐标值。然後需要計算一個如何将當前圖像轉換到定義好的圖像，需要計算一個轉換矩陣M，然後我們通過使用原始矩陣*M就可以得到處理後的結果了。

然後對于經過透視變換的圖進行形态學處理。并且展示結果。

warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY) ref = cv2.threshold(warped, 100, 255, cv2.THRESH_BINARY)[1] cv2.imwrite('scan.jpg', ref) print("STEP 3: 變換") cv2.imshow("Original", resize(orig, height = 650)) cv2.imshow("Scanned", resize(ref, height = 650)) cv2.waitKey(0) 1234567

這裡我們就把整個輪廓給摳出來了，接下來就是識别的操作。

首先我們先要對OCR文件進行下載：下載地址

用到的是最後一個。或者pip install pytesseract。導入第三方庫

from PIL import Image import pytesseract import cv2 import os 1234

image = cv2.imread('scan.jpg') gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) if preprocess == "thresh": gray = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] if preprocess == "blur": gray = cv2.medianBlur(gray, 3) filename = "{}.png".format(os.getpid()) cv2.imwrite(filename, gray) text = pytesseract.image_to_string(Image.open(filename),lang='chi_sim') print(text) cv2.imshow("Image", image) cv2.imshow("Output", gray) cv2.waitKey(0) 1234567891011121314151617

這裡就是一些形态學處理，其中包括轉灰度，然後進行中值濾波或者二值。最後通過pytesseract.image_to_string(Image.open(filename),lang='chi_sim')，進行輸出識别内容。最後一個參數指定語言的。然後顯示出來把圖像。

這裡可能我寫的這個不太規範，我們再找另外一個圖測試一下。用了自己的身份證圖做了一下，最終得到的結果是：

這裡由于隐私進行了遮擋，但是事實證明，這樣确實準确率要高很多很多。但是整體來說識别準确度并不特别高，後期我們會繼續優化這個程序，期待後續更新吧。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!