一、前言

二、需求描述

三、開始動手動腦

3.1 安裝相關第三方包

3.2 導入需要用到的第三方庫

3.3 讀取pdf文件，并識別內容

3.4 對識別的數據進行處理，寫入csv文件

總結

1. 前言

掃描件一直受大眾青睞，任何紙質資料在掃描之后進行存檔，想使用時手機就能打開，省心省力。但是掃描件的優點也恰恰造成了它的一個缺點，因為是通過電子設備掃描，所以出來的是圖像，如果想要處理文件上的內容，直接操作是無法實現的。

那要是想要引用其中的內容怎么辦呢？別擔心，Python幫你解決問題。

2. 需求描述

現有一份pdf掃描件，我們想把其中的文字提取出來并且分三列寫入csv文檔，內容及效果如下：

pdfexample

csvexample

3. 開始動手動腦

pdf掃描件是文檔掃描成電腦圖片格式后轉化成的，提取其中的文字就相當于識別圖片內的文字。所以，我們的工作就是將pdf轉成圖片，再用ocr工具提取圖片中的文字。

3.1 安裝相關第三方包

pip3 install pdf2image pytesseract

3.2 導入需要用到的第三方庫

import os   #處理文件
from pdf2image import convert_from_path  # pdf轉圖片
import pytesseract  # 識別圖片文字
import csv  # 處理csv文件

3.3 讀取pdf文件，并識別內容

tess_ocr(pdf_path, lang, first_page, last_page)

將pdf文件拆分成圖片，并提取文字寫入文本文件

• pdf_path：pdf文件的存儲路徑
• image：代表PDF文檔每頁的PIL圖像列表
• first_page ：允許設置由pdftoppm處理的第一個頁面；
•  last_page：允許設置最后一頁由pdftoppm處理
•  fmt：允許指定輸出格式。目前支持的格式是jpg、png和ppm；
• output_folder：圖片保存路徑

def tess_ocr(pdf_path, lang,first_page,last_page):
  # 創建一個和pdf同名的文件夾
   images = convert_from_path(pdf_path, fmt='png',first_page=first_page,last_page=last_page,output_folder=imagefolder,userpw='site')  # 轉成圖片
  text = ''
  for img in images:    
       text += pytesseract.image_to_string(img, lang=lang) # 識別圖片文字  
       with open(r'example\data.txt' 'a', encoding='utf-8') as f: #寫入txt文件
       f.write(text)

運行結果

生成一個同名的文件夾存放拆分的圖片，接著提取圖片文字寫入data.txt

image-20211215212147760

運行問題

   “    問題拋出1：

 pdf2image.exceptions.PDFInfoNotInstalledError: Unable to get page count. Is poppler installed and in PATH?    ”

解決措施：下載 poppler。

>1 方法一：設置環境變量  poppler/bin；

>2 方法二：

參數指定絕對路徑：

images = convert_from_path(pdf_path=pdf_file_path, poppler_path=r'poppler中bin文件所在地址')

   “    問題拋出2：

 pytesseract.pytesseract.TesseractNotFoundError: tesseract is not installed or it's not in your PATH. See README file for more information.    ”

解決措施：額外下載安裝tesseract-ocr并配置環境變量。

3.4 對識別的數據進行處理，寫入csv文件

modification(infile, outfile)

清洗生成的文本文檔

•  infile:需要進行處理的文件地址
•  outfile:處理后生成的新文件的地址              

def modification(infile, outfile):
  infp = open(infile, "r",encoding='utf-8')
  outfp = open(outfile, "w",encoding='utf-8')
  lines = infp.readlines() #返回列表，包含所有的行。
  #依次讀取每行
  for li in lines:  
    if li.split():             #str.split(str="", num=string.count(str)),過濾文件中的空行  
      # 根據識別情況對數據進行清洗  
      li = li.replace('[', ' ').replace(']', '')  
      outfp.writelines(li)    
  infp.close()
  outfp.close()

運行結果

生成一個新的txt文件，新文件刪除了data.txt中的空行，將原文件中錯誤識別的內容替換成正確的。

writercsv(intxt,outcsv)

將文本文件按空格分列寫入csv表格

• intxt：文本文件地址
• outcsv：新生成的csv文件

def writercsv(intxt,outcsv):
  # 使用newlines=''可保證存儲的數據不空行。
  csvFile = open(outcsv, 'a',newline='', encoding='utf-8') 
  writer = csv.writer(csvFile)
  csvRow = []
  f = open(intxt,'r',encoding='utf-8')
  for line in f:
      csvRow = line.split() #以空格為分隔符
      if len(csvRow)>1 and len(csvRow)<=3:  #約束條件，視情況而定
         writer.writerow(csvRow)
  f.close()
  csvFile.close()

運行結果

生成一個三列csv文件，第一列是英文名，第二列是中文名，第三列是所在國家

image-20211215204846623

image-20211215204941725

總結

通過本次學習實現了從掃描件中提取文字、把內容按要求寫進不同格式的文檔的需求。

最初以為提取pdf的庫也適用于掃描件，嘗試了Pdfplumber庫和PyPDF2庫。

實踐發現Pdfplumber只能識別掃描件pdf中的水印，不適用于掃描件的pdf，而PyPDF2庫運行報錯：NotImplementedError: only algorithm code 1 and 2 are supported。

原因是這個被加密的pdf可能是從高版本的acrobot中來的，所以對應的加密算法代號為‘4’，然而，現有的pypdf2模塊并只支持加密算法代號為‘1’或者‘2’的pdf加密文件。