[[323609]]

圖像分類是人工智能領域的一個熱門話題，通俗來講，就是根據各自在圖像信息中反映的不同特征，把不同類別的目標區分開。圖像分類利用計算機對圖像進行定量分析，把圖像或圖像中的每個像元或區域劃歸為若干個類別中的某一種，代替人的視覺判讀。

在實際生活中，我們也會遇到圖像分類的應用場景，例如我們常用的通過拍照花朵來識別花朵信息，通過人臉匹配人物信息等。通常，圖像識別或分類工具都是在客戶端進行數據采集，在服務端進行運算獲得結果。因此，一般都會有專門的 API 來實現圖像識別，云廠商也會有償提供類似的能力：

華為云圖像標簽

騰訊云圖像分析

本文將嘗試通過一個有趣的 Python 庫，快速將圖像分類的功能搭建在云函數上，并且和 API 網關結合，對外提供 API 功能，實現一個 Serverless 架構的"圖像分類 API"。

1. 入門 ImageAI

首先，我們需要一個依賴庫：ImageAI。

什么是 ImageAI 呢？其官方文檔是這樣描述的：

ImageAI 是一個 python 庫，旨在使開發人員能夠使用簡單的幾行代碼構建具有包含深度學習和計算機視覺功能的應用程序和系統。ImageAI 本著簡潔的原則，支持最先進的機器學習算法，用于圖像預測、自定義圖像預測、物體檢測、視頻檢測、視頻對象跟蹤和圖像預測訓練。ImageAI 目前支持使用在 ImageNet-1000 數據集上訓練的 4 種不同機器學習算法進行圖像預測和訓練。ImageAI 還支持使用在 COCO 數據集上訓練的 RetinaNet 進行對象檢測、視頻檢測和對象跟蹤。最終，ImageAI 將為計算機視覺提供更廣泛和更專業化的支持，包括但不限于特殊環境和特殊領域的圖像識別。

簡單理解，就是 ImageAI 依賴庫可以幫助用戶完成基本的圖像識別和視頻的目標提取。不過，ImageAI 雖然提供一些數據集和模型，但我們也可以根據自身需要對其進行額外的訓練，進行定制化拓展。

其官方代碼給出了這樣一個簡單的 Demo:

from imageai.Prediction import ImagePrediction 
import os 
execution_path = os.getcwd() 
 
prediction = ImagePrediction() 
prediction.setModelTypeAsResNet() 
prediction.setModelPath(os.path.join(execution_path, "resnet50_weights_tf_dim_ordering_tf_kernels.h5")) 
prediction.loadModel() 
 
predictions, probabilities = prediction.predictImage(os.path.join(execution_path, "1.jpg"), result_count=5 ) 
for eachPrediction, eachProbability in zip(predictions, probabilities): 
    print(eachPrediction + " : " + eachProbability) 

我們可以在本地進行初步運行，指定圖片1.jpg為下圖時：

[[323610]]

可以得到結果：

convertible  :  52.459537982940674 
sports_car  :  37.61286735534668 
pickup  :  3.175118938088417 
car_wheel  :  1.8175017088651657 
minivan  :  1.7487028613686562 

2. 讓 ImageAI 上云（部署到 Serverless 架構上）

通過上面的 Demo，我們可以考慮將這個模塊部署到云函數：

首先，在本地創建一個 Python 的項目：mkdir imageDemo，

然后，新建文件：vim index.py

第三，根據云函數的一些特殊形式，我們對 Demo 進行部分改造

• 將初始化的代碼放在外層；
• 將預測部分當做觸發所需要執行的部分，放在入口方法中（此處是 main_handler）;
• 云函數與 API 網關結合對二進制文件支持并不是十分的友善，所以此處通過 base64 進行圖片傳輸；
• 入參定為{"picture": 圖片的 base64}，出參定為：{"prediction": 圖片分類的結果}

實現的代碼如下：

from imageai.Prediction import ImagePrediction 
import os, base64, random 
 
execution_path = os.getcwd() 
 
prediction = ImagePrediction() 
prediction.setModelTypeAsSqueezeNet() 
prediction.setModelPath(os.path.join(execution_path, "squeezenet_weights_tf_dim_ordering_tf_kernels.h5")) 
prediction.loadModel() 
 
 
def main_handler(event, context): 
    imgData = base64.b64decode(event["body"]) 
    fileName = '/tmp/' + "".join(random.sample('zyxwvutsrqponmlkjihgfedcba', 5)) 
    with open(fileName, 'wb') as f: 
        f.write(imgData) 
    resultData = {} 
    predictions, probabilities = prediction.predictImage(fileName, result_count=5) 
    for eachPrediction, eachProbability in zip(predictions, probabilities): 
        resultData[eachPrediction] =  eachProbability 
    return resultData 

創建完成之后，下載所依賴的模型：

• SqueezeNet（文件大小：4.82 MB，預測時間最短，精準度適中）
• ResNet50 by Microsoft Research （文件大小：98 MB，預測時間較快，精準度高）
• InceptionV3 by Google Brain team （文件大小：91.6 MB，預測時間慢，精度更高）
• DenseNet121 by Facebook AI Research （文件大小：31.6 MB，預測時間較慢，精度最高）

因為我們僅用于測試，所以選擇一個比較小的模型就可以：SqueezeNet：

在官方文檔復制模型文件地址：

使用wget直接安裝：

wget https://github.com/OlafenwaMoses/ImageAI/releases/download/1.0/squeezenet_weights_tf_dim_ordering_tf_kernels.h5 

接下來，進行依賴安裝：

由于騰訊云 Serveless 產品，在 Python Runtime 中還不支持在線安裝依賴，所以需要手動打包依賴，并且上傳。在 Python 的各種依賴庫中，有很多依賴可能有編譯生成二進制文件的過程，這就會導致不同環境下打包的依賴無法通用。

所以，最好的方法就是通過對應的操作系統 + 語言版本進行打包。我們就是在 CentOS+Python3.6 的環境下進行依賴打包。

對于很多 MacOS 用戶和 Windows 用戶來說，這確實不是一個很友好的過程，所以為了方便大家使用，我在 Serverless 架構上做了一個在線打包依賴的工具，所以可以直接用該工具進行打包：

生成壓縮包之后，直接下載解壓，并且放到自己的項目中即可：

最后一步，創建serverless.yaml

imageDemo: 
  component: "@serverless/tencent-scf" 
  inputs: 
    name: imageDemo 
    codeUri: ./ 
    handler: index.main_handler 
    runtime: Python3.6 
    region: ap-guangzhou 
    description: 圖像識別 / 分類 Demo 
    memorySize: 256 
    timeout: 10 
    events: 
      - apigw: 
          name: imageDemo_apigw_service 
          parameters: 
            protocols: 
              - http 
            serviceName: serverless 
            description: 圖像識別 / 分類 DemoAPI 
            environment: release 
            endpoints: 
              - path: /image 
                method: ANY 

完成之后，執行sls --debug部署，部署過程中會有掃碼登陸，登陸之后等待即可，完成之后，就可以看到部署地址。

3. 基本測試

通過 Python 語言進行測試，接口地址就是剛才復制的 +/image，例如：

import json 
import urllib.request 
import base64 
 
with open("1.jpg", 'rb') as f: 
    base64_data = base64.b64encode(f.read()) 
    s = base64_data.decode() 
 
url = 'http://service-9p7hbgvg-1256773370.gz.apigw.tencentcs.com/release/image' 
 
print(urllib.request.urlopen(urllib.request.Request( 
    url = url, 
    data= json.dumps({'picture': s}).encode("utf-8") 
)).read().decode("utf-8")) 

通過網絡搜索一張圖片：

[[323611]]

得到運行結果：

{ 
    "prediction": { 
        "cheetah": 83.12643766403198, 
        "Irish_terrier": 2.315458096563816, 
        "lion": 1.8476998433470726, 
        "teddy": 1.6655176877975464, 
        "baboon": 1.5562783926725388 
    } 
} 

通過這個結果，我們可以看到圖片的基礎分類 / 預測已經成功了，為了證明這個接口的時延情況，可以對程序進行基本改造：

import urllib.request 
import base64, time 
 
for i in range(0,10): 
    start_time = time.time() 
    with open("1.jpg", 'rb') as f: 
        base64_data = base64.b64encode(f.read()) 
        s = base64_data.decode() 
 
    url = 'http://service-9p7hbgvg-1256773370.gz.apigw.tencentcs.com/release/image' 
 
    print(urllib.request.urlopen(urllib.request.Request( 
        url = url, 
        data= json.dumps({'picture': s}).encode("utf-8") 
    )).read().decode("utf-8")) 
 
    print("cost: ", time.time() - start_time) 

輸出結果：

{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  2.1161561012268066 
{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  1.1259253025054932 
{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  1.3322770595550537 
{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  1.3562259674072266 
{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  1.0180821418762207 
{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  1.4290671348571777 
{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  1.5917718410491943 
{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  1.1727900505065918 
{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  2.962592840194702 
{"prediction":{"cheetah":83.12643766403198,"Irish_terrier":2.315458096563816,"lion":1.8476998433470726,"teddy":1.6655176877975464,"baboon":1.5562783926725388}} 
cost:  1.2248001098632812 

通過上面一組數據，我們可以看到整體的耗時基本控制在 1-1.5 秒之間。

當然，如果想要對接口性能進行更多的測試，例如通過并發測試來看并發情況下接口性能表現等。

至此，我們通過 Serveerless 架構搭建的 Python 版本的圖像識別 / 分類小工具做好了。

4. 總結

Serverless 架構下進行人工智能相關的應用可以是說是非常多的，本文是通過一個已有的依賴庫，實現一個圖像分類 / 預測的接口。imageAI這個依賴庫相對來說自由度比較高，可以根據自身需要用來定制化自己的模型。本文算是拋磚引玉，期待更多人通過 Serverless 架構部署自己的"人工智能"API。