使用機(jī)器學(xué)習(xí)對圖片進(jìn)行分類
服裝數(shù)據(jù)集
服裝數(shù)據(jù)集和MNIST數(shù)據(jù)集很像,有需要的可以查看教程《MNIST數(shù)據(jù)集》,包含70000個(gè)灰度圖,每個(gè)圖片28 x 28像素。
時(shí)裝數(shù)據(jù)集
在這里將使用60000張圖片進(jìn)行訓(xùn)練,使用10000張圖片進(jìn)行評估,可以直接使用Keras進(jìn)行加載。
fashion_mnist = tf.keras.datasets.fashion_mnist(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()
所有的圖片可分為10個(gè)種類:
class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat', 'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']
數(shù)據(jù)預(yù)處理:
在將數(shù)據(jù)送入到神經(jīng)網(wǎng)絡(luò)訓(xùn)練之前,需要對數(shù)據(jù)進(jìn)行預(yù)處理,查看一張訓(xùn)練的圖片,像素值的分布范圍為[0, 255]
鞋子
對數(shù)據(jù)進(jìn)行歸一化處理:
train_images = train_images / 255.0test_images = test_images / 255.0
為了驗(yàn)證數(shù)據(jù)的正確性,展示前25張圖片以及圖片的分類:
服裝
建立模型
神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模塊就是層(Layer),層會從傳遞的數(shù)據(jù)中提取特征,這些特征對問題的解決很有幫助。
很多深度學(xué)習(xí)都是由一系列簡單的層串聯(lián)而成,大部分的層比如Dense,在訓(xùn)練過程中有可學(xué)習(xí)的參數(shù)。
model = tf.keras.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28)), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(10)])
Flatten層將二維(28 x 28)的圖片轉(zhuǎn)化為一維的數(shù)組,這一層沒有參數(shù)可以學(xué)習(xí),僅僅只是格式化數(shù)據(jù)。
第一個(gè)Dense層有128個(gè)節(jié)點(diǎn)或者說神經(jīng)元,第二個(gè)Dense層返回長度為10的數(shù)組,每個(gè)節(jié)點(diǎn)包含當(dāng)前圖片屬于哪個(gè)分類的得分。
模型編譯
模型需要進(jìn)行三個(gè)設(shè)置:
- 損失函數(shù) - 這個(gè)主要用于評估模型在訓(xùn)練過程中的準(zhǔn)確性
- 優(yōu)化器 - 模型如何更新
- 量度 - 用于監(jiān)測訓(xùn)練和測試步驟
model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy'])
填入訓(xùn)練數(shù)據(jù):
model.fit(train_images, train_labels, epochs=10)
評估模型的正確性:
test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)print('Test accuracy:', test_acc)
顯示結(jié)果:
Test accuracy: 0.8835999965667725
訓(xùn)練過程輸出:
1875/1875 [==============================] - 1s 523us/step - loss: 0.2379 - accuracy: 0.9110
可以看到測試數(shù)據(jù)的正確性是要略低于訓(xùn)練數(shù)據(jù)的正確性的,這個(gè)訓(xùn)練和測試的差距叫做overfitting(過擬合),過擬合發(fā)生在機(jī)器學(xué)習(xí)模型對于沒有處理過的數(shù)據(jù)表現(xiàn)更差。
預(yù)測
模型訓(xùn)練之后,你可以使用它來對一些圖片進(jìn)行預(yù)測,添加一個(gè)Softmax層將結(jié)果轉(zhuǎn)換為置信度,它更容易被理解
predictions = probability_model.predict(test_images)print(predictions[0])
可以看到第0張測試圖片屬于每個(gè)分類的置信度:
[4.7003473e-07 2.8711662e-09 1.8403462e-08 3.7643213e-09 2.0236126e-08 8.2177273e-04 1.0194674e-06 9.5114678e-02 2.8414237e-07 9.0406173e-01]
第9個(gè)數(shù)據(jù)的置信度最高,通過打印圖片的標(biāo)簽也是9,說明預(yù)測正確。
隨機(jī)選擇一些圖片輸出:
置信度分布
第13張圖片81%的可能性是涼鞋,說明機(jī)器學(xué)習(xí)預(yù)測錯(cuò)誤,它應(yīng)該是跑鞋。
也可以對單張圖片進(jìn)行預(yù)測,雖然是單張圖片,但是Keras仍然需要數(shù)組進(jìn)行傳遞,將圖片添加到集合中。
img = (np.expand_dims(img, 0))
進(jìn)行預(yù)測:
predictions_single = probability_model.predict(img)
總結(jié)
以上就是建立神經(jīng)網(wǎng)絡(luò)的簡單過程,分為數(shù)據(jù)處理、模型的訓(xùn)練、預(yù)測等幾個(gè)步驟。