深度網絡對機器學習研究和應用領域產生了巨大的影響，與此同時卻無法很清晰地解釋深度網絡的來龍去脈。人們一直致力于更透徹地去理解其中復雜的過程。由于人類對于世界的認知和感受主要來自于視覺，良好的可視化可以有效的幫助人們理解深度網絡，并進行有效的優化和調節。本文主要基于ICML可視化的workshop和查到的相關論文，分享一下提到的一些先進的可視化概念和方法。

內容主要參考：http://icmlviz.github.io/

ACTIVIS

Facebook 研發的交互式深度學習可視化系統，可以對生產環境中的大規模模型以及器運行的結果進行生動直觀的呈現。這一系統可以支持四個方面的可視化。

• 模型架構及其對應的計算圖概覽
• 用于審視激活情況的神經元激活矩陣、以及投影到2D的可視化
• 可以對于每一個實例結果進行可視化分析
• 支持增加不同的實例來對不同的實例、子集、類型的激活模式進行比較，尋找誤分類的原因

Grad-CAM

Grad-CAM是指Gradient-weighted Class Activation Mapping，研究人員提出利用這種梯度權重激活映射來對卷積神經網絡的分類進行解釋，在輸入的圖片中粗略地顯示出模型預測出的類別對應的重要性區間。這種方式可以廣泛試用于CNN模型家族的模型預測可視化過程。

上圖中可以看到對于貓和狗不同的分類，顯示出的置信區域也各部相同。同時還能顯示視覺問答的過程：

Deep View

研究人員基于Deep View這一可視化工具研究了訓練過程中深度網絡的進化情況。利用判別矩陣和密度矩陣分別評價神經元和輸出特征圖在訓練中的進化過程，總而建立了十分細致的視覺分析框架，能夠有效展示模型在訓練過程中局部和全局的特征變化。

參考：

http://www3.cs.stonybrook.edu/~mueller/people/http://101.96.8.164/icmlviz.github.io/assets/papers/2.pdf

一個自然語言處理的交互式可視化工具

能可視化NLP系統的輸出，幫助用戶更好的理解對于文本數據的處理同時進行一些必要的修正。這樣的反饋過程可以幫助改進模型的精度。 

參考：https://arxiv.org/pdf/1707.01890v2.pdf

LSTMV

遞歸神經網絡特別是長短時記憶網絡是對于時序信號強有力的工具，可以有效的建立和表征時序輸入的隱含模式。研究人員對于其中隱藏層隨時間的變化十分感興趣，這一工作主要聚焦于對遞歸神經網絡中的隱藏層動力學可視化。用戶可以利用這一工具針對性的選取輸入范圍并與相同模式的大數據集進行比較，同時還可以利用這一工具對獨立的模式進行統計分析。

參考：http://lstm.seas.harvard.edu/

https://vcg.seas.harvard.edu/code-data

Deep Visualization Toolbox

這個工具箱可以對圖像在深度學習網絡中的各層輸出進行直觀的可視化：

參考：http://yosinski.com/deepvis

https://github.com/yosinski/deep-visualization-toolbox

https://deeplearning4j.org/overview

數據可視化

參考>>http://colah.github.io