鱗目界域-龍論壇

安裝好TensorFlow，而且裁切好訓練用圖片後，就可以開始用pix2pix進行學習了

以下分享我的操作步驟

1. 下載pix2pix.py
1-1 到這個網址 
https://github.com/affinelayer/pix2pix-tensorflow
1-2 按「Clone or download」
1-3 按「Download ZIP」

2. 解壓縮ZIP
2-1 將下載好的pix2pix-tensorflow-master.zip 解壓縮
2-2 裡面的pix2pix.py 是我們需要的

3. 設定資料夾名稱和結構
3-1 我的作法，在D磁碟中新增pix2pix資料夾
3-2 在pix2pix資料夾中，新增input_train、input_val、output_train、output_val 四個資料夾
備註：val是validation(驗證)的簡稱

4. 複製檔案
4-1 將pix2pix.py複製到pix2pix資料夾中
4-2 將訓練用的圖片放到input_train中
4-3 將驗證用圖片放到input_val中

5. 開啟命令提示字元(cmd)
5-1 按windows鍵+R，開啟執行視窗
5-2 輸入cmd，按確定

6. 執行pix2pix.py
6-1 切換到D磁碟，輸入

D:

6-2 切換到pix2pix資料夾 輸入 

cd pix2pix

6-3 執行pix2pix.py，輸入

python pix2pix.py   --mode train   --output_dir output_train   --max_epochs 70   --input_dir input_train   --lab_colorization

備註：指令中的輸入、輸出資料夾名稱要和上面設定的相符。max_epochs 70 我看有人設200，聽說圖片樣本少可以設200，圖片樣本多可以低一些。

成功執行的話，CPU和GPU都會飆高(以tensorflow-gpu版本來說)

7. 檢視訓練進度
7-1 按windows鍵+R，輸入cmd，按確定，再開啟一個cmd。這不會中斷正在進行訓練的cmd。
7-2 切換到pix2pix資料夾。
輸入

D:

 
輸入

cd pix2pix

7-3 啟動tensorboard。 

tensorboard --logdir output_train

備註：tensorboard 是 TensorFlow提供的視覺化工具，可以方便的觀察loss的變化

7-4 啟動瀏覽器，網址輸入
http://localhost:6006
7-5 scalars 分頁，可以看到loss曲線
7-6 images分頁，可以看到訓練過程中，圖片被上色的樣子

8. 訓練完成後，用圖片進行驗證
8-1 按windows鍵+R，輸入cmd，按確定，開啟一個cmd。
8-2 切換到pix2pix資料夾。
輸入

D:

 
輸入

cd pix2pix

8-3 驗證圖片指令為：

python pix2pix.py  --mode test   --output_dir output_val   --input_dir input_val   --checkpoint output_train

8-4 之後output_val會出現圖片資料夾和一個html網頁，我之前分享的html就是這樣來的，我覺得這種網頁格式蠻方便分享的。

----------
附錄1、第7步驟的圖片

最后修改： 龍爪翻書 (2019-01-01 21:27:35)

似乎是的，訓練用圖片各種顏色都有，但我沒統計暖色系比例    

第二次訓練完成

我先解釋一下第二次的訓練用圖片和第一次的差別

首先，這個深度學習的程式只接受256*256畫素的正方形圖片

第一次訓練時，我將長邊切掉，像這樣：

第二次訓練時，我在短邊補上黑色，像這樣：

我發幾張讓大家看看這一次的訓練結果，詳細結果請點下方我的小網站的連結

輸入圖

輸出圖

原始圖

看樣子，灰階圖沒畫好的部分，電腦上色也會不好   

輸入圖

輸出圖

原始圖

最讓我驚喜的是這一張，上色結果非常接近原圖   

輸入圖

輸出圖

原始圖

驗證用圖片我不是從訓練用圖片中抓的，是另外下載的

因為這一張，我還特地略看了整組訓練用圖片，應該是沒有這一張

所以這真的是AI學習的結果，真是太神奇了     

下次訓練，將圖片增加到10萬張以上吧     

附上目前的三次訓練結果

1. 訓練圖切掉長邊，訓練到70 (max_epochs = 70)
https://www.leisurelywing.synology.me/tensorflow/pix2pix/20181224/

2. 訓練圖短邊補黑色，訓練到13時意外中斷 (epochs = 12)
https://www.leisurelywing.synology.me/tensorflow/pix2pix/20181230/

3. 訓練圖短邊補黑色，訓練到70 (max_epochs = 70)
https://www.leisurelywing.synology.me/tensorflow/pix2pix/20181231/

這一次我也學會叫出訓練曲線來看

雖然這曲線我看不大懂，但上下幅度很大，深色線條是取平均、平滑後的結果

我猜上下幅度大，代表AI還沒找出很好的規律

這一次的訓練用龍圖，可能風格太散，每一張對電腦來說都是特例的話，畫風很難找出規律

下次訓練時，相同風格的多弄幾張好了   

今天下午嘗試用我的主力電腦對同樣的3000多張龍圖進行訓練

顯示卡是1070ti，預計時間約380分鐘，跟之前相比快了好多倍

i7 9700K，預計3000多分鐘

GTX 750ti，預計1300多分鐘

執行到第13輪訓練時，我想說網路上說訓練過程中，隨時可以進行驗證，我就試試看

然後記憶體不足(我有16G)，驗證和訓練的工作階段都掛了     

後來我測試，只驗證256*256的一張圖，居然GPU瞬間100%，CPU瞬間約20%，顯卡記憶體使用約6G

看樣子驗證圖片也需要大量的運算資源        

暫停tensorflow訓練有一定的步驟，我也不知道我這樣能不能繼續從13輪開始訓練

不過倒是得到一個只訓練13輪的AI，我將驗證圖發過來給大家看看  (作為對比，我上面4樓的圖，是訓練70輪的AI)

補充說明：
因為訓練只接受256*256大小的圖片，之前的訓練是將長邊切掉變成正方形，
這一次的訓練則是將短邊補上黑色變成正方形，所以嚴格意義來說這次的驗證結果跟上次的驗證結果不能直接比較。

(這個13輪AI倒是很給面子，將我的臨摹圖上了不少顏色 XD)

最后修改： 龍爪翻書 (2018-12-30 18:41:43)

影子超帥 

我的設定沒加入任何擬人元素，所以沒有「表情」，因此看起來就很兇惡了  

表達心情靠舉牌子

送給影汁的（生日新年聖誕）賀圖+年末總結 （全都一起了超懶   

第三部收入很高嗎？

彙總一些情報

對啊    

因為我也和影子一樣，想知道如果驗證用圖片和訓練用圖片差太多，會發生什麼事?     

其實我的主力電腦還有一張1070ti顯卡    

今天早上7點多訓練好了

驗證用的圖片，可以是彩色的，這個模型會將其轉變成灰階再轉換成彩色，還會輸出一個網頁

網頁我上傳到自家的小網站了
https://www.leisurelywing.synology.me/tensorflow/pix2pix/20181224/

我目前找了20張驗證用圖片，下方可說是直式對照，想看橫式對照請看上方網址 (晚上補充：後來將所有圖片都複製過來了)

輸入給程式的灰階圖是input
輸出的彩色圖片是output
原始圖片為target

input

output

target

input

output

target

電腦無法判斷的，看樣子不會亂塗

input

output

target

最后修改： 龍爪翻書 (2018-12-24 19:12:11)

如何在Windows10安裝TensorFlow GPU

1. 確認顯示卡型號及驅動
1-1  到tensorflow官網查看硬體需求
       https://www.tensorflow.org/install/gpu
       2018年12月，網頁寫的需求為CUDA® Compute Capability 3.5 or higher.
1-2  到NVIDIA官網檢查自己的顯示卡是否支援Compute Capability 3.5 以上
       https://developer.nvidia.com/cuda-gpus
1-3  主流家用顯示卡通常是GeForce系列，點下去後會展開產品列表
       如果自己的顯示卡不支援就不用繼續看本安裝說明瞭，先改用tensorflow CPU版本吧
1-4  到tensorflow官網查看顯示卡驅動需求(寫在Software requirements區域)
       https://www.tensorflow.org/install/gpu
       2018年12月，網頁寫的需求為 384.x or higher
1-5 如果自己的顯示卡驅動程式沒達到384.x，先更新驅動

2. 下載並安裝 Visual Studio 2017
2-1  下載網址如下，選擇免費版的即可
       https://visualstudio.microsoft.com/downloads/
2-2  安裝好Visual Studio 2017之後，應該會自動跳出Visual Studio Install 頁面
2-3  勾選「使用C++的桌面開發」(就是英文教程中的 Desktop development with C++) ，然後點安裝

3. 下載並安裝 CUDA Toolkit
3-1  到tensorflow官網查看支援的CUDA版本，2018年12月時網頁寫支援CUDA 9.0
       https://www.tensorflow.org/install/gpu
3-2  到NVIDIA官網，選擇自己的作業系統版本，然後下載CUDA Toolkit 9.0
       https://developer.nvidia.com/cuda-90-download-archive
3-3  安裝CUDA 9.0，安裝方式為經典的OK、同意、下一步，在此不贅述
3-4(選擇性)  如果想看更詳細的CUDA相關資料，官網的網址為 
       https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/

4. 下載cuDNN
4-1  官網的下載頁面會要求註冊
       https://developer.nvidia.com/rdp/cudnn-download
4-2  查看對應版本。CUDA 9.0對應的是cuDNN v7.4.1，所以需要下載cuDNN v7.4.1

5. 安裝cuDNN
5-1  將下載好的cuDNN zip檔解壓縮到桌面，裡面有一個cuda資料夾
5-2  使用檔案總管，打開本機→C磁碟→Program Files→NVIDIA GPU Computing Toolkit→CUDA→v9.0
5-3  複製cuda\bin\cudnn64_7.dll，貼到CUDA\v9.0\bin 資料夾裡面
5-4  複製cuda\include\cudnn.h，貼到CUDA\v9.0\include 資料夾裡面
5-5  複製cuda\lib\x64\cudnn.lib，貼到CUDA\v9.0\lib\x64 資料夾裡面

6. 下載並安裝Python3.6.6
6-1  tensorflow不支援32位元的Python，所以要下載64位元版本的
6-2  我測試時發現tensorflow不支援最新的Python3.7.1。如果安裝的Python太新導致tensorflow不支援，嘗試安裝tensorflow時會出現以下錯誤訊息：
       Could not find a version that satisfies the requirement tensorflow(from versions:) No matching distribution found for tensorflow
6-3  筆者測試Python3.6.6 可以安裝tensorflow，所以在此以Python3.6.6為例，下載網址為
       https://www.python.org/downloads/release/python-366/
6-4  網頁往下拉，找到 Windows x86-64 executable installer
6-5  下載完成的檔案，點兩下左鍵進行安裝。安裝時，這個選項一定要打勾 口Add Python 3.6 to PATH

7. Windows環境變數確認
7-1  在本機上按滑鼠右鍵→選內容→選進階系統設定→切換到「進階」分頁→按環境變數
7-2  上方是使用者變數欄位，下方是系統變數欄位
7-3  檢查系統變數欄位中，有沒有變數叫CUDA_PATH
7-4  檢查變數CUDA_PATH 的值，值是不是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0
7-5(非必要) 關於環境變數設定，網路上有多種說法，我將一些資料附在最後。

8. 安裝tensorflow GPU版本
8-1  按Windows鍵+R，叫出執行視窗，輸入cmd並執行
8-2  輸入pip install tensorflow-gpu

8-3  安裝成功的畫面如下，會看到Successfully installed.....(省略)....tensorflow-gpu-1.12.0...(省略)

作者：龍爪翻書。首發：鱗目界域
----------------------
上方沒列出的其他參考資料：
1.  https://www.youtube.com/watch?v=KZFn0dvPZUQ

2.  https://www.youtube.com/watch?v=HExRhnO5Mqs

3.  https://medium.com/@WhoYoung99/2018%E6%9C%80%E6%96%B0win10%E5%AE%89%E8%A3%9Dtensorflow-gpu-keras-8b3f8652509a

4.  https://www.youtube.com/watch?v=uIm3DMprk7M

----------------------
附錄一、第7步驟Windows環境變數補充資料

1. 根據NVIDIA官網的說明，只需要確認是否有CUDA_PATH這個變數
https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html

原文為：
Ensure the following values are set:
Variable Name: CUDA_PATH 
Variable Value: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0

2. 根據tensorflow官網的說明，需要設定3個PATH
https://www.tensorflow.org/install/gpu

原文為：
Add the CUDA, CUPTI, and cuDNN installation directories to the %PATH% environmental variable. For example, if the CUDA Toolkit is installed to C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0 and cuDNN to C:\tools\cuda, update your %PATH% to match:

SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\bin;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\extras\CUPTI\libx64;%PATH%
SET PATH=C:\tools\cuda\bin;%PATH%

3. 網路上的一些網路教程，則說需要新增2個路徑到 PATH 變數下
新增 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\bin
新增 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\libnvvp

最后修改： 龍爪翻書 (2018-12-30 15:23:01)

今天下午終於成功安裝好TensorFlow GPU版本   

使用pix2pix對同樣的3000多張龍圖進行深度學習，預計時間少了一半以上

i7 9700K，預計3000多分鐘

GTX 750ti，預計1300多分鐘