[TensorFlow]使用pix2pix将灰阶图转换成彩色图

龍爪翻書 · 2018-12-23 07:55:19

pix2pix这个模型，在训练之后可以将灰阶图转变成彩色图

如果用食物照片进行训练，就能将食物的灰阶图转换成彩色图

于是我尝试用龙图进行训练，希望能得到一个自动帮灰阶龙图上色的模型

这本书《学会TensorFlow之后呢？最尖端的21个梦幻范例实作》，里面第9章的举例，使用7000多张食物图片进行训练

我整理了一下我搜集的龙图，只整理出大约3000张

然后使用tensorflow CPU版本进行训练，目前经过大约30小时，大约完成50%了

至于为什么不用比较快的tensorflow GPU版本呢，这又是另外一个故事了

------------------------------
图片来源与参考资料：
1.  https://github.com/affinelayer/pix2pix-tensorflow
2.  《学会TensorFlow之后呢？最尖端的21个梦幻范例实作》

3.  [url]ftp://ftp.topteam.cc/TD1848%E8%AE%80%E8%80%85%E4%B8%8B%E8%BC%89%E7%94%A8%E7%9A%84ftp/TD1848/book_data/chapter_9_data/[/url]  (帐号是reader，没有密码，直接按确定)

最后修改：龙爪翻书 (2018-12-23 07:59:38)

龍爪翻書 · 2018-12-23 17:31:19

今天下午终于成功安装好TensorFlow GPU版本 [大笑]

使用pix2pix对同样的3000多张龙图进行深度学习，预计时间少了一半以上

i7 9700K，预计3000多分钟

GTX 750ti，预计1300多分钟

shiningdracon · 2018-12-23 17:31:24

支持这个。
我试过生成楼宇和面孔的例子，如果输入形状和训练集偏离得比较大，输出的结果可能会很诡异。
期待龙图的实验效果。

龍爪翻書 · 2018-12-24 07:33:53

今天早上7点多训练好了

验证用的图片，可以是彩色的，这个模型会将其转变成灰阶再转换成彩色，还会输出一个网页

网页我上传到自家的小网站了
https://www.leisurelywing.synology.me/tensorflow/pix2pix/20181224/

我目前找了20张验证用图片，下方可说是直式对照，想看横式对照请看上方网址 (晚上补充：后来将所有图片都复制过来了)

输入给程式的灰阶图是input
输出的彩色图片是output
原始图片为target

input

output

target

input

output

target

电脑无法判断的，看样子不会乱涂

input

output

target

最后修改：龙爪翻书 (2018-12-24 19:12:11)

蓝羽龙 · 2018-12-24 08:11:41

[↑] @龙爪翻书写道: 今天早上7点多训练好了验证用的图片，可以是彩色的，这个模型会将其转变成灰阶再转换成彩色，还会输出一个网页网页我上传到自家的小网站了 https://www.leisurelywing.syno …

所以说下面那些文物、雕像、玩具、蜥蜴都是验证对照的？ [傻笑]

龙爪的配置好高……

最后修改：蓝羽龙 (2018-12-24 08:12:25)

龍爪翻書 · 2018-12-24 18:54:59

@蓝羽龙写道: 所以说下面那些文物、雕像、玩具、蜥蜴都是验证对照的？

对啊 [卖萌]

因为我也和影子一样，想知道如果验证用图片和训练用图片差太多，会发生什么事? [灵感]

@蓝羽龙写道: 龙爪的配置好高……

其实我的主力电脑还有一张1070ti显卡 [傻笑]

龍爪翻書 · 2018-12-30 18:31:28

今天下午尝试用我的主力电脑对同样的3000多张龙图进行训练

显示卡是1070ti，预计时间约380分钟，跟之前相比快了好多倍

i7 9700K，预计3000多分钟

GTX 750ti，预计1300多分钟

执行到第13轮训练时，我想说网路上说训练过程中，随时可以进行验证，我就试试看

然后记忆体不足(我有16G)，验证和训练的工作阶段都挂了 [被炸]

后来我测试，只验证256*256的一张图，居然GPU瞬间100%，CPU瞬间约20%，显卡记忆体使用约6G

看样子验证图片也需要大量的运算资源 [汗]

暂停tensorflow训练有一定的步骤，我也不知道我这样能不能继续从13轮开始训练

不过倒是得到一个只训练13轮的AI，我将验证图发过来给大家看看 (作为对比，我上面4楼的图，是训练70轮的AI)

补充说明：
因为训练只接受256*256大小的图片，之前的训练是将长边切掉变成正方形，
这一次的训练则是将短边补上黑色变成正方形，所以严格意义来说这次的验证结果跟上次的验证结果不能直接比较。

(这个13轮AI倒是很给面子，将我的临摹图上了不少颜色 XD)

最后修改：龙爪翻书 (2018-12-30 18:41:43)

shiningdracon · 2018-12-31 09:43:21

来效果比第一次好一些

龍爪翻書 · 2018-12-31 10:08:25

第二次训练完成

我先解释一下第二次的训练用图片和第一次的差别

首先，这个深度学习的程式只接受256*256画素的正方形图片

第一次训练时，我将长边切掉，像这样：

第二次训练时，我在短边补上黑色，像这样：

我发几张让大家看看这一次的训练结果，详细结果请点下方我的小网站的连结

输入图

输出图

原始图

看样子，灰阶图没画好的部分，电脑上色也会不好

输入图

输出图

原始图

最让我惊喜的是这一张，上色结果非常接近原图

输入图

输出图

原始图

验证用图片我不是从训练用图片中抓的，是另外下载的

因为这一张，我还特地略看了整组训练用图片，应该是没有这一张

所以这真的是AI学习的结果，真是太神奇了 [惊讶]

下次训练，将图片增加到10万张以上吧 [傻笑]

附上目前的三次训练结果

1. 训练图切掉长边，训练到70 (max_epochs = 70)
https://www.leisurelywing.synology.me/tensorflow/pix2pix/20181224/

2. 训练图短边补黑色，训练到13时意外中断 (epochs = 12)
https://www.leisurelywing.synology.me/tensorflow/pix2pix/20181230/

3. 训练图短边补黑色，训练到70 (max_epochs = 70)
https://www.leisurelywing.synology.me/tensorflow/pix2pix/20181231/

这一次我也学会叫出训练曲线来看

虽然这曲线我看不大懂，但上下幅度很大，深色线条是取平均、平滑后的结果

我猜上下幅度大，代表AI还没找出很好的规律

这一次的训练用龙图，可能风格太散，每一张对电脑来说都是特例的话，画风很难找出规律

下次训练时，相同风格的多弄几张好了 [灵感]

蓝羽龙 · 2018-12-31 21:11:39

好像比较偏暖色系？

龍爪翻書 · 2018-12-31 21:52:16

似乎是的，训练用图片各种颜色都有，但我没统计暖色系比例 [灵感]

龍爪翻書 · 2019-01-03 19:47:41

AMD最近的RX570显示卡蛮便宜的

例如华硕 STRIX-RX570-O4G-GAMING 显示卡只要4390

现在买还可以从Resident Evil™ 2、Devil May Cry™ 5、Tom Clancy’s The Division® 2，这三款游戏中任选两种

可惜TensorFlow深度学习不支援AMD显示卡的说

以下分享文章：
深度学习该选什么显示卡？

整体来说最佳的GPU: RTX 2070
不建议买的GPU: 所有Tesla卡; 所有Quadro卡;所有Founders Edition卡; Titan V, Titan XP
性价比好但贵: RTX 2070
性价比好又便宜: GTX Titan (Pascal) from eBay, GTX 1060 (6GB), GTX 1050 Ti (4GB)
我预算很少: GTX Titan (Pascal) from eBay, or GTX 1060 (6GB), or GTX 1050 Ti (4GB)
我几乎没预算: GTX 1050 Ti (4GB); CPU (prototyping) + AWS/TPU (training); or Colab.

性能

性价比

图片与资料来源：
http://timdettmers.com/2018/11/05/which-gpu-for-deep-learning/
https://zhuanlan.zhihu.com/p/42749496

龍爪翻書 · 2019-01-06 19:56:06

又做了一个尝试

这一次的训练样本，是来自同一个画家的25张龙图

Ruth Thompson的龙图出处：http://s278.photobucket.com/user/rjraven97/library/ruth%20thompson%20dragons?sort=3&page=1

因为样本数很少，所以我设定训练1万次 (epochs = 10000)

以我的电脑硬体配备，大约需要7小时

训练曲线出乎我预料，居然不是越多次越好 [惊讶]

根据这篇，pix2pix训练过程，generator_loss_L1是最主要的标准，越低越好
https://github.com/affinelayer/pix2pix-tensorflow/issues/99

以我这次的训练来说，大约在35.5K step，也就是大约 1420 epoch时，generator_loss_L1最低

对照上面两张图的generator_loss_L1，训练到1万epoch(250K step)的时候，都没有1420 epoch这么低，真奇妙 [疑惑]

这一次的验证结果网页如下：
https://www.leisurelywing.synology.me/tensorflow/pix2pix/20190106

可以看出，即使样本极少，而且都是同一个画风，训练出来的AI仍然可以给「某些」其他风格的龙图上色

虽然效果没有之前3000张样本的AI好，但是这代表AI不是死背，而是有学习到龙的一些特徵啊 [灵感]

最后修改：龙爪翻书 (2019-01-06 20:05:56)

龍爪翻書 · 2024-11-09 08:30:24

看到Adobe的广告

https://www.youtube.com/watch?v=DKdw3yrVU_Y

Adobe的生成填色功能，比我2018年时弄的填色要强太多了 [惊讶]

Drasiam · 2024-12-10 18:59:57

随着训练过程继续，validation出现loss先下降后上升的情况多为过拟合，深度模型失去泛化能力等。可以考虑进行图像增强（裁剪、缩放、变换）等图像处理的一些手段来增加数据集。尝试调整 dropout、还有在训练 optimizer 里面增加一些 L2 regularization，使用学习率逐渐降低等方式调整等。

鳞目界域-龙论坛

公告

#1 2018-12-23 07:55:19 | 只看该作者 | 使用小说阅读模式

[TensorFlow]使用pix2pix将灰阶图转换成彩色图

#2 2018-12-23 17:31:19 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#3 2018-12-23 17:31:24 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#4 2018-12-24 07:33:53 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#5 2018-12-24 08:11:41 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#6 2018-12-24 18:54:59 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#7 2018-12-30 18:31:28 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#8 2018-12-31 09:43:21 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#9 2018-12-31 10:08:25 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#10 2018-12-31 21:11:39 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#11 2018-12-31 21:52:16 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#12 2019-01-03 19:47:41 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#13 2019-01-06 19:56:06 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#14 2024-11-09 08:30:24 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

#15 2024-12-10 18:59:57 | 只看该作者 | 使用小说阅读模式

回应： [TensorFlow]使用pix2pix将灰阶图转换成彩色图

论坛页尾