一位外国小哥把整个 CNN 都给可视化了，卷积、池化清清楚楚！网友：美得不真实...

随风 • 2021-10-06 • Python知识 • 450 阅读

这是「进击的Coder」的第 355 篇技术分享

作者：萧箫鱼羊

来源：量子位（QbitAI）

“

阅读本文大概需要 7 分钟。

”

做计算机视觉，离不开 CNN。

可是，卷积、池化、Softmax……究竟长啥样，是怎样相互连接在一起的？

对着代码凭空想象，多少让人有点头皮微凉。于是，有人干脆用 Unity 给它完整 3D 可视化了出来。

还不光是有个架子，训练过程也都呈现得明明白白。

比如随着 epoch（迭代次数）的变化，训练过程中各层出现的实时变化。

为了能更清楚地展示网络细节，用户还可以在其中自由地折叠、扩展每个层。

比如将特征图在线性布局和网格布局之间转换。

折叠卷积层的特征图输出。

对全连接层进行边绑定（edge bunding）等等。

这样的可视化图像，可以通过加载 TensorFlow 的检查点来构建。

也可以在 Unity 编辑器中设计。

是不是有点鹅妹子嘤那感觉了？

最近，这个项目又在社交媒体上火了起来。

网友们纷纷表示：

“要是能在训练的时候看到这个过程，再长时间我也能忍啊。”

“求开源。”

该项目的作者，是一位来自维也纳的 3D 特效师。

据他介绍，之所以创建这样一个 CNN 可视化工具，是因为他自己初学神经网络时，经常觉得很难理解卷积层之间是如何相互连接，又如何与不同类型的层连接的。

而该工具的主要功能包括，卷积、最大池化和完全连接层的可视化表示，以及各种能实现更清晰可视化的简化机制等等。

总而言之，就是想让初学者通过最直观的方式，来 get 到 CNN 的重点。

如何用 Unity 搞出一个 3D 网络

在正式上手 Unity 前，作者先在 Houdini 软件中，搭建了一个可视化的 3D 网络原型。

也就是说，先给 Unity 版 3D 网络提供一个搭建思路，提前准备好实现展示卷积计算的方法、特征图的形状、边绑定的效果等问题。

它的节点编辑器长这样：

然后，就可以在 Unity 上搭建 3D 神经网络了。

首先，需要预设好神经网络的 “形状”。

由于之前并没有用过 Unity，作者先学习了着色器和过程式几何相关的知识。

这里面，作者发现了一些局限性，他采用的是 Unity 为着色器开发的语言 Shaderlab，这个语言无法使用着色变化，只有对语义进行预定义的变量，才能让它在顶点、几何和像素着色器之间传递。

而且，它无法任意分配顶点属性，只有位置、颜色、UV等预定义属性。（可能这也是 3D 网络无法实时改变颜色的原因之一）

在研究了一些实例化（instancing）相关的概念后，作者计划采用几何着色器的方法生成神经网络的连线。其中起点和终点被传递到顶点着色器，并直接转发到几何着色器。

这些线，最多可以由 120 个顶点组成，因为 Unity 允许的几何着色器能创建的变量的标量浮点数为 1024。

设计后的网络形状，大致长这样：

然后，就是从模型的 TensorFlow 代码中，生成对应的 3D 神经网络图像。

其中，Tensorflow-native.ckpt 格式的文件，需要存储重构模型图所需的数据、二进制的权重读取和激活值，以及特定层的名字。

以 Cifar10-greyscale 数据集为例，需要编写一个检查点（checkpoint）文件，以及设置随即初始化的权重。

在那之后，需要加载这些检查点文件、启动 TensorFlow 会话，输入训练示例，以便查询每一层的激活函数。

然后编写一个 json 文件，存储每一层的形状、名称、权重和激活函数，便于读取。然后使用权重值，将颜色数据分配给各层的 Unity Mesh。

最终搞出来的效果，还是不错的：

作者还录了个开发视频，在文末可以找到地址。

作者介绍

Stefan Sietzen，现居维也纳，此前曾是个 3D 视觉方向的自由职业者。

目前，他在维也纳工业大学读硕，对视觉计算（visual computing）非常感兴趣，这个 3D 神经网络，就是他在硕士期间做的项目之一。

开发过程：
https://vimeo.com/stefsietz

已开源的3D神经网络项目：
https://github.com/julrog/nn_vis

参考链接：
https://www.reddit.com/r/MachineLearning/comments/leq2kf/d_convolution_neural_network_visualization_made/
https://mp.weixin.qq.com/s/tmx59J75wuRii4RuOT8TTg
https://vimeo.com/stefsietz
http://portfolio.stefansietzen.at/
http://visuality.at/vis2/detail.html

End

「进击的Coder」专属学习群已正式成立，搜索「CQCcqc4」添加崔庆才的个人微信或者扫描下方二维码拉您入群交流学习。