对Tensorflow中权值和feature map的可视化详解

前言

Tensorflow中可以使用tensorboard这个强大的工具对计算图、loss、网络参数等进行可视化。本文并不涉及对tensorboard使用的介绍，而是旨在说明如何通过代码对网络权值和feature map做更灵活的处理、显示和存储。本文的相关代码主要参考了github上的一个小项目，但是对其进行了改进。

原项目地址为(https://github.com/grishasergei/conviz)。

本文将从以下两个方面进行介绍：

卷积知识补充

网络权值和feature map的可视化

1. 卷积知识补充

为了后面方便讲解代码，这里先对卷积的部分知识进行一下简介。关于卷积核如何在图像的一个通道上进行滑动计算，网上有诸多资料，相信对卷积神经网络有一定了解的读者都应该比较清楚，本文就不再赘述。这里主要介绍一组卷积核如何在一幅图像上计算得到一组feature map。

以从原始图像经过第一个卷积层得到第一组feature map为例（从得到的feature map到再之后的feature map也是同理），假设第一组feature map共有64个，那么可以把这组feature map也看作一幅图像，只不过它的通道数是64， 而一般意义上的图像是RGB3个通道。为了得到这第一组feature map，我们需要64个卷积核，每个卷积核是一个k x k x 3的矩阵，其中k是卷积核的大小（假设是正方形卷积核），3就对应着输入图像的通道数。下面我以一个简单粗糙的图示来展示一下图像经过一个卷积核的卷积得到一个feature map的过程。

如图所示，其实可以看做卷积核的每一通道（不太准确，将就一下）和图像的每一通道对应进行卷积操作，然后再逐位置相加，便得到了一个feature map。

那么用一组（64个）卷积核去卷积一幅图像，得到64个feature map就如下图所示，也就是每个卷积核得到一个feature map，64个卷积核就得到64个feature map。

另外，也可以稍微换一个角度看待这个问题，那就是先让图片的某一通道分别与64个卷积核的对应通道做卷积，得到64个feature map的中间结果，之后3个通道对应的中间结果再相加，得到最终的feature map，如下图所示：

可以看到这其实就是第一幅图扩展到多卷积核的情形，图画得较为粗糙，有些中间结果和最终结果直接用了一样的子图，理解时请稍微注意一下。下面代码中对卷积核进行展示的时候使用的就是这种方式，即对应着输入图像逐通道的去显示卷积核的对应通道，而不是每次显示一个卷积核的所有通道，可能解释的有点绕，需要注意一下。通过下面这个小图也许更好理解。