Keras 获取参数数量,模型可视化

本文介绍如何获取Keras模型的参数数量和模型结构等。

1. 参数数量

TensorFlow 2.0 以上

import tensorflow.keras.backend as K
import numpy as np

trainable_count = np.sum([K.count_params(w) for w in model.trainable_weights])
non_trainable_count = np.sum([K.count_params(w) for w in model.non_trainable_weights])

print('Total params: {:,}'.format(trainable_count + non_trainable_count))
print('Trainable params: {:,}'.format(trainable_count))
print('Non-trainable params: {:,}'.format(non_trainable_count))

2. 网络结构可视化

注意:如需可视化模型,需要安装Graphvizpydot

函数原型请参见:Keras 可视化(中文版文档已过期)

Keras 函数原型:

tf.keras.utils.plot_model(
    model,
    to_file="model.png",
    show_shapes=False,
    show_layer_names=True,
    rankdir="TB",
    expand_nested=False,
    dpi=96,
)

参数列表

  • model: Keras 模型
  • to_file: 输出图像文件名。(注:矢量图以svg,eps等为后缀,位图以png,jpg等为后缀)
  • show_shapes: 显示Tensor尺寸(注意,如果没有定义输入Tensor尺寸,显示为‘?’)
  • show_layer_names: 是否显示每一层的名称
  • rankdirrankdir Graphviz 参数 : ‘TB’ 从上至下绘图; ‘LR’ 从左至右绘图。
  • expand_nested: 是否展开嵌套的模型。
  • dpi: 输出位图的DPI。

Tensorflow 2.0 以上版本

from tensorflow.keras.utils import plot_model

plot_model(model, to_file='model.png', show_shapes=True)

使用CMAKE构建应用程序

本文仅介绍如何使用CMAKE编译一个现有的程序(适用于非交叉编译)。

关于CMAKE

CMake是个一个开源的跨平台自动化建构系统,用来管理软件建置的程序,并不依赖于某特定编译器,并可支持多层目录、多个应用程序与多个库。 它用配置文件控制建构过程(build process)的方式和Unix的make相似,只是CMake的配置文件取名为CMakeLists.txt。CMake并不直接建构出最终的软件,而是产生标准的建构档(如Unix的Makefile或Windows Visual C++的projects/workspaces),然后再依一般的建构方式使用。这使得熟悉某个集成开发环境(IDE)的开发者可以用标准的方式建构他的软件,这种可以使用各平台的原生建构系统的能力是CMake和SCons等其他类似系统的区别之处。 CMake配置文件(CMakeLists.txt)可设置源代码或目标程序库的路径、产生适配器(wrapper)、还可以用任意的顺序建构可执行文件。CMake支持in-place建构(二进档和源代码在同一个目录树中)和out-of-place建构(二进档在别的目录里),因此可以很容易从同一个源代码目录树中建构出多个二进档。CMake也支持静态与动态程序库的建构。

https://zh.wikipedia.org/zh-cn/CMake
继续阅读使用CMAKE构建应用程序

一个GPU监视工具

这是一个用于监视NVIDIA GPU 训练的工具。可以防止训练进程卡死占用资源。
可以根据自己的情况调整位于第34行时间阈值。

import os
import subprocess
import time
import psutil

nvtask = {}

while True:

    nvrescmd = subprocess.run(['nvidia-smi','pmon','-c','1'], stdout=subprocess.PIPE)
    nvresout = nvrescmd.stdout.decode('utf-8')
    nvprocarr = nvresout.split('\n')[2:]
    for nvproc in nvprocarr:
        nvprocinfo = nvproc.split()
        if len(nvprocinfo) <2:
            continue
        if nvprocinfo[2] == 'G' or nvprocinfo[2] == '-':
            continue
        #print('gpu:{}, pid:{}, util:{}'.format(nvprocinfo[0],nvprocinfo[1],nvprocinfo[3]))
        if int(nvprocinfo[3]) == 0 : 
            if int(nvprocinfo[1]) in nvtask:
                nvtask[int(nvprocinfo[1])] += 1
            else:
                nvtask[int(nvprocinfo[1])] = 1
            if nvtask[int(nvprocinfo[1])] > 10:
                from termcolor import colored
                print('Process {} counted for {}'.format(nvprocinfo[1],nvtask[int(nvprocinfo[1])]))
        else:
            nvtask[int(nvprocinfo[1])] = 0
    for pid, zerocount in nvtask.copy().items():
        if not psutil.pid_exists(pid):
            del nvtask[pid]
        else:
            if zerocount > 300:
                os.kill(pid,9)
    os.system('nvidia-smi')
    os.system('sensors')
    time.sleep(1)
    os.system('clear')

设置CMake 使用的Visual Studio 2017工具链版本

自Cmake 3.12 起使用Visual Studio 15 2017生成器时可以指定Visual Studio 2017的工具链版本。

本文使用的工具如下:

  1. CMake 3.12.0
  2. Visual Studio 2017

Visual Studio 2017工具链版本:

  1. 14.14
  2. 14.11

工具链版本设置方法如下:

  • 使用cmake命令的方法
    cmake -G "Visual Studio 15 2017" -T host=x64,version=14.xx ../
  • cmake gui使用方法
    在配置项目时增加version参数

    host=x64为指定编译器为64位版本

附加文件

CMake 3.12.0 下载页

参考资料

CMake 3.12.0 Release Note