之前的文章中介绍的使用 Tensorflow 训练的模型要么只能运行在 PC 端，要么需要云端的支持。随着智能手机和物联网设备的普及，能够在智能手机甚至嵌入式设备直接运行的模型需求就越来越高。这篇文章就开始介绍 Tensorflow Lite, 这个能够运行在智能手机和 嵌入式设备的开源深度学习框架。 通常，我们会在 PC 或者云端建立模型，并对模型进行训练，然后将模型转换成 Tensorf...

image from unsplash.com by @jmnse 卷积神经网络在之前的文章中介绍过，这里不再赘述，主要对比一下如何使用 Tensorflow 和 PyTorch 搭建卷积神经网络(CNN)。 1. CNN回顾以人脸识别问题为例，对于全连接的神经网络，每一个像素与每一个神经元相连，每一个连接都对应一个权重参数 w。我们训练这个神经网络，就相当于我们在寻找每个像素点之间的关系...

在机器学习的过程中，**过拟合((overfiting)**是一个非常常见的问题。解决过拟合有非常多的方法，比如增加样本数量，减少模型复杂度，Early Stopping 等。在无法增加样本个数，模型不变的情况下，正则化和dropout 是处理overfiting 最常见的方法。 1. 正则化模型之所会出现过拟合的情况，是因为模型死记硬背了太多训练集中数据的特征而失去了范化能力。其特征就是在...

image from unsplash.com by @markusspiske 之前讨论 Tensorflow 2.0 的文章中我们介绍了其非常强大的可视化工具：Tensorboard。虽然 PyTorch 中我们可以使用非官方的 Tensorboarx 来实现相同的功能，但是我们更推荐 PyTorch 的东家 Facebook 出品的可视化工具 Visdom。这篇文章我们通过对比 Te...

image from unsplash.com by @wolfgang_hasselmann 上一篇文章，我们用 Tensorflow 和 PyTorch 分别完成了函数自动求导以及参数手动和自动优化的任务，这篇文章我们就通过经典的 MNSIT 手写数字识别数据集，对比一下,如何使用两个框架建立训练全链接的神经网络，对手写数字进行分类． 1. 数据导入像 MNIST 这样经典的数据集 T...

image from unsplash.com by @johnwestrock 在深度学习中，网络参数的优化是通过 后向传播 实现的，而优化参数的最基本方法就是 梯度下降 法。使用该方法首先就要求参数对损失函数的的梯度。梯度 可以简单理解为参数对于损失函数的导数(实际上是偏导数)。 Tensorflow 和 PyTorch 之所以强大，是因为其自动求导的功能和自动优化能力，本文就来对比介...

掌握 Tensorflow 和 PyTorch 的基本数学运算操作，对后续机器学习和深度学习的学习十分重要。当然两者在这方面也十分相似。 1. 基本数学运算基本数学运算即“加减乘除“，Tensorflow 和 PyTorch 均使用 “+ - * /“ 这四个符号，但是注意的是，这里的运算是张量元素间 (Elementwise) 的计算，张量的 Shape 必须一致, 如果有一个维度不一致，...

Image from unsplash.com by @Jason_xj 之前的文章我们介绍了 RNN 循环网络，并用循环网络成功地预测了牛奶产量。这篇文章我们继续使用 RNN 以及 LSTM 和 GRU 处理分类问题。我们使用的是 Keras 自带的数据集——路透社新闻分类问题。 关注微信公众号获取源代码（二维码见文末） 1. RNN 回顾与卷积神经网络处理空间局部相关性数据不同，循环网...

Image from unsplash.com by @ripato 前面的文章我们学习了如何使用 Tensorflow 2.0 训练卷积神经网络，今天我们将学习如何用卷积神经网络的升级版 ResNet 来实战 CIFAR100 数据集。 关注微信公众号获取源代码（二维码见文末） 1. 深度神经网络的困扰自从2012 年，5层卷积神经网络在 ILSVRC12 挑战赛 ImageNet 数据...

image from unsplash by Zhang Kenny 前面的几篇文章从线性回归，到手写数字识别再到预测牛奶产量，我们用 Tensorflow 2.0 与 Keras 结合完成了全链接神经网络，卷积神经网络以及循环神经网络的搭建和训练。那 Tensorflow 2.0 和 Keras 到底是什么关系，我们应该如何选择和搭配二者来完成自己的项目呢？这篇文章就来探讨一下这个问题。...