image from unsplash.com by @jmnse 卷积神经网络在之前的文章中介绍过，这里不再赘述，主要对比一下如何使用 Tensorflow 和 PyTorch 搭建卷积神经网络(CNN)。 1. CNN回顾以人脸识别问题为例，对于全连接的神经网络，每一个像素与每一个神经元相连，每一个连接都对应一个权重参数 w。我们训练这个神经网络，就相当于我们在寻找每个像素点之间的关系...

在机器学习的过程中，**过拟合((overfiting)**是一个非常常见的问题。解决过拟合有非常多的方法，比如增加样本数量，减少模型复杂度，Early Stopping 等。在无法增加样本个数，模型不变的情况下，正则化和dropout 是处理overfiting 最常见的方法。 1. 正则化模型之所会出现过拟合的情况，是因为模型死记硬背了太多训练集中数据的特征而失去了范化能力。其特征就是在...

image from unsplash.com by @markusspiske 之前讨论 Tensorflow 2.0 的文章中我们介绍了其非常强大的可视化工具：Tensorboard。虽然 PyTorch 中我们可以使用非官方的 Tensorboarx 来实现相同的功能，但是我们更推荐 PyTorch 的东家 Facebook 出品的可视化工具 Visdom。这篇文章我们通过对比 Te...

image from unsplash.com by @wolfgang_hasselmann 上一篇文章，我们用 Tensorflow 和 PyTorch 分别完成了函数自动求导以及参数手动和自动优化的任务，这篇文章我们就通过经典的 MNSIT 手写数字识别数据集，对比一下,如何使用两个框架建立训练全链接的神经网络，对手写数字进行分类． 1. 数据导入像 MNIST 这样经典的数据集 T...

image from unsplash.com by @johnwestrock 在深度学习中，网络参数的优化是通过 后向传播 实现的，而优化参数的最基本方法就是 梯度下降 法。使用该方法首先就要求参数对损失函数的的梯度。梯度 可以简单理解为参数对于损失函数的导数(实际上是偏导数)。 Tensorflow 和 PyTorch 之所以强大，是因为其自动求导的功能和自动优化能力，本文就来对比介...

掌握 Tensorflow 和 PyTorch 的基本数学运算操作，对后续机器学习和深度学习的学习十分重要。当然两者在这方面也十分相似。 1. 基本数学运算基本数学运算即“加减乘除“，Tensorflow 和 PyTorch 均使用 “+ - * /“ 这四个符号，但是注意的是，这里的运算是张量元素间 (Elementwise) 的计算，张量的 Shape 必须一致, 如果有一个维度不一致，...

Tensorflow 和 PyTorch 的基本操作非常类似，大多数方法都是相通的，如果有 numpy 的基础，掌握起来就更加容易了。基本操作涉及到张量的初始化，切片索引，维度变换和合并拆分等。 1. 初始化Tensorflow 和 PyTorch 的导入，查看版本，是否有GPU支持等非常简单代码如下： 2. 创建张量在数学和物理概念中，有标量 Scaler，向量 Vector, 矩阵 ...