最近接触到了PCA与SVD经过网上查找资料简单理解后，在此记录总结一下。

SVD

　　奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。一个矩阵可以分解为两个方阵和一个对角矩阵的乘积。 对于一个M × N的矩阵A，我们想要分解成如下的形式：

mnist数据集

　　MNIST数据集是机器学习领域中非常经典的一个数据集，由60000个训练样本和10000个测试样本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。

一共4个文件依次分别为：测试集、测试集标签、训练集、训练集标签

问题描述

本次使用TensorFlow对鸢尾花进行分类，鸢尾花分为三种：Iris Setosa(山鸢尾)、Iris Versicolour (变色鸢尾)以及Iris Virginica(维吉尼亚鸢尾)。

我们通过4个特征值(单位：cm)来进行区分，分别为：sepal length(萼片长度)、sepal width(萼片宽度)、petal length(花瓣长度)、petal width(花瓣宽度)。

线性回归模型简介

　　线性回归，就是能够用一个直线较为精确地描述数据之间的关系。这样当出现新的数据的时候，就能够预测出一个简单的值，确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

分析

　　这里使用了一个3层的神经网络，如下：

激活函数的作用

　　激活函数的作用主要是增加神经网络的非线性。神经网络的每一层都有矩阵相乘，如果不使用激活函数，每一层的输出都是上层输入的线性函数，无论神经网络有多少层，输出都是线性组合，并没有办法解决非线性问题。所以必须引入非线性函数作为激活函数，这样深层神经网络就有意义了，并可以解决线性模型所不能解决的问题。