预备知识

tf.where()

条件语句真返回A，条件语句为假返回B tf. where（条件语句，真返回A，假返回B）

a = tf.constant([1, 2, 3, 1, 1]) b = tf.constant([0, 1, 3, 4, 5]) c = tf.where(tf.greater(a, b), a, b) # 若a>b，返回a对应位置的元素，否则返回b对应位置的元素 print("c：", c) # c： tf.Tensor([1 2 3 4 5], shape=(5,), dtype=int32)

np.random.RandomState.rand()

返回一个[0,1) 之间的随机数。 np.random.RandomState.rand(维度) # 维度为空，返回标量

rdm = np.random.RandomState(seed=1) # seed=常数每次生成随机数相同 a = rdm.rand() # 返回一个随机标量 b = rdm.rand(2, 3) # 返回维度为2行3列随机数矩阵 print("a:", a) print("b:", b) 运行结果： a: 0.417022004702574 b: [[7.20324493e-01 1.14374817e-04 3.02332573e-01] [1.46755891e-01 9.23385948e-02 1.86260211e-01]]

np.vstack(数组1，数组2)

将两个数组按垂直方向叠加

a = np.array([1, 2, 3]) b = np.array([4, 5, 6]) c = np.vstack((a, b)) print("c:\n", c) 运行结果：c: [[1 2 3] [4 5 6]]

np.mgrid[] .ravel() np.c_[]

np.mgrid【起始值：结束值：步长，起始值：结束值：步长，。。。。】x.ravel() 将X变为一维数组np.c_[ ] 使返回的间隔数值点配对 np.c_[数组1，数组2.。。。]

复杂度学习率

学习率

激活函数（非线性函数）

线性模型的模型表达力不够

优秀的激活函数：

非线性：激活函数非线性时，多层神经网络可逼近所有函数可微性：优化器大多用梯度下降更新参数单调性：当激活函数是单调的，能保证单层网络的损失函数是凸函数近似恒等性：f（x) x当参数初始化为随机小值时，神经网络更稳定

Sigmoid激活函数

相当于对输入做了归一化。近年来使用此函数的网络已经很少了。因为深层神经网络输出时，需要从输出层到输入层逐层进行链式求导，sm函数的导数输出是0~0.25的小数，多层连续相乘，会产生梯度消失。

Tanh函数

Relu函数

Leaky Relu函数

总结

损失函数

loss：预测值与一直答案的差距

主流loss的三种计算方法：

MSE（mean squared error） 均方误差自定义Cross Entropy 交叉熵

均方误差MSE:

LOSS_MSE = tf.reduce_mean( tf.square(y_ - y ) )

预测酸奶日销量y,x1、x2是影响日销量的因素。 建模前，应预先采集的数据有：每日x1、x2和销量y_（即已知答案，最佳情况：产量=销量） 拟造数据集X,Y_: y_ = x1+x2 噪声：-0.05~+0.05 拟合可以预测销量的函数

import tensorflow as tf import numpy as np SEED = 23455 rdm = np.random.RandomState(seed=SEED) # 生成[0,1)之间的随机数 x = rdm.rand(32, 2) # 输入特征x # 构建标准答案y_ # .rand() 生成0-1 之间的随机数 y_ = [[x1 + x2 + (rdm.rand() / 10.0 - 0.05)] for (x1, x2) in x] # 生成噪声[0,1)/10=[0,0.1); [0,0.1)-0.05=[-0.05,0.05) x = tf.cast(x, dtype=tf.float32) # x转变数据类型 w1 = tf.Variable(tf.random.normal([2, 1], stddev=1, seed=1)) epoch = 15000 lr = 0.002 for epoch in range(epoch): with tf.GradientTape() as tape: y = tf.matmul(x, w1) loss_mse = tf.reduce_mean(tf.square(y_ - y)) grads = tape.gradient(loss_mse, w1) w1.assign_sub(lr * grads) # 更新参数w1 if epoch % 500 == 0: print("After %d training steps,w1 is " % (epoch)) print(w1.numpy(), "\n") print("Final w1 is: ", w1.numpy())

自定义损失函数

如预测商品销量，预测多了，损失成本；预测少了，损失利润。 若利润≠成本，则mse产生的loss无法利益最大化。

loss = tf.reduce_sum(tf.where(tf.greater(y, y_), (y - y_) * COST, (y_ - y) * PROFIT))

如：预测酸奶销量，酸奶成本（COST）1元，酸奶利润（ PROFIT）99元。 预测少了损失利润99元，大于预测多了损失成本1元。 预测少了损失大，希望生成的预测函数往多了预测。

交叉熵

表征两个概率分布之间的距离

tf.losses.categorical_crossentropy(y_ , y)

缓解过拟合

欠拟合的解决办法：增加输入特征项；增加网络参数；减少正则化参数 过拟合的解决办法：数据清洗；增大训练集；采用正则化；增大正则化参数

正则化缓解过拟合

对一些点进行分类的测试：

# 导入所需模块 import tensorflow as tf from matplotlib import pyplot as plt import numpy as np import pandas as pd # 读入数据/标签 生成x_train y_train df = pd.read_csv('dot.csv') x_data = np.array(df[['x1', 'x2']]) y_data = np.array(df['y_c']) x_train = x_data y_train = y_data.reshape(-1, 1) Y_c = [['red' if y else 'blue'] for y in y_train] # 转换x的数据类型，否则后面矩阵相乘时会因数据类型问题报错 x_train = tf.cast(x_train, tf.float32) y_train = tf.cast(y_train, tf.float32) # from_tensor_slices函数切分传入的张量的第一个维度，生成相应的数据集，使输入特征和标签值一一对应 train_db = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32) # 生成神经网络的参数，输入层为4个神经元，隐藏层为32个神经元，2层隐藏层，输出层为3个神经元 # 用tf.Variable()保证参数可训练 w1 = tf.Variable(tf.random.normal([2, 11]), dtype=tf.float32) b1 = tf.Variable(tf.constant(0.01, shape=[11])) w2 = tf.Variable(tf.random.normal([11, 1]), dtype=tf.float32) b2 = tf.Variable(tf.constant(0.01, shape=[1])) lr = 0.005 # 学习率为 epoch = 800 # 循环轮数 # 训练部分 for epoch in range(epoch): for step, (x_train, y_train) in enumerate(train_db): with tf.GradientTape() as tape: # 记录梯度信息 h1 = tf.matmul(x_train, w1) + b1 # 记录神经网络乘加运算 h1 = tf.nn.relu(h1) y = tf.matmul(h1, w2) + b2 # 采用均方误差损失函数mse = mean(sum(y-out)^2) loss_mse = tf.reduce_mean(tf.square(y_train - y)) # 添加l2正则化 loss_regularization = [] # tf.nn.l2_loss(w)=sum(w ** 2) / 2 loss_regularization.append(tf.nn.l2_loss(w1)) loss_regularization.append(tf.nn.l2_loss(w2)) # 求和 # 例：x=tf.constant(([1,1,1],[1,1,1])) # tf.reduce_sum(x) # >>>6 loss_regularization = tf.reduce_sum(loss_regularization) loss = loss_mse + 0.03 * loss_regularization # REGULARIZER = 0.03 # 计算loss对各个参数的梯度 variables = [w1, b1, w2, b2] grads = tape.gradient(loss, variables) # 实现梯度更新 # w1 = w1 - lr * w1_grad w1.assign_sub(lr * grads[0]) b1.assign_sub(lr * grads[1]) w2.assign_sub(lr * grads[2]) b2.assign_sub(lr * grads[3]) # 每200个epoch，打印loss信息 if epoch % 20 == 0: print('epoch:', epoch, 'loss:', float(loss)) # 预测部分 print("*******predict*******") # xx在-3到3之间以步长为0.01，yy在-3到3之间以步长0.01,生成间隔数值点 xx, yy = np.mgrid[-3:3:.1, -3:3:.1] # 将xx, yy拉直，并合并配对为二维张量，生成二维坐标点 grid = np.c_[xx.ravel(), yy.ravel()] grid = tf.cast(grid, tf.float32) # 将网格坐标点喂入神经网络，进行预测，probs为输出 probs = [] for x_predict in grid: # 使用训练好的参数进行预测 h1 = tf.matmul([x_predict], w1) + b1 h1 = tf.nn.relu(h1) y = tf.matmul(h1, w2) + b2 # y为预测结果 probs.append(y) # 取第0列给x1，取第1列给x2 x1 = x_data[:, 0] x2 = x_data[:, 1] # probs的shape调整成xx的样子 probs = np.array(probs).reshape(xx.shape) plt.scatter(x1, x2, color=np.squeeze(Y_c)) # 把坐标xx yy和对应的值probs放入contour函数，给probs值为0.5的所有点上色 plt.show()后 显示的是红蓝点的分界线 plt.contour(xx, yy, probs, levels=[.5]) plt.show() # 读入红蓝点，画出分割线，包含正则化 # 不清楚的数据，建议print出来查看

神经网络参数优化器

引导神经网络优化参数。几个符号的含义：待优化参数w，损失函数loss，学习率lr，每次迭代一个 batch, t表示当前 batch迭代的总次数： 待补充。。。