学习百度AI Studio的笔记，供自己复习和记录学习过程中的思路使用，如想了解详情请移步百度AI Studio
1.uci-housing数据集介绍：
数据集共506行,每行14列。前13列用来描述房屋的各种信息，最后一列为该类房屋价格中位数。
PaddlePaddle提供了读取uci_housing训练集和测试集的接口，分别为paddle.dataset.uci_housing.train()和paddle.dataset.uci_housing.test()。
2.train_reader和test_reader
paddle.reader.shuffle()表示每次缓存BUF_SIZE个数据项，并进行打乱。
paddle.batch()表示每BATCH_SIZE组成一个batch。
# 导入基本的库 import paddle.fluid as fluid import paddle import numpy as np import os BUF_SIZE=500 BATCH_SIZE=20 #用于训练的数据提供器，每次从缓存中随机读取批次大小的数据 train_reader = paddle.batch( paddle.reader.shuffle(paddle.dataset.uci_housing.train()， buf_size=BUF_SIZE), batch_size=BATCH_SIZE) #用于测试的数据提供器，每次从缓存中随机读取批次大小的数据 test_reader = paddle.batch( paddle.reader.shuffle(paddle.dataset.uci_housing.test(), buf_size=BUF_SIZE), batch_size=BATCH_SIZE)打印查看uci_housing数据
#用于打印，查看uci_housing数据 train_data=paddle.dataset.uci_housing.train(); sampledata=next(train_data()) print(sampledata)对于线性回归来讲，它就是一个从输入到输出的简单的全连接层。
对于波士顿房价数据集，假设属性和房价之间的关系可以被属性间的线性组合描述。
#定义张量变量x，表示13维的特征值 x = fluid.layers.data(name='x', shape=[13], dtype='float32') #定义张量y,表示目标值 y = fluid.layers.data(name='y', shape=[1], dtype='float32') #定义一个简单的线性网络,连接输入和输出的全连接层 #input:输入tensor; #size:该层输出单元的数目 #act:激活函数 y_predict=fluid.layers.fc(input=x,size=1,act=None)此处使用均方差损失函数。
square_error_cost(input,lable):接受输入预测值和目标值，并返回方差估计,即为（y-y_predict）的平方
cost = fluid.layers.square_error_cost(input=y_predict, label=y) #求一个batch的损失值 avg_cost = fluid.layers.mean(cost) #对损失值求平均值此处使用的是随机梯度下降。
optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001) opts = optimizer.minimize(avg_cost) test_program = fluid.default_main_program().clone(for_test=True)在上述模型配置完毕后，得到两个fluid.Program： fluid.default_startup_program() fluid.default_main_program() 。
参数初始化操作会被写入fluid.default_startup_program()
fluid.default_main_program()用于获取默认或全局main program(主程序)。该主程序用于训练和测试模型。
fluid.layers 中的所有layer函数可以向 default_main_program 中添加算子和变量。
default_main_program 是fluid的许多编程接口（API）的Program参数的缺省值。例如,当用户program没有传入的时候，Executor.run()会默认执行 default_main_program 。
首先定义运算场所 fluid.CPUPlace()和 fluid.CUDAPlace(0)分别表示运算场所为CPU和GPU
Executor:接收传入的program，通过run()方法运行program。
use_cuda = False #use_cuda为False,表示运算场所为CPU;use_cuda为True,表示运算场所为GPU place = fluid.CUDAPlace(0) if use_cuda else fluid.CPUPlace() exe = fluid.Executor(place) #创建一个Executor实例exe exe.run(fluid.default_startup_program()) #Executor的run()方法执行startup_program(),进行参数初始化DataFeeder负责将数据提供器（train_reader,test_reader）返回的数据转成一种特殊的数据结构，使其可以输入到Executor中。
feed_list设置向模型输入的变量表或者变量表名
# 定义输入数据维度 feeder = fluid.DataFeeder(place=place, feed_list=[x, y])#feed_list:向模型输入的变量表或变量表名Executor接收传入的program,并根据feed map(输入映射表)和fetch_list(结果获取表) 向program中添加feed operators(数据输入算子)和fetch operators（结果获取算子)。
feed map为该program提供输入数据。fetch_list提供program训练结束后用户预期的变量。
注：enumerate()函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，
EPOCH_NUM=50 model_save_dir = "/home/aistudio/work/fit_a_line.inference.model" for pass_id in range(EPOCH_NUM): #训练EPOCH_NUM轮 # 开始训练并输出最后一个batch的损失值 train_cost = 0 for batch_id, data in enumerate(train_reader()): #遍历train_reader迭代器 train_cost = exe.run(program=fluid.default_main_program(),#运行主程序 feed=feeder.feed(data), #喂入一个batch的训练数据，根据feed_list和data提供的信息，将输入数据转成一种特殊的数据结构 fetch_list=[avg_cost]) if batch_id % 40 == 0: print("Pass:%d, Cost:%0.5f" % (pass_id, train_cost[0][0])) #打印最后一个batch的损失值 iter=iter+BATCH_SIZE iters.append(iter) train_costs.append(train_cost[0][0]) # 开始测试并输出最后一个batch的损失值 test_cost = 0 for batch_id, data in enumerate(test_reader()): #遍历test_reader迭代器 test_cost= exe.run(program=test_program, #运行测试cheng feed=feeder.feed(data), #喂入一个batch的测试数据 fetch_list=[avg_cost]) #fetch均方误差 print('Test:%d, Cost:%0.5f' % (pass_id, test_cost[0][0])) #打印最后一个batch的损失值 #保存模型 # 如果保存路径不存在就创建 if not os.path.exists(model_save_dir): os.makedirs(model_save_dir)print ('save models to %s' % (model_save_dir))#保存训练参数到指定路径中，构建一个专门用预测的program fluid.io.save_inference_model(model_save_dir, #保存推理model的路径 ['x'], #推理（inference）需要 feed 的数据 [y_predict], #保存推理（inference）结果的 Variables exe) #exe 保存 inference model draw_train_process(iters,train_costs)通过fluid.io.load_inference_model，预测器会从params_dirname中读取已经训练好的模型，来对从未遇见过的数据进行预测。
with fluid.scope_guard(inference_scope):#修改全局/默认作用域（scope）, 运行时中的所有变量都将分配给新的scope。 #从指定目录中加载 推理model(inference model) [inference_program, #推理的program feed_target_names, #需要在推理program中提供数据的变量名称 fetch_targets] = fluid.io.load_inference_model(#fetch_targets: 推断结果 model_save_dir, #model_save_dir:模型训练路径 infer_exe) #infer_exe: 预测用executor #获取预测数据 infer_reader = paddle.batch(paddle.dataset.uci_housing.test(), #获取uci_housing的测试数据 batch_size=200) #从测试数据中读取一个大小为200的batch数据 #从test_reader中分割x test_data = next(infer_reader()) test_x = np.array([data[0] for data in test_data]).astype("float32") test_y = np.array([data[1] for data in test_data]).astype("float32") results = infer_exe.run(inference_program, #预测模型 feed={feed_target_names[0]: np.array(test_x)}, #喂入要预测的x值 fetch_list=fetch_targets) #得到推测结果 print("infer results: (House Price)") for idx, val in enumerate(results[0]): print("%d: %.2f" % (idx, val)) infer_results.append(val) print("ground truth:") for idx, val in enumerate(test_y): print("%d: %.2f" % (idx, val)) groud_truths.append(val) draw_infer_result(groud_truths,infer_results)