我们知道深度神经网络的本质是输入端数据和输出端数据的一种高维非线性拟合,如何更好的理解它,下面尝试拟合一个正弦函数,本文可以通过简单设置节点数,实现任意隐藏层数的拟合。
基于pytorch的深度神经网络实战,无论任务多么复杂,都可以将其拆分成必要的几个模块来进行理解。
1)构建数据集,包括输入,对应的标签y
2) 构建神经网络模型,一般基于nn.Module继承一个net类,必须的是__init__函数和forward函数。__init__构造函数包括创建该类是必须的参数,比如输入节点数,隐藏层节点数,输出节点数。forward函数则定义了整个网络的前向传播过程,类似于一个Sequential。
3)实例化上步创建的类。
4)定义损失函数(判别准则),比如均方误差,交叉熵等
5)定义优化器(optim:SGD,adam,adadelta等),设置学习率
6)开始训练。开始训练是一个从0到设定的epoch的循环,循环期间,根据loss,不断迭代和更新网络权重参数。
无论多么复杂的网络,基于pytorch的深度神经网络都包括6个模块,训练阶段包括5个步骤,本文只通过拟合一个正弦函数来说明加深理解。
废话少说,直接上代码:
from torch.utils.data import DataLoader from torch.utils.data import TensorDataset import torch.nn as nn import numpy as np import torch # 准备数据 x=np.linspace(-2*np.pi,2*np.pi,400) y=np.sin(x) # 将数据做成数据集的模样 X=np.expand_dims(x,axis=1) Y=y.reshape(400,-1) # 使用批训练方式 dataset=TensorDataset(torch.tensor(X,dtype=torch.float),torch.tensor(Y,dtype=torch.float)) dataloader=DataLoader(dataset,batch_size=100,shuffle=True) # 神经网络主要结构,这里就是一个简单的线性结构 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.net=nn.Sequential( nn.Linear(in_features=1,out_features=10),nn.ReLU(), nn.Linear(10,100),nn.ReLU(), nn.Linear(100,10),nn.ReLU(), nn.Linear(10,1) ) def forward(self, input:torch.FloatTensor): return self.net(input) net=Net() # 定义优化器和损失函数 optim=torch.optim.Adam(Net.parameters(net),lr=0.001) Loss=nn.MSELoss() # 下面开始训练: # 一共训练 1000次 for epoch in range(1000): loss=None for batch_x,batch_y in dataloader: y_predict=net(batch_x) loss=Loss(y_predict,batch_y) optim.zero_grad() loss.backward() optim.step() # 每100次 的时候打印一次日志 if (epoch+1)%100==0: print("step: {0} , loss: {1}".format(epoch+1,loss.item())) # 使用训练好的模型进行预测 predict=net(torch.tensor(X,dtype=torch.float)) # 绘图展示预测的和真实数据之间的差异 import matplotlib.pyplot as plt plt.plot(x,y,label="fact") plt.plot(x,predict.detach().numpy(),label="predict") plt.title("sin function") plt.xlabel("x") plt.ylabel("sin(x)") plt.legend() plt.savefig(fname="result.png",figsize=[10,10]) plt.show()
输出结果:
step: 100 , loss: 0.06755948066711426
step: 200 , loss: 0.003788222325965762
step: 300 , loss: 0.0004728269996121526
step: 400 , loss: 0.0001810075482353568
step: 500 , loss: 0.0001108720971387811
step: 600 , loss: 6.29749265499413e-05
step: 700 , loss: 3.707894938997924e-05
step: 800 , loss: 0.0001250380591955036
step: 900 , loss: 3.0654005968244746e-05
step: 1000 , loss: 4.349641676526517e-05
输出图像:
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- lol全球总决赛lck一号种子是谁 S14全球总决赛lck一号种子队伍
- BradMehldau-ApresFaure(2024)[24-96]FLAC
- IlCannone-FrancescaDegoPlaysPaganinisViolin(2021)[24-96]FLAC
- Tchaikovsky,Babajanian-PianoTrios-Gluzman,Moser,Sudbin[FLAC+CUE]
- 费玉清.1987-费玉清十周年旧曲情怀4CD【东尼】【WAV+CUE】
- 群星.2024-春花焰电视剧影视原声带【TME】【FLAC分轨】
- 方力申.2008-我的最爱新曲+精丫金牌大风】【WAV+CUE】
- 群星 《2024好听新歌35》十倍音质 U盘音乐 [WAV分轨][1.1G]
- 群星《烧透你的耳朵1》DXD金佰利 [低速原抓WAV+CUE][1.2G]
- 莫文蔚《超级金曲精选2CD》SONY [WAV+CUE][1.6G]
- 【RR】加尼克奥尔森GarrickOhlsso《贝多芬钢琴协奏曲全集》原声母带WAV
- 彭芳《纯色角1》[WAV+CUE]
- 李蔓《山顶的月亮—李蔓动态情歌》
- 梁咏琪.1999-新鲜【EEI】【WAV+CUE】
- 张琍敏.1979-悲之秋【海山】【FLAC分轨】