遇到的问题
当时自己在使用Alexnet训练图像分类问题时,会出现损失在一个epoch中增加,换做下一个epoch时loss会骤然降低,一开始这个问题没有一点头绪,我数据也打乱了,使用的是tf.train.shuffle_batch
在capacity中设置一个值,比如是1000吧,每次取一千个数据后将这一千个数据打乱,本次使用的数据集就是每个种类1000多,而我加载数据时是一类一类加载的,这就造成了每一批次的开始可以跟前一类数据做打乱处理,但是在中间数据并不能达到充分的shuffle
解决问题
在加载数据集的时候用numpy中的shuffle将数据集充分的打乱后在读入tfrecord中,之后读取的时候使用tf.tain.shuffle_batch和使用tf.train.batch就没有区别了。另外capacity这个数值不益设置过大,会对自己的电脑造成压力。
补充知识:MATLAB中使用AlexNet、VGG、GoogLeNet进行迁移学习
直接贴代码,具体用法见注释:
clc;clear; net = alexnet; %加载在ImageNet上预训练的网络模型 imageInputSize = [227 227 3]; %加载图像 allImages = imageDatastore('.\data227Alexnet',... 'IncludeSubfolders',true,... 'LabelSource','foldernames'); %划分训练集和验证集 [training_set,validation_set] = splitEachLabel(allImages,0.7,'randomized'); %由于原始网络全连接层1000个输出,显然不适用于我们的分类任务,因此在这里替换 layersTransfer = net.Layers(1:end-3); categories(training_set.Labels) numClasses = numel(categories(training_set.Labels)); %新的网络 layers = [ layersTransfer fullyConnectedLayer(numClasses,'Name', 'fc','WeightLearnRateFactor',1,'BiasLearnRateFactor',1) softmaxLayer('Name', 'softmax') classificationLayer('Name', 'classOutput')]; lgraph = layerGraph(layers); plot(lgraph) %对数据集进行扩增 augmented_training_set = augmentedImageSource(imageInputSize,training_set); opts = trainingOptions('adam', ... 'MiniBatchSize', 32,... % mini batch size, limited by GPU RAM, default 100 on Titan, 500 on P6000 'InitialLearnRate', 1e-4,... % fixed learning rate 'LearnRateSchedule','piecewise',... 'LearnRateDropFactor',0.25,... 'LearnRateDropPeriod',10,... 'L2Regularization', 1e-4,... constraint 'MaxEpochs',20,.. 'ExecutionEnvironment', 'gpu',... 'ValidationData', validation_set,... 'ValidationFrequency',80,... 'ValidationPatience',8,... 'Plots', 'training-progress') net = trainNetwork(augmented_training_set, lgraph, opts); save Alex_Public_32.mat net [predLabels,predScores] = classify(net, validation_set); plotconfusion(validation_set.Labels, predLabels) PerItemAccuracy = mean(predLabels == validation_set.Labels); title(['overall per image accuracy ',num2str(round(100*PerItemAccuracy)),'%'])
MATLAB中训练神经网络一个非常大的优势就是训练过程中各项指标的可视化,并且最终也会生成一个混淆矩阵显示验证集的结果。
以上这篇解决Alexnet训练模型在每个epoch中准确率和loss都会一升一降问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- 魔兽世界奥卡兹岛地牢入口在哪里 奥卡兹岛地牢入口位置一览
- 和文军-丽江礼物[2007]FLAC
- 陈随意2012-今生的伴[豪记][WAV+CUE]
- 罗百吉.2018-我们都一样【乾坤唱片】【WAV+CUE】
- 《怪物猎人:荒野》不加中配请愿书引热议:跪久站不起来了?
- 《龙腾世纪4》IGN 9分!殿堂级RPG作品
- Twitch新规禁止皮套外露敏感部位 主播直接“真身”出镜
- 木吉他.1994-木吉他作品全集【滚石】【WAV+CUE】
- 莫华伦.2022-一起走过的日子【京文】【WAV+CUE】
- 曾淑勤.1989-装在袋子里的回忆【点将】【WAV+CUE】
- 滚石香港黄金十年系列《赵传精选》首版[WAV+CUE][1.1G]
- 雷婷《乡村情歌·清新民谣》1:1母盘直刻[低速原抓WAV+CUE][1.1G]
- 群星 《DJ夜色魅影HQⅡ》天艺唱片[WAV+CUE][1.1G]
- 群星《烧透你的耳朵2》DXD金佰利 [低速原抓WAV+CUE][1.3G]
- 群星《难忘的回忆精选4》宝丽金2CD[WAV+CUE][1.4G]