Tensorflow 训练自己的数据集将数据直接导入到内存

脚本专栏 2024/11/7 佚名

3 2 1

圆月山庄资源网 Design By www.vgjia.com

制作自己的训练集

下图是我们数据的存放格式，在data目录下有验证集与测试集分别对应iris_test， iris_train

为了向伟大的MNIST致敬，我们采用的数据名称格式和MNIST类似

classification_index.jpg

图像的index都是5的整数倍是因为我们选择测试集的原则是每5个样本，选择一个样本作为测试集，其余的作为训练集和验证集

生成这样数据的过程相对简单，如果有需要python代码的，可以给我发邮件，或者在我的github下载

至此，我们的训练集，测试集，验证集就生成成功了，之所以我们的文件夹只有训练集和测试集是因为我们在后续的训练过程中，会在训练集中分出一部分作为验证集，所以两者暂时合称为训练集

将数据集写入到Tensorflow中

1. 直接写入到队列中

import tensorflow as tf
import numpy as np
import os

train_dir = '/home/ruyiwei/data/iris_train/'#your data directory
def get_files(file_dir):
  '''
  Args:
    file_dir: file directory
  Returns:
    list of images and labels
  '''
  iris = []
  label_iris = []
  contact = []
  label_contact = []
  for file in os.listdir(file_dir):
    name = file.split('_')
    if name[0]=="iris":
      iris.append(file_dir + file)
      label_iris.append(0)
    else:
      contact.append(file_dir + file)
      label_contact.append(1)
  print('There are %d iris\nThere are %d contact' %(len(iris), len(contact)))

  image_list = np.hstack((iris, contact))
  label_list = np.hstack((label_iris, label_contact))

  temp = np.array([image_list, label_list])
  temp = temp.transpose()
  np.random.shuffle(temp)

  image_list = list(temp[:, 0])
  label_list = list(temp[:, 1])
  label_list = [int(i) for i in label_list]

  return image_list, label_list

为了大家更方便的理解和修改代码，我们对代码进行讲解如下

1-3行：导入需要的模块
5行：定义训练集合的位置，这个需要根据自己的机器进行修改
7行：定义函数 get_files
18行： os.listdir(file_dir) 获取指定目录file_dir下的所有文件名词，也就是我们的训练图片名称
18行：for file in os.listdir(file_dir): 遍历所有的图片
19行： name为一个数组，由于我们根据MINIST来定制的图片名词，所以file.split(‘_')会将图像名称分为两部分，第一部分为classification，通过name[0]来获得分类信息。
21行、24行：iris.append(file_dir + file)/contact.append(file_dir + file)将图像的绝对路径放入到iris/contact中
22行、25行：label_iris.append(0)/label_contact.append(1)给对应的图片贴标签
28-29行：将二分类的图像与标签压入到list中
31-33行：合并二分类图像，然后打乱
38行：返回打乱后对应的图像与标签

在spyder下执行如上代码后会返回如下信息

这样图像和标签信息就被load到了内存中，我们接下来就可以利用现有的模型对图像进行分类训练，模型的选择和训练的过程，我们会在后面进行讲解。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

tensorflow导入数据集,tensorflow,训练数据集,tensorflow导入数据

标签：

tensorflow导入数据集,tensorflow,训练数据集,tensorflow导入数据

圆月山庄资源网 Design By www.vgjia.com

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

圆月山庄资源网 Design By www.vgjia.com

评论“Tensorflow 训练自己的数据集将数据直接导入到内存”

暂无评论...

P70系列延期，华为新旗舰将在下月发布

3月20日消息，近期博主@数码闲聊站透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。

而博主@定焦数码爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？
根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。

更新日志

2024年11月07日

Tensorflow 训练自己的数据集将数据直接导入到内存

tensorflow导入数据集,tensorflow,训练数据集,tensorflow导入数据

TensorFlow数据输入的方法示例

深入分析python中整型不会溢出问题

评论“Tensorflow 训练自己的数据集将数据直接导入到内存”

P70系列延期，华为新旗舰将在下月发布

更新日志

友情链接