本文面对三种常常遇到的情况,总结三种读取数据的方式,分别用于处理单张图片、大量图片,和TFRecorder读取方式。并且还补充了功能相近的tf函数。
1、处理单张图片
我们训练完模型之后,常常要用图片测试,有的时候,我们并不需要对很多图像做测试,可能就是几张甚至一张。这种情况下没有必要用队列机制。
import tensorflow as tf import matplotlib.pyplot as plt def read_image(file_name): img = tf.read_file(filename=file_name) # 默认读取格式为uint8 print("img 的类型是",type(img)); img = tf.image.decode_jpeg(img,channels=0) # channels 为1得到的是灰度图,为0则按照图片格式来读 return img def main( ): with tf.device("/cpu:0"): # img_path是文件所在地址包括文件名称,地址用相对地址或者绝对地址都行 img_path='./1.jpg' img=read_image(img_path) with tf.Session() as sess: image_numpy=sess.run(img) print(image_numpy) print(image_numpy.dtype) print(image_numpy.shape) plt.imshow(image_numpy) plt.show() if __name__=="__main__": main() """
输出结果为:
img 的类型是 <class 'tensorflow.python.framework.ops.Tensor'>
[[[196 219 209]
[196 219 209]
[196 219 209]
...[[ 71 106 42]
[ 59 89 39]
[ 34 63 19]
...
[ 21 52 46]
[ 15 45 43]
[ 22 50 53]]]
uint8
(675, 1200, 3)
"""
和tf.read_file用法相似的函数还有tf.gfile.FastGFile tf.gfile.GFile,只是要指定读取方式是'r' 还是'rb' 。
2、需要读取大量图像用于训练
这种情况就需要使用Tensorflow队列机制。首先是获得每张图片的路径,把他们都放进一个list里面,然后用string_input_producer创建队列,再用tf.WholeFileReader读取。具体请看下例:
def get_image_batch(data_file,batch_size): data_names=[os.path.join(data_file,k) for k in os.listdir(data_file)] #这个num_epochs函数在整个Graph是local Variable,所以在sess.run全局变量的时候也要加上局部变量。 filenames_queue=tf.train.string_input_producer(data_names,num_epochs=50,shuffle=True,capacity=512) reader=tf.WholeFileReader() _,img_bytes=reader.read(filenames_queue) image=tf.image.decode_png(img_bytes,channels=1) #读取的是什么格式,就decode什么格式 #解码成单通道的,并且获得的结果的shape是["htmlcode">import tensorflow as tf import os def read_image(data_file,batch_size): data_names=[os.path.join(data_file,k) for k in os.listdir(data_file)] filenames_queue=tf.train.string_input_producer(data_names,num_epochs=5,shuffle=True,capacity=30) reader=tf.WholeFileReader() _,img_bytes=reader.read(filenames_queue) image=tf.image.decode_jpeg(img_bytes,channels=1) image=tf.image.resize_images(image,(180,180)) image=tf.image.convert_image_dtype(image,tf.float32) return tf.train.batch([image],batch_size) def main( ): img_path=r'F:\dataSet\WIDER\WIDER_train\images\6--Funeral' #本地的一个数据集目录,有足够的图像 img=read_image(img_path,batch_size=10) image=img[0] #取出每个batch的第一个数据 print(image) init=[tf.global_variables_initializer(),tf.local_variables_initializer()] with tf.Session() as sess: sess.run(init) coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(sess=sess,coord=coord) try: while not coord.should_stop(): print(image.shape) except tf.errors.OutOfRangeError: print('read done') finally: coord.request_stop() coord.join(threads) if __name__=="__main__": main() """输出如下:
(180, 180, 1)
(180, 180, 1)
(180, 180, 1)
(180, 180, 1)
(180, 180, 1)
"""这段代码可以说写的很是规整了。注意到init里面有对local变量的初始化,并且因为用到了队列,当然要告诉电脑什么时候队列开始, tf.train.Coordinator 和 tf.train.start_queue_runners 就是两个管理队列的类,用法如程序所示。
与 tf.train.string_input_producer相似的函数是 tf.train.slice_input_producer。 tf.train.slice_input_producer和tf.train.string_input_producer的第一个参数形式不一样。等有时间再做一个二者比较的博客
3、对TFRecorder解码获得图像数据
其实这块和上一种方式差不多的,更重要的是怎么生成TFRecorder文件,这一部分我会补充到另一篇博客上。
仍然使用 tf.train.string_input_producer。
import tensorflow as tf import matplotlib.pyplot as plt import os import cv2 import numpy as np import glob def read_image(data_file,batch_size): files_path=glob.glob(data_file) queue=tf.train.string_input_producer(files_path,num_epochs=None) reader = tf.TFRecordReader() print(queue) _, serialized_example = reader.read(queue) features = tf.parse_single_example( serialized_example, features={ 'image_raw': tf.FixedLenFeature([], tf.string), 'label_raw': tf.FixedLenFeature([], tf.string), }) image = tf.decode_raw(features['image_raw'], tf.uint8) image = tf.cast(image, tf.float32) image.set_shape((12*12*3)) label = tf.decode_raw(features['label_raw'], tf.float32) label.set_shape((2)) # 预处理部分省略,大家可以自己根据需要添加 return tf.train.batch([image,label],batch_size=batch_size,num_threads=4,capacity=5*batch_size) def main( ): img_path=r'F:\python\MTCNN_by_myself\prepare_data\pnet*.tfrecords' #本地的几个tf文件 img,label=read_image(img_path,batch_size=10) image=img[0] init=[tf.global_variables_initializer(),tf.local_variables_initializer()] with tf.Session() as sess: sess.run(init) coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(sess=sess,coord=coord) try: while not coord.should_stop(): print(image.shape) except tf.errors.OutOfRangeError: print('read done') finally: coord.request_stop() coord.join(threads) if __name__=="__main__": main()在read_image函数中,先使用glob函数获得了存放tfrecord文件的列表,然后根据TFRecord文件是如何存的就如何parse,再set_shape;这里有必要提醒下parse的方式。我们看到这里用的是tf.decode_raw ,因为做TFRecord是将图像数据string化了,数据是串行的,丢失了空间结果。从features中取出image和label的数据,这时就要用 tf.decode_raw 解码,得到的结果当然也是串行的了,所以set_shape 成一个串行的,再reshape。这种方式是取决于你的编码TFRecord方式的。
再举一种例子:
reader=tf.TFRecordReader() _,serialized_example=reader.read(file_name_queue) features = tf.parse_single_example(serialized_example, features={ 'data': tf.FixedLenFeature([256,256], tf.float32), ### 'label': tf.FixedLenFeature([], tf.int64), 'id': tf.FixedLenFeature([], tf.int64) }) img = features['data'] label =features['label'] id = features['id']这个时候就不需要任何解码了。因为做TFRecord的方式就是直接把图像数据append进去了。
参考链接:
https://blog.csdn.net/qq_34914551/article/details/86286184
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- 《暗喻幻想》顺风耳作用介绍
- 崔健1985-梦中的倾诉[再版][WAV+CUE]
- 黄子馨《追星Xin的恋人们2》HQ头版限量编号[WAV+CUE]
- 孟庭苇《情人的眼泪》开盘母带[低速原抓WAV+CUE]
- 孙露《谁为我停留HQCD》[低速原抓WAV+CUE][1.1G]
- 孙悦《时光音乐会》纯银CD[低速原抓WAV+CUE][1.1G]
- 任然《渐晚》[FLAC/分轨][72.32MB]
- 英雄联盟新英雄安蓓萨上线了吗 新英雄安蓓萨技能介绍
- 魔兽世界奥杜尔竞速赛什么时候开启 奥杜尔竞速赛开启时间介绍
- 无畏契约CGRS准星代码多少 CGRS准星代码分享一览
- 张靓颖.2012-倾听【少城时代】【WAV+CUE】
- 游鸿明.1999-五月的雪【大宇国际】【WAV+CUE】
- 曹方.2005-遇见我【钛友文化】【WAV+CUE】
- Unity6引擎上线:稳定性提升、CPU性能最高提升4倍
- 人皇Sky今日举行婚礼!电竞传奇步入新篇章