91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

tensorflow TFRecords文件的生成和讀取的方法

發布時間:2020-08-20 05:10:18 來源:腳本之家 閱讀:230 作者:Chinneil 欄目:開發技術

TensorFlow提供了TFRecords的格式來統一存儲數據,理論上,TFRecords可以存儲任何形式的數據。

TFRecords文件中的數據都是通過tf.train.Example Protocol Buffer的格式存儲的。以下的代碼給出了tf.train.Example的定義。

message Example { 
  Features features = 1; 
}; 
message Features { 
  map<string, Feature> feature = 1; 
}; 
message Feature { 
  oneof kind { 
  BytesList bytes_list = 1; 
  FloatList float_list = 2; 
  Int64List int64_list = 3; 
} 
}; 

下面將介紹如何生成和讀取tfrecords文件:

首先介紹tfrecords文件的生成,直接上代碼:

from random import shuffle 
import numpy as np 
import glob 
import tensorflow as tf 
import cv2 
import sys 
import os 
 
# 因為我裝的是CPU版本的,運行起來會有'warning',解決方法入下,眼不見為凈~ 
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' 
 
shuffle_data = True 
image_path = '/path/to/image/*.jpg' 
 
# 取得該路徑下所有圖片的路徑,type(addrs)= list 
addrs = glob.glob(image_path) 
# 標簽數據的獲得具體情況具體分析,type(labels)= list 
labels = ... 
 
# 這里是打亂數據的順序 
if shuffle_data: 
  c = list(zip(addrs, labels)) 
  shuffle(c) 
  addrs, labels = zip(*c) 
 
# 按需分割數據集 
train_addrs = addrs[0:int(0.7*len(addrs))] 
train_labels = labels[0:int(0.7*len(labels))] 
 
val_addrs = addrs[int(0.7*len(addrs)):int(0.9*len(addrs))] 
val_labels = labels[int(0.7*len(labels)):int(0.9*len(labels))] 
 
test_addrs = addrs[int(0.9*len(addrs)):] 
test_labels = labels[int(0.9*len(labels)):] 
 
# 上面不是獲得了image的地址么,下面這個函數就是根據地址獲取圖片 
def load_image(addr): # A function to Load image 
  img = cv2.imread(addr) 
  img = cv2.resize(img, (224, 224), interpolation=cv2.INTER_CUBIC) 
  img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) 
  # 這里/255是為了將像素值歸一化到[0,1] 
  img = img / 255. 
  img = img.astype(np.float32) 
  return img 
 
# 將數據轉化成對應的屬性 
def _int64_feature(value):  
  return tf.train.Feature(int64_list=tf.train.Int64List(value=[value])) 
 
 
def _bytes_feature(value): 
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value])) 
 
 
def _float_feature(value): 
  return tf.train.Feature(float_list=tf.train.FloatList(value=[value])) 
 
# 下面這段就開始把數據寫入TFRecods文件 
 
train_filename = '/path/to/train.tfrecords' # 輸出文件地址 
 
# 創建一個writer來寫 TFRecords 文件 
writer = tf.python_io.TFRecordWriter(train_filename) 
 
for i in range(len(train_addrs)): 
  # 這是寫入操作可視化處理 
  if not i % 1000: 
    print('Train data: {}/{}'.format(i, len(train_addrs))) 
    sys.stdout.flush() 
  # 加載圖片 
  img = load_image(train_addrs[i]) 
 
  label = train_labels[i] 
 
  # 創建一個屬性(feature) 
  feature = {'train/label': _int64_feature(label), 
        'train/image': _bytes_feature(tf.compat.as_bytes(img.tostring()))} 
 
  # 創建一個 example protocol buffer 
  example = tf.train.Example(features=tf.train.Features(feature=feature)) 
 
  # 將上面的example protocol buffer寫入文件 
  writer.write(example.SerializeToString()) 
 
writer.close() 
sys.stdout.flush() 

上面只介紹了train.tfrecords文件的生成,其余的validation,test舉一反三吧。。

接下來介紹tfrecords文件的讀取:

import tensorflow as tf 
import numpy as np 
import matplotlib.pyplot as plt 
import os  
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' 
data_path = 'train.tfrecords' # tfrecords 文件的地址 
 
with tf.Session() as sess: 
  # 先定義feature,這里要和之前創建的時候保持一致 
  feature = { 
    'train/image': tf.FixedLenFeature([], tf.string), 
    'train/label': tf.FixedLenFeature([], tf.int64) 
  } 
  # 創建一個隊列來維護輸入文件列表 
  filename_queue = tf.train.string_input_producer([data_path], num_epochs=1) 
 
  # 定義一個 reader ,讀取下一個 record 
  reader = tf.TFRecordReader() 
  _, serialized_example = reader.read(filename_queue) 
 
  # 解析讀入的一個record 
  features = tf.parse_single_example(serialized_example, features=feature) 
 
  # 將字符串解析成圖像對應的像素組 
  image = tf.decode_raw(features['train/image'], tf.float32) 
 
  # 將標簽轉化成int32 
  label = tf.cast(features['train/label'], tf.int32) 
 
  # 這里將圖片還原成原來的維度 
  image = tf.reshape(image, [224, 224, 3]) 
 
  # 你還可以進行其他一些預處理.... 
 
  # 這里是創建順序隨機 batches(函數不懂的自行百度) 
  images, labels = tf.train.shuffle_batch([image, label], batch_size=10, capacity=30, min_after_dequeue=10) 
 
  # 初始化 
  init_op = tf.group(tf.global_variables_initializer(), tf.local_variables_initializer()) 
  sess.run(init_op) 
 
  # 啟動多線程處理輸入數據 
  coord = tf.train.Coordinator() 
  threads = tf.train.start_queue_runners(coord=coord) 
 
  .... 
 
  #關閉線程 
  coord.request_stop() 
  coord.join(threads) 
  sess.close() 

好了,就介紹到這里。。,有什么問題可以留言。。大家一起學習。。希望對大家的學習有所幫助,也希望大家多多支持億速云。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

定南县| 凌云县| 托克托县| 夏邑县| 桓台县| 库尔勒市| 建始县| 墨竹工卡县| 阳江市| 洛隆县| 桓台县| 山东| 台南市| 永平县| 洞口县| 临漳县| 乌兰县| 宁津县| 新营市| 万安县| 沙坪坝区| 汪清县| 新安县| 盐边县| 扎兰屯市| 德州市| 凭祥市| 新兴县| 平塘县| 广河县| 黄骅市| 沈阳市| 兴和县| 绥滨县| 扎赉特旗| 阜阳市| 新安县| 耒阳市| 营口市| 新竹市| 邹平县|