TensorFlow框架案例实战-第4课-海量图像训练预处理


第4课 海量图像训练预处理

TensorFlow 系统概述与 IO 瓶颈

TensorFlow 系统概述与 IO 瓶颈
  1. Client
  2. Distributed Master
  3. Worker Service


TensorFlow 数据IO的三种方式

Freload data: constant

import tensorflow as tf

x = tf.constant([1,2,3], name='x')
y = tf.constant([2,3,4], name='y')
z = tf.add(x,y, name='z')
with tf.Session() as sess:
    print(sess.run(z))


Feeding: placeholder, feed_dict

import tensorflow as tf

x = tf.placeholder(tf.int16)
y = tf.placeholder(tf.int16)
z = tf.add(x,y, name='z')

with tf.Session() as sess:
    xs = [1,2,3]
    ys = [2,3,4]
    print(sess.run(z, feed_dict={x: xs, y: ys}))


Pipeline: XXXReader, Queue

Queue机制:
  1. producer-consumer pattern(生产消费模式)
  2. 独立于主线程执行
  3. 异步IO: reader.read(queue) tf.train.batch()
    • tf.TextLineReader()
    • tf.WholeFileReader()
    • tf.TFRecordReader()
已邀请:

要回复问题请先登录注册

返回顶部