Praxiseinstieg Machine Learning mit Scikit-Learn und TensorFlow by Aurélien Géron

Autor:Aurélien Géron
Die sprache: deu
Format: epub
Herausgeber: dpunkt
veröffentlicht: 2018-11-15T00:00:00+00:00

Caching der eingefrorenen Schichten

Da sich die eingefrorenen Schichten nicht verändern, lässt sich die Ausgabe der obersten eingefrorenen Schicht für jeden Datenpunkt in einem Cache speichern. Da beim Trainieren der gesamte Datensatz mehrmals durchlaufen wird, führt dies zu einem bedeutenden Geschwindigkeitsgewinn, da Sie zum Cachen die eingefrorenen Schichten nur einmal pro Trainingsdatenpunkt durchlaufen müssen (anstatt einmal pro Epoche). Sie könnten beispielsweise den gesamten Trainingsdatensatz mit den ersten Schichten verarbeiten (genug RAM vorausgesetzt), dann beim Trainieren Batches mit Ausgabewerten der verborgenen Schicht 2 anstatt Batches mit Trainingsdatenpunkten verwenden, und diese der Operation zum Trainieren übergeben:

import numpy as np

n_batches = mnist.train.num_examples // batch_size

with tf.Session() as sess:

init.run()

restore_saver.restore(sess, "./my_model_final.ckpt")

h2_cache = sess.run(hidden2, feed_dict= )

for epoch in range(n_epochs):

shuffled_idx = np.random.permutation(mnist.train.num_examples)

hidden2_batches = np.array_split(h2_cache[shuffled_idx], n_batches)

y_batches = np.array_split(mnist.train.labels[shuffled_idx], n_batches)

for hidden2_batch, y_batch in zip(hidden2_batches, y_batches):

sess.run(training_op, feed_dict= )

save_path = saver.save(sess, "./my_new_model_final.ckpt")

Download

Haftungsausschluss:
Diese Site speichert keine Dateien auf ihrem Server. Wir indizieren und verlinken nur                                                  Inhalte von anderen Websites zur Verfügung gestellt. Wenden Sie sich an die Inhaltsanbieter, um etwaige urheberrechtlich geschützte Inhalte zu entfernen, und senden Sie uns eine E-Mail. Wir werden die entsprechenden Links oder Inhalte umgehend entfernen.