设置 RNN 的参数¶

这次我们会使用 RNN 来进行回归的训练 (Regression). 会继续使用到自己创建的 sin 曲线预测一条 cos 曲线. 接下来我们先确定 RNN 的各种参数(super-parameters):

数据生成¶

定义一个生成数据的 get_batch function:

定义 LSTMRNN 的主体结构¶

使用一个 class 来定义这次的 LSTMRNN 会更加方便. 第一步定义 class 中的 __init__ 传入各种参数:

设置 add_input_layer 功能, 添加 input_layer:

设置 add_cell 功能, 添加 cell, 注意这里的 self.cell_init_state, 因为我们在 training 的时候, 这个地方要特别说明.

设置 add_output_layer 功能, 添加 output_layer:

添加 RNN 中剩下的部分:

def compute_cost(self):
        losses = tf.contrib.legacy_seq2seq.sequence_loss_by_example(
            [tf.reshape(self.pred, [-1], name='reshape_pred')],
            [tf.reshape(self.ys, [-1], name='reshape_target')],
            [tf.ones([self.batch_size * self.n_steps], dtype=tf.float32)],
            average_across_timesteps=True,
            softmax_loss_function=self.ms_error,
            name='losses'
        )
        with tf.name_scope('average_cost'):
            self.cost = tf.div(
                tf.reduce_sum(losses, name='losses_sum'),
                self.batch_size,
                name='average_cost')
            tf.summary.scalar('cost', self.cost)

def ms_error(self, y_target, y_pre):
        return tf.square(tf.sub(y_target, y_pre))

def _weight_variable(self, shape, name='weights'):
        initializer = tf.random_normal_initializer(mean=0., stddev=1.,)
        return tf.get_variable(shape=shape, initializer=initializer, name=name)

def _bias_variable(self, shape, name='biases'):
        initializer = tf.constant_initializer(0.1)
        return tf.get_variable(name=name, shape=shape, initializer=initializer)

训练 LSTMRNN¶

最后cost结果如下:

cost:  48.4813
cost:  9.9825
cost:  7.9988
cost:  5.8154
cost:  3.9268
cost:  2.4393
cost:  2.9643
cost:  0.4856
cost:  0.5175
cost:  0.7858

降低知识传递的门槛

支持莫烦

莫烦经常从互联网上学习知识，开源分享的人是我学习的榜样。他们的行为也改变了我对教育的态度: 降低知识传递的门槛。免费奉献我的所学正是受这种态度的影响。【支持莫烦】能让我感到认同，我也更有理由坚持下去。

我组建了微信群，欢迎大家加入，交流经验，提出问题，互相帮持。 扫码后，请一定备注"莫烦"，否则我不会同意你的入群申请。

Tensorflow

Tensorflow 简介

Tensorflow 基础构架

建造我们第一个神经网络

可视化好助手 Tensorboard

Tensorboard 可视化好帮手 1
Tensorboard 可视化好帮手 2

高阶内容