Results.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Neural Machine Translation & CoVe\n",
    "\n",
    "## training NMT model\n",
    "We trained our NMT model on a large and a small dataset seperately. We trained the result for 2 days.\n",
    "\n",
    "### result on small dataset\n",
    "training loss:\n",
    "<img src=\"./images/small_loss.png\" alt=\"Alt text that describes the graphic\" title=\"training loss\" />\n",
    "BLEU score:\n",
    "<img src=\"./images/small_test.png\" alt=\"Alt text that describes the graphic\" title=\"training loss\" />\n",
    "### result on large dataset\n",
    "training loss:\n",
    "<img src=\"./images/large_loss.png\" alt=\"Alt text that describes the graphic\" title=\"training loss\" />\n",
    "BLEU score:\n",
    "<img src=\"./images/large_test.png\" alt=\"Alt text that describes the graphic\" title=\"training loss\" />"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## NMT training log"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "# Job id 0\r\n",
      "2018-12-12 17:34:10.770381: I tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA\r\n",
      "2018-12-12 17:34:10.863891: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:898] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero\r\n",
      "2018-12-12 17:34:10.864332: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1356] Found device 0 with properties: \r\n",
      "name: Tesla K80 major: 3 minor: 7 memoryClockRate(GHz): 0.8235\r\n",
      "pciBusID: 0000:00:04.0\r\n",
      "totalMemory: 11.17GiB freeMemory: 11.09GiB\r\n",
      "2018-12-12 17:34:10.864358: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1435] Adding visible gpu devices: 0\r\n",
      "2018-12-12 17:34:11.149778: I tensorflow/core/common_runtime/gpu/gpu_device.cc:923] Device interconnect StreamExecutor with strength 1 edge matrix:\r\n",
      "2018-12-12 17:34:11.149839: I tensorflow/core/common_runtime/gpu/gpu_device.cc:929]      0 \r\n",
      "2018-12-12 17:34:11.149848: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 0:   N \r\n",
      "2018-12-12 17:34:11.150180: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 10748 MB memory) -> physical GPU (device: 0, name: Tesla K80, pci bus id: 0000:00:04.0, compute capability: 3.7)\r\n",
      "# Devices visible to TensorFlow: [_DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 268435456), _DeviceAttributes(/job:localhost/replica:0/task:0/device:GPU:0, GPU, 11270098125)]\r\n",
      "# Creating output directory /home/ecbm4040/nmt/nmt_attention_model ...\r\n",
      "# Vocab file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en exists\r\n",
      "# Vocab file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de exists\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/best_bleu/hparams\r\n",
      "  attention=luong\r\n",
      "  attention_architecture=standard\r\n",
      "  avg_ckpts=False\r\n",
      "  batch_size=128\r\n",
      "  beam_width=0\r\n",
      "  best_bleu=0\r\n",
      "  best_bleu_dir=/home/ecbm4040/nmt/nmt_attention_model/best_bleu\r\n",
      "  check_special_token=True\r\n",
      "  colocate_gradients_with_ops=True\r\n",
      "  decay_scheme=\r\n",
      "  dev_prefix=/home/ecbm4040/nmt/nmt_data/newstest2014\r\n",
      "  dropout=0.2\r\n",
      "  embed_prefix=None\r\n",
      "  encoder_type=uni\r\n",
      "  eos=</s>\r\n",
      "  epoch_step=0\r\n",
      "  forget_bias=1.0\r\n",
      "  infer_batch_size=32\r\n",
      "  infer_mode=greedy\r\n",
      "  init_op=uniform\r\n",
      "  init_weight=0.1\r\n",
      "  language_model=False\r\n",
      "  learning_rate=1.0\r\n",
      "  length_penalty_weight=0.0\r\n",
      "  log_device_placement=False\r\n",
      "  max_gradient_norm=5.0\r\n",
      "  max_train=0\r\n",
      "  metrics=['bleu']\r\n",
      "  num_buckets=5\r\n",
      "  num_dec_emb_partitions=0\r\n",
      "  num_decoder_layers=2\r\n",
      "  num_decoder_residual_layers=0\r\n",
      "  num_embeddings_partitions=0\r\n",
      "  num_enc_emb_partitions=0\r\n",
      "  num_encoder_layers=2\r\n",
      "  num_encoder_residual_layers=0\r\n",
      "  num_gpus=1\r\n",
      "  num_inter_threads=0\r\n",
      "  num_intra_threads=0\r\n",
      "  num_keep_ckpts=5\r\n",
      "  num_sampled_softmax=0\r\n",
      "  num_train_steps=150000\r\n",
      "  num_translations_per_input=1\r\n",
      "  num_units=128\r\n",
      "  optimizer=sgd\r\n",
      "  out_dir=/home/ecbm4040/nmt/nmt_attention_model\r\n",
      "  output_attention=True\r\n",
      "  override_loaded_hparams=False\r\n",
      "  pass_hidden_state=True\r\n",
      "  random_seed=None\r\n",
      "  residual=False\r\n",
      "  sampling_temperature=0.0\r\n",
      "  share_vocab=False\r\n",
      "  sos=<s>\r\n",
      "  src=en\r\n",
      "  src_embed_file=\r\n",
      "  src_max_len=50\r\n",
      "  src_max_len_infer=None\r\n",
      "  src_vocab_file=/home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en\r\n",
      "  src_vocab_size=36549\r\n",
      "  steps_per_external_eval=None\r\n",
      "  steps_per_stats=100\r\n",
      "  subword_option=\r\n",
      "  test_prefix=/home/ecbm4040/nmt/nmt_data/newstest2013\r\n",
      "  tgt=de\r\n",
      "  tgt_embed_file=\r\n",
      "  tgt_max_len=50\r\n",
      "  tgt_max_len_infer=None\r\n",
      "  tgt_vocab_file=/home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de\r\n",
      "  tgt_vocab_size=36549\r\n",
      "  time_major=True\r\n",
      "  train_prefix=/home/ecbm4040/nmt/nmt_data/train\r\n",
      "  unit_type=lstm\r\n",
      "  use_char_encode=False\r\n",
      "  vocab_prefix=/home/ecbm4040/nmt/nmt_data/vocab.bpe.32000\r\n",
      "  warmup_scheme=t2t\r\n",
      "  warmup_steps=0\r\n",
      "# Creating train graph ...\r\n",
      "# Build a basic encoder\r\n",
      "  num_layers = 2, num_residual_layers=0\r\n",
      "  cell 0  LSTM, forget_bias=1  DropoutWrapper, dropout=0.2   DeviceWrapper, device=/gpu:0\r\n",
      "  cell 1  LSTM, forget_bias=1  DropoutWrapper, dropout=0.2   DeviceWrapper, device=/gpu:0\r\n",
      "  cell 0  LSTM, forget_bias=1  DropoutWrapper, dropout=0.2   DeviceWrapper, device=/gpu:0\r\n",
      "  cell 1  LSTM, forget_bias=1  DropoutWrapper, dropout=0.2   DeviceWrapper, device=/gpu:0\r\n",
      "  learning_rate=1, warmup_steps=0, warmup_scheme=t2t\r\n",
      "  decay_scheme=, start_decay_step=150000, decay_steps 0, decay_factor 1\r\n",
      "# Trainable variables\r\n",
      "Format: <name>, <shape>, <(soft) device placement>\r\n",
      "  embeddings/encoder/embedding_encoder:0, (36549, 128), /device:GPU:0\r\n",
      "  embeddings/decoder/embedding_decoder:0, (36549, 128), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_0/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_0/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_1/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_1/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/memory_layer/kernel:0, (128, 128), \r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/kernel:0, (384, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/attention_layer/kernel:0, (256, 128), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/output_projection/kernel:0, (128, 36549), /device:GPU:0\r\n",
      "# Creating eval graph ...\r\n",
      "# Build a basic encoder\r\n",
      "  num_layers = 2, num_residual_layers=0\r\n",
      "  cell 0  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  cell 1  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  cell 0  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  cell 1  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "# Trainable variables\r\n",
      "Format: <name>, <shape>, <(soft) device placement>\r\n",
      "  embeddings/encoder/embedding_encoder:0, (36549, 128), /device:GPU:0\r\n",
      "  embeddings/decoder/embedding_decoder:0, (36549, 128), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_0/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_0/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_1/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_1/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/memory_layer/kernel:0, (128, 128), \r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/kernel:0, (384, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/attention_layer/kernel:0, (256, 128), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/output_projection/kernel:0, (128, 36549), /device:GPU:0\r\n",
      "# Creating infer graph ...\r\n",
      "# Build a basic encoder\r\n",
      "  num_layers = 2, num_residual_layers=0\r\n",
      "  cell 0  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  cell 1  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  cell 0  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  cell 1  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  decoder: infer_mode=greedybeam_width=0, length_penalty=0.000000\r\n",
      "# Trainable variables\r\n",
      "Format: <name>, <shape>, <(soft) device placement>\r\n",
      "  embeddings/encoder/embedding_encoder:0, (36549, 128), /device:GPU:0\r\n",
      "  embeddings/decoder/embedding_decoder:0, (36549, 128), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_0/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_0/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_1/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_1/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/memory_layer/kernel:0, (128, 128), \r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/kernel:0, (384, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/attention_layer/kernel:0, (256, 128), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/output_projection/kernel:0, (128, 36549), \r\n",
      "# log_file=/home/ecbm4040/nmt/nmt_attention_model/log_1544636056\r\n",
      "2018-12-12 17:34:16.636696: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1435] Adding visible gpu devices: 0\r\n",
      "2018-12-12 17:34:16.636742: I tensorflow/core/common_runtime/gpu/gpu_device.cc:923] Device interconnect StreamExecutor with strength 1 edge matrix:\r\n",
      "2018-12-12 17:34:16.636752: I tensorflow/core/common_runtime/gpu/gpu_device.cc:929]      0 \r\n",
      "2018-12-12 17:34:16.636758: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 0:   N \r\n",
      "2018-12-12 17:34:16.636876: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 10748 MB memory) -> physical GPU (device: 0, name: Tesla K80, pci bus id: 0000:00:04.0, compute capability: 3.7)\r\n",
      "2018-12-12 17:34:16.637181: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1435] Adding visible gpu devices: 0\r\n",
      "2018-12-12 17:34:16.637209: I tensorflow/core/common_runtime/gpu/gpu_device.cc:923] Device interconnect StreamExecutor with strength 1 edge matrix:\r\n",
      "2018-12-12 17:34:16.637217: I tensorflow/core/common_runtime/gpu/gpu_device.cc:929]      0 \r\n",
      "2018-12-12 17:34:16.637223: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 0:   N \r\n",
      "2018-12-12 17:34:16.637315: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 10748 MB memory) -> physical GPU (device: 0, name: Tesla K80, pci bus id: 0000:00:04.0, compute capability: 3.7)\r\n",
      "2018-12-12 17:34:16.637495: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1435] Adding visible gpu devices: 0\r\n",
      "2018-12-12 17:34:16.637525: I tensorflow/core/common_runtime/gpu/gpu_device.cc:923] Device interconnect StreamExecutor with strength 1 edge matrix:\r\n",
      "2018-12-12 17:34:16.637540: I tensorflow/core/common_runtime/gpu/gpu_device.cc:929]      0 \r\n",
      "2018-12-12 17:34:16.637548: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 0:   N \r\n",
      "2018-12-12 17:34:16.637644: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 10748 MB memory) -> physical GPU (device: 0, name: Tesla K80, pci bus id: 0000:00:04.0, compute capability: 3.7)\r\n",
      "  created train model with fresh parameters, time 0.29s\r\n",
      "  created infer model with fresh parameters, time 0.14s\r\n",
      "  # 2223\r\n",
      "    src: However, in an interview, Bloom has said that he and Kerr still love each other.\r\n",
      "    ref: In einem Interview sagte Bloom jedoch, dass er und Kerr sich noch immer lieben.\r\n",
      "    nmt: losoph@@ losoph@@ symbo@@ gerechnet gerechnet Zus@@ Zus@@ Zus@@ Verwand@@ Verwand@@ Verwand@@ verfasst verfasst verfasst Verwand@@ sind certification certification Whirlpool Whirlpool Whirlpool Whirlpool Whirlpool Whirlpool found@@ found@@ found@@ found@@ found@@ found@@\r\n",
      "  created eval model with fresh parameters, time 0.20s\r\n",
      "  eval dev: perplexity 36531.25, time 4s, Wed Dec 12 17:34:22 2018.\r\n",
      "  eval test: perplexity 36535.33, time 3s, Wed Dec 12 17:34:26 2018.\r\n",
      "2018-12-12 17:34:26.169701: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:34:26.170026: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:34:26.170233: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  created infer model with fresh parameters, time 0.09s\r\n",
      "# Start step 0, lr 1, Wed Dec 12 17:34:26 2018\r\n",
      "# Init train iterator, skipping 0 elements\r\n",
      "  step 100 lr 1 step-time 0.50s wps 12.33K ppl 158609.01 gN 124.95 bleu 0.00, Wed Dec 12 17:35:16 2018\r\n",
      "  step 200 lr 1 step-time 0.43s wps 14.33K ppl 2457.32 gN 27.80 bleu 0.00, Wed Dec 12 17:35:59 2018\r\n",
      "  step 300 lr 1 step-time 0.43s wps 14.48K ppl 932.10 gN 15.65 bleu 0.00, Wed Dec 12 17:36:41 2018\r\n",
      "  step 400 lr 1 step-time 0.43s wps 14.31K ppl 669.54 gN 11.74 bleu 0.00, Wed Dec 12 17:37:24 2018\r\n",
      "  step 500 lr 1 step-time 0.42s wps 14.50K ppl 511.55 gN 9.40 bleu 0.00, Wed Dec 12 17:38:07 2018\r\n",
      "  step 600 lr 1 step-time 0.35s wps 17.49K ppl 460.20 gN 9.02 bleu 0.00, Wed Dec 12 17:38:42 2018\r\n",
      "  step 700 lr 1 step-time 0.33s wps 18.36K ppl 372.28 gN 7.65 bleu 0.00, Wed Dec 12 17:39:15 2018\r\n",
      "  step 800 lr 1 step-time 0.33s wps 18.34K ppl 337.29 gN 6.92 bleu 0.00, Wed Dec 12 17:39:49 2018\r\n",
      "  step 900 lr 1 step-time 0.34s wps 18.55K ppl 302.17 gN 6.71 bleu 0.00, Wed Dec 12 17:40:22 2018\r\n",
      "  step 1000 lr 1 step-time 0.33s wps 18.53K ppl 274.92 gN 6.77 bleu 0.00, Wed Dec 12 17:40:56 2018\r\n",
      "# Save eval, global step 1000\r\n",
      "2018-12-12 17:40:56.758488: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:40:56.758782: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 17:40:56.758488: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-1000, time 0.07s\r\n",
      "  # 2172\r\n",
      "    src: Fenton was lauded by judges for natural handling skills well beyond his years.\r\n",
      "    ref: Fenton wurde von den Juroren für seine natürlichen Fähigkeiten beim Umgang mit dem Pony gepriesen, die weit über seinem Alter lägen.\r\n",
      "    nmt: Ich ist die Kommission und die Kommission und die <unk>\r\n",
      "2018-12-12 17:40:56.892889: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:40:56.893132: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 17:40:56.892889: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-1000, time 0.09s\r\n",
      "  eval dev: perplexity 333.78, time 3s, Wed Dec 12 17:41:00 2018.\r\n",
      "  eval test: perplexity 318.22, time 3s, Wed Dec 12 17:41:04 2018.\r\n",
      "  step 1100 lr 1 step-time 0.33s wps 18.42K ppl 248.98 gN 6.31 bleu 0.00, Wed Dec 12 17:41:37 2018\r\n",
      "  step 1200 lr 1 step-time 0.33s wps 18.49K ppl 223.27 gN 5.74 bleu 0.00, Wed Dec 12 17:42:11 2018\r\n",
      "  step 1300 lr 1 step-time 0.34s wps 18.66K ppl 214.10 gN 6.47 bleu 0.00, Wed Dec 12 17:42:44 2018\r\n",
      "  step 1400 lr 1 step-time 0.34s wps 18.46K ppl 200.11 gN 6.19 bleu 0.00, Wed Dec 12 17:43:18 2018\r\n",
      "  step 1500 lr 1 step-time 0.34s wps 18.52K ppl 188.06 gN 6.03 bleu 0.00, Wed Dec 12 17:43:52 2018\r\n",
      "  step 1600 lr 1 step-time 0.34s wps 18.31K ppl 173.87 gN 5.44 bleu 0.00, Wed Dec 12 17:44:26 2018\r\n",
      "  step 1700 lr 1 step-time 0.34s wps 18.03K ppl 168.90 gN 5.71 bleu 0.00, Wed Dec 12 17:45:00 2018\r\n",
      "  step 1800 lr 1 step-time 0.34s wps 18.44K ppl 160.65 gN 5.67 bleu 0.00, Wed Dec 12 17:45:34 2018\r\n",
      "  step 1900 lr 1 step-time 0.34s wps 18.54K ppl 153.78 gN 5.34 bleu 0.00, Wed Dec 12 17:46:08 2018\r\n",
      "  step 2000 lr 1 step-time 0.33s wps 18.45K ppl 143.88 gN 5.06 bleu 0.00, Wed Dec 12 17:46:42 2018\r\n",
      "# Save eval, global step 2000\r\n",
      "2018-12-12 17:46:42.328873: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:46:42.329221: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:46:42.329778: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-2000, time 0.06s\r\n",
      "  # 394\r\n",
      "    src: Such growing controversy surrounding the agency prompted early speculation that tonight's incident was the result of a targeted cyber operation.\r\n",
      "    ref: Die wachsende Kontroverse um den Geheimdienst befeuerte anfängliche Spekulationen darüber, der Zwischenfall heute sei das Ergebnis einer gezielten Cyperoperation.\r\n",
      "    nmt: Die <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 17:46:42.479539: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:46:42.479799: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 17:46:42.479539: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-2000, time 0.08s\r\n",
      "  eval dev: perplexity 129.73, time 3s, Wed Dec 12 17:46:46 2018.\r\n",
      "  eval test: perplexity 125.32, time 3s, Wed Dec 12 17:46:50 2018.\r\n",
      "  step 2100 lr 1 step-time 0.34s wps 18.41K ppl 140.57 gN 5.18 bleu 0.00, Wed Dec 12 17:47:23 2018\r\n",
      "  step 2200 lr 1 step-time 0.34s wps 18.38K ppl 136.74 gN 5.24 bleu 0.00, Wed Dec 12 17:47:57 2018\r\n",
      "  step 2300 lr 1 step-time 0.34s wps 18.50K ppl 131.67 gN 5.16 bleu 0.00, Wed Dec 12 17:48:31 2018\r\n",
      "  step 2400 lr 1 step-time 0.34s wps 18.40K ppl 128.09 gN 5.04 bleu 0.00, Wed Dec 12 17:49:05 2018\r\n",
      "  step 2500 lr 1 step-time 0.34s wps 18.39K ppl 124.29 gN 5.05 bleu 0.00, Wed Dec 12 17:49:38 2018\r\n",
      "  step 2600 lr 1 step-time 0.34s wps 18.39K ppl 123.16 gN 5.25 bleu 0.00, Wed Dec 12 17:50:12 2018\r\n",
      "  step 2700 lr 1 step-time 0.34s wps 18.08K ppl 117.67 gN 4.76 bleu 0.00, Wed Dec 12 17:50:46 2018\r\n",
      "  step 2800 lr 1 step-time 0.35s wps 18.22K ppl 116.96 gN 5.12 bleu 0.00, Wed Dec 12 17:51:21 2018\r\n",
      "  step 2900 lr 1 step-time 0.33s wps 18.50K ppl 110.42 gN 4.66 bleu 0.00, Wed Dec 12 17:51:55 2018\r\n",
      "  step 3000 lr 1 step-time 0.34s wps 18.39K ppl 111.92 gN 5.16 bleu 0.00, Wed Dec 12 17:52:29 2018\r\n",
      "# Save eval, global step 3000\r\n",
      "2018-12-12 17:52:29.617798: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:52:29.618121: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 17:52:29.617798: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-3000, time 0.06s\r\n",
      "  # 276\r\n",
      "    src: It is possible to investigate these processes in our solar system, to serve as an example to be applied elsewhere.\r\n",
      "    ref: In unserem Sonnensystem lassen sich diese Vorgänge exemplarisch untersuchen.\r\n",
      "    nmt: Es ist <unk> dass die <unk> der <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 17:52:29.812069: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:52:29.812411: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 17:52:29.812069: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-3000, time 0.08s\r\n",
      "  eval dev: perplexity 115.02, time 3s, Wed Dec 12 17:52:33 2018.\r\n",
      "  eval test: perplexity 112.57, time 3s, Wed Dec 12 17:52:37 2018.\r\n",
      "  step 3100 lr 1 step-time 0.34s wps 18.50K ppl 107.85 gN 4.72 bleu 0.00, Wed Dec 12 17:53:11 2018\r\n",
      "  step 3200 lr 1 step-time 0.34s wps 18.50K ppl 104.48 gN 4.74 bleu 0.00, Wed Dec 12 17:53:45 2018\r\n",
      "  step 3300 lr 1 step-time 0.34s wps 18.44K ppl 101.42 gN 4.71 bleu 0.00, Wed Dec 12 17:54:18 2018\r\n",
      "  step 3400 lr 1 step-time 0.34s wps 18.41K ppl 100.16 gN 4.95 bleu 0.00, Wed Dec 12 17:54:52 2018\r\n",
      "  step 3500 lr 1 step-time 0.34s wps 18.28K ppl 95.68 gN 4.52 bleu 0.00, Wed Dec 12 17:55:26 2018\r\n",
      "  step 3600 lr 1 step-time 0.34s wps 18.34K ppl 94.21 gN 4.67 bleu 0.00, Wed Dec 12 17:56:00 2018\r\n",
      "  step 3700 lr 1 step-time 0.34s wps 18.32K ppl 93.20 gN 4.70 bleu 0.00, Wed Dec 12 17:56:34 2018\r\n",
      "  step 3800 lr 1 step-time 0.35s wps 18.14K ppl 93.13 gN 4.76 bleu 0.00, Wed Dec 12 17:57:09 2018\r\n",
      "  step 3900 lr 1 step-time 0.34s wps 18.04K ppl 91.39 gN 4.80 bleu 0.00, Wed Dec 12 17:57:43 2018\r\n",
      "  step 4000 lr 1 step-time 0.34s wps 18.35K ppl 89.24 gN 4.48 bleu 0.00, Wed Dec 12 17:58:17 2018\r\n",
      "# Save eval, global step 4000\r\n",
      "2018-12-12 17:58:18.017504: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:58:18.017837: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:58:18.018168: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-4000, time 0.06s\r\n",
      "  # 360\r\n",
      "    src: Frontier has a loyal base of customers in its home city of Denver, but its business is shrinking and losing money.\r\n",
      "    ref: Frontier verfügt über einen treuen Kundenstamm an seinem Sitz in Denver, doch das Geschäft schrumpft und das Unternehmen verliert Geld.\r\n",
      "    nmt: Die <unk> die die <unk> die die <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 17:58:18.159060: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 17:58:18.159325: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 17:58:18.159060: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-4000, time 0.08s\r\n",
      "  eval dev: perplexity 113.40, time 3s, Wed Dec 12 17:58:21 2018.\r\n",
      "  eval test: perplexity 106.90, time 3s, Wed Dec 12 17:58:25 2018.\r\n",
      "  step 4100 lr 1 step-time 0.34s wps 18.17K ppl 85.94 gN 4.48 bleu 0.00, Wed Dec 12 17:58:59 2018\r\n",
      "  step 4200 lr 1 step-time 0.34s wps 18.20K ppl 84.89 gN 4.60 bleu 0.00, Wed Dec 12 17:59:33 2018\r\n",
      "  step 4300 lr 1 step-time 0.34s wps 18.33K ppl 85.16 gN 4.46 bleu 0.00, Wed Dec 12 18:00:07 2018\r\n",
      "  step 4400 lr 1 step-time 0.34s wps 18.23K ppl 84.56 gN 4.70 bleu 0.00, Wed Dec 12 18:00:42 2018\r\n",
      "  step 4500 lr 1 step-time 0.34s wps 18.26K ppl 81.21 gN 4.45 bleu 0.00, Wed Dec 12 18:01:16 2018\r\n",
      "  step 4600 lr 1 step-time 0.34s wps 18.37K ppl 80.99 gN 4.73 bleu 0.00, Wed Dec 12 18:01:50 2018\r\n",
      "  step 4700 lr 1 step-time 0.34s wps 18.20K ppl 80.26 gN 4.51 bleu 0.00, Wed Dec 12 18:02:24 2018\r\n",
      "  step 4800 lr 1 step-time 0.34s wps 18.06K ppl 79.15 gN 4.42 bleu 0.00, Wed Dec 12 18:02:58 2018\r\n",
      "  step 4900 lr 1 step-time 0.35s wps 17.86K ppl 77.00 gN 4.38 bleu 0.00, Wed Dec 12 18:03:32 2018\r\n",
      "  step 5000 lr 1 step-time 0.34s wps 18.05K ppl 77.90 gN 4.54 bleu 0.00, Wed Dec 12 18:04:07 2018\r\n",
      "# Save eval, global step 5000\r\n",
      "2018-12-12 18:04:07.666362: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:04:07.666619: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:04:07.666362: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-5000, time 0.07s\r\n",
      "  # 603\r\n",
      "    src: A panel consisting of representatives from the Schwarzwälder Bote, Bauhaus and Sparkasse Zollernalb will select three wishes from those submitted.\r\n",
      "    ref: Eine Jury, bestehend aus Vertretern von Schwarzwälder Bote, Bauhaus und Sparkasse Zollernalb, wählt aus allen Einsendungen drei Wünsche aus.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 18:04:07.863200: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:04:07.863491: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:04:07.863200: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-5000, time 0.08s\r\n",
      "  eval dev: perplexity 103.88, time 3s, Wed Dec 12 18:04:11 2018.\r\n",
      "  eval test: perplexity 99.04, time 3s, Wed Dec 12 18:04:15 2018.\r\n",
      "2018-12-12 18:04:16.272386: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:04:16.272661: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:04:16.272944: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-5000, time 0.07s\r\n",
      "  # 2115\r\n",
      "    src: South Stream is meant to add diversity to Russia's export routes through Europe.\r\n",
      "    ref: South Stream soll für mehr Vielfalt bei Russlands Exportrouten durch Europa sorgen.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 18:04:16.419910: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:04:16.420128: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:04:16.420250: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-5000, time 0.07s\r\n",
      "# External evaluation, global step 5000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 46s, Wed Dec 12 18:05:02 2018.\r\n",
      "  bleu dev: 0.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 5000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 46s, Wed Dec 12 18:05:49 2018.\r\n",
      "  bleu test: 0.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 5100 lr 1 step-time 0.34s wps 18.21K ppl 75.70 gN 4.33 bleu 0.00, Wed Dec 12 18:06:25 2018\r\n",
      "  step 5200 lr 1 step-time 0.34s wps 18.17K ppl 75.47 gN 4.43 bleu 0.00, Wed Dec 12 18:06:59 2018\r\n",
      "  step 5300 lr 1 step-time 0.34s wps 18.29K ppl 72.75 gN 4.18 bleu 0.00, Wed Dec 12 18:07:32 2018\r\n",
      "  step 5400 lr 1 step-time 0.34s wps 18.17K ppl 73.21 gN 4.08 bleu 0.00, Wed Dec 12 18:08:06 2018\r\n",
      "  step 5500 lr 1 step-time 0.34s wps 18.19K ppl 72.11 gN 4.09 bleu 0.00, Wed Dec 12 18:08:40 2018\r\n",
      "  step 5600 lr 1 step-time 0.34s wps 18.13K ppl 71.62 gN 4.24 bleu 0.00, Wed Dec 12 18:09:14 2018\r\n",
      "  step 5700 lr 1 step-time 0.34s wps 17.90K ppl 71.37 gN 4.28 bleu 0.00, Wed Dec 12 18:09:49 2018\r\n",
      "  step 5800 lr 1 step-time 0.33s wps 18.13K ppl 71.41 gN 4.49 bleu 0.00, Wed Dec 12 18:10:22 2018\r\n",
      "  step 5900 lr 1 step-time 0.34s wps 18.13K ppl 70.10 gN 4.39 bleu 0.00, Wed Dec 12 18:10:56 2018\r\n",
      "  step 6000 lr 1 step-time 0.34s wps 18.24K ppl 70.20 gN 4.45 bleu 0.00, Wed Dec 12 18:11:29 2018\r\n",
      "# Save eval, global step 6000\r\n",
      "2018-12-12 18:11:30.255162: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:11:30.255432: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:11:30.255162: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-6000, time 0.07s\r\n",
      "  # 1161\r\n",
      "    src: Here the principle of the \"Pre-Crime\" is developed, i.e. something that is now more or less official doctrine within the White House.\r\n",
      "    ref: Es wird hier das Prinzip des \"Prä-Verbrechens\" entwickelt, \"Pre-Crime\", also das, was inzwischen mehr oder weniger offizielle Doktrin des Weißen Hauses ist.\r\n",
      "    nmt: In diesem Zusammenhang ist es <unk> dass die Europäische Union sich um die Europäische Union und die Mitgliedstaaten <unk>\r\n",
      "2018-12-12 18:11:30.410025: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:11:30.410112: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:11:30.410269: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-6000, time 0.08s\r\n",
      "  eval dev: perplexity 116.72, time 3s, Wed Dec 12 18:11:34 2018.\r\n",
      "  eval test: perplexity 103.84, time 3s, Wed Dec 12 18:11:38 2018.\r\n",
      "  step 6100 lr 1 step-time 0.33s wps 18.32K ppl 67.80 gN 4.13 bleu 0.00, Wed Dec 12 18:12:11 2018\r\n",
      "  step 6200 lr 1 step-time 0.33s wps 18.32K ppl 67.95 gN 4.20 bleu 0.00, Wed Dec 12 18:12:44 2018\r\n",
      "  step 6300 lr 1 step-time 0.33s wps 18.16K ppl 66.65 gN 4.27 bleu 0.00, Wed Dec 12 18:13:17 2018\r\n",
      "  step 6400 lr 1 step-time 0.33s wps 18.34K ppl 66.43 gN 4.24 bleu 0.00, Wed Dec 12 18:13:51 2018\r\n",
      "  step 6500 lr 1 step-time 0.33s wps 18.11K ppl 65.55 gN 4.08 bleu 0.00, Wed Dec 12 18:14:24 2018\r\n",
      "  step 6600 lr 1 step-time 0.34s wps 18.12K ppl 65.29 gN 4.19 bleu 0.00, Wed Dec 12 18:14:58 2018\r\n",
      "  step 6700 lr 1 step-time 0.34s wps 17.94K ppl 65.39 gN 4.37 bleu 0.00, Wed Dec 12 18:15:32 2018\r\n",
      "  step 6800 lr 1 step-time 0.34s wps 17.78K ppl 64.62 gN 4.17 bleu 0.00, Wed Dec 12 18:16:06 2018\r\n",
      "  step 6900 lr 1 step-time 0.33s wps 18.03K ppl 61.67 gN 3.85 bleu 0.00, Wed Dec 12 18:16:39 2018\r\n",
      "  step 7000 lr 1 step-time 0.34s wps 18.02K ppl 63.10 gN 4.26 bleu 0.00, Wed Dec 12 18:17:12 2018\r\n",
      "# Save eval, global step 7000\r\n",
      "2018-12-12 18:17:13.188198: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:17:13.188542: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:17:13.188981: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-7000, time 0.07s\r\n",
      "  # 2577\r\n",
      "    src: However, in this evenly matched game, the great physical effort of Marcus Blasutto's TSV team proved decisive in spite of tremendous commitment by both teams.\r\n",
      "    ref: In dieser leistungsmäßig sehr ausgeglichenen Begegnung stimmte im TSV-Team von Marcus Blasutto aber durchweg der große körperliche Einsatz und ein erfreuliches Engagement beider Teams.\r\n",
      "    nmt: <unk> - <unk> Die Kommission hat sich in der Europäischen Union <unk> die die Kommission <unk> die Kommission <unk> die sich in der Europäischen Union <unk>\r\n",
      "2018-12-12 18:17:13.359171: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:17:13.359413: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:17:13.359171: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-7000, time 0.08s\r\n",
      "  eval dev: perplexity 112.22, time 3s, Wed Dec 12 18:17:17 2018.\r\n",
      "  eval test: perplexity 98.57, time 3s, Wed Dec 12 18:17:20 2018.\r\n",
      "  step 7100 lr 1 step-time 0.33s wps 18.12K ppl 61.63 gN 4.27 bleu 0.00, Wed Dec 12 18:17:54 2018\r\n",
      "  step 7200 lr 1 step-time 0.33s wps 17.97K ppl 60.42 gN 3.99 bleu 0.00, Wed Dec 12 18:18:27 2018\r\n",
      "  step 7300 lr 1 step-time 0.33s wps 18.10K ppl 60.21 gN 3.95 bleu 0.00, Wed Dec 12 18:19:00 2018\r\n",
      "  step 7400 lr 1 step-time 0.34s wps 18.06K ppl 61.41 gN 4.18 bleu 0.00, Wed Dec 12 18:19:34 2018\r\n",
      "  step 7500 lr 1 step-time 0.33s wps 17.91K ppl 59.56 gN 4.01 bleu 0.00, Wed Dec 12 18:20:07 2018\r\n",
      "  step 7600 lr 1 step-time 0.33s wps 18.02K ppl 58.98 gN 3.89 bleu 0.00, Wed Dec 12 18:20:40 2018\r\n",
      "  step 7700 lr 1 step-time 0.34s wps 17.92K ppl 59.88 gN 4.15 bleu 0.00, Wed Dec 12 18:21:14 2018\r\n",
      "  step 7800 lr 1 step-time 0.34s wps 17.69K ppl 58.85 gN 3.98 bleu 0.00, Wed Dec 12 18:21:48 2018\r\n",
      "  step 7900 lr 1 step-time 0.33s wps 17.74K ppl 57.69 gN 4.02 bleu 0.00, Wed Dec 12 18:22:21 2018\r\n",
      "  step 8000 lr 1 step-time 0.34s wps 18.13K ppl 58.21 gN 4.17 bleu 0.00, Wed Dec 12 18:22:55 2018\r\n",
      "# Save eval, global step 8000\r\n",
      "2018-12-12 18:22:56.220683: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:22:56.220937: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:22:56.220683: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-8000, time 0.07s\r\n",
      "  # 2580\r\n",
      "    src: Following suggestions from the population, the of the valley in the area of the cottage was to be cleared, said Mayor Helmut Kaiser.\r\n",
      "    ref: Aufgrund von Anregungen aus der Bevölkerung sollte an diesem Tag im Bereich der Hütte der Blick ins Tal freigeschnitten werden, sagte Bürgermeister Helmut Kaiser.\r\n",
      "    nmt: Die Kommission und die Kommission hat sich in der Europäischen Union die <unk> der Europäischen Union und die Kommission und die Kommission <unk>\r\n",
      "2018-12-12 18:22:56.384303: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:22:56.384396: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:22:56.384521: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-8000, time 0.08s\r\n",
      "  eval dev: perplexity 140.29, time 3s, Wed Dec 12 18:23:00 2018.\r\n",
      "  eval test: perplexity 122.14, time 3s, Wed Dec 12 18:23:04 2018.\r\n",
      "  step 8100 lr 1 step-time 0.33s wps 18.01K ppl 57.10 gN 3.86 bleu 0.00, Wed Dec 12 18:23:37 2018\r\n",
      "  step 8200 lr 1 step-time 0.33s wps 18.02K ppl 56.64 gN 4.07 bleu 0.00, Wed Dec 12 18:24:10 2018\r\n",
      "  step 8300 lr 1 step-time 0.33s wps 18.07K ppl 56.80 gN 4.21 bleu 0.00, Wed Dec 12 18:24:44 2018\r\n",
      "  step 8400 lr 1 step-time 0.33s wps 18.07K ppl 55.78 gN 3.92 bleu 0.00, Wed Dec 12 18:25:17 2018\r\n",
      "  step 8500 lr 1 step-time 0.33s wps 18.05K ppl 55.48 gN 4.00 bleu 0.00, Wed Dec 12 18:25:50 2018\r\n",
      "  step 8600 lr 1 step-time 0.33s wps 17.86K ppl 53.89 gN 3.83 bleu 0.00, Wed Dec 12 18:26:24 2018\r\n",
      "  step 8700 lr 1 step-time 0.34s wps 18.07K ppl 54.83 gN 4.15 bleu 0.00, Wed Dec 12 18:26:57 2018\r\n",
      "  step 8800 lr 1 step-time 0.34s wps 17.92K ppl 53.75 gN 3.95 bleu 0.00, Wed Dec 12 18:27:31 2018\r\n",
      "  step 8900 lr 1 step-time 0.35s wps 17.62K ppl 54.02 gN 4.18 bleu 0.00, Wed Dec 12 18:28:06 2018\r\n",
      "  step 9000 lr 1 step-time 0.34s wps 17.96K ppl 53.96 gN 4.09 bleu 0.00, Wed Dec 12 18:28:39 2018\r\n",
      "# Save eval, global step 9000\r\n",
      "2018-12-12 18:28:40.227093: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:28:40.227387: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:28:40.227093: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-9000, time 0.07s\r\n",
      "  # 133\r\n",
      "    src: \"Without support from their employer, the resulting burden placed on employees could result in the termination of the employment contract,\" said Wolf.\r\n",
      "    ref: \"Ohne die Unterstützung der Arbeitgeber kann die daraus resultierende Belastung der Beschäftigten zu einer Beendigung des Arbeitsverhältnisses führen\", sagte Wolf.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 18:28:40.378906: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:28:40.379236: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:28:40.378906: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-9000, time 0.08s\r\n",
      "  eval dev: perplexity 86.60, time 3s, Wed Dec 12 18:28:44 2018.\r\n",
      "  eval test: perplexity 81.38, time 3s, Wed Dec 12 18:28:48 2018.\r\n",
      "  step 9100 lr 1 step-time 0.34s wps 17.98K ppl 53.08 gN 4.12 bleu 0.00, Wed Dec 12 18:29:21 2018\r\n",
      "  step 9200 lr 1 step-time 0.34s wps 18.21K ppl 53.27 gN 4.24 bleu 0.00, Wed Dec 12 18:29:55 2018\r\n",
      "  step 9300 lr 1 step-time 0.34s wps 18.07K ppl 51.21 gN 3.94 bleu 0.00, Wed Dec 12 18:30:29 2018\r\n",
      "  step 9400 lr 1 step-time 0.34s wps 18.02K ppl 50.79 gN 4.06 bleu 0.00, Wed Dec 12 18:31:03 2018\r\n",
      "  step 9500 lr 1 step-time 0.34s wps 17.94K ppl 50.74 gN 4.25 bleu 0.00, Wed Dec 12 18:31:37 2018\r\n",
      "  step 9600 lr 1 step-time 0.34s wps 18.12K ppl 49.35 gN 4.00 bleu 0.00, Wed Dec 12 18:32:11 2018\r\n",
      "  step 9700 lr 1 step-time 0.34s wps 18.10K ppl 49.19 gN 4.09 bleu 0.00, Wed Dec 12 18:32:45 2018\r\n",
      "  step 9800 lr 1 step-time 0.34s wps 17.96K ppl 48.23 gN 4.04 bleu 0.00, Wed Dec 12 18:33:19 2018\r\n",
      "  step 9900 lr 1 step-time 0.35s wps 17.80K ppl 48.38 gN 4.29 bleu 0.00, Wed Dec 12 18:33:54 2018\r\n",
      "  step 10000 lr 1 step-time 0.35s wps 17.63K ppl 47.34 gN 4.10 bleu 0.00, Wed Dec 12 18:34:29 2018\r\n",
      "# Save eval, global step 10000\r\n",
      "2018-12-12 18:34:29.476877: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:34:29.477153: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:34:29.476877: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-10000, time 0.07s\r\n",
      "  # 2897\r\n",
      "    src: According to accusations, this was part of a turf war and represented a demonstration of power.\r\n",
      "    ref: Laut Anklage ging es um Revierkämpfe und eine Machtdemonstration.\r\n",
      "    nmt: Die <unk> hat <unk> dass die <unk> und <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 18:34:29.621709: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:34:29.621970: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:34:29.621709: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-10000, time 0.08s\r\n",
      "  eval dev: perplexity 74.95, time 3s, Wed Dec 12 18:34:33 2018.\r\n",
      "  eval test: perplexity 68.22, time 3s, Wed Dec 12 18:34:37 2018.\r\n",
      "2018-12-12 18:34:38.220435: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:34:38.220786: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:34:38.221208: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-10000, time 0.07s\r\n",
      "  # 1949\r\n",
      "    src: There's an increased social acceptance of pawnbroking as a means to secure short term, secured financing.\r\n",
      "    ref: Das Pfandleihgeschäft wird gesellschaftlich zunehmend als kurzfristige, abgesicherte Finanzierung akzeptiert.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 18:34:38.342301: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:34:38.342544: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:34:38.343094: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-10000, time 0.07s\r\n",
      "# External evaluation, global step 10000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 43s, Wed Dec 12 18:35:21 2018.\r\n",
      "  bleu dev: 0.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 10000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 47s, Wed Dec 12 18:36:09 2018.\r\n",
      "  bleu test: 0.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 10100 lr 1 step-time 0.34s wps 18.03K ppl 46.48 gN 4.16 bleu 0.00, Wed Dec 12 18:36:44 2018\r\n",
      "  step 10200 lr 1 step-time 0.34s wps 18.13K ppl 46.71 gN 4.21 bleu 0.00, Wed Dec 12 18:37:18 2018\r\n",
      "  step 10300 lr 1 step-time 0.34s wps 18.22K ppl 45.75 gN 4.18 bleu 0.00, Wed Dec 12 18:37:52 2018\r\n",
      "  step 10400 lr 1 step-time 0.34s wps 18.16K ppl 45.03 gN 4.12 bleu 0.00, Wed Dec 12 18:38:26 2018\r\n",
      "  step 10500 lr 1 step-time 0.33s wps 18.18K ppl 45.29 gN 4.27 bleu 0.00, Wed Dec 12 18:39:00 2018\r\n",
      "  step 10600 lr 1 step-time 0.34s wps 18.31K ppl 46.73 gN 4.15 bleu 0.00, Wed Dec 12 18:39:34 2018\r\n",
      "  step 10700 lr 1 step-time 0.34s wps 18.25K ppl 47.18 gN 3.98 bleu 0.00, Wed Dec 12 18:40:08 2018\r\n",
      "  step 10800 lr 1 step-time 0.34s wps 18.20K ppl 47.15 gN 3.79 bleu 0.00, Wed Dec 12 18:40:42 2018\r\n",
      "  step 10900 lr 1 step-time 0.34s wps 18.26K ppl 48.51 gN 4.08 bleu 0.00, Wed Dec 12 18:41:16 2018\r\n",
      "  step 11000 lr 1 step-time 0.34s wps 18.23K ppl 48.61 gN 4.04 bleu 0.00, Wed Dec 12 18:41:50 2018\r\n",
      "# Save eval, global step 11000\r\n",
      "2018-12-12 18:41:51.301953: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:41:51.302194: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:41:51.302362: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-11000, time 0.07s\r\n",
      "  # 1932\r\n",
      "    src: However, pawnbrokers have the advantage of not requiring credit checks or proof of salary, and can arrange loans faster than banks.\r\n",
      "    ref: Pfandhäuser bieten aber den Vorteil, dass hier keine Überprüfung der Kreditwürdigkeit oder Einkommensnachweise erforderlich sind, weshalb Darlehen schneller als bei Banken möglich sind.\r\n",
      "    nmt: <unk> sind nicht nur die <unk> sondern auch die <unk> die <unk> und <unk> <unk> und <unk>\r\n",
      "2018-12-12 18:41:51.452928: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:41:51.453037: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:41:51.453203: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-11000, time 0.08s\r\n",
      "  eval dev: perplexity 69.65, time 3s, Wed Dec 12 18:41:55 2018.\r\n",
      "  eval test: perplexity 63.95, time 3s, Wed Dec 12 18:41:59 2018.\r\n",
      "  step 11100 lr 1 step-time 0.34s wps 17.89K ppl 48.62 gN 4.23 bleu 0.00, Wed Dec 12 18:42:33 2018\r\n",
      "  step 11200 lr 1 step-time 0.35s wps 17.96K ppl 49.74 gN 4.40 bleu 0.00, Wed Dec 12 18:43:08 2018\r\n",
      "  step 11300 lr 1 step-time 0.35s wps 17.93K ppl 49.35 gN 4.04 bleu 0.00, Wed Dec 12 18:43:43 2018\r\n",
      "  step 11400 lr 1 step-time 0.35s wps 17.80K ppl 48.64 gN 3.90 bleu 0.00, Wed Dec 12 18:44:17 2018\r\n",
      "  step 11500 lr 1 step-time 0.34s wps 17.96K ppl 49.77 gN 4.16 bleu 0.00, Wed Dec 12 18:44:52 2018\r\n",
      "  step 11600 lr 1 step-time 0.35s wps 18.03K ppl 49.54 gN 4.06 bleu 0.00, Wed Dec 12 18:45:26 2018\r\n",
      "  step 11700 lr 1 step-time 0.35s wps 17.94K ppl 48.28 gN 3.91 bleu 0.00, Wed Dec 12 18:46:02 2018\r\n",
      "  step 11800 lr 1 step-time 0.35s wps 17.64K ppl 47.79 gN 4.07 bleu 0.00, Wed Dec 12 18:46:36 2018\r\n",
      "  step 11900 lr 1 step-time 0.35s wps 17.91K ppl 47.40 gN 3.92 bleu 0.00, Wed Dec 12 18:47:11 2018\r\n",
      "  step 12000 lr 1 step-time 0.34s wps 17.95K ppl 47.34 gN 3.93 bleu 0.00, Wed Dec 12 18:47:46 2018\r\n",
      "# Save eval, global step 12000\r\n",
      "2018-12-12 18:47:46.406499: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:47:46.406733: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:47:46.406896: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-12000, time 0.07s\r\n",
      "  # 768\r\n",
      "    src: Daniel Büttner is more of an espresso fan, while Mirjam van der Stelt is the cappuccino drinker.\r\n",
      "    ref: Daniel Büttner ist eher der Expresso-Fan und Mirjam van der Stelt die Cappuccino-Trinkerin.\r\n",
      "    nmt: <unk> ist <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 18:47:46.548702: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:47:46.549001: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:47:46.548702: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-12000, time 0.08s\r\n",
      "  eval dev: perplexity 68.40, time 3s, Wed Dec 12 18:47:50 2018.\r\n",
      "  eval test: perplexity 62.97, time 3s, Wed Dec 12 18:47:54 2018.\r\n",
      "  step 12100 lr 1 step-time 0.35s wps 17.97K ppl 46.71 gN 3.81 bleu 0.00, Wed Dec 12 18:48:29 2018\r\n",
      "  step 12200 lr 1 step-time 0.34s wps 17.87K ppl 47.31 gN 4.05 bleu 0.00, Wed Dec 12 18:49:03 2018\r\n",
      "  step 12300 lr 1 step-time 0.34s wps 18.07K ppl 46.85 gN 3.99 bleu 0.00, Wed Dec 12 18:49:37 2018\r\n",
      "  step 12400 lr 1 step-time 0.34s wps 18.04K ppl 47.50 gN 4.18 bleu 0.00, Wed Dec 12 18:50:11 2018\r\n",
      "  step 12500 lr 1 step-time 0.34s wps 18.02K ppl 46.27 gN 3.99 bleu 0.00, Wed Dec 12 18:50:45 2018\r\n",
      "  step 12600 lr 1 step-time 0.34s wps 17.96K ppl 46.18 gN 3.98 bleu 0.00, Wed Dec 12 18:51:20 2018\r\n",
      "  step 12700 lr 1 step-time 0.34s wps 18.03K ppl 46.00 gN 3.99 bleu 0.00, Wed Dec 12 18:51:54 2018\r\n",
      "  step 12800 lr 1 step-time 0.35s wps 17.59K ppl 45.53 gN 4.06 bleu 0.00, Wed Dec 12 18:52:29 2018\r\n",
      "  step 12900 lr 1 step-time 0.35s wps 17.65K ppl 45.43 gN 4.07 bleu 0.00, Wed Dec 12 18:53:04 2018\r\n",
      "  step 13000 lr 1 step-time 0.33s wps 17.81K ppl 44.48 gN 3.68 bleu 0.00, Wed Dec 12 18:53:37 2018\r\n",
      "# Save eval, global step 13000\r\n",
      "2018-12-12 18:53:37.876405: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:53:37.876731: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:53:37.877104: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-13000, time 0.07s\r\n",
      "  # 1247\r\n",
      "    src: Once again the athletes from the Bitz dog-lovers association were victorious at a Rally Obedience Tournament.\r\n",
      "    ref: Zum wiederholten Mal waren die Sportler der Hundefreunde Bitz erfolgreich auf einem Rally-Obedience-Turnier.\r\n",
      "    nmt: Und in der Tat hat die <unk> die <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 18:53:38.007880: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:53:38.007880: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:53:38.008334: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-13000, time 0.08s\r\n",
      "  eval dev: perplexity 68.19, time 3s, Wed Dec 12 18:53:41 2018.\r\n",
      "  eval test: perplexity 61.68, time 3s, Wed Dec 12 18:53:45 2018.\r\n",
      "  step 13100 lr 1 step-time 0.34s wps 18.00K ppl 44.55 gN 3.80 bleu 0.00, Wed Dec 12 18:54:19 2018\r\n",
      "  step 13200 lr 1 step-time 0.35s wps 17.91K ppl 45.65 gN 4.02 bleu 0.00, Wed Dec 12 18:54:54 2018\r\n",
      "  step 13300 lr 1 step-time 0.34s wps 17.88K ppl 44.84 gN 3.95 bleu 0.00, Wed Dec 12 18:55:28 2018\r\n",
      "  step 13400 lr 1 step-time 0.34s wps 18.01K ppl 45.30 gN 4.15 bleu 0.00, Wed Dec 12 18:56:03 2018\r\n",
      "  step 13500 lr 1 step-time 0.34s wps 17.82K ppl 43.33 gN 3.71 bleu 0.00, Wed Dec 12 18:56:36 2018\r\n",
      "  step 13600 lr 1 step-time 0.34s wps 17.91K ppl 43.92 gN 3.89 bleu 0.00, Wed Dec 12 18:57:10 2018\r\n",
      "  step 13700 lr 1 step-time 0.34s wps 17.99K ppl 44.03 gN 3.88 bleu 0.00, Wed Dec 12 18:57:45 2018\r\n",
      "  step 13800 lr 1 step-time 0.34s wps 17.81K ppl 43.40 gN 3.91 bleu 0.00, Wed Dec 12 18:58:19 2018\r\n",
      "  step 13900 lr 1 step-time 0.35s wps 17.51K ppl 44.15 gN 4.06 bleu 0.00, Wed Dec 12 18:58:54 2018\r\n",
      "  step 14000 lr 1 step-time 0.35s wps 17.66K ppl 44.42 gN 3.74 bleu 0.00, Wed Dec 12 18:59:28 2018\r\n",
      "# Save eval, global step 14000\r\n",
      "2018-12-12 18:59:29.221520: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:59:29.221727: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:59:29.221887: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-14000, time 0.07s\r\n",
      "  # 65\r\n",
      "    src: The free marketeers at the Reason Foundation are also fond of having drivers pay per mile.\r\n",
      "    ref: Auch die freien Vermarkter der Reason Foundation sind von der Idee angetan, Fahrer nach zurückgelegter Strecke zahlen zu lassen.\r\n",
      "    nmt: Die <unk> die die <unk> der <unk> der Gemeinschaft <unk> ist auch auch auch die <unk>\r\n",
      "2018-12-12 18:59:29.367227: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 18:59:29.367494: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 18:59:29.367227: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-14000, time 0.08s\r\n",
      "  eval dev: perplexity 79.77, time 3s, Wed Dec 12 18:59:33 2018.\r\n",
      "  eval test: perplexity 72.59, time 3s, Wed Dec 12 18:59:37 2018.\r\n",
      "  step 14100 lr 1 step-time 0.34s wps 17.79K ppl 50.19 gN 3.84 bleu 0.00, Wed Dec 12 19:00:10 2018\r\n",
      "  step 14200 lr 1 step-time 0.34s wps 17.54K ppl 54.01 gN 3.83 bleu 0.00, Wed Dec 12 19:00:44 2018\r\n",
      "  step 14300 lr 1 step-time 0.34s wps 17.43K ppl 56.30 gN 3.61 bleu 0.00, Wed Dec 12 19:01:18 2018\r\n",
      "  step 14400 lr 1 step-time 0.34s wps 17.38K ppl 58.15 gN 3.89 bleu 0.00, Wed Dec 12 19:01:52 2018\r\n",
      "  step 14500 lr 1 step-time 0.34s wps 17.32K ppl 58.85 gN 3.72 bleu 0.00, Wed Dec 12 19:02:25 2018\r\n",
      "  step 14600 lr 1 step-time 0.33s wps 17.04K ppl 59.56 gN 3.77 bleu 0.00, Wed Dec 12 19:02:59 2018\r\n",
      "  step 14700 lr 1 step-time 0.33s wps 17.06K ppl 61.87 gN 3.87 bleu 0.00, Wed Dec 12 19:03:32 2018\r\n",
      "  step 14800 lr 1 step-time 0.33s wps 16.83K ppl 62.24 gN 3.70 bleu 0.00, Wed Dec 12 19:04:05 2018\r\n",
      "  step 14900 lr 1 step-time 0.34s wps 16.70K ppl 63.77 gN 4.09 bleu 0.00, Wed Dec 12 19:04:39 2018\r\n",
      "  step 15000 lr 1 step-time 0.34s wps 16.50K ppl 62.92 gN 3.95 bleu 0.00, Wed Dec 12 19:05:13 2018\r\n",
      "# Save eval, global step 15000\r\n",
      "2018-12-12 19:05:13.825540: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:05:13.825909: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:05:13.826272: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-15000, time 0.07s\r\n",
      "  # 1861\r\n",
      "    src: A study aiming to increase the benefits to Scotland of the HS2 rail project has been announced by the UK government.\r\n",
      "    ref: Von der britischen Regierung wurde eine Studie angekündigt, die die Vorteile des HS2-Eisenbahnprojekts für Schottland erhöhen soll.\r\n",
      "    nmt: Ein <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 19:05:13.965554: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:05:13.965832: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 19:05:13.965554: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-15000, time 0.08s\r\n",
      "  eval dev: perplexity 54.06, time 3s, Wed Dec 12 19:05:17 2018.\r\n",
      "  eval test: perplexity 51.25, time 3s, Wed Dec 12 19:05:21 2018.\r\n",
      "2018-12-12 19:05:22.531895: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:05:22.532370: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:05:22.532622: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-15000, time 0.07s\r\n",
      "  # 2922\r\n",
      "    src: Are the people too stupid to take their bags home or throw them into the nearest rubbish bin?\r\n",
      "    ref: Sind die Leute zu doof, um die Tüten mit nach Hause respektive bis zum nächsten Mülleimer zu nehmen?\r\n",
      "    nmt: <unk> sie sich in <unk> <unk> oder <unk>\r\n",
      "2018-12-12 19:05:22.648743: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:05:22.648904: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:05:22.649007: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-15000, time 0.07s\r\n",
      "# External evaluation, global step 15000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 45s, Wed Dec 12 19:06:08 2018.\r\n",
      "  bleu dev: 0.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 15000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 46s, Wed Dec 12 19:06:55 2018.\r\n",
      "  bleu test: 0.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 15100 lr 1 step-time 0.33s wps 16.70K ppl 60.51 gN 3.80 bleu 0.06, Wed Dec 12 19:07:29 2018\r\n",
      "  step 15200 lr 1 step-time 0.33s wps 16.78K ppl 60.25 gN 3.82 bleu 0.06, Wed Dec 12 19:08:02 2018\r\n",
      "  step 15300 lr 1 step-time 0.33s wps 16.65K ppl 61.07 gN 3.87 bleu 0.06, Wed Dec 12 19:08:35 2018\r\n",
      "  step 15400 lr 1 step-time 0.33s wps 16.60K ppl 60.77 gN 3.88 bleu 0.06, Wed Dec 12 19:09:08 2018\r\n",
      "  step 15500 lr 1 step-time 0.33s wps 16.59K ppl 59.21 gN 3.64 bleu 0.06, Wed Dec 12 19:09:41 2018\r\n",
      "  step 15600 lr 1 step-time 0.33s wps 16.56K ppl 60.54 gN 4.06 bleu 0.06, Wed Dec 12 19:10:14 2018\r\n",
      "  step 15700 lr 1 step-time 0.33s wps 16.46K ppl 58.15 gN 3.78 bleu 0.06, Wed Dec 12 19:10:47 2018\r\n",
      "  step 15800 lr 1 step-time 0.33s wps 16.10K ppl 59.44 gN 3.72 bleu 0.06, Wed Dec 12 19:11:20 2018\r\n",
      "  step 15900 lr 1 step-time 0.33s wps 16.27K ppl 60.72 gN 3.93 bleu 0.06, Wed Dec 12 19:11:53 2018\r\n",
      "  step 16000 lr 1 step-time 0.33s wps 16.44K ppl 62.50 gN 4.05 bleu 0.06, Wed Dec 12 19:12:26 2018\r\n",
      "# Save eval, global step 16000\r\n",
      "2018-12-12 19:12:26.692563: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:12:26.692772: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 19:12:26.692950: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-16000, time 0.07s\r\n",
      "  # 1960\r\n",
      "    src: The Federal Government insists a $325 million rescue package for Tasmania's ailing health system has tough conditions attached that will ensure the State Government can't waste the funds.\r\n",
      "    ref: Die australische Regierung besteht auf den harten Bedingungen, die mit dem Rettungspaket über 325 Millionen australische Dollar für das tasmanische Gesundheitswesen verknüpft sind, um sicherzustellen, dass die Regierung des Bundesstaates das Geld nicht verschwenden kann.\r\n",
      "    nmt: Die <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 19:12:26.934705: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:12:26.935143: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:12:26.935191: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-16000, time 0.08s\r\n",
      "  eval dev: perplexity 55.73, time 3s, Wed Dec 12 19:12:30 2018.\r\n",
      "  eval test: perplexity 52.44, time 3s, Wed Dec 12 19:12:34 2018.\r\n",
      "  step 16100 lr 1 step-time 0.33s wps 16.23K ppl 59.58 gN 3.73 bleu 0.06, Wed Dec 12 19:13:07 2018\r\n",
      "  step 16200 lr 1 step-time 0.33s wps 16.21K ppl 58.13 gN 3.72 bleu 0.06, Wed Dec 12 19:13:40 2018\r\n",
      "  step 16300 lr 1 step-time 0.33s wps 16.22K ppl 59.30 gN 3.92 bleu 0.06, Wed Dec 12 19:14:14 2018\r\n",
      "  step 16400 lr 1 step-time 0.33s wps 16.14K ppl 58.84 gN 3.83 bleu 0.06, Wed Dec 12 19:14:47 2018\r\n",
      "  step 16500 lr 1 step-time 0.33s wps 16.21K ppl 59.57 gN 3.94 bleu 0.06, Wed Dec 12 19:15:20 2018\r\n",
      "  step 16600 lr 1 step-time 0.33s wps 16.15K ppl 57.46 gN 3.81 bleu 0.06, Wed Dec 12 19:15:53 2018\r\n",
      "  step 16700 lr 1 step-time 0.34s wps 16.06K ppl 56.97 gN 3.95 bleu 0.06, Wed Dec 12 19:16:27 2018\r\n",
      "  step 16800 lr 1 step-time 0.33s wps 16.03K ppl 58.21 gN 4.07 bleu 0.06, Wed Dec 12 19:17:00 2018\r\n",
      "  step 16900 lr 1 step-time 0.34s wps 15.79K ppl 57.12 gN 3.96 bleu 0.06, Wed Dec 12 19:17:34 2018\r\n",
      "  step 17000 lr 1 step-time 0.33s wps 16.12K ppl 55.26 gN 3.82 bleu 0.06, Wed Dec 12 19:18:08 2018\r\n",
      "# Save eval, global step 17000\r\n",
      "2018-12-12 19:18:08.342906: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:18:08.343095: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 19:18:08.343198: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-17000, time 0.07s\r\n",
      "  # 595\r\n",
      "    src: For children, there was a small auxiliary programme - \"Oma Hanne\" (Grandma Hanne), a.k.a Hannelore Stollsteimer, performed a 'Kasperl' theater (similar to Punch and Judy) and read some stories, which kept the children entertained throughout the afternoon.\r\n",
      "    ref: Für die Kinder gab es ein kleines Nebenprogramm - \"Oma Hanne\" alias Hannelore Stollsteimer führte ein Kasperltheater auf und las ein paar Geschichten vor, welche die Kinder den Mittag über gut beschäftigten.\r\n",
      "    nmt: Für die <unk> der <unk> der <unk> <unk> die <unk> die <unk> <unk> und <unk> <unk> <unk> <unk> <unk> und <unk> <unk>\r\n",
      "2018-12-12 19:18:08.519844: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:18:08.520127: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 19:18:08.519844: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-17000, time 0.08s\r\n",
      "  eval dev: perplexity 62.58, time 3s, Wed Dec 12 19:18:12 2018.\r\n",
      "  eval test: perplexity 58.01, time 3s, Wed Dec 12 19:18:16 2018.\r\n",
      "  step 17100 lr 1 step-time 0.33s wps 16.11K ppl 55.97 gN 3.87 bleu 0.06, Wed Dec 12 19:18:49 2018\r\n",
      "  step 17200 lr 1 step-time 0.33s wps 16.18K ppl 54.52 gN 3.77 bleu 0.06, Wed Dec 12 19:19:22 2018\r\n",
      "  step 17300 lr 1 step-time 0.33s wps 16.30K ppl 54.65 gN 3.87 bleu 0.06, Wed Dec 12 19:19:55 2018\r\n",
      "  step 17400 lr 1 step-time 0.33s wps 16.32K ppl 52.27 gN 3.77 bleu 0.06, Wed Dec 12 19:20:28 2018\r\n",
      "  step 17500 lr 1 step-time 0.33s wps 16.39K ppl 50.49 gN 3.58 bleu 0.06, Wed Dec 12 19:21:01 2018\r\n",
      "  step 17600 lr 1 step-time 0.33s wps 16.33K ppl 50.86 gN 3.81 bleu 0.06, Wed Dec 12 19:21:34 2018\r\n",
      "  step 17700 lr 1 step-time 0.33s wps 16.36K ppl 49.34 gN 3.64 bleu 0.06, Wed Dec 12 19:22:07 2018\r\n",
      "  step 17800 lr 1 step-time 0.33s wps 16.21K ppl 50.36 gN 3.73 bleu 0.06, Wed Dec 12 19:22:40 2018\r\n",
      "  step 17900 lr 1 step-time 0.33s wps 16.05K ppl 49.96 gN 3.67 bleu 0.06, Wed Dec 12 19:23:13 2018\r\n",
      "  step 18000 lr 1 step-time 0.34s wps 15.96K ppl 50.10 gN 3.75 bleu 0.06, Wed Dec 12 19:23:47 2018\r\n",
      "# Save eval, global step 18000\r\n",
      "2018-12-12 19:23:48.021249: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:23:48.021570: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 19:23:48.021736: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-18000, time 0.07s\r\n",
      "  # 1148\r\n",
      "    src: Some titles have been released by the Heyne Verlag publishing house,the 'Haffman's cassette' featuring 118 stories was distributed by Zweitaudenseins.\r\n",
      "    ref: Einige Titel sind im Heyne Verlag erschienen, die Haffmans-Kassette mit den 118 Erzählungen vertreibt Zweitausendeins.\r\n",
      "    nmt: Einige <unk> wurden <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 19:23:48.223874: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:23:48.224323: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:23:48.224664: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-18000, time 0.08s\r\n",
      "  eval dev: perplexity 53.64, time 3s, Wed Dec 12 19:23:52 2018.\r\n",
      "  eval test: perplexity 53.08, time 3s, Wed Dec 12 19:23:56 2018.\r\n",
      "  step 18100 lr 1 step-time 0.33s wps 16.16K ppl 47.67 gN 3.63 bleu 0.06, Wed Dec 12 19:24:29 2018\r\n",
      "  step 18200 lr 1 step-time 0.34s wps 16.26K ppl 48.21 gN 3.85 bleu 0.06, Wed Dec 12 19:25:03 2018\r\n",
      "  step 18300 lr 1 step-time 0.33s wps 16.16K ppl 47.05 gN 3.56 bleu 0.06, Wed Dec 12 19:25:36 2018\r\n",
      "  step 18400 lr 1 step-time 0.33s wps 16.12K ppl 45.53 gN 3.31 bleu 0.06, Wed Dec 12 19:26:09 2018\r\n",
      "  step 18500 lr 1 step-time 0.34s wps 16.19K ppl 46.56 gN 3.70 bleu 0.06, Wed Dec 12 19:26:43 2018\r\n",
      "  step 18600 lr 1 step-time 0.33s wps 16.19K ppl 46.62 gN 3.77 bleu 0.06, Wed Dec 12 19:27:16 2018\r\n",
      "  step 18700 lr 1 step-time 0.33s wps 16.34K ppl 46.68 gN 3.95 bleu 0.06, Wed Dec 12 19:27:49 2018\r\n",
      "  step 18800 lr 1 step-time 0.33s wps 16.16K ppl 45.68 gN 3.59 bleu 0.06, Wed Dec 12 19:28:23 2018\r\n",
      "  step 18900 lr 1 step-time 0.33s wps 16.31K ppl 44.09 gN 3.71 bleu 0.06, Wed Dec 12 19:28:56 2018\r\n",
      "  step 19000 lr 1 step-time 0.34s wps 16.14K ppl 45.17 gN 3.64 bleu 0.06, Wed Dec 12 19:29:30 2018\r\n",
      "# Save eval, global step 19000\r\n",
      "2018-12-12 19:29:30.410939: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:29:30.411314: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:29:30.411691: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-19000, time 0.07s\r\n",
      "  # 976\r\n",
      "    src: We are proud of our performance, but we want to win every game.\r\n",
      "    ref: Wir sind stolz auf unsere Leistung, aber wir wollen jedes Spiel gewinnen.\r\n",
      "    nmt: Wir haben uns unsere <unk> <unk> wir haben uns <unk>\r\n",
      "2018-12-12 19:29:30.547324: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:29:30.547588: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 19:29:30.547324: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-19000, time 0.09s\r\n",
      "  eval dev: perplexity 48.70, time 3s, Wed Dec 12 19:29:34 2018.\r\n",
      "  eval test: perplexity 47.99, time 4s, Wed Dec 12 19:29:38 2018.\r\n",
      "  step 19100 lr 1 step-time 0.34s wps 15.95K ppl 43.48 gN 3.67 bleu 0.06, Wed Dec 12 19:30:12 2018\r\n",
      "  step 19200 lr 1 step-time 0.34s wps 16.22K ppl 43.53 gN 3.54 bleu 0.06, Wed Dec 12 19:30:46 2018\r\n",
      "  step 19300 lr 1 step-time 0.33s wps 16.23K ppl 43.51 gN 3.74 bleu 0.06, Wed Dec 12 19:31:19 2018\r\n",
      "  step 19400 lr 1 step-time 0.33s wps 16.35K ppl 44.30 gN 3.77 bleu 0.06, Wed Dec 12 19:31:53 2018\r\n",
      "  step 19500 lr 1 step-time 0.33s wps 16.25K ppl 44.40 gN 3.63 bleu 0.06, Wed Dec 12 19:32:26 2018\r\n",
      "  step 19600 lr 1 step-time 0.33s wps 16.34K ppl 42.70 gN 3.72 bleu 0.06, Wed Dec 12 19:32:59 2018\r\n",
      "  step 19700 lr 1 step-time 0.33s wps 16.24K ppl 42.31 gN 3.57 bleu 0.06, Wed Dec 12 19:33:33 2018\r\n",
      "  step 19800 lr 1 step-time 0.33s wps 16.21K ppl 43.17 gN 3.56 bleu 0.06, Wed Dec 12 19:34:06 2018\r\n",
      "  step 19900 lr 1 step-time 0.33s wps 16.13K ppl 42.44 gN 3.54 bleu 0.06, Wed Dec 12 19:34:39 2018\r\n",
      "  step 20000 lr 1 step-time 0.34s wps 16.09K ppl 43.91 gN 3.76 bleu 0.06, Wed Dec 12 19:35:13 2018\r\n",
      "# Save eval, global step 20000\r\n",
      "2018-12-12 19:35:13.941055: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:35:13.941055: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:35:13.941691: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-20000, time 0.07s\r\n",
      "  # 113\r\n",
      "    src: This was not so simple as they also had to negotiate a narrow stairwell.\r\n",
      "    ref: Dies war nicht so einfach, da auch eine enge Treppe zu überwinden war.\r\n",
      "    nmt: Das <unk> war nicht <unk>\r\n",
      "2018-12-12 19:35:14.058677: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:35:14.058682: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:35:14.059135: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-20000, time 0.08s\r\n",
      "  eval dev: perplexity 48.44, time 3s, Wed Dec 12 19:35:17 2018.\r\n",
      "  eval test: perplexity 47.75, time 3s, Wed Dec 12 19:35:21 2018.\r\n",
      "2018-12-12 19:35:22.596628: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:35:22.596831: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 19:35:22.596931: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-20000, time 0.07s\r\n",
      "  # 923\r\n",
      "    src: Second place was taken by the Michael Klippel / Sadmin Osmicic partnership.\r\n",
      "    ref: Den zweiten Platz belegte das Doppel Michael Klippel/Sadmin Osmicic.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 19:35:22.741113: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:35:22.741233: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:35:22.741375: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-20000, time 0.07s\r\n",
      "# External evaluation, global step 20000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 47s, Wed Dec 12 19:36:10 2018.\r\n",
      "  bleu dev: 0.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 20000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 47s, Wed Dec 12 19:36:58 2018.\r\n",
      "  bleu test: 0.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 20100 lr 1 step-time 0.33s wps 15.97K ppl 42.13 gN 3.56 bleu 0.06, Wed Dec 12 19:37:32 2018\r\n",
      "  step 20200 lr 1 step-time 0.33s wps 15.96K ppl 42.30 gN 3.54 bleu 0.06, Wed Dec 12 19:38:05 2018\r\n",
      "  step 20300 lr 1 step-time 0.33s wps 16.00K ppl 42.42 gN 3.73 bleu 0.06, Wed Dec 12 19:38:38 2018\r\n",
      "  step 20400 lr 1 step-time 0.34s wps 15.89K ppl 41.59 gN 3.62 bleu 0.06, Wed Dec 12 19:39:12 2018\r\n",
      "  step 20500 lr 1 step-time 0.33s wps 15.78K ppl 42.51 gN 3.70 bleu 0.06, Wed Dec 12 19:39:45 2018\r\n",
      "  step 20600 lr 1 step-time 0.34s wps 15.87K ppl 41.57 gN 3.63 bleu 0.06, Wed Dec 12 19:40:19 2018\r\n",
      "  step 20700 lr 1 step-time 0.33s wps 15.80K ppl 41.08 gN 3.42 bleu 0.06, Wed Dec 12 19:40:52 2018\r\n",
      "  step 20800 lr 1 step-time 0.33s wps 15.91K ppl 42.77 gN 3.74 bleu 0.06, Wed Dec 12 19:41:25 2018\r\n",
      "  step 20900 lr 1 step-time 0.33s wps 15.80K ppl 42.88 gN 3.55 bleu 0.06, Wed Dec 12 19:41:58 2018\r\n",
      "  step 21000 lr 1 step-time 0.33s wps 15.93K ppl 42.48 gN 3.53 bleu 0.06, Wed Dec 12 19:42:31 2018\r\n",
      "# Save eval, global step 21000\r\n",
      "2018-12-12 19:42:32.130043: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:42:32.130043: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:42:32.130520: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-21000, time 0.07s\r\n",
      "  # 2635\r\n",
      "    src: Fat beats and cool sounds are of course promised by the organisers on both nights.\r\n",
      "    ref: Fette Beats und coole Sounds werden von den Veranstaltern natürlich an beiden Tagen versprochen.\r\n",
      "    nmt: <unk> <unk> und <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 19:42:32.309181: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:42:32.309431: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 19:42:32.309181: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-21000, time 0.08s\r\n",
      "  eval dev: perplexity 48.05, time 3s, Wed Dec 12 19:42:36 2018.\r\n",
      "  eval test: perplexity 47.49, time 3s, Wed Dec 12 19:42:39 2018.\r\n",
      "  step 21100 lr 1 step-time 0.32s wps 16.14K ppl 44.17 gN 3.52 bleu 0.06, Wed Dec 12 19:43:12 2018\r\n",
      "  step 21200 lr 1 step-time 0.33s wps 16.13K ppl 43.65 gN 3.40 bleu 0.06, Wed Dec 12 19:43:45 2018\r\n",
      "  step 21300 lr 1 step-time 0.32s wps 16.10K ppl 44.03 gN 3.33 bleu 0.06, Wed Dec 12 19:44:17 2018\r\n",
      "  step 21400 lr 1 step-time 0.33s wps 16.26K ppl 45.77 gN 3.36 bleu 0.06, Wed Dec 12 19:44:50 2018\r\n",
      "  step 21500 lr 1 step-time 0.32s wps 16.25K ppl 44.53 gN 3.48 bleu 0.06, Wed Dec 12 19:45:22 2018\r\n",
      "  step 21600 lr 1 step-time 0.33s wps 16.23K ppl 45.58 gN 3.50 bleu 0.06, Wed Dec 12 19:45:55 2018\r\n",
      "  step 21700 lr 1 step-time 0.32s wps 16.29K ppl 45.62 gN 3.45 bleu 0.06, Wed Dec 12 19:46:28 2018\r\n",
      "  step 21800 lr 1 step-time 0.32s wps 16.34K ppl 44.81 gN 3.28 bleu 0.06, Wed Dec 12 19:47:00 2018\r\n",
      "  step 21900 lr 1 step-time 0.33s wps 16.27K ppl 46.15 gN 3.58 bleu 0.06, Wed Dec 12 19:47:33 2018\r\n",
      "  step 22000 lr 1 step-time 0.33s wps 16.09K ppl 46.69 gN 3.44 bleu 0.06, Wed Dec 12 19:48:05 2018\r\n",
      "# Save eval, global step 22000\r\n",
      "2018-12-12 19:48:06.271793: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:48:06.272074: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 19:48:06.271793: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-22000, time 0.07s\r\n",
      "  # 2579\r\n",
      "    src: For what was then the fifth maintenance day in the follow-up to the Natura 2000 project in Upper Hotzenwald, a group of dedicated participants met at the small Engländerhütte (Englishman's Cottage) in Ibach\r\n",
      "    ref: Zum mittlerweile fünften Pflegetag in der Nachfolge des Natura 2000-Projektes oberer Hotzenwald traf sich eine Gruppe engagierter Teilnehmer bei der kleinen Engländerhütte in Ibach.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 19:48:06.551835: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:48:06.551835: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:48:06.552290: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-22000, time 0.08s\r\n",
      "  eval dev: perplexity 44.20, time 3s, Wed Dec 12 19:48:10 2018.\r\n",
      "  eval test: perplexity 44.27, time 3s, Wed Dec 12 19:48:14 2018.\r\n",
      "  step 22100 lr 1 step-time 0.33s wps 16.31K ppl 45.24 gN 3.39 bleu 0.06, Wed Dec 12 19:48:47 2018\r\n",
      "  step 22200 lr 1 step-time 0.32s wps 16.30K ppl 47.48 gN 3.70 bleu 0.06, Wed Dec 12 19:49:19 2018\r\n",
      "  step 22300 lr 1 step-time 0.32s wps 16.32K ppl 46.02 gN 3.42 bleu 0.06, Wed Dec 12 19:49:51 2018\r\n",
      "  step 22400 lr 1 step-time 0.32s wps 16.45K ppl 45.46 gN 3.52 bleu 0.06, Wed Dec 12 19:50:24 2018\r\n",
      "  step 22500 lr 1 step-time 0.33s wps 16.40K ppl 46.18 gN 3.46 bleu 0.06, Wed Dec 12 19:50:56 2018\r\n",
      "  step 22600 lr 1 step-time 0.32s wps 16.49K ppl 45.11 gN 3.56 bleu 0.06, Wed Dec 12 19:51:28 2018\r\n",
      "  step 22700 lr 1 step-time 0.32s wps 16.48K ppl 46.73 gN 3.65 bleu 0.06, Wed Dec 12 19:52:01 2018\r\n",
      "  step 22800 lr 1 step-time 0.33s wps 16.50K ppl 46.03 gN 3.66 bleu 0.06, Wed Dec 12 19:52:33 2018\r\n",
      "  step 22900 lr 1 step-time 0.32s wps 16.42K ppl 44.97 gN 3.56 bleu 0.06, Wed Dec 12 19:53:05 2018\r\n",
      "  step 23000 lr 1 step-time 0.33s wps 16.40K ppl 45.95 gN 3.61 bleu 0.06, Wed Dec 12 19:53:38 2018\r\n",
      "# Save eval, global step 23000\r\n",
      "2018-12-12 19:53:38.969308: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:53:38.969725: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:53:38.970022: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-23000, time 0.07s\r\n",
      "  # 2153\r\n",
      "    src: Staff gave evidence they observed breaches including Lord being alone with children, babysitting them privately, having them sit on his lap, saying he loved one and letting them play with his mobile phone.\r\n",
      "    ref: Die Mitarbeiter sagten aus, sie hätten Verstöße beobachtet, unter anderem, dass Lord allein mit Kindern war, sie privat als Babysitter betreute, sie auf seinem Schoß sitzen ließ, zu einem sagte, dass er es lieb habe, und Kinder mit seinem Handy spielen ließ.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 19:53:39.238831: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:53:39.238831: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:53:39.239296: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-23000, time 0.08s\r\n",
      "  eval dev: perplexity 40.36, time 3s, Wed Dec 12 19:53:43 2018.\r\n",
      "  eval test: perplexity 40.40, time 3s, Wed Dec 12 19:53:47 2018.\r\n",
      "  step 23100 lr 1 step-time 0.33s wps 16.10K ppl 44.96 gN 3.51 bleu 0.06, Wed Dec 12 19:54:20 2018\r\n",
      "  step 23200 lr 1 step-time 0.33s wps 16.28K ppl 46.75 gN 3.75 bleu 0.06, Wed Dec 12 19:54:53 2018\r\n",
      "  step 23300 lr 1 step-time 0.32s wps 16.46K ppl 45.51 gN 3.47 bleu 0.06, Wed Dec 12 19:55:25 2018\r\n",
      "  step 23400 lr 1 step-time 0.33s wps 16.59K ppl 44.97 gN 3.53 bleu 0.06, Wed Dec 12 19:55:58 2018\r\n",
      "  step 23500 lr 1 step-time 0.32s wps 16.50K ppl 43.56 gN 3.47 bleu 0.06, Wed Dec 12 19:56:30 2018\r\n",
      "  step 23600 lr 1 step-time 0.32s wps 16.56K ppl 45.10 gN 3.47 bleu 0.06, Wed Dec 12 19:57:02 2018\r\n",
      "  step 23700 lr 1 step-time 0.32s wps 16.48K ppl 43.37 gN 3.54 bleu 0.06, Wed Dec 12 19:57:34 2018\r\n",
      "  step 23800 lr 1 step-time 0.32s wps 16.58K ppl 44.43 gN 3.59 bleu 0.06, Wed Dec 12 19:58:07 2018\r\n",
      "  step 23900 lr 1 step-time 0.32s wps 16.53K ppl 44.02 gN 3.58 bleu 0.06, Wed Dec 12 19:58:38 2018\r\n",
      "  step 24000 lr 1 step-time 0.33s wps 16.59K ppl 43.74 gN 3.46 bleu 0.06, Wed Dec 12 19:59:11 2018\r\n",
      "# Save eval, global step 24000\r\n",
      "2018-12-12 19:59:12.114729: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:59:12.114729: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:59:12.114997: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-24000, time 0.07s\r\n",
      "  # 2313\r\n",
      "    src: An ambulance team brought the injured man to the clinic for medical treatment.\r\n",
      "    ref: Ein Rettungswagenteam brachte den Verletzten zur ärztlichen Behandlung ins Klinikum.\r\n",
      "    nmt: Ein <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 19:59:12.277601: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:59:12.277831: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 19:59:12.277849: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-24000, time 0.08s\r\n",
      "  eval dev: perplexity 49.00, time 3s, Wed Dec 12 19:59:16 2018.\r\n",
      "  eval test: perplexity 50.17, time 3s, Wed Dec 12 19:59:19 2018.\r\n",
      "  step 24100 lr 1 step-time 0.32s wps 16.39K ppl 43.49 gN 3.51 bleu 0.06, Wed Dec 12 19:59:51 2018\r\n",
      "  step 24200 lr 1 step-time 0.34s wps 16.21K ppl 44.17 gN 3.68 bleu 0.06, Wed Dec 12 20:00:25 2018\r\n",
      "  step 24300 lr 1 step-time 0.33s wps 16.23K ppl 44.37 gN 3.64 bleu 0.06, Wed Dec 12 20:00:58 2018\r\n",
      "  step 24400 lr 1 step-time 0.33s wps 16.34K ppl 44.02 gN 3.61 bleu 0.06, Wed Dec 12 20:01:31 2018\r\n",
      "  step 24500 lr 1 step-time 0.32s wps 16.64K ppl 45.23 gN 3.96 bleu 0.06, Wed Dec 12 20:02:03 2018\r\n",
      "  step 24600 lr 1 step-time 0.32s wps 16.58K ppl 44.02 gN 3.89 bleu 0.06, Wed Dec 12 20:02:35 2018\r\n",
      "  step 24700 lr 1 step-time 0.33s wps 16.59K ppl 44.46 gN 3.73 bleu 0.06, Wed Dec 12 20:03:08 2018\r\n",
      "  step 24800 lr 1 step-time 0.32s wps 16.61K ppl 43.22 gN 3.55 bleu 0.06, Wed Dec 12 20:03:40 2018\r\n",
      "  step 24900 lr 1 step-time 0.33s wps 16.57K ppl 42.59 gN 3.53 bleu 0.06, Wed Dec 12 20:04:13 2018\r\n",
      "  step 25000 lr 1 step-time 0.32s wps 16.69K ppl 42.01 gN 3.55 bleu 0.06, Wed Dec 12 20:04:45 2018\r\n",
      "# Save eval, global step 25000\r\n",
      "2018-12-12 20:04:45.732189: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:04:45.732464: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:04:45.732189: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-25000, time 0.06s\r\n",
      "  # 2983\r\n",
      "    src: Mainz are concerned regarding the availability of Nicolai Müller.\r\n",
      "    ref: Mainz bnagt um einen Einsatz von Nicolai Müller.\r\n",
      "    nmt: Die <unk> sind <unk> <unk> <unk>\r\n",
      "2018-12-12 20:04:45.846039: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:04:45.846108: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:04:45.846300: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-25000, time 0.08s\r\n",
      "  eval dev: perplexity 37.38, time 3s, Wed Dec 12 20:04:49 2018.\r\n",
      "  eval test: perplexity 37.58, time 3s, Wed Dec 12 20:04:53 2018.\r\n",
      "2018-12-12 20:04:54.279028: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:04:54.279284: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:04:54.279414: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-25000, time 0.06s\r\n",
      "  # 2077\r\n",
      "    src: Today's electronic devices generally emit much lower power radio transmissions than previous generations of devices.\r\n",
      "    ref: Die heutigen elektronischen Geräte geben im Allgemeinen wesentlich weniger Funkstrahlung ab als frühere Generationen.\r\n",
      "    nmt: Die <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 20:04:54.434137: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:04:54.434321: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:04:54.434435: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-25000, time 0.07s\r\n",
      "# External evaluation, global step 25000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 45s, Wed Dec 12 20:05:40 2018.\r\n",
      "  bleu dev: 0.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 25000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 47s, Wed Dec 12 20:06:28 2018.\r\n",
      "  bleu test: 0.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 25100 lr 1 step-time 0.33s wps 16.19K ppl 42.06 gN 3.69 bleu 0.09, Wed Dec 12 20:07:03 2018\r\n",
      "  step 25200 lr 1 step-time 0.32s wps 16.49K ppl 41.51 gN 3.57 bleu 0.09, Wed Dec 12 20:07:35 2018\r\n",
      "  step 25300 lr 1 step-time 0.33s wps 16.56K ppl 43.66 gN 3.80 bleu 0.09, Wed Dec 12 20:08:08 2018\r\n",
      "  step 25400 lr 1 step-time 0.32s wps 16.55K ppl 41.46 gN 3.68 bleu 0.09, Wed Dec 12 20:08:41 2018\r\n",
      "  step 25500 lr 1 step-time 0.32s wps 16.48K ppl 41.63 gN 3.67 bleu 0.09, Wed Dec 12 20:09:12 2018\r\n",
      "  step 25600 lr 1 step-time 0.32s wps 16.44K ppl 41.85 gN 3.71 bleu 0.09, Wed Dec 12 20:09:45 2018\r\n",
      "  step 25700 lr 1 step-time 0.32s wps 16.46K ppl 41.17 gN 3.54 bleu 0.09, Wed Dec 12 20:10:17 2018\r\n",
      "  step 25800 lr 1 step-time 0.32s wps 16.51K ppl 41.33 gN 3.58 bleu 0.09, Wed Dec 12 20:10:49 2018\r\n",
      "  step 25900 lr 1 step-time 0.32s wps 16.43K ppl 40.85 gN 3.52 bleu 0.09, Wed Dec 12 20:11:21 2018\r\n",
      "  step 26000 lr 1 step-time 0.32s wps 16.54K ppl 42.21 gN 3.84 bleu 0.09, Wed Dec 12 20:11:53 2018\r\n",
      "# Save eval, global step 26000\r\n",
      "2018-12-12 20:11:53.489687: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:11:53.490026: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:11:53.490356: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-26000, time 0.06s\r\n",
      "  # 172\r\n",
      "    src: According to the details provided, the tunnel had not yet been put into use.\r\n",
      "    ref: Der Tunnel war den Angaben zufolge noch nicht in Gebrauch genommen worden.\r\n",
      "    nmt: Nach dem <unk> wurde die <unk> nicht <unk>\r\n",
      "2018-12-12 20:11:53.619473: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:11:53.619730: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:11:53.619473: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-26000, time 0.09s\r\n",
      "  eval dev: perplexity 40.53, time 3s, Wed Dec 12 20:11:57 2018.\r\n",
      "  eval test: perplexity 40.45, time 3s, Wed Dec 12 20:12:01 2018.\r\n",
      "  step 26100 lr 1 step-time 0.32s wps 16.39K ppl 41.00 gN 3.64 bleu 0.09, Wed Dec 12 20:12:33 2018\r\n",
      "  step 26200 lr 1 step-time 0.33s wps 16.00K ppl 40.94 gN 3.67 bleu 0.09, Wed Dec 12 20:13:06 2018\r\n",
      "  step 26300 lr 1 step-time 0.32s wps 16.16K ppl 41.37 gN 3.78 bleu 0.09, Wed Dec 12 20:13:38 2018\r\n",
      "  step 26400 lr 1 step-time 0.32s wps 16.56K ppl 41.33 gN 3.79 bleu 0.09, Wed Dec 12 20:14:10 2018\r\n",
      "  step 26500 lr 1 step-time 0.32s wps 16.32K ppl 40.91 gN 3.65 bleu 0.09, Wed Dec 12 20:14:42 2018\r\n",
      "  step 26600 lr 1 step-time 0.32s wps 16.38K ppl 40.36 gN 3.62 bleu 0.09, Wed Dec 12 20:15:14 2018\r\n",
      "  step 26700 lr 1 step-time 0.32s wps 16.48K ppl 40.03 gN 3.59 bleu 0.09, Wed Dec 12 20:15:46 2018\r\n",
      "  step 26800 lr 1 step-time 0.31s wps 16.40K ppl 40.04 gN 3.55 bleu 0.09, Wed Dec 12 20:16:17 2018\r\n",
      "  step 26900 lr 1 step-time 0.32s wps 16.46K ppl 40.27 gN 3.77 bleu 0.09, Wed Dec 12 20:16:49 2018\r\n",
      "  step 27000 lr 1 step-time 0.32s wps 16.56K ppl 39.72 gN 3.75 bleu 0.09, Wed Dec 12 20:17:21 2018\r\n",
      "# Save eval, global step 27000\r\n",
      "2018-12-12 20:17:21.621672: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:17:21.622083: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:17:21.622484: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-27000, time 0.07s\r\n",
      "  # 2071\r\n",
      "    src: Some studies indicate as many as a third of passengers forget or ignore directions to turn off their devices.\r\n",
      "    ref: In einigen Studien ist davon die Rede, das bis zu ein Drittel der Passagiere das Abschalten des Gerätes vergisst oder ignoriert.\r\n",
      "    nmt: Einige <unk> sind <unk> <unk> oder <unk> <unk>\r\n",
      "2018-12-12 20:17:21.752326: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:17:21.752583: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:17:21.752326: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-27000, time 0.08s\r\n",
      "  eval dev: perplexity 36.53, time 3s, Wed Dec 12 20:17:25 2018.\r\n",
      "  eval test: perplexity 37.03, time 3s, Wed Dec 12 20:17:29 2018.\r\n",
      "  step 27100 lr 1 step-time 0.31s wps 16.48K ppl 39.26 gN 3.80 bleu 0.09, Wed Dec 12 20:18:00 2018\r\n",
      "  step 27200 lr 1 step-time 0.32s wps 16.54K ppl 39.62 gN 3.69 bleu 0.09, Wed Dec 12 20:18:32 2018\r\n",
      "  step 27300 lr 1 step-time 0.32s wps 16.16K ppl 38.96 gN 3.64 bleu 0.09, Wed Dec 12 20:19:05 2018\r\n",
      "  step 27400 lr 1 step-time 0.32s wps 16.23K ppl 39.62 gN 3.77 bleu 0.09, Wed Dec 12 20:19:37 2018\r\n",
      "  step 27500 lr 1 step-time 0.32s wps 16.45K ppl 39.28 gN 3.74 bleu 0.09, Wed Dec 12 20:20:08 2018\r\n",
      "  step 27600 lr 1 step-time 0.32s wps 16.50K ppl 38.93 gN 3.99 bleu 0.09, Wed Dec 12 20:20:40 2018\r\n",
      "  step 27700 lr 1 step-time 0.32s wps 16.60K ppl 38.86 gN 3.58 bleu 0.09, Wed Dec 12 20:21:12 2018\r\n",
      "  step 27800 lr 1 step-time 0.31s wps 16.39K ppl 37.11 gN 3.43 bleu 0.09, Wed Dec 12 20:21:43 2018\r\n",
      "  step 27900 lr 1 step-time 0.31s wps 16.56K ppl 40.03 gN 3.89 bleu 0.09, Wed Dec 12 20:22:14 2018\r\n",
      "  step 28000 lr 1 step-time 0.32s wps 16.55K ppl 38.89 gN 3.87 bleu 0.09, Wed Dec 12 20:22:46 2018\r\n",
      "# Save eval, global step 28000\r\n",
      "2018-12-12 20:22:46.496986: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:22:46.496986: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:22:46.497553: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-28000, time 0.07s\r\n",
      "  # 418\r\n",
      "    src: Every manufacturer schedules it in a different way.\r\n",
      "    ref: Jeder Hersteller plant anders.\r\n",
      "    nmt: Jedes Unternehmen hat sich in einem einzigen <unk>\r\n",
      "2018-12-12 20:22:46.618487: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:22:46.618538: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:22:46.618705: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-28000, time 0.08s\r\n",
      "  eval dev: perplexity 38.23, time 3s, Wed Dec 12 20:22:50 2018.\r\n",
      "  eval test: perplexity 38.03, time 3s, Wed Dec 12 20:22:54 2018.\r\n",
      "  step 28100 lr 1 step-time 0.32s wps 16.49K ppl 38.62 gN 3.87 bleu 0.09, Wed Dec 12 20:23:25 2018\r\n",
      "  step 28200 lr 1 step-time 0.32s wps 16.60K ppl 38.72 gN 3.81 bleu 0.09, Wed Dec 12 20:23:57 2018\r\n",
      "  step 28300 lr 1 step-time 0.31s wps 16.53K ppl 38.31 gN 3.68 bleu 0.09, Wed Dec 12 20:24:29 2018\r\n",
      "  step 28400 lr 1 step-time 0.32s wps 16.35K ppl 38.31 gN 3.81 bleu 0.09, Wed Dec 12 20:25:00 2018\r\n",
      "  step 28500 lr 1 step-time 0.32s wps 16.19K ppl 38.22 gN 3.86 bleu 0.09, Wed Dec 12 20:25:33 2018\r\n",
      "  step 28600 lr 1 step-time 0.32s wps 16.52K ppl 37.93 gN 3.68 bleu 0.09, Wed Dec 12 20:26:04 2018\r\n",
      "  step 28700 lr 1 step-time 0.31s wps 16.75K ppl 37.20 gN 3.65 bleu 0.09, Wed Dec 12 20:26:35 2018\r\n",
      "  step 28800 lr 1 step-time 0.32s wps 16.85K ppl 39.21 gN 4.00 bleu 0.09, Wed Dec 12 20:27:07 2018\r\n",
      "  step 28900 lr 1 step-time 0.31s wps 16.73K ppl 38.77 gN 3.85 bleu 0.09, Wed Dec 12 20:27:38 2018\r\n",
      "  step 29000 lr 1 step-time 0.32s wps 16.76K ppl 38.09 gN 3.77 bleu 0.09, Wed Dec 12 20:28:09 2018\r\n",
      "# Save eval, global step 29000\r\n",
      "2018-12-12 20:28:10.133449: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:28:10.133701: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:28:10.133449: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-29000, time 0.07s\r\n",
      "  # 2143\r\n",
      "    src: Two YMCA NSW employees had been charged with child sex offences before allegations were raised against Caringbah child care worker Jonathan Lord in 2011, the child sexual abuse Royal Commission has heard.\r\n",
      "    ref: Zwei YMCA-Mitarbeiter aus New South Wales (NSW) seien wegen Sexualdelikten im Zusammenhang mit Kindern angeklagt worden, ehe 2011 Vorwürfe gegen den Kinderpfleger Jonathan Lord aus Caringbah erhoben wurden, wie die Königliche Kommission für sexuellen Missbrauch von Kindern erfuhr.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 20:28:10.397727: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:28:10.397962: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:28:10.398097: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-29000, time 0.08s\r\n",
      "  eval dev: perplexity 35.18, time 3s, Wed Dec 12 20:28:14 2018.\r\n",
      "  eval test: perplexity 35.15, time 3s, Wed Dec 12 20:28:18 2018.\r\n",
      "  step 29100 lr 1 step-time 0.31s wps 16.75K ppl 37.63 gN 3.72 bleu 0.09, Wed Dec 12 20:28:49 2018\r\n",
      "  step 29200 lr 1 step-time 0.31s wps 16.86K ppl 38.90 gN 3.76 bleu 0.09, Wed Dec 12 20:29:20 2018\r\n",
      "  step 29300 lr 1 step-time 0.31s wps 16.79K ppl 38.12 gN 3.82 bleu 0.09, Wed Dec 12 20:29:51 2018\r\n",
      "  step 29400 lr 1 step-time 0.31s wps 16.75K ppl 37.49 gN 3.69 bleu 0.09, Wed Dec 12 20:30:22 2018\r\n",
      "  step 29500 lr 1 step-time 0.32s wps 16.73K ppl 38.99 gN 4.05 bleu 0.09, Wed Dec 12 20:30:54 2018\r\n",
      "  step 29600 lr 1 step-time 0.31s wps 16.44K ppl 36.46 gN 3.56 bleu 0.09, Wed Dec 12 20:31:25 2018\r\n",
      "  step 29700 lr 1 step-time 0.31s wps 16.71K ppl 38.35 gN 3.84 bleu 0.09, Wed Dec 12 20:31:56 2018\r\n",
      "  step 29800 lr 1 step-time 0.31s wps 16.81K ppl 38.11 gN 3.71 bleu 0.09, Wed Dec 12 20:32:27 2018\r\n",
      "  step 29900 lr 1 step-time 0.31s wps 16.87K ppl 37.55 gN 3.93 bleu 0.09, Wed Dec 12 20:32:58 2018\r\n",
      "  step 30000 lr 1 step-time 0.31s wps 16.88K ppl 36.77 gN 3.57 bleu 0.09, Wed Dec 12 20:33:28 2018\r\n",
      "# Save eval, global step 30000\r\n",
      "2018-12-12 20:33:29.186295: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:33:29.186554: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:33:29.186911: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-30000, time 0.07s\r\n",
      "  # 587\r\n",
      "    src: His choir colleagues presented him with a German Choral Association certificate and an engraved pewter plate.\r\n",
      "    ref: Seine Sängerkollegen überreichten ihm die Urkunde des deutschen Chorverbandes sowie einen gravierten Zinnteller.\r\n",
      "    nmt: Seine <unk> <unk> mit einer deutschen <unk> und <unk> <unk> <unk>\r\n",
      "2018-12-12 20:33:29.319128: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:33:29.319289: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:33:29.319380: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-30000, time 0.08s\r\n",
      "  eval dev: perplexity 35.77, time 3s, Wed Dec 12 20:33:33 2018.\r\n",
      "  eval test: perplexity 35.60, time 3s, Wed Dec 12 20:33:37 2018.\r\n",
      "2018-12-12 20:33:37.830550: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:33:37.830838: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:33:37.830550: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-30000, time 0.07s\r\n",
      "  # 999\r\n",
      "    src: It will without doubt be a long path, but the chief nuclear negotiator is satisfied with the negotiation process and is also optimistic that both sides will come to a solution in the end.\r\n",
      "    ref: Es wäre zwar noch ein langer Weg, aber der Atomchefunterhändler sei mit dem Verhandlungsprozess zufrieden und auch optimistisch, dass am Ende beide Seiten zu einer Lösung kommen.\r\n",
      "    nmt: Es ist ein <unk> <unk> <unk> aber auch die <unk> <unk> aber auch die <unk> <unk> die <unk> <unk> und <unk> <unk>\r\n",
      "2018-12-12 20:33:37.984678: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:33:37.984968: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:33:37.985039: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-30000, time 0.07s\r\n",
      "# External evaluation, global step 30000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 46s, Wed Dec 12 20:34:24 2018.\r\n",
      "  bleu dev: 0.3\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 30000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 47s, Wed Dec 12 20:35:12 2018.\r\n",
      "  bleu test: 0.4\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 30100 lr 1 step-time 0.31s wps 16.82K ppl 38.24 gN 4.00 bleu 0.30, Wed Dec 12 20:35:44 2018\r\n",
      "  step 30200 lr 1 step-time 0.31s wps 16.84K ppl 37.84 gN 3.96 bleu 0.30, Wed Dec 12 20:36:14 2018\r\n",
      "  step 30300 lr 1 step-time 0.31s wps 16.68K ppl 37.52 gN 3.78 bleu 0.30, Wed Dec 12 20:36:45 2018\r\n",
      "  step 30400 lr 1 step-time 0.31s wps 16.72K ppl 38.10 gN 4.07 bleu 0.30, Wed Dec 12 20:37:17 2018\r\n",
      "  step 30500 lr 1 step-time 0.32s wps 16.38K ppl 37.77 gN 3.95 bleu 0.30, Wed Dec 12 20:37:48 2018\r\n",
      "  step 30600 lr 1 step-time 0.31s wps 16.73K ppl 36.64 gN 3.74 bleu 0.30, Wed Dec 12 20:38:19 2018\r\n",
      "  step 30700 lr 1 step-time 0.31s wps 16.88K ppl 37.00 gN 3.73 bleu 0.30, Wed Dec 12 20:38:50 2018\r\n",
      "  step 30800 lr 1 step-time 0.31s wps 17.07K ppl 37.65 gN 3.89 bleu 0.30, Wed Dec 12 20:39:20 2018\r\n",
      "  step 30900 lr 1 step-time 0.31s wps 16.92K ppl 37.03 gN 3.86 bleu 0.30, Wed Dec 12 20:39:51 2018\r\n",
      "  step 31000 lr 1 step-time 0.31s wps 16.90K ppl 37.44 gN 3.92 bleu 0.30, Wed Dec 12 20:40:22 2018\r\n",
      "# Save eval, global step 31000\r\n",
      "2018-12-12 20:40:22.674571: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:40:22.674825: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:40:22.674571: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-31000, time 0.07s\r\n",
      "  # 1425\r\n",
      "    src: You could of course install a stair lift inside the apartment, but the cobbled path up to the door of the apartment, featuring a number of steps would be a much greater hindrance.\r\n",
      "    ref: Zwar könnte man innerhalb der Wohnung einen Treppenlift installieren, der ebenfalls mit Treppen gepflasterte Weg bis an die Wohnungstür wäre aber das weitaus größere Hindernis.\r\n",
      "    nmt: Sie benötigen eine <unk> in der <unk> aber eine <unk> <unk> die eine Menge von <unk> <unk>\r\n",
      "2018-12-12 20:40:22.838869: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:40:22.839112: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:40:22.838872: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-31000, time 0.08s\r\n",
      "  eval dev: perplexity 37.60, time 3s, Wed Dec 12 20:40:26 2018.\r\n",
      "  eval test: perplexity 37.68, time 3s, Wed Dec 12 20:40:30 2018.\r\n",
      "  step 31100 lr 1 step-time 0.31s wps 16.94K ppl 36.89 gN 3.80 bleu 0.30, Wed Dec 12 20:41:01 2018\r\n",
      "  step 31200 lr 1 step-time 0.30s wps 16.86K ppl 36.50 gN 3.96 bleu 0.30, Wed Dec 12 20:41:31 2018\r\n",
      "  step 31300 lr 1 step-time 0.31s wps 16.96K ppl 37.71 gN 3.82 bleu 0.30, Wed Dec 12 20:42:02 2018\r\n",
      "  step 31400 lr 1 step-time 0.31s wps 16.78K ppl 36.89 gN 3.92 bleu 0.30, Wed Dec 12 20:42:33 2018\r\n",
      "  step 31500 lr 1 step-time 0.31s wps 16.83K ppl 37.04 gN 4.03 bleu 0.30, Wed Dec 12 20:43:04 2018\r\n",
      "  step 31600 lr 1 step-time 0.31s wps 16.62K ppl 36.52 gN 3.96 bleu 0.30, Wed Dec 12 20:43:36 2018\r\n",
      "  step 31700 lr 1 step-time 0.31s wps 16.63K ppl 36.57 gN 3.85 bleu 0.30, Wed Dec 12 20:44:07 2018\r\n",
      "  step 31800 lr 1 step-time 0.31s wps 16.77K ppl 36.11 gN 3.80 bleu 0.30, Wed Dec 12 20:44:38 2018\r\n",
      "  step 31900 lr 1 step-time 0.31s wps 16.86K ppl 35.49 gN 3.70 bleu 0.30, Wed Dec 12 20:45:09 2018\r\n",
      "  step 32000 lr 1 step-time 0.31s wps 16.79K ppl 36.88 gN 4.15 bleu 0.30, Wed Dec 12 20:45:40 2018\r\n",
      "# Save eval, global step 32000\r\n",
      "2018-12-12 20:45:40.922577: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:45:40.922820: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:45:40.923235: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-32000, time 0.07s\r\n",
      "  # 318\r\n",
      "    src: However he said that he was heartened by the worldwide response to \"my act of political expression.\"\r\n",
      "    ref: Er sei jedoch berührt von der weltweiten Reaktion auf „meinen Akt der politischen Meinungsäußerung“.\r\n",
      "    nmt: <unk> er <unk> dass er <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 20:45:41.109163: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:45:41.109425: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:45:41.109163: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-32000, time 0.08s\r\n",
      "  eval dev: perplexity 30.99, time 3s, Wed Dec 12 20:45:44 2018.\r\n",
      "  eval test: perplexity 31.73, time 3s, Wed Dec 12 20:45:48 2018.\r\n",
      "  step 32100 lr 1 step-time 0.31s wps 16.93K ppl 36.15 gN 4.04 bleu 0.30, Wed Dec 12 20:46:19 2018\r\n",
      "  step 32200 lr 1 step-time 0.31s wps 16.88K ppl 35.70 gN 3.91 bleu 0.30, Wed Dec 12 20:46:50 2018\r\n",
      "  step 32300 lr 1 step-time 0.31s wps 16.90K ppl 35.68 gN 3.92 bleu 0.30, Wed Dec 12 20:47:21 2018\r\n",
      "  step 32400 lr 1 step-time 0.31s wps 16.92K ppl 36.27 gN 3.97 bleu 0.30, Wed Dec 12 20:47:52 2018\r\n",
      "  step 32500 lr 1 step-time 0.31s wps 16.77K ppl 36.19 gN 4.16 bleu 0.30, Wed Dec 12 20:48:23 2018\r\n",
      "  step 32600 lr 1 step-time 0.31s wps 16.94K ppl 35.06 gN 3.75 bleu 0.30, Wed Dec 12 20:48:54 2018\r\n",
      "  step 32700 lr 1 step-time 0.31s wps 17.10K ppl 36.31 gN 4.14 bleu 0.30, Wed Dec 12 20:49:24 2018\r\n",
      "  step 32800 lr 1 step-time 0.31s wps 16.93K ppl 36.62 gN 3.90 bleu 0.30, Wed Dec 12 20:49:55 2018\r\n",
      "  step 32900 lr 1 step-time 0.31s wps 17.22K ppl 37.54 gN 3.99 bleu 0.30, Wed Dec 12 20:50:26 2018\r\n",
      "  step 33000 lr 1 step-time 0.31s wps 17.32K ppl 38.18 gN 4.13 bleu 0.30, Wed Dec 12 20:50:57 2018\r\n",
      "# Save eval, global step 33000\r\n",
      "2018-12-12 20:50:57.917828: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:50:57.918167: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:50:57.918477: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-33000, time 0.07s\r\n",
      "  # 1829\r\n",
      "    src: Former NSW Labor minister Joe Tripodi will be investigated by the state's corruption watchdog.\r\n",
      "    ref: Gegen den früheren Minister der Labor-Partei Joe Tripodi aus New South Wales wird eine Ermittlung durch die staatliche Korruptionsaufsicht eingeleitet.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 20:50:58.087108: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:50:58.087327: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 20:50:58.087507: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-33000, time 0.08s\r\n",
      "  eval dev: perplexity 31.48, time 3s, Wed Dec 12 20:51:01 2018.\r\n",
      "  eval test: perplexity 32.10, time 3s, Wed Dec 12 20:51:05 2018.\r\n",
      "  step 33100 lr 1 step-time 0.31s wps 17.64K ppl 39.68 gN 4.47 bleu 0.30, Wed Dec 12 20:51:37 2018\r\n",
      "  step 33200 lr 1 step-time 0.31s wps 17.56K ppl 40.22 gN 4.38 bleu 0.30, Wed Dec 12 20:52:08 2018\r\n",
      "  step 33300 lr 1 step-time 0.31s wps 17.64K ppl 39.23 gN 4.56 bleu 0.30, Wed Dec 12 20:52:39 2018\r\n",
      "  step 33400 lr 1 step-time 0.31s wps 17.76K ppl 39.34 gN 4.37 bleu 0.30, Wed Dec 12 20:53:10 2018\r\n",
      "  step 33500 lr 1 step-time 0.31s wps 17.81K ppl 39.69 gN 5.00 bleu 0.30, Wed Dec 12 20:53:41 2018\r\n",
      "  step 33600 lr 1 step-time 0.31s wps 18.04K ppl 40.18 gN 4.87 bleu 0.30, Wed Dec 12 20:54:12 2018\r\n",
      "  step 33700 lr 1 step-time 0.31s wps 18.05K ppl 39.07 gN 4.82 bleu 0.30, Wed Dec 12 20:54:43 2018\r\n",
      "  step 33800 lr 1 step-time 0.31s wps 18.13K ppl 39.14 gN 4.85 bleu 0.30, Wed Dec 12 20:55:14 2018\r\n",
      "  step 33900 lr 1 step-time 0.32s wps 17.95K ppl 39.20 gN 5.05 bleu 0.30, Wed Dec 12 20:55:45 2018\r\n",
      "  step 34000 lr 1 step-time 0.32s wps 17.79K ppl 38.85 gN 5.27 bleu 0.30, Wed Dec 12 20:56:18 2018\r\n",
      "# Save eval, global step 34000\r\n",
      "2018-12-12 20:56:18.574067: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:56:18.574325: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:56:18.574561: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-34000, time 0.07s\r\n",
      "  # 1329\r\n",
      "    src: Doctors couldn't be sure if he had a large clitoris or a small penis and were convinced he could never live a \"satisfactory life\" as a man.\r\n",
      "    ref: Die Ärzte waren sich nicht klar darüber, ob er eine große Klitoris oder einen kleinen Penis hatte und waren überzeugt, er könne niemals ein „befriedigendes Leben“ als Mann führen.\r\n",
      "    nmt: <unk> <unk> <unk> wenn er ein großes oder ein wenig oder ein wenig <unk> <unk> <unk> ist nie ein kleiner als ein kleiner als ein <unk>\r\n",
      "2018-12-12 20:56:18.759729: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:56:18.759835: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 20:56:18.760005: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-34000, time 0.09s\r\n",
      "  eval dev: perplexity 39.70, time 3s, Wed Dec 12 20:56:22 2018.\r\n",
      "  eval test: perplexity 39.85, time 3s, Wed Dec 12 20:56:26 2018.\r\n",
      "  step 34100 lr 1 step-time 0.31s wps 18.10K ppl 38.35 gN 5.01 bleu 0.30, Wed Dec 12 20:56:57 2018\r\n",
      "  step 34200 lr 1 step-time 0.31s wps 18.26K ppl 37.16 gN 5.16 bleu 0.30, Wed Dec 12 20:57:28 2018\r\n",
      "  step 34300 lr 1 step-time 0.31s wps 18.34K ppl 37.24 gN 5.25 bleu 0.30, Wed Dec 12 20:57:59 2018\r\n",
      "  step 34400 lr 1 step-time 0.31s wps 18.22K ppl 35.79 gN 4.86 bleu 0.30, Wed Dec 12 20:58:30 2018\r\n",
      "  step 34500 lr 1 step-time 0.32s wps 18.35K ppl 36.47 gN 5.35 bleu 0.30, Wed Dec 12 20:59:01 2018\r\n",
      "  step 34600 lr 1 step-time 0.31s wps 18.36K ppl 36.05 gN 5.41 bleu 0.30, Wed Dec 12 20:59:32 2018\r\n",
      "  step 34700 lr 1 step-time 0.31s wps 18.45K ppl 35.29 gN 5.33 bleu 0.30, Wed Dec 12 21:00:04 2018\r\n",
      "  step 34800 lr 1 step-time 0.31s wps 18.29K ppl 34.74 gN 5.50 bleu 0.30, Wed Dec 12 21:00:34 2018\r\n",
      "  step 34900 lr 1 step-time 0.32s wps 18.38K ppl 34.85 gN 5.52 bleu 0.30, Wed Dec 12 21:01:06 2018\r\n",
      "  step 35000 lr 1 step-time 0.31s wps 18.40K ppl 33.67 gN 5.09 bleu 0.30, Wed Dec 12 21:01:37 2018\r\n",
      "# Save eval, global step 35000\r\n",
      "2018-12-12 21:01:38.232376: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:01:38.232376: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:01:38.232630: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-35000, time 0.07s\r\n",
      "  # 2812\r\n",
      "    src: Each of these weekend clinics provides a variety of medical care.\r\n",
      "    ref: Jede dieser Wochenendkliniken bietet medizinische Versorgung in einer Reihe von Bereichen an.\r\n",
      "    nmt: Alle Ereignisse der <unk> bieten eine Vielzahl von Möglichkeiten für die <unk>\r\n",
      "2018-12-12 21:01:38.370800: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:01:38.370801: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:01:38.371082: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-35000, time 0.08s\r\n",
      "  eval dev: perplexity 34.28, time 3s, Wed Dec 12 21:01:42 2018.\r\n",
      "  eval test: perplexity 34.24, time 3s, Wed Dec 12 21:01:46 2018.\r\n",
      "2018-12-12 21:01:46.993283: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:01:46.993507: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:01:46.993645: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-35000, time 0.07s\r\n",
      "  # 2463\r\n",
      "    src: Public office is about public service.\r\n",
      "    ref: Bei einem öffentlichen Amt gehe es um den Dienst an der Öffentlichkeit.\r\n",
      "    nmt: Die öffentliche Meinung ist über die öffentliche <unk>\r\n",
      "2018-12-12 21:01:47.104435: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:01:47.104435: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:01:47.104667: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-35000, time 0.07s\r\n",
      "# External evaluation, global step 35000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 40s, Wed Dec 12 21:02:27 2018.\r\n",
      "  bleu dev: 1.4\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 35000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 39s, Wed Dec 12 21:03:07 2018.\r\n",
      "  bleu test: 1.8\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 35100 lr 1 step-time 0.31s wps 18.31K ppl 34.02 gN 5.28 bleu 1.43, Wed Dec 12 21:03:39 2018\r\n",
      "  step 35200 lr 1 step-time 0.31s wps 18.34K ppl 34.80 gN 5.78 bleu 1.43, Wed Dec 12 21:04:10 2018\r\n",
      "  step 35300 lr 1 step-time 0.31s wps 18.27K ppl 32.46 gN 5.13 bleu 1.43, Wed Dec 12 21:04:41 2018\r\n",
      "  step 35400 lr 1 step-time 0.32s wps 18.33K ppl 33.69 gN 5.64 bleu 1.43, Wed Dec 12 21:05:13 2018\r\n",
      "  step 35500 lr 1 step-time 0.31s wps 18.14K ppl 32.36 gN 5.09 bleu 1.43, Wed Dec 12 21:05:44 2018\r\n",
      "# Finished an epoch, step 35542. Perform external evaluation\r\n",
      "2018-12-12 21:05:57.558380: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:05:57.558380: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:05:57.558701: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-35000, time 0.07s\r\n",
      "  # 894\r\n",
      "    src: As the town's contribution to the 150th anniversary of the Protestant Church in Haigerloch, the town's Office of Culture and Tourism is to dedicate the last of this year's public thematic tours on Sunday 27 October to the Abendsmahlskirche (Church of the Holy Communion).\r\n",
      "    ref: Als Beitrag der Stadt zum 150-jährigen Bestehend der Evangelischen Kirche in Haigerloch widmet das Kultur- und Tourismusbüro der Stadt die letzte ihrer diesjährigen öffentlichen Themenführungen am Sonntag, 27. Oktober, der Abendmahlskirche.\r\n",
      "    nmt: Der <unk> der <unk> der <unk> der Stadt <unk> ist die letzte <unk> der <unk> und der <unk> der <unk> der <unk> der <unk> der <unk> der <unk> der <unk>\r\n",
      "2018-12-12 21:05:57.742371: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:05:57.742389: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:05:57.742637: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-35000, time 0.07s\r\n",
      "# External evaluation, global step 35000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 39s, Wed Dec 12 21:06:37 2018.\r\n",
      "  bleu dev: 1.4\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 35000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 37s, Wed Dec 12 21:07:15 2018.\r\n",
      "  bleu test: 1.8\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 35600 lr 1 step-time 0.44s wps 13.05K ppl 38.79 gN 6.03 bleu 1.43, Wed Dec 12 21:07:47 2018\r\n",
      "  step 35700 lr 1 step-time 0.45s wps 13.80K ppl 37.83 gN 5.28 bleu 1.43, Wed Dec 12 21:08:32 2018\r\n",
      "  step 35800 lr 1 step-time 0.44s wps 13.84K ppl 35.15 gN 5.19 bleu 1.43, Wed Dec 12 21:09:17 2018\r\n",
      "  step 35900 lr 1 step-time 0.44s wps 14.01K ppl 33.84 gN 4.92 bleu 1.43, Wed Dec 12 21:10:00 2018\r\n",
      "  step 36000 lr 1 step-time 0.42s wps 14.52K ppl 32.51 gN 4.83 bleu 1.43, Wed Dec 12 21:10:43 2018\r\n",
      "# Save eval, global step 36000\r\n",
      "2018-12-12 21:10:44.405281: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:10:44.405415: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:10:44.405479: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-36000, time 0.11s\r\n",
      "  # 1985\r\n",
      "    src: Syria has destroyed critical equipment for producing chemical weapons and poison gas munitions, the global chemical weapons watchdog said Thursday as fierce clashes raged in the country's north, close to one of the sites where toxic agents are believed to be stored.\r\n",
      "    ref: Syrien habe wichtige Einrichtungen zur Herstellung von Chemiewaffen und Gitftgasmunition zerstört, erklärte die globale Überwachungsgruppe für Chemiewaffen am Donnerstag, während es im Norden des Landes zu schweren Zusammenstößen in der Nähe eines der Standorte kam, an denen mutmaßlich giftige Substanzen gelagert werden.\r\n",
      "    nmt: Syrien hat eng mit den <unk> und <unk> <unk> die sich auf die <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 21:10:44.748845: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:10:44.749037: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:10:44.749151: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-36000, time 0.17s\r\n",
      "  eval dev: perplexity 29.43, time 5s, Wed Dec 12 21:10:49 2018.\r\n",
      "  eval test: perplexity 29.10, time 4s, Wed Dec 12 21:10:54 2018.\r\n",
      "  step 36100 lr 1 step-time 0.37s wps 16.50K ppl 32.96 gN 5.19 bleu 1.43, Wed Dec 12 21:11:31 2018\r\n",
      "  step 36200 lr 1 step-time 0.34s wps 18.35K ppl 31.57 gN 4.91 bleu 1.43, Wed Dec 12 21:12:05 2018\r\n",
      "  step 36300 lr 1 step-time 0.34s wps 18.32K ppl 31.14 gN 4.89 bleu 1.43, Wed Dec 12 21:12:39 2018\r\n",
      "  step 36400 lr 1 step-time 0.34s wps 18.25K ppl 30.90 gN 4.98 bleu 1.43, Wed Dec 12 21:13:13 2018\r\n",
      "  step 36500 lr 1 step-time 0.34s wps 18.29K ppl 29.85 gN 4.76 bleu 1.43, Wed Dec 12 21:13:47 2018\r\n",
      "  step 36600 lr 1 step-time 0.34s wps 18.11K ppl 30.30 gN 4.97 bleu 1.43, Wed Dec 12 21:14:21 2018\r\n",
      "  step 36700 lr 1 step-time 0.35s wps 18.05K ppl 30.28 gN 5.27 bleu 1.43, Wed Dec 12 21:14:55 2018\r\n",
      "  step 36800 lr 1 step-time 0.34s wps 18.18K ppl 29.34 gN 5.01 bleu 1.43, Wed Dec 12 21:15:29 2018\r\n",
      "  step 36900 lr 1 step-time 0.34s wps 18.39K ppl 29.23 gN 5.01 bleu 1.43, Wed Dec 12 21:16:03 2018\r\n",
      "  step 37000 lr 1 step-time 0.34s wps 18.46K ppl 28.93 gN 4.91 bleu 1.43, Wed Dec 12 21:16:37 2018\r\n",
      "# Save eval, global step 37000\r\n",
      "2018-12-12 21:16:37.906521: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:16:37.906720: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:16:37.906841: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-37000, time 0.07s\r\n",
      "  # 1418\r\n",
      "    src: Therefore the experience of the Stiftung Warentest consumer study is also that elderly people in particular would accept inconveniences and limitations just to be able to remain in their usual environment.\r\n",
      "    ref: Deshalb würden gerade ältere Menschen häufig auch Unbequemlichkeiten und Einschränkungen in Kauf nehmen, nur um in ihrer gewohnten Umgebung bleiben zu können, das ist auch die Erfahrung der Stiftung Warentest.\r\n",
      "    nmt: Deshalb <unk> die Erfahrungen der <unk> <unk> <unk> <unk> <unk> <unk> und <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 21:16:38.056033: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:16:38.056116: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:16:38.056291: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-37000, time 0.08s\r\n",
      "  eval dev: perplexity 30.35, time 3s, Wed Dec 12 21:16:41 2018.\r\n",
      "  eval test: perplexity 29.62, time 3s, Wed Dec 12 21:16:45 2018.\r\n",
      "  step 37100 lr 1 step-time 0.34s wps 18.59K ppl 29.07 gN 5.13 bleu 1.43, Wed Dec 12 21:17:19 2018\r\n",
      "  step 37200 lr 1 step-time 0.34s wps 18.35K ppl 27.58 gN 4.68 bleu 1.43, Wed Dec 12 21:17:53 2018\r\n",
      "  step 37300 lr 1 step-time 0.34s wps 18.30K ppl 28.21 gN 5.06 bleu 1.43, Wed Dec 12 21:18:27 2018\r\n",
      "  step 37400 lr 1 step-time 0.34s wps 18.32K ppl 27.65 gN 5.03 bleu 1.43, Wed Dec 12 21:19:00 2018\r\n",
      "  step 37500 lr 1 step-time 0.34s wps 18.27K ppl 27.65 gN 5.36 bleu 1.43, Wed Dec 12 21:19:35 2018\r\n",
      "  step 37600 lr 1 step-time 0.34s wps 18.10K ppl 27.22 gN 5.14 bleu 1.43, Wed Dec 12 21:20:09 2018\r\n",
      "  step 37700 lr 1 step-time 0.34s wps 18.22K ppl 27.14 gN 5.04 bleu 1.43, Wed Dec 12 21:20:43 2018\r\n",
      "  step 37800 lr 1 step-time 0.34s wps 18.10K ppl 26.08 gN 4.85 bleu 1.43, Wed Dec 12 21:21:17 2018\r\n",
      "  step 37900 lr 1 step-time 0.35s wps 18.10K ppl 26.49 gN 5.03 bleu 1.43, Wed Dec 12 21:21:52 2018\r\n",
      "  step 38000 lr 1 step-time 0.34s wps 18.08K ppl 26.32 gN 5.23 bleu 1.43, Wed Dec 12 21:22:26 2018\r\n",
      "# Save eval, global step 38000\r\n",
      "2018-12-12 21:22:27.195712: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:22:27.195953: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:22:27.196134: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-38000, time 0.07s\r\n",
      "  # 1541\r\n",
      "    src: Charlie, founder of the \"Lick Me I'm Delicious\" ice cream company, said: \"It is incredible stuff but still at very early days in terms of production, so £200 gets you about 2g of the stuff.\"\r\n",
      "    ref: Charlie, Gründer der Eiscremefirma „Lick Me I'm Delicious“, sagt: „Das Produkt ist unglaublich, aber noch in einer sehr frühen Produktionsphase, und so bekommt man zwei Gramm davon für 200 Pfund.“\r\n",
      "    nmt: Die <unk> des <unk> <unk> <unk> ist jedoch noch immer wieder <unk> aber noch immer noch immer mehr Uhr in der <unk>\r\n",
      "2018-12-12 21:22:27.381184: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:22:27.381184: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:22:27.381447: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-38000, time 0.09s\r\n",
      "  eval dev: perplexity 41.31, time 3s, Wed Dec 12 21:22:31 2018.\r\n",
      "  eval test: perplexity 39.22, time 3s, Wed Dec 12 21:22:35 2018.\r\n",
      "  step 38100 lr 1 step-time 0.34s wps 18.08K ppl 25.74 gN 4.88 bleu 1.43, Wed Dec 12 21:23:09 2018\r\n",
      "  step 38200 lr 1 step-time 0.34s wps 18.13K ppl 25.96 gN 5.17 bleu 1.43, Wed Dec 12 21:23:43 2018\r\n",
      "  step 38300 lr 1 step-time 0.35s wps 18.15K ppl 25.96 gN 5.44 bleu 1.43, Wed Dec 12 21:24:18 2018\r\n",
      "  step 38400 lr 1 step-time 0.34s wps 18.19K ppl 25.97 gN 5.53 bleu 1.43, Wed Dec 12 21:24:52 2018\r\n",
      "  step 38500 lr 1 step-time 0.34s wps 17.94K ppl 24.97 gN 4.93 bleu 1.43, Wed Dec 12 21:25:27 2018\r\n",
      "  step 38600 lr 1 step-time 0.34s wps 18.04K ppl 25.26 gN 5.23 bleu 1.43, Wed Dec 12 21:26:01 2018\r\n",
      "  step 38700 lr 1 step-time 0.35s wps 17.95K ppl 25.06 gN 5.28 bleu 1.43, Wed Dec 12 21:26:36 2018\r\n",
      "  step 38800 lr 1 step-time 0.35s wps 17.75K ppl 24.36 gN 5.04 bleu 1.43, Wed Dec 12 21:27:11 2018\r\n",
      "  step 38900 lr 1 step-time 0.35s wps 17.77K ppl 25.16 gN 5.50 bleu 1.43, Wed Dec 12 21:27:46 2018\r\n",
      "  step 39000 lr 1 step-time 0.35s wps 17.95K ppl 24.27 gN 5.03 bleu 1.43, Wed Dec 12 21:28:21 2018\r\n",
      "# Save eval, global step 39000\r\n",
      "2018-12-12 21:28:21.998014: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:28:21.998157: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:28:21.998225: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-39000, time 0.07s\r\n",
      "  # 1642\r\n",
      "    src: Additionally, the Defender Challenge will provide a training and test day in February, as well as the option to compete in desert events in North Africa and the Middle East.\r\n",
      "    ref: Darüber hinaus gibt es bei der Defender Challenge einen Trainings- und Testtag im Februar sowie die Option, an Wüstenrennen in Nordafrika und dem Nahen Osten teilzunehmen.\r\n",
      "    nmt: Die <unk> wird die <unk> und die <unk> in den USA und die <unk> in den Niederlanden und den Nahen Osten in den Niederlanden in Afrika <unk>\r\n",
      "2018-12-12 21:28:22.186058: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:28:22.186123: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:28:22.186327: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-39000, time 0.09s\r\n",
      "  eval dev: perplexity 34.97, time 3s, Wed Dec 12 21:28:26 2018.\r\n",
      "  eval test: perplexity 33.70, time 3s, Wed Dec 12 21:28:30 2018.\r\n",
      "  step 39100 lr 1 step-time 0.35s wps 17.97K ppl 24.06 gN 5.13 bleu 1.43, Wed Dec 12 21:29:04 2018\r\n",
      "  step 39200 lr 1 step-time 0.35s wps 17.97K ppl 23.92 gN 5.14 bleu 1.43, Wed Dec 12 21:29:39 2018\r\n",
      "  step 39300 lr 1 step-time 0.35s wps 17.97K ppl 23.79 gN 5.32 bleu 1.43, Wed Dec 12 21:30:14 2018\r\n",
      "  step 39400 lr 1 step-time 0.35s wps 18.04K ppl 23.43 gN 5.07 bleu 1.43, Wed Dec 12 21:30:49 2018\r\n",
      "  step 39500 lr 1 step-time 0.35s wps 17.91K ppl 23.08 gN 5.24 bleu 1.43, Wed Dec 12 21:31:24 2018\r\n",
      "  step 39600 lr 1 step-time 0.35s wps 17.80K ppl 23.29 gN 5.51 bleu 1.43, Wed Dec 12 21:31:59 2018\r\n",
      "  step 39700 lr 1 step-time 0.34s wps 18.20K ppl 22.89 gN 5.03 bleu 1.43, Wed Dec 12 21:32:33 2018\r\n",
      "  step 39800 lr 1 step-time 0.33s wps 18.41K ppl 23.38 gN 5.61 bleu 1.43, Wed Dec 12 21:33:06 2018\r\n",
      "  step 39900 lr 1 step-time 0.34s wps 18.37K ppl 22.94 gN 5.43 bleu 1.43, Wed Dec 12 21:33:40 2018\r\n",
      "  step 40000 lr 1 step-time 0.34s wps 18.02K ppl 22.46 gN 5.21 bleu 1.43, Wed Dec 12 21:34:15 2018\r\n",
      "# Save eval, global step 40000\r\n",
      "2018-12-12 21:34:15.742329: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:34:15.742540: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:34:15.742685: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-40000, time 0.07s\r\n",
      "  # 2998\r\n",
      "    src: \"It's obviously been a worrying time but we're hopeful to have her back home safely as soon as possible,\" Tunks said.\r\n",
      "    ref: „Wir machen uns natürlich große Sorgen, aber wir hoffen, dass sie so bald wie möglich wieder zu Hause ist“, sagte Tunks.\r\n",
      "    nmt: Die <unk> ist jedoch ein äußerst langer Zeit <unk> doch die <unk> ist <unk> die <unk> zu <unk>\r\n",
      "2018-12-12 21:34:15.896152: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:34:15.896399: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:34:15.896152: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-40000, time 0.09s\r\n",
      "  eval dev: perplexity 29.13, time 3s, Wed Dec 12 21:34:19 2018.\r\n",
      "  eval test: perplexity 27.97, time 3s, Wed Dec 12 21:34:23 2018.\r\n",
      "2018-12-12 21:34:24.478417: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:34:24.478417: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:34:24.478687: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-40000, time 0.07s\r\n",
      "  # 1547\r\n",
      "    src: It tastes pretty good though.\r\n",
      "    ref: Aber dafür schmeckt es lecker.\r\n",
      "    nmt: Es ist gut <unk>\r\n",
      "2018-12-12 21:34:24.577778: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:34:24.577824: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:34:24.578049: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-40000, time 0.07s\r\n",
      "# External evaluation, global step 40000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 30s, Wed Dec 12 21:34:55 2018.\r\n",
      "  bleu dev: 1.9\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 40000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 28s, Wed Dec 12 21:35:24 2018.\r\n",
      "  bleu test: 2.3\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 40100 lr 1 step-time 0.34s wps 18.07K ppl 22.17 gN 5.24 bleu 1.89, Wed Dec 12 21:35:59 2018\r\n",
      "  step 40200 lr 1 step-time 0.34s wps 18.29K ppl 22.26 gN 5.15 bleu 1.89, Wed Dec 12 21:36:33 2018\r\n",
      "  step 40300 lr 1 step-time 0.34s wps 18.12K ppl 21.94 gN 5.22 bleu 1.89, Wed Dec 12 21:37:07 2018\r\n",
      "  step 40400 lr 1 step-time 0.34s wps 18.19K ppl 22.14 gN 5.47 bleu 1.89, Wed Dec 12 21:37:41 2018\r\n",
      "  step 40500 lr 1 step-time 0.34s wps 18.17K ppl 21.86 gN 5.32 bleu 1.89, Wed Dec 12 21:38:15 2018\r\n",
      "  step 40600 lr 1 step-time 0.34s wps 18.20K ppl 21.67 gN 5.12 bleu 1.89, Wed Dec 12 21:38:49 2018\r\n",
      "  step 40700 lr 1 step-time 0.35s wps 17.88K ppl 21.70 gN 5.27 bleu 1.89, Wed Dec 12 21:39:24 2018\r\n",
      "  step 40800 lr 1 step-time 0.35s wps 17.95K ppl 22.14 gN 5.77 bleu 1.89, Wed Dec 12 21:39:58 2018\r\n",
      "  step 40900 lr 1 step-time 0.34s wps 18.07K ppl 21.35 gN 5.19 bleu 1.89, Wed Dec 12 21:40:33 2018\r\n",
      "  step 41000 lr 1 step-time 0.34s wps 18.03K ppl 21.20 gN 5.16 bleu 1.89, Wed Dec 12 21:41:07 2018\r\n",
      "# Save eval, global step 41000\r\n",
      "2018-12-12 21:41:07.380898: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:41:07.381159: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:41:07.380898: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-41000, time 0.07s\r\n",
      "  # 1403\r\n",
      "    src: \"However, which type of residence you choose is always a personal decision,\" she explains.\r\n",
      "    ref: 'Welche Wohnform man aber wählt, ist immer eine Individualentscheidung', erklärt sie.\r\n",
      "    nmt: <unk> die Sie <unk> ist <unk> <unk> Sie haben immer ein persönliches <unk>\r\n",
      "2018-12-12 21:41:07.516817: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:41:07.516899: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:41:07.517075: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-41000, time 0.08s\r\n",
      "  eval dev: perplexity 28.12, time 3s, Wed Dec 12 21:41:11 2018.\r\n",
      "  eval test: perplexity 27.68, time 3s, Wed Dec 12 21:41:15 2018.\r\n",
      "  step 41100 lr 1 step-time 0.34s wps 18.17K ppl 20.92 gN 5.15 bleu 1.89, Wed Dec 12 21:41:48 2018\r\n",
      "  step 41200 lr 1 step-time 0.34s wps 18.14K ppl 21.04 gN 5.29 bleu 1.89, Wed Dec 12 21:42:22 2018\r\n",
      "  step 41300 lr 1 step-time 0.34s wps 18.28K ppl 21.12 gN 5.30 bleu 1.89, Wed Dec 12 21:42:56 2018\r\n",
      "  step 41400 lr 1 step-time 0.34s wps 18.16K ppl 20.84 gN 5.19 bleu 1.89, Wed Dec 12 21:43:30 2018\r\n",
      "  step 41500 lr 1 step-time 0.34s wps 18.32K ppl 21.03 gN 5.38 bleu 1.89, Wed Dec 12 21:44:04 2018\r\n",
      "  step 41600 lr 1 step-time 0.34s wps 18.10K ppl 20.10 gN 5.08 bleu 1.89, Wed Dec 12 21:44:37 2018\r\n",
      "  step 41700 lr 1 step-time 0.34s wps 18.03K ppl 19.88 gN 5.08 bleu 1.89, Wed Dec 12 21:45:11 2018\r\n",
      "  step 41800 lr 1 step-time 0.34s wps 17.86K ppl 20.21 gN 5.22 bleu 1.89, Wed Dec 12 21:45:45 2018\r\n",
      "  step 41900 lr 1 step-time 0.34s wps 18.10K ppl 20.17 gN 5.41 bleu 1.89, Wed Dec 12 21:46:19 2018\r\n",
      "  step 42000 lr 1 step-time 0.33s wps 18.18K ppl 19.79 gN 5.49 bleu 1.89, Wed Dec 12 21:46:52 2018\r\n",
      "# Save eval, global step 42000\r\n",
      "2018-12-12 21:46:53.031297: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:46:53.031515: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:46:53.031667: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-42000, time 0.07s\r\n",
      "  # 1895\r\n",
      "    src: \"Once an airline verifies the tolerance of its fleet, it can allow passengers to use handheld, lightweight electronic devices such as tablets, e-readers, and smartphones-at all altitudes,\" the FAA said.\r\n",
      "    ref: „Nachdem eine Fluggesellschaft die Toleranz ihrer Flotte bestätigt hat, kann sie Passagieren das Verwenden tragbarer, leichter elektronischer Geräte wie Tablets, E-Book-Lesegeräte und Smartphones in jeder Höhe erlauben“, gab die FAA bekannt.\r\n",
      "    nmt: Eine <unk> der <unk> der <unk> kann <unk> dass <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> und <unk> <unk>\r\n",
      "2018-12-12 21:46:53.195029: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:46:53.195296: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 21:46:53.195029: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-42000, time 0.08s\r\n",
      "  eval dev: perplexity 28.06, time 3s, Wed Dec 12 21:46:56 2018.\r\n",
      "  eval test: perplexity 27.35, time 3s, Wed Dec 12 21:47:00 2018.\r\n",
      "  step 42100 lr 1 step-time 0.33s wps 18.10K ppl 19.92 gN 5.25 bleu 1.89, Wed Dec 12 21:47:34 2018\r\n",
      "  step 42200 lr 1 step-time 0.34s wps 18.05K ppl 19.52 gN 5.23 bleu 1.89, Wed Dec 12 21:48:08 2018\r\n",
      "  step 42300 lr 1 step-time 0.33s wps 17.98K ppl 19.15 gN 5.07 bleu 1.89, Wed Dec 12 21:48:41 2018\r\n",
      "  step 42400 lr 1 step-time 0.33s wps 18.24K ppl 19.40 gN 5.35 bleu 1.89, Wed Dec 12 21:49:14 2018\r\n",
      "  step 42500 lr 1 step-time 0.33s wps 17.99K ppl 19.00 gN 5.32 bleu 1.89, Wed Dec 12 21:49:48 2018\r\n",
      "  step 42600 lr 1 step-time 0.33s wps 17.95K ppl 18.94 gN 5.28 bleu 1.89, Wed Dec 12 21:50:21 2018\r\n",
      "  step 42700 lr 1 step-time 0.34s wps 18.15K ppl 18.90 gN 5.13 bleu 1.89, Wed Dec 12 21:50:54 2018\r\n",
      "  step 42800 lr 1 step-time 0.34s wps 17.75K ppl 18.59 gN 5.04 bleu 1.89, Wed Dec 12 21:51:28 2018\r\n",
      "  step 42900 lr 1 step-time 0.34s wps 17.59K ppl 18.70 gN 5.33 bleu 1.89, Wed Dec 12 21:52:02 2018\r\n",
      "  step 43000 lr 1 step-time 0.33s wps 18.01K ppl 18.76 gN 5.25 bleu 1.89, Wed Dec 12 21:52:35 2018\r\n",
      "# Save eval, global step 43000\r\n",
      "2018-12-12 21:52:36.168319: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:52:36.168571: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:52:36.168911: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-43000, time 0.07s\r\n",
      "  # 1381\r\n",
      "    src: Furthermore, in the town centre area, while a few fireworks were set off, no material damage was caused here either.\r\n",
      "    ref: Desweiteren wurden im Stadtgebiet wohl auch einige Sylvesterböller gezündet, aber auch hier ist kein Sachschaden entstanden.\r\n",
      "    nmt: <unk> in den städtischen Gebieten <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 21:52:36.312252: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:52:36.312407: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:52:36.312522: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-43000, time 0.08s\r\n",
      "  eval dev: perplexity 27.70, time 3s, Wed Dec 12 21:52:40 2018.\r\n",
      "  eval test: perplexity 28.28, time 3s, Wed Dec 12 21:52:43 2018.\r\n",
      "  step 43100 lr 1 step-time 0.33s wps 18.07K ppl 18.49 gN 5.40 bleu 1.89, Wed Dec 12 21:53:17 2018\r\n",
      "  step 43200 lr 1 step-time 0.33s wps 18.15K ppl 18.41 gN 5.08 bleu 1.89, Wed Dec 12 21:53:50 2018\r\n",
      "  step 43300 lr 1 step-time 0.33s wps 18.17K ppl 18.36 gN 5.32 bleu 1.89, Wed Dec 12 21:54:23 2018\r\n",
      "  step 43400 lr 1 step-time 0.34s wps 18.03K ppl 18.13 gN 5.45 bleu 1.89, Wed Dec 12 21:54:57 2018\r\n",
      "  step 43500 lr 1 step-time 0.33s wps 18.24K ppl 17.79 gN 5.24 bleu 1.89, Wed Dec 12 21:55:30 2018\r\n",
      "  step 43600 lr 1 step-time 0.33s wps 18.10K ppl 17.75 gN 5.40 bleu 1.89, Wed Dec 12 21:56:03 2018\r\n",
      "  step 43700 lr 1 step-time 0.34s wps 18.13K ppl 17.19 gN 5.24 bleu 1.89, Wed Dec 12 21:56:37 2018\r\n",
      "  step 43800 lr 1 step-time 0.33s wps 18.07K ppl 17.44 gN 5.31 bleu 1.89, Wed Dec 12 21:57:10 2018\r\n",
      "  step 43900 lr 1 step-time 0.34s wps 17.96K ppl 17.32 gN 5.35 bleu 1.89, Wed Dec 12 21:57:44 2018\r\n",
      "  step 44000 lr 1 step-time 0.34s wps 17.81K ppl 16.74 gN 5.19 bleu 1.89, Wed Dec 12 21:58:18 2018\r\n",
      "# Save eval, global step 44000\r\n",
      "2018-12-12 21:58:18.876546: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:58:18.876962: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:58:18.877381: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-44000, time 0.07s\r\n",
      "  # 687\r\n",
      "    src: Alongside brake van pulling with tractors, there will also be a second contest at the agricultural autumn festival at Kaltenhof from 6 to 8 September.\r\n",
      "    ref: Neben dem Bremswagenziehen mit Traktoren gibt es beim landwirtschaftlichen Herbstfest auf dem Kaltenhof vom 6. bis 8. September noch einen zweiten Wettkampf.\r\n",
      "    nmt: <unk> Herr van <unk> <unk> dass es auch ein zweites Treffen im Herbst 2009 <unk> und zwar auch im Herbst 2009 auf dem <unk>\r\n",
      "2018-12-12 21:58:19.047435: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:58:19.047550: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 21:58:19.047654: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-44000, time 0.08s\r\n",
      "  eval dev: perplexity 34.60, time 3s, Wed Dec 12 21:58:22 2018.\r\n",
      "  eval test: perplexity 32.68, time 3s, Wed Dec 12 21:58:26 2018.\r\n",
      "  step 44100 lr 1 step-time 0.33s wps 18.00K ppl 16.87 gN 5.46 bleu 1.89, Wed Dec 12 21:58:59 2018\r\n",
      "  step 44200 lr 1 step-time 0.33s wps 18.15K ppl 16.54 gN 5.34 bleu 1.89, Wed Dec 12 21:59:33 2018\r\n",
      "  step 44300 lr 1 step-time 0.33s wps 18.10K ppl 16.86 gN 5.73 bleu 1.89, Wed Dec 12 22:00:06 2018\r\n",
      "  step 44400 lr 1 step-time 0.33s wps 18.05K ppl 15.97 gN 5.19 bleu 1.89, Wed Dec 12 22:00:39 2018\r\n",
      "  step 44500 lr 1 step-time 0.34s wps 18.05K ppl 16.06 gN 5.31 bleu 1.89, Wed Dec 12 22:01:13 2018\r\n",
      "  step 44600 lr 1 step-time 0.34s wps 18.10K ppl 16.01 gN 5.16 bleu 1.89, Wed Dec 12 22:01:47 2018\r\n",
      "  step 44700 lr 1 step-time 0.33s wps 18.20K ppl 16.03 gN 5.43 bleu 1.89, Wed Dec 12 22:02:20 2018\r\n",
      "  step 44800 lr 1 step-time 0.34s wps 18.06K ppl 15.99 gN 5.60 bleu 1.89, Wed Dec 12 22:02:54 2018\r\n",
      "  step 44900 lr 1 step-time 0.34s wps 17.91K ppl 15.48 gN 5.22 bleu 1.89, Wed Dec 12 22:03:27 2018\r\n",
      "  step 45000 lr 1 step-time 0.34s wps 17.87K ppl 15.59 gN 5.40 bleu 1.89, Wed Dec 12 22:04:02 2018\r\n",
      "# Save eval, global step 45000\r\n",
      "2018-12-12 22:04:02.806147: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:04:02.806426: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:04:02.806147: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-45000, time 0.07s\r\n",
      "  # 1687\r\n",
      "    src: Since Scotland isn't in the Schengen area now, continued non-compliance would be a cheap concession for Brussels to offer up in return for whatever it really wanted out of the Scots.\r\n",
      "    ref: Da Schottland derzeit nicht zum Schengen-Raum gehört, wäre die fortgesetzte Nichtbeachtung für Brüssel nur ein kleines Zugeständnis im Gegenzug für das, was man wirklich von den Schotten will.\r\n",
      "    nmt: Da Schottland in der zweiten Lesung ein <unk> <unk> <unk> wäre ein <unk> <unk> für die <unk> für die <unk> die sie wirklich in die Lage bringen <unk> die <unk> zu <unk>\r\n",
      "2018-12-12 22:04:03.009387: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:04:03.009599: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:04:03.009645: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-45000, time 0.08s\r\n",
      "  eval dev: perplexity 31.05, time 3s, Wed Dec 12 22:04:07 2018.\r\n",
      "  eval test: perplexity 30.04, time 3s, Wed Dec 12 22:04:10 2018.\r\n",
      "2018-12-12 22:04:11.765682: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:04:11.765995: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:04:11.766213: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-45000, time 0.07s\r\n",
      "  # 2658\r\n",
      "    src: Jumbo on the search for the \"world's best ham\": For the TV programme \"Galileo\", the Pro7 star visited Bonndorf.\r\n",
      "    ref: Jumbo auf der Suche nach dem \"besten Schinken der Welt\": Für die TV-Sendung \"Galileo\" besuchte der Pro7-Star Bonndorf.\r\n",
      "    nmt: Zum Glück hat die Suche nach den besten Möglichkeiten für die <unk> die <unk> die <unk> des <unk> <unk>\r\n",
      "2018-12-12 22:04:11.911540: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:04:11.911540: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:04:11.911845: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-45000, time 0.07s\r\n",
      "# External evaluation, global step 45000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 29s, Wed Dec 12 22:04:41 2018.\r\n",
      "  bleu dev: 2.6\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 45000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 31s, Wed Dec 12 22:05:13 2018.\r\n",
      "  bleu test: 3.3\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 45100 lr 1 step-time 0.34s wps 17.98K ppl 15.71 gN 5.80 bleu 2.59, Wed Dec 12 22:05:48 2018\r\n",
      "  step 45200 lr 1 step-time 0.34s wps 17.95K ppl 15.17 gN 5.47 bleu 2.59, Wed Dec 12 22:06:22 2018\r\n",
      "  step 45300 lr 1 step-time 0.34s wps 17.94K ppl 15.16 gN 5.44 bleu 2.59, Wed Dec 12 22:06:56 2018\r\n",
      "  step 45400 lr 1 step-time 0.34s wps 17.92K ppl 15.04 gN 5.32 bleu 2.59, Wed Dec 12 22:07:30 2018\r\n",
      "  step 45500 lr 1 step-time 0.34s wps 18.06K ppl 15.37 gN 5.66 bleu 2.59, Wed Dec 12 22:08:05 2018\r\n",
      "  step 45600 lr 1 step-time 0.34s wps 17.82K ppl 14.70 gN 5.25 bleu 2.59, Wed Dec 12 22:08:39 2018\r\n",
      "  step 45700 lr 1 step-time 0.34s wps 17.92K ppl 14.85 gN 5.66 bleu 2.59, Wed Dec 12 22:09:13 2018\r\n",
      "  step 45800 lr 1 step-time 0.35s wps 17.95K ppl 14.50 gN 5.39 bleu 2.59, Wed Dec 12 22:09:47 2018\r\n",
      "  step 45900 lr 1 step-time 0.35s wps 17.73K ppl 14.77 gN 5.64 bleu 2.59, Wed Dec 12 22:10:23 2018\r\n",
      "  step 46000 lr 1 step-time 0.34s wps 17.81K ppl 14.59 gN 5.41 bleu 2.59, Wed Dec 12 22:10:57 2018\r\n",
      "# Save eval, global step 46000\r\n",
      "2018-12-12 22:10:57.849872: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:10:57.850230: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:10:57.850657: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-46000, time 0.07s\r\n",
      "  # 2745\r\n",
      "    src: Upon receiving the confirmation sacrament, the young people accepted their baptism and asked for the power of the Holy Spirit.\r\n",
      "    ref: Mit dem Empfang des Firmsakraments sagten die Jugendlichen Ja zu ihrer Taufe und erbaten die Kraft des Heiligen Geistes.\r\n",
      "    nmt: Die Wahl des <unk> hat ihre <unk> <unk> und die <unk> <unk> die <unk> <unk>\r\n",
      "2018-12-12 22:10:57.996667: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:10:57.996930: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:10:57.996667: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-46000, time 0.08s\r\n",
      "  eval dev: perplexity 23.18, time 3s, Wed Dec 12 22:11:01 2018.\r\n",
      "  eval test: perplexity 23.00, time 3s, Wed Dec 12 22:11:05 2018.\r\n",
      "  step 46100 lr 1 step-time 0.35s wps 18.01K ppl 15.28 gN 5.62 bleu 2.59, Wed Dec 12 22:11:40 2018\r\n",
      "  step 46200 lr 1 step-time 0.34s wps 18.06K ppl 16.05 gN 5.45 bleu 2.59, Wed Dec 12 22:12:14 2018\r\n",
      "  step 46300 lr 1 step-time 0.34s wps 18.03K ppl 16.76 gN 5.62 bleu 2.59, Wed Dec 12 22:12:49 2018\r\n",
      "  step 46400 lr 1 step-time 0.34s wps 18.02K ppl 17.37 gN 5.40 bleu 2.59, Wed Dec 12 22:13:23 2018\r\n",
      "  step 46500 lr 1 step-time 0.34s wps 18.03K ppl 17.98 gN 5.60 bleu 2.59, Wed Dec 12 22:13:57 2018\r\n",
      "  step 46600 lr 1 step-time 0.35s wps 18.06K ppl 18.29 gN 5.22 bleu 2.59, Wed Dec 12 22:14:32 2018\r\n",
      "  step 46700 lr 1 step-time 0.34s wps 17.99K ppl 18.54 gN 5.29 bleu 2.59, Wed Dec 12 22:15:06 2018\r\n",
      "  step 46800 lr 1 step-time 0.35s wps 18.08K ppl 19.55 gN 5.56 bleu 2.59, Wed Dec 12 22:15:41 2018\r\n",
      "  step 46900 lr 1 step-time 0.35s wps 17.70K ppl 19.15 gN 4.96 bleu 2.59, Wed Dec 12 22:16:16 2018\r\n",
      "  step 47000 lr 1 step-time 0.35s wps 17.62K ppl 19.72 gN 5.34 bleu 2.59, Wed Dec 12 22:16:52 2018\r\n",
      "# Save eval, global step 47000\r\n",
      "2018-12-12 22:16:52.677528: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:16:52.677794: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:16:52.677528: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-47000, time 0.07s\r\n",
      "  # 1905\r\n",
      "    src: And right at the front, on the stand, a single large flag with the text \"Stadium Ban Section\" blew in the wind.\r\n",
      "    ref: Und ganz vorne auf der Tribüne wehte einsam eine große Fahne mit Aufschrift \"Sektion Stadionverbot\".\r\n",
      "    nmt: Und das Recht auf den Bericht über den Text der Kommission zu den <unk> <unk> in der EU ist in der Zwischenzeit eine <unk> <unk>\r\n",
      "2018-12-12 22:16:52.849388: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:16:52.849723: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:16:52.849391: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-47000, time 0.08s\r\n",
      "  eval dev: perplexity 33.46, time 3s, Wed Dec 12 22:16:56 2018.\r\n",
      "  eval test: perplexity 31.24, time 3s, Wed Dec 12 22:17:00 2018.\r\n",
      "  step 47100 lr 1 step-time 0.34s wps 18.02K ppl 20.01 gN 5.23 bleu 2.59, Wed Dec 12 22:17:35 2018\r\n",
      "  step 47200 lr 1 step-time 0.34s wps 17.90K ppl 20.08 gN 5.20 bleu 2.59, Wed Dec 12 22:18:09 2018\r\n",
      "  step 47300 lr 1 step-time 0.35s wps 18.14K ppl 20.23 gN 5.08 bleu 2.59, Wed Dec 12 22:18:44 2018\r\n",
      "  step 47400 lr 1 step-time 0.34s wps 17.93K ppl 20.30 gN 5.15 bleu 2.59, Wed Dec 12 22:19:18 2018\r\n",
      "  step 47500 lr 1 step-time 0.34s wps 17.90K ppl 19.91 gN 5.03 bleu 2.59, Wed Dec 12 22:19:52 2018\r\n",
      "  step 47600 lr 1 step-time 0.34s wps 18.03K ppl 20.28 gN 5.11 bleu 2.59, Wed Dec 12 22:20:27 2018\r\n",
      "  step 47700 lr 1 step-time 0.34s wps 17.91K ppl 20.02 gN 5.01 bleu 2.59, Wed Dec 12 22:21:01 2018\r\n",
      "  step 47800 lr 1 step-time 0.35s wps 18.06K ppl 20.45 gN 5.04 bleu 2.59, Wed Dec 12 22:21:36 2018\r\n",
      "  step 47900 lr 1 step-time 0.34s wps 17.81K ppl 20.36 gN 5.00 bleu 2.59, Wed Dec 12 22:22:10 2018\r\n",
      "  step 48000 lr 1 step-time 0.35s wps 17.65K ppl 20.80 gN 5.11 bleu 2.59, Wed Dec 12 22:22:45 2018\r\n",
      "# Save eval, global step 48000\r\n",
      "2018-12-12 22:22:46.033954: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:22:46.034219: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:22:46.033954: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-48000, time 0.07s\r\n",
      "  # 1364\r\n",
      "    src: Ultimately, the child will decide which sex he or she feels more comfortable with -- and that's a wonderful thing.\r\n",
      "    ref: Letztendlich entscheidet das Kind über das Geschlecht, das besser zu ihm passt – und das ist wunderbar.\r\n",
      "    nmt: <unk> wird das Kind <unk> die er oder sie <unk> <unk> und sie ist ein gutes <unk> <unk>\r\n",
      "2018-12-12 22:22:46.190978: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:22:46.191101: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:22:46.191276: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-48000, time 0.08s\r\n",
      "  eval dev: perplexity 25.48, time 3s, Wed Dec 12 22:22:50 2018.\r\n",
      "  eval test: perplexity 24.62, time 3s, Wed Dec 12 22:22:54 2018.\r\n",
      "  step 48100 lr 1 step-time 0.34s wps 17.83K ppl 20.42 gN 4.89 bleu 2.59, Wed Dec 12 22:23:28 2018\r\n",
      "  step 48200 lr 1 step-time 0.34s wps 17.94K ppl 20.36 gN 4.96 bleu 2.59, Wed Dec 12 22:24:02 2018\r\n",
      "  step 48300 lr 1 step-time 0.34s wps 17.92K ppl 20.49 gN 4.78 bleu 2.59, Wed Dec 12 22:24:36 2018\r\n",
      "  step 48400 lr 1 step-time 0.34s wps 17.84K ppl 20.75 gN 5.02 bleu 2.59, Wed Dec 12 22:25:11 2018\r\n",
      "  step 48500 lr 1 step-time 0.34s wps 17.92K ppl 20.53 gN 4.85 bleu 2.59, Wed Dec 12 22:25:45 2018\r\n",
      "  step 48600 lr 1 step-time 0.34s wps 17.95K ppl 21.11 gN 4.86 bleu 2.59, Wed Dec 12 22:26:19 2018\r\n",
      "  step 48700 lr 1 step-time 0.34s wps 17.86K ppl 20.86 gN 4.98 bleu 2.59, Wed Dec 12 22:26:54 2018\r\n",
      "  step 48800 lr 1 step-time 0.34s wps 17.90K ppl 21.11 gN 5.05 bleu 2.59, Wed Dec 12 22:27:28 2018\r\n",
      "  step 48900 lr 1 step-time 0.35s wps 17.84K ppl 21.27 gN 4.75 bleu 2.59, Wed Dec 12 22:28:03 2018\r\n",
      "  step 49000 lr 1 step-time 0.35s wps 17.50K ppl 21.16 gN 4.95 bleu 2.59, Wed Dec 12 22:28:37 2018\r\n",
      "# Save eval, global step 49000\r\n",
      "2018-12-12 22:28:38.322649: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:28:38.323137: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:28:38.323576: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-49000, time 0.07s\r\n",
      "  # 81\r\n",
      "    src: It was not something people wanted.\r\n",
      "    ref: Die Leute wollten es nicht.\r\n",
      "    nmt: <unk> war es nicht <unk>\r\n",
      "2018-12-12 22:28:38.438863: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:28:38.439183: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:28:38.438880: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-49000, time 0.08s\r\n",
      "  eval dev: perplexity 29.55, time 3s, Wed Dec 12 22:28:42 2018.\r\n",
      "  eval test: perplexity 28.46, time 3s, Wed Dec 12 22:28:46 2018.\r\n",
      "  step 49100 lr 1 step-time 0.35s wps 17.56K ppl 21.05 gN 4.77 bleu 2.59, Wed Dec 12 22:29:21 2018\r\n",
      "  step 49200 lr 1 step-time 0.34s wps 17.92K ppl 21.36 gN 4.92 bleu 2.59, Wed Dec 12 22:29:55 2018\r\n",
      "  step 49300 lr 1 step-time 0.34s wps 17.80K ppl 20.99 gN 4.81 bleu 2.59, Wed Dec 12 22:30:28 2018\r\n",
      "  step 49400 lr 1 step-time 0.34s wps 17.93K ppl 21.01 gN 4.75 bleu 2.59, Wed Dec 12 22:31:03 2018\r\n",
      "  step 49500 lr 1 step-time 0.34s wps 17.84K ppl 21.32 gN 4.86 bleu 2.59, Wed Dec 12 22:31:37 2018\r\n",
      "  step 49600 lr 1 step-time 0.34s wps 17.71K ppl 22.76 gN 4.87 bleu 2.59, Wed Dec 12 22:32:11 2018\r\n",
      "  step 49700 lr 1 step-time 0.34s wps 17.54K ppl 23.78 gN 4.57 bleu 2.59, Wed Dec 12 22:32:45 2018\r\n",
      "  step 49800 lr 1 step-time 0.34s wps 17.53K ppl 25.32 gN 4.79 bleu 2.59, Wed Dec 12 22:33:18 2018\r\n",
      "  step 49900 lr 1 step-time 0.34s wps 17.43K ppl 26.48 gN 5.03 bleu 2.59, Wed Dec 12 22:33:53 2018\r\n",
      "  step 50000 lr 1 step-time 0.34s wps 17.30K ppl 27.58 gN 4.70 bleu 2.59, Wed Dec 12 22:34:26 2018\r\n",
      "# Save eval, global step 50000\r\n",
      "2018-12-12 22:34:27.203400: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:34:27.203400: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:34:27.203767: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-50000, time 0.07s\r\n",
      "  # 2140\r\n",
      "    src: Even close allies keep things from one another - and work every angle to find out what's being held back.\r\n",
      "    ref: Selbst enge Verbündete haben Geheimnisse voreinander – und versuchen alles, um herauszufinden, was zurückgehalten wird.\r\n",
      "    nmt: Auch die <unk> sind aus einem anderen - und auch alle anderen <unk>\r\n",
      "2018-12-12 22:34:27.350072: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:34:27.350343: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:34:27.350072: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-50000, time 0.09s\r\n",
      "  eval dev: perplexity 30.81, time 3s, Wed Dec 12 22:34:31 2018.\r\n",
      "  eval test: perplexity 30.01, time 3s, Wed Dec 12 22:34:35 2018.\r\n",
      "2018-12-12 22:34:36.085667: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:34:36.085969: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:34:36.085667: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-50000, time 0.07s\r\n",
      "  # 1829\r\n",
      "    src: Former NSW Labor minister Joe Tripodi will be investigated by the state's corruption watchdog.\r\n",
      "    ref: Gegen den früheren Minister der Labor-Partei Joe Tripodi aus New South Wales wird eine Ermittlung durch die staatliche Korruptionsaufsicht eingeleitet.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> wird durch die <unk> der Korruption durch die <unk> <unk>\r\n",
      "2018-12-12 22:34:36.219271: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:34:36.219575: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:34:36.219271: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-50000, time 0.07s\r\n",
      "# External evaluation, global step 50000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 27s, Wed Dec 12 22:35:04 2018.\r\n",
      "  bleu dev: 2.2\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 50000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 26s, Wed Dec 12 22:35:31 2018.\r\n",
      "  bleu test: 2.5\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 50100 lr 1 step-time 0.34s wps 16.84K ppl 27.61 gN 4.40 bleu 2.59, Wed Dec 12 22:36:05 2018\r\n",
      "  step 50200 lr 1 step-time 0.34s wps 17.21K ppl 30.02 gN 4.93 bleu 2.59, Wed Dec 12 22:36:39 2018\r\n",
      "  step 50300 lr 1 step-time 0.33s wps 17.03K ppl 30.25 gN 4.90 bleu 2.59, Wed Dec 12 22:37:12 2018\r\n",
      "  step 50400 lr 1 step-time 0.33s wps 16.85K ppl 29.58 gN 4.52 bleu 2.59, Wed Dec 12 22:37:45 2018\r\n",
      "  step 50500 lr 1 step-time 0.33s wps 16.87K ppl 30.53 gN 4.69 bleu 2.59, Wed Dec 12 22:38:18 2018\r\n",
      "  step 50600 lr 1 step-time 0.33s wps 16.61K ppl 30.65 gN 4.56 bleu 2.59, Wed Dec 12 22:38:51 2018\r\n",
      "  step 50700 lr 1 step-time 0.33s wps 16.81K ppl 31.43 gN 4.73 bleu 2.59, Wed Dec 12 22:39:25 2018\r\n",
      "  step 50800 lr 1 step-time 0.33s wps 16.63K ppl 31.16 gN 4.72 bleu 2.59, Wed Dec 12 22:39:58 2018\r\n",
      "  step 50900 lr 1 step-time 0.33s wps 16.57K ppl 30.34 gN 4.65 bleu 2.59, Wed Dec 12 22:40:31 2018\r\n",
      "  step 51000 lr 1 step-time 0.34s wps 16.29K ppl 31.66 gN 4.65 bleu 2.59, Wed Dec 12 22:41:04 2018\r\n",
      "# Save eval, global step 51000\r\n",
      "2018-12-12 22:41:05.245602: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:41:05.245794: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:41:05.245914: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-51000, time 0.07s\r\n",
      "  # 2264\r\n",
      "    src: I can find everything I need locally.\r\n",
      "    ref: Alles, was ich brauche, finde ich vor Ort.\r\n",
      "    nmt: Ich kann alles alles <unk>\r\n",
      "2018-12-12 22:41:05.361358: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:41:05.361487: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:41:05.361609: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-51000, time 0.08s\r\n",
      "  eval dev: perplexity 25.65, time 3s, Wed Dec 12 22:41:09 2018.\r\n",
      "  eval test: perplexity 24.82, time 3s, Wed Dec 12 22:41:13 2018.\r\n",
      "  step 51100 lr 1 step-time 0.33s wps 16.38K ppl 31.31 gN 4.64 bleu 2.59, Wed Dec 12 22:41:46 2018\r\n",
      "  step 51200 lr 1 step-time 0.33s wps 16.31K ppl 31.27 gN 4.46 bleu 2.59, Wed Dec 12 22:42:19 2018\r\n",
      "  step 51300 lr 1 step-time 0.33s wps 16.37K ppl 32.01 gN 4.59 bleu 2.59, Wed Dec 12 22:42:52 2018\r\n",
      "  step 51400 lr 1 step-time 0.33s wps 16.33K ppl 32.80 gN 4.50 bleu 2.59, Wed Dec 12 22:43:25 2018\r\n",
      "  step 51500 lr 1 step-time 0.33s wps 16.34K ppl 32.79 gN 4.53 bleu 2.59, Wed Dec 12 22:43:57 2018\r\n",
      "  step 51600 lr 1 step-time 0.33s wps 16.39K ppl 33.36 gN 4.42 bleu 2.59, Wed Dec 12 22:44:30 2018\r\n",
      "  step 51700 lr 1 step-time 0.33s wps 16.26K ppl 34.22 gN 4.70 bleu 2.59, Wed Dec 12 22:45:03 2018\r\n",
      "  step 51800 lr 1 step-time 0.33s wps 16.27K ppl 32.65 gN 4.32 bleu 2.59, Wed Dec 12 22:45:36 2018\r\n",
      "  step 51900 lr 1 step-time 0.33s wps 16.29K ppl 33.67 gN 4.40 bleu 2.59, Wed Dec 12 22:46:09 2018\r\n",
      "  step 52000 lr 1 step-time 0.33s wps 16.18K ppl 34.24 gN 4.49 bleu 2.59, Wed Dec 12 22:46:43 2018\r\n",
      "# Save eval, global step 52000\r\n",
      "2018-12-12 22:46:43.823954: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:46:43.823954: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:46:43.824313: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-52000, time 0.07s\r\n",
      "  # 281\r\n",
      "    src: The ESA is planning that the first of the total of three L-Missions of the \"Cosmic Vision\" programme will address this subject.\r\n",
      "    ref: Dafür sieht die Esa die erste der insgesamt drei L-Missionen des \"Cosmic Vision\"-Programms vor.\r\n",
      "    nmt: Die KUKA <unk> ist die erste Hälfte der drei <unk> der drei <unk> <unk>\r\n",
      "2018-12-12 22:46:43.965790: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:46:43.965906: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:46:43.966047: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-52000, time 0.08s\r\n",
      "  eval dev: perplexity 25.98, time 3s, Wed Dec 12 22:46:47 2018.\r\n",
      "  eval test: perplexity 25.49, time 3s, Wed Dec 12 22:46:51 2018.\r\n",
      "  step 52100 lr 1 step-time 0.34s wps 15.87K ppl 33.88 gN 4.35 bleu 2.59, Wed Dec 12 22:47:25 2018\r\n",
      "  step 52200 lr 1 step-time 0.33s wps 15.92K ppl 33.59 gN 4.21 bleu 2.59, Wed Dec 12 22:47:58 2018\r\n",
      "  step 52300 lr 1 step-time 0.33s wps 16.16K ppl 34.78 gN 4.47 bleu 2.59, Wed Dec 12 22:48:32 2018\r\n",
      "  step 52400 lr 1 step-time 0.33s wps 16.07K ppl 33.99 gN 4.26 bleu 2.59, Wed Dec 12 22:49:05 2018\r\n",
      "  step 52500 lr 1 step-time 0.33s wps 16.19K ppl 34.00 gN 4.28 bleu 2.59, Wed Dec 12 22:49:38 2018\r\n",
      "  step 52600 lr 1 step-time 0.33s wps 16.19K ppl 34.21 gN 4.43 bleu 2.59, Wed Dec 12 22:50:11 2018\r\n",
      "  step 52700 lr 1 step-time 0.33s wps 16.21K ppl 34.50 gN 4.52 bleu 2.59, Wed Dec 12 22:50:44 2018\r\n",
      "  step 52800 lr 1 step-time 0.33s wps 16.20K ppl 32.94 gN 4.44 bleu 2.59, Wed Dec 12 22:51:18 2018\r\n",
      "  step 52900 lr 1 step-time 0.33s wps 16.22K ppl 32.09 gN 4.37 bleu 2.59, Wed Dec 12 22:51:51 2018\r\n",
      "  step 53000 lr 1 step-time 0.33s wps 16.18K ppl 32.79 gN 4.45 bleu 2.59, Wed Dec 12 22:52:24 2018\r\n",
      "# Save eval, global step 53000\r\n",
      "2018-12-12 22:52:24.963499: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:52:24.963803: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:52:24.964264: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-53000, time 0.07s\r\n",
      "  # 1212\r\n",
      "    src: The Americans spy on us on the commercial and industrial level as we spy on them too, because it is in the national interest to defend our businesses.\r\n",
      "    ref: Die Amerikaner spionieren uns auf kommerzieller und industrieller Ebene aus, so wie wir das auch machen, denn es ist im nationalen Interesse, unsere Unternehmen zu verteidigen.\r\n",
      "    nmt: Die Amerikaner auf der kommerziellen Seite und der industriellen <unk> sind seit dem Hintergrund der <unk> weil es im nationalen Interesse an den nationalen Interessen <unk>\r\n",
      "2018-12-12 22:52:25.141422: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:52:25.141422: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:52:25.141838: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-53000, time 0.08s\r\n",
      "  eval dev: perplexity 32.28, time 3s, Wed Dec 12 22:52:28 2018.\r\n",
      "  eval test: perplexity 31.14, time 3s, Wed Dec 12 22:52:32 2018.\r\n",
      "  step 53100 lr 1 step-time 0.33s wps 16.18K ppl 31.63 gN 4.32 bleu 2.59, Wed Dec 12 22:53:06 2018\r\n",
      "  step 53200 lr 1 step-time 0.34s wps 16.04K ppl 31.19 gN 4.08 bleu 2.59, Wed Dec 12 22:53:39 2018\r\n",
      "  step 53300 lr 1 step-time 0.33s wps 16.23K ppl 30.60 gN 4.38 bleu 2.59, Wed Dec 12 22:54:12 2018\r\n",
      "  step 53400 lr 1 step-time 0.33s wps 16.30K ppl 32.23 gN 4.47 bleu 2.59, Wed Dec 12 22:54:45 2018\r\n",
      "  step 53500 lr 1 step-time 0.33s wps 16.31K ppl 31.04 gN 4.35 bleu 2.59, Wed Dec 12 22:55:18 2018\r\n",
      "  step 53600 lr 1 step-time 0.33s wps 16.34K ppl 30.80 gN 4.30 bleu 2.59, Wed Dec 12 22:55:51 2018\r\n",
      "  step 53700 lr 1 step-time 0.33s wps 16.33K ppl 31.17 gN 4.30 bleu 2.59, Wed Dec 12 22:56:25 2018\r\n",
      "  step 53800 lr 1 step-time 0.33s wps 16.30K ppl 32.09 gN 4.45 bleu 2.59, Wed Dec 12 22:56:58 2018\r\n",
      "  step 53900 lr 1 step-time 0.33s wps 16.29K ppl 30.41 gN 4.38 bleu 2.59, Wed Dec 12 22:57:31 2018\r\n",
      "  step 54000 lr 1 step-time 0.33s wps 16.32K ppl 29.72 gN 4.25 bleu 2.59, Wed Dec 12 22:58:04 2018\r\n",
      "# Save eval, global step 54000\r\n",
      "2018-12-12 22:58:04.779462: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:58:04.779712: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:58:04.779873: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-54000, time 0.07s\r\n",
      "  # 1629\r\n",
      "    src: According to information from the Regional Church, which covers three quarters of Lower Saxony, around 60 pastors retire every year.\r\n",
      "    ref: Nach Angaben der Landeskirche, die drei Viertel Niedersachsens umfasst, gehen derzeit pro Jahr rund 60 Pastoren in den Ruhestand.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 22:58:04.982715: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 22:58:04.982957: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 22:58:04.982715: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-54000, time 0.08s\r\n",
      "  eval dev: perplexity 28.77, time 3s, Wed Dec 12 22:58:08 2018.\r\n",
      "  eval test: perplexity 28.77, time 3s, Wed Dec 12 22:58:12 2018.\r\n",
      "  step 54100 lr 1 step-time 0.34s wps 16.40K ppl 30.45 gN 4.61 bleu 2.59, Wed Dec 12 22:58:46 2018\r\n",
      "  step 54200 lr 1 step-time 0.33s wps 16.10K ppl 29.94 gN 4.37 bleu 2.59, Wed Dec 12 22:59:19 2018\r\n",
      "  step 54300 lr 1 step-time 0.33s wps 16.17K ppl 29.28 gN 4.21 bleu 2.59, Wed Dec 12 22:59:53 2018\r\n",
      "  step 54400 lr 1 step-time 0.33s wps 16.32K ppl 28.88 gN 4.31 bleu 2.59, Wed Dec 12 23:00:26 2018\r\n",
      "  step 54500 lr 1 step-time 0.33s wps 16.33K ppl 29.21 gN 4.36 bleu 2.59, Wed Dec 12 23:00:59 2018\r\n",
      "  step 54600 lr 1 step-time 0.33s wps 16.38K ppl 29.84 gN 4.39 bleu 2.59, Wed Dec 12 23:01:32 2018\r\n",
      "  step 54700 lr 1 step-time 0.33s wps 16.41K ppl 28.94 gN 4.25 bleu 2.59, Wed Dec 12 23:02:05 2018\r\n",
      "  step 54800 lr 1 step-time 0.33s wps 16.39K ppl 30.53 gN 4.50 bleu 2.59, Wed Dec 12 23:02:39 2018\r\n",
      "  step 54900 lr 1 step-time 0.33s wps 16.38K ppl 29.63 gN 4.51 bleu 2.59, Wed Dec 12 23:03:12 2018\r\n",
      "  step 55000 lr 1 step-time 0.33s wps 16.43K ppl 29.46 gN 4.20 bleu 2.59, Wed Dec 12 23:03:45 2018\r\n",
      "# Save eval, global step 55000\r\n",
      "2018-12-12 23:03:45.930523: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:03:45.930727: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:03:45.930913: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-55000, time 0.07s\r\n",
      "  # 2363\r\n",
      "    src: However, lead singer Alex Turner's illness has forced them to reschedule the show.\r\n",
      "    ref: Wegen der Krankheit des Leadsängers Alex Turner muss das Konzert nun allerdings verlegt werden.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 23:03:46.094348: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:03:46.094476: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:03:46.094599: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-55000, time 0.08s\r\n",
      "  eval dev: perplexity 28.05, time 3s, Wed Dec 12 23:03:49 2018.\r\n",
      "  eval test: perplexity 28.02, time 3s, Wed Dec 12 23:03:53 2018.\r\n",
      "2018-12-12 23:03:54.630206: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:03:54.630206: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:03:54.630716: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-55000, time 0.07s\r\n",
      "  # 343\r\n",
      "    src: He estimated in a December 2011 report that Spirit's carry-on fee brings in $50 million a year.\r\n",
      "    ref: Er schätzte in einem Bericht vom Dezember 2011, dass die Handgepäckgebühr Spirit jährlich 50 Millionen US-Dollar einbringe.\r\n",
      "    nmt: Er <unk> in einem Jahr <unk> dass <unk> in einem Jahr einen <unk> <unk> <unk>\r\n",
      "2018-12-12 23:03:54.763809: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:03:54.764006: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:03:54.764393: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-55000, time 0.07s\r\n",
      "# External evaluation, global step 55000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 41s, Wed Dec 12 23:04:36 2018.\r\n",
      "  bleu dev: 0.7\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 55000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 44s, Wed Dec 12 23:05:22 2018.\r\n",
      "  bleu test: 1.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 55100 lr 1 step-time 0.34s wps 16.01K ppl 28.62 gN 4.19 bleu 2.59, Wed Dec 12 23:05:56 2018\r\n",
      "  step 55200 lr 1 step-time 0.33s wps 16.19K ppl 28.83 gN 4.21 bleu 2.59, Wed Dec 12 23:06:30 2018\r\n",
      "  step 55300 lr 1 step-time 0.33s wps 16.35K ppl 30.00 gN 4.18 bleu 2.59, Wed Dec 12 23:07:03 2018\r\n",
      "  step 55400 lr 1 step-time 0.33s wps 16.28K ppl 30.00 gN 4.05 bleu 2.59, Wed Dec 12 23:07:36 2018\r\n",
      "  step 55500 lr 1 step-time 0.33s wps 16.23K ppl 29.25 gN 4.11 bleu 2.59, Wed Dec 12 23:08:09 2018\r\n",
      "  step 55600 lr 1 step-time 0.33s wps 16.22K ppl 30.64 gN 4.19 bleu 2.59, Wed Dec 12 23:08:42 2018\r\n",
      "  step 55700 lr 1 step-time 0.34s wps 16.12K ppl 30.50 gN 4.23 bleu 2.59, Wed Dec 12 23:09:16 2018\r\n",
      "  step 55800 lr 1 step-time 0.33s wps 16.03K ppl 29.99 gN 4.18 bleu 2.59, Wed Dec 12 23:09:48 2018\r\n",
      "  step 55900 lr 1 step-time 0.33s wps 15.88K ppl 29.76 gN 4.17 bleu 2.59, Wed Dec 12 23:10:22 2018\r\n",
      "  step 56000 lr 1 step-time 0.33s wps 16.25K ppl 31.17 gN 4.21 bleu 2.59, Wed Dec 12 23:10:54 2018\r\n",
      "# Save eval, global step 56000\r\n",
      "2018-12-12 23:10:55.256248: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:10:55.256458: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:10:55.256594: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-56000, time 0.07s\r\n",
      "  # 2055\r\n",
      "    src: Laura Glading, president of the Association of Professional Flight Attendants, welcomed the changes.\r\n",
      "    ref: Laura Glading, Präsidentin des Berufsverbands professioneller Flugbegleiter, begrüßte die Änderungen.\r\n",
      "    nmt: <unk> <unk> Präsident des <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 23:10:55.382561: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:10:55.382813: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:10:55.382561: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-56000, time 0.08s\r\n",
      "  eval dev: perplexity 23.43, time 3s, Wed Dec 12 23:10:59 2018.\r\n",
      "  eval test: perplexity 24.06, time 3s, Wed Dec 12 23:11:03 2018.\r\n",
      "  step 56100 lr 1 step-time 0.33s wps 15.82K ppl 30.01 gN 4.04 bleu 2.59, Wed Dec 12 23:11:36 2018\r\n",
      "  step 56200 lr 1 step-time 0.34s wps 15.68K ppl 30.45 gN 3.85 bleu 2.59, Wed Dec 12 23:12:10 2018\r\n",
      "  step 56300 lr 1 step-time 0.33s wps 16.08K ppl 30.75 gN 3.96 bleu 2.59, Wed Dec 12 23:12:42 2018\r\n",
      "  step 56400 lr 1 step-time 0.32s wps 16.14K ppl 30.12 gN 3.96 bleu 2.59, Wed Dec 12 23:13:15 2018\r\n",
      "  step 56500 lr 1 step-time 0.32s wps 16.31K ppl 31.10 gN 4.25 bleu 2.59, Wed Dec 12 23:13:47 2018\r\n",
      "  step 56600 lr 1 step-time 0.32s wps 16.41K ppl 30.97 gN 4.08 bleu 2.59, Wed Dec 12 23:14:19 2018\r\n",
      "  step 56700 lr 1 step-time 0.32s wps 16.48K ppl 30.81 gN 3.99 bleu 2.59, Wed Dec 12 23:14:52 2018\r\n",
      "  step 56800 lr 1 step-time 0.32s wps 16.33K ppl 30.35 gN 4.11 bleu 2.59, Wed Dec 12 23:15:24 2018\r\n",
      "  step 56900 lr 1 step-time 0.32s wps 16.47K ppl 30.61 gN 4.06 bleu 2.59, Wed Dec 12 23:15:56 2018\r\n",
      "  step 57000 lr 1 step-time 0.32s wps 16.55K ppl 29.91 gN 3.98 bleu 2.59, Wed Dec 12 23:16:27 2018\r\n",
      "# Save eval, global step 57000\r\n",
      "2018-12-12 23:16:28.269337: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:16:28.269611: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:16:28.269905: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-57000, time 0.07s\r\n",
      "  # 1402\r\n",
      "    src: In her book, the interior decorator presents 17 housing models for independent living in old age.\r\n",
      "    ref: In ihrem Buch stellt die Innenarchitektin 17 Wohnmodelle für ein selbstbestimmtes Wohnen im Alter vor.\r\n",
      "    nmt: In ihrer <unk> ist die <unk> <unk> für unabhängige Kinder in alten <unk>\r\n",
      "2018-12-12 23:16:28.409457: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:16:28.409713: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:16:28.409457: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-57000, time 0.08s\r\n",
      "  eval dev: perplexity 27.92, time 3s, Wed Dec 12 23:16:32 2018.\r\n",
      "  eval test: perplexity 27.73, time 3s, Wed Dec 12 23:16:35 2018.\r\n",
      "  step 57100 lr 1 step-time 0.32s wps 16.50K ppl 31.02 gN 4.13 bleu 2.59, Wed Dec 12 23:17:07 2018\r\n",
      "  step 57200 lr 1 step-time 0.33s wps 16.13K ppl 30.65 gN 4.22 bleu 2.59, Wed Dec 12 23:17:40 2018\r\n",
      "  step 57300 lr 1 step-time 0.33s wps 16.06K ppl 29.96 gN 4.03 bleu 2.59, Wed Dec 12 23:18:13 2018\r\n",
      "  step 57400 lr 1 step-time 0.32s wps 16.46K ppl 29.68 gN 4.14 bleu 2.59, Wed Dec 12 23:18:45 2018\r\n",
      "  step 57500 lr 1 step-time 0.32s wps 16.61K ppl 30.48 gN 4.05 bleu 2.59, Wed Dec 12 23:19:17 2018\r\n",
      "  step 57600 lr 1 step-time 0.32s wps 16.68K ppl 31.42 gN 4.52 bleu 2.59, Wed Dec 12 23:19:49 2018\r\n",
      "  step 57700 lr 1 step-time 0.32s wps 16.58K ppl 30.61 gN 4.27 bleu 2.59, Wed Dec 12 23:20:21 2018\r\n",
      "  step 57800 lr 1 step-time 0.32s wps 16.64K ppl 30.32 gN 4.22 bleu 2.59, Wed Dec 12 23:20:53 2018\r\n",
      "  step 57900 lr 1 step-time 0.32s wps 16.68K ppl 30.92 gN 4.30 bleu 2.59, Wed Dec 12 23:21:25 2018\r\n",
      "  step 58000 lr 1 step-time 0.32s wps 16.62K ppl 29.80 gN 4.19 bleu 2.59, Wed Dec 12 23:21:57 2018\r\n",
      "# Save eval, global step 58000\r\n",
      "2018-12-12 23:21:57.490743: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:21:57.490997: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:21:57.490743: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-58000, time 0.07s\r\n",
      "  # 1426\r\n",
      "    src: She will keep looking until she has found the ideal property for herself and her husband.\r\n",
      "    ref: Sie wird weitersuchen, bis sie das ideale Objekt für sich und ihren Mann gefunden hat.\r\n",
      "    nmt: Sie wird <unk> bis sie <unk> <unk> um das ideale <unk> für <unk> und ihre <unk>\r\n",
      "2018-12-12 23:21:57.634818: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:21:57.634994: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:21:57.635092: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-58000, time 0.08s\r\n",
      "  eval dev: perplexity 21.37, time 3s, Wed Dec 12 23:22:01 2018.\r\n",
      "  eval test: perplexity 22.46, time 3s, Wed Dec 12 23:22:05 2018.\r\n",
      "  step 58100 lr 1 step-time 0.32s wps 16.58K ppl 30.27 gN 4.37 bleu 2.59, Wed Dec 12 23:22:37 2018\r\n",
      "  step 58200 lr 1 step-time 0.32s wps 16.71K ppl 30.19 gN 4.20 bleu 2.59, Wed Dec 12 23:23:09 2018\r\n",
      "  step 58300 lr 1 step-time 0.33s wps 16.38K ppl 29.92 gN 4.32 bleu 2.59, Wed Dec 12 23:23:41 2018\r\n",
      "  step 58400 lr 1 step-time 0.33s wps 16.15K ppl 29.32 gN 4.06 bleu 2.59, Wed Dec 12 23:24:14 2018\r\n",
      "  step 58500 lr 1 step-time 0.32s wps 16.65K ppl 29.76 gN 4.40 bleu 2.59, Wed Dec 12 23:24:46 2018\r\n",
      "  step 58600 lr 1 step-time 0.32s wps 16.78K ppl 30.50 gN 4.61 bleu 2.59, Wed Dec 12 23:25:18 2018\r\n",
      "  step 58700 lr 1 step-time 0.32s wps 16.71K ppl 29.33 gN 4.14 bleu 2.59, Wed Dec 12 23:25:50 2018\r\n",
      "  step 58800 lr 1 step-time 0.32s wps 16.83K ppl 29.87 gN 4.36 bleu 2.59, Wed Dec 12 23:26:22 2018\r\n",
      "  step 58900 lr 1 step-time 0.31s wps 16.74K ppl 28.82 gN 4.41 bleu 2.59, Wed Dec 12 23:26:54 2018\r\n",
      "  step 59000 lr 1 step-time 0.32s wps 16.86K ppl 29.65 gN 4.51 bleu 2.59, Wed Dec 12 23:27:25 2018\r\n",
      "# Save eval, global step 59000\r\n",
      "2018-12-12 23:27:26.301295: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:27:26.301491: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:27:26.301621: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-59000, time 0.07s\r\n",
      "  # 1672\r\n",
      "    src: I just can't believe where she was.\r\n",
      "    ref: Ich kann kaum glauben, wo sie war.\r\n",
      "    nmt: Ich <unk> <unk> <unk> wo sie <unk>\r\n",
      "2018-12-12 23:27:26.417801: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:27:26.417931: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:27:26.418038: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-59000, time 0.08s\r\n",
      "  eval dev: perplexity 22.62, time 3s, Wed Dec 12 23:27:30 2018.\r\n",
      "  eval test: perplexity 23.90, time 3s, Wed Dec 12 23:27:34 2018.\r\n",
      "  step 59100 lr 1 step-time 0.32s wps 16.77K ppl 29.82 gN 4.58 bleu 2.59, Wed Dec 12 23:28:06 2018\r\n",
      "  step 59200 lr 1 step-time 0.32s wps 16.71K ppl 28.61 gN 4.34 bleu 2.59, Wed Dec 12 23:28:37 2018\r\n",
      "  step 59300 lr 1 step-time 0.32s wps 16.95K ppl 29.39 gN 4.37 bleu 2.59, Wed Dec 12 23:29:09 2018\r\n",
      "  step 59400 lr 1 step-time 0.32s wps 16.83K ppl 28.60 gN 4.41 bleu 2.59, Wed Dec 12 23:29:41 2018\r\n",
      "  step 59500 lr 1 step-time 0.33s wps 16.28K ppl 28.79 gN 4.33 bleu 2.59, Wed Dec 12 23:30:13 2018\r\n",
      "  step 59600 lr 1 step-time 0.33s wps 16.46K ppl 28.63 gN 4.38 bleu 2.59, Wed Dec 12 23:30:46 2018\r\n",
      "  step 59700 lr 1 step-time 0.32s wps 16.79K ppl 29.05 gN 4.37 bleu 2.59, Wed Dec 12 23:31:18 2018\r\n",
      "  step 59800 lr 1 step-time 0.32s wps 16.89K ppl 28.31 gN 4.33 bleu 2.59, Wed Dec 12 23:31:50 2018\r\n",
      "  step 59900 lr 1 step-time 0.32s wps 16.92K ppl 28.78 gN 4.38 bleu 2.59, Wed Dec 12 23:32:22 2018\r\n",
      "  step 60000 lr 1 step-time 0.31s wps 16.91K ppl 28.59 gN 4.27 bleu 2.59, Wed Dec 12 23:32:53 2018\r\n",
      "# Save eval, global step 60000\r\n",
      "2018-12-12 23:32:53.957946: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:32:53.958176: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:32:53.958372: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-60000, time 0.07s\r\n",
      "  # 1800\r\n",
      "    src: The gain in unit costs is blunted compared with 10-abreast now in use.\r\n",
      "    ref: Die gestiegenen Kosten pro Einheit sind immer noch geringer als bei derzeit verwendeten Maschinen mit zehn Sitzen pro Reihe.\r\n",
      "    nmt: Die <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-12 23:32:54.120188: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:32:54.120188: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:32:54.120438: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-60000, time 0.08s\r\n",
      "  eval dev: perplexity 21.02, time 3s, Wed Dec 12 23:32:57 2018.\r\n",
      "  eval test: perplexity 22.08, time 3s, Wed Dec 12 23:33:01 2018.\r\n",
      "2018-12-12 23:33:02.500678: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:33:02.500678: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:33:02.500893: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-60000, time 0.07s\r\n",
      "  # 2083\r\n",
      "    src: Douglas Kidd of the National Association of Airline Passengers said he believes interference from the devices is genuine even if the risk is minimal.\r\n",
      "    ref: Douglas Kidd vom Passagierverband National Association of Airline Passengers sagte, er sei der Ansicht, die Störung durch die Geräte sei echt, auch wenn das Risiko minimal sei.\r\n",
      "    nmt: <unk> <unk> der National Association of <unk> <unk> sagte er <unk> <unk> <unk> <unk> wenn das Risiko ist <unk>\r\n",
      "2018-12-12 23:33:02.642077: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:33:02.642267: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:33:02.642388: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-60000, time 0.07s\r\n",
      "# External evaluation, global step 60000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 45s, Wed Dec 12 23:33:48 2018.\r\n",
      "  bleu dev: 0.8\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 60000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 46s, Wed Dec 12 23:34:35 2018.\r\n",
      "  bleu test: 1.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 60100 lr 1 step-time 0.31s wps 16.99K ppl 28.15 gN 4.46 bleu 2.59, Wed Dec 12 23:35:07 2018\r\n",
      "  step 60200 lr 1 step-time 0.32s wps 17.05K ppl 28.74 gN 4.31 bleu 2.59, Wed Dec 12 23:35:39 2018\r\n",
      "  step 60300 lr 1 step-time 0.33s wps 16.61K ppl 28.49 gN 4.47 bleu 2.59, Wed Dec 12 23:36:12 2018\r\n",
      "  step 60400 lr 1 step-time 0.33s wps 16.20K ppl 28.56 gN 4.55 bleu 2.59, Wed Dec 12 23:36:45 2018\r\n",
      "  step 60500 lr 1 step-time 0.32s wps 16.67K ppl 27.69 gN 4.22 bleu 2.59, Wed Dec 12 23:37:17 2018\r\n",
      "  step 60600 lr 1 step-time 0.32s wps 16.85K ppl 28.12 gN 4.53 bleu 2.59, Wed Dec 12 23:37:49 2018\r\n",
      "  step 60700 lr 1 step-time 0.31s wps 16.92K ppl 27.74 gN 4.39 bleu 2.59, Wed Dec 12 23:38:20 2018\r\n",
      "  step 60800 lr 1 step-time 0.32s wps 16.82K ppl 28.26 gN 4.59 bleu 2.59, Wed Dec 12 23:38:52 2018\r\n",
      "  step 60900 lr 1 step-time 0.32s wps 16.99K ppl 28.38 gN 4.33 bleu 2.59, Wed Dec 12 23:39:24 2018\r\n",
      "  step 61000 lr 1 step-time 0.32s wps 16.93K ppl 27.89 gN 4.40 bleu 2.59, Wed Dec 12 23:39:56 2018\r\n",
      "# Save eval, global step 61000\r\n",
      "2018-12-12 23:39:56.573625: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:39:56.573815: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:39:56.573947: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-61000, time 0.07s\r\n",
      "  # 1026\r\n",
      "    src: This is a case of a \"completely broken personality\", that views the violence and exploitation in this field as normal.\r\n",
      "    ref: Es handle sich um \"eine völlig gebrochene Persönlichkeit\", die Gewalt und Ausbeutung in diesem Metier als normal ansehe.\r\n",
      "    nmt: Dies ist ein <unk> <unk> <unk> <unk> die die Gewalt und Ausbeutung in diesem Bereich <unk>\r\n",
      "2018-12-12 23:39:56.722480: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:39:56.722480: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:39:56.722721: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-61000, time 0.08s\r\n",
      "  eval dev: perplexity 22.08, time 3s, Wed Dec 12 23:40:00 2018.\r\n",
      "  eval test: perplexity 23.33, time 3s, Wed Dec 12 23:40:04 2018.\r\n",
      "  step 61100 lr 1 step-time 0.31s wps 16.90K ppl 28.07 gN 4.32 bleu 2.59, Wed Dec 12 23:40:35 2018\r\n",
      "  step 61200 lr 1 step-time 0.31s wps 16.76K ppl 27.69 gN 4.19 bleu 2.59, Wed Dec 12 23:41:06 2018\r\n",
      "  step 61300 lr 1 step-time 0.32s wps 16.92K ppl 28.70 gN 4.33 bleu 2.59, Wed Dec 12 23:41:38 2018\r\n",
      "  step 61400 lr 1 step-time 0.31s wps 16.76K ppl 28.08 gN 4.32 bleu 2.59, Wed Dec 12 23:42:09 2018\r\n",
      "  step 61500 lr 1 step-time 0.33s wps 16.35K ppl 28.10 gN 4.39 bleu 2.59, Wed Dec 12 23:42:42 2018\r\n",
      "  step 61600 lr 1 step-time 0.32s wps 16.33K ppl 27.81 gN 4.13 bleu 2.59, Wed Dec 12 23:43:14 2018\r\n",
      "  step 61700 lr 1 step-time 0.32s wps 16.62K ppl 27.58 gN 4.16 bleu 2.59, Wed Dec 12 23:43:46 2018\r\n",
      "  step 61800 lr 1 step-time 0.31s wps 16.75K ppl 27.29 gN 4.06 bleu 2.59, Wed Dec 12 23:44:17 2018\r\n",
      "  step 61900 lr 1 step-time 0.32s wps 16.94K ppl 28.23 gN 4.24 bleu 2.59, Wed Dec 12 23:44:48 2018\r\n",
      "  step 62000 lr 1 step-time 0.31s wps 16.81K ppl 27.95 gN 4.17 bleu 2.59, Wed Dec 12 23:45:19 2018\r\n",
      "# Save eval, global step 62000\r\n",
      "2018-12-12 23:45:20.243220: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:45:20.243220: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:45:20.243508: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-62000, time 0.07s\r\n",
      "  # 182\r\n",
      "    src: The tunnel has a cross-section measuring 1.20 metres high and 90 centimetres across.\r\n",
      "    ref: Der Tunnel hat einen Querschnitt von 1,20 Meter Höhe und 90 Zentimeter Breite.\r\n",
      "    nmt: Der <unk> hat eine <unk> <unk> und 90 <unk> <unk>\r\n",
      "2018-12-12 23:45:20.369836: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:45:20.369941: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:45:20.370092: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-62000, time 0.08s\r\n",
      "  eval dev: perplexity 24.04, time 3s, Wed Dec 12 23:45:24 2018.\r\n",
      "  eval test: perplexity 24.63, time 3s, Wed Dec 12 23:45:27 2018.\r\n",
      "  step 62100 lr 1 step-time 0.31s wps 16.79K ppl 27.21 gN 4.03 bleu 2.59, Wed Dec 12 23:45:58 2018\r\n",
      "  step 62200 lr 1 step-time 0.31s wps 16.73K ppl 27.60 gN 4.05 bleu 2.59, Wed Dec 12 23:46:30 2018\r\n",
      "  step 62300 lr 1 step-time 0.31s wps 16.85K ppl 27.50 gN 4.16 bleu 2.59, Wed Dec 12 23:47:01 2018\r\n",
      "  step 62400 lr 1 step-time 0.31s wps 16.82K ppl 27.46 gN 4.13 bleu 2.59, Wed Dec 12 23:47:32 2018\r\n",
      "  step 62500 lr 1 step-time 0.31s wps 16.75K ppl 27.36 gN 4.15 bleu 2.59, Wed Dec 12 23:48:03 2018\r\n",
      "  step 62600 lr 1 step-time 0.32s wps 16.38K ppl 28.08 gN 4.32 bleu 2.59, Wed Dec 12 23:48:35 2018\r\n",
      "  step 62700 lr 1 step-time 0.32s wps 16.25K ppl 27.44 gN 4.20 bleu 2.59, Wed Dec 12 23:49:07 2018\r\n",
      "  step 62800 lr 1 step-time 0.31s wps 16.61K ppl 26.81 gN 4.20 bleu 2.59, Wed Dec 12 23:49:38 2018\r\n",
      "  step 62900 lr 1 step-time 0.31s wps 16.74K ppl 27.76 gN 4.22 bleu 2.59, Wed Dec 12 23:50:09 2018\r\n",
      "  step 63000 lr 1 step-time 0.31s wps 16.79K ppl 26.93 gN 4.01 bleu 2.59, Wed Dec 12 23:50:41 2018\r\n",
      "# Save eval, global step 63000\r\n",
      "2018-12-12 23:50:41.521169: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:50:41.521383: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-12 23:50:41.521532: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-63000, time 0.07s\r\n",
      "  # 607\r\n",
      "    src: What is the deal with the campaign day and the helpers?\r\n",
      "    ref: Was hat es mit dem Aktionstag und den Helfern auf sich?\r\n",
      "    nmt: Was ist das mit der Kampagne Day und den <unk>\r\n",
      "2018-12-12 23:50:41.645165: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:50:41.645165: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:50:41.645415: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-63000, time 0.08s\r\n",
      "  eval dev: perplexity 26.46, time 3s, Wed Dec 12 23:50:45 2018.\r\n",
      "  eval test: perplexity 26.69, time 3s, Wed Dec 12 23:50:49 2018.\r\n",
      "  step 63100 lr 1 step-time 0.31s wps 16.71K ppl 27.07 gN 4.12 bleu 2.59, Wed Dec 12 23:51:20 2018\r\n",
      "  step 63200 lr 1 step-time 0.31s wps 16.81K ppl 27.09 gN 4.21 bleu 2.59, Wed Dec 12 23:51:51 2018\r\n",
      "  step 63300 lr 1 step-time 0.31s wps 16.75K ppl 26.90 gN 4.15 bleu 2.59, Wed Dec 12 23:52:22 2018\r\n",
      "  step 63400 lr 1 step-time 0.31s wps 16.82K ppl 26.37 gN 3.97 bleu 2.59, Wed Dec 12 23:52:52 2018\r\n",
      "  step 63500 lr 1 step-time 0.31s wps 16.73K ppl 27.74 gN 4.21 bleu 2.59, Wed Dec 12 23:53:24 2018\r\n",
      "  step 63600 lr 1 step-time 0.31s wps 16.77K ppl 26.50 gN 3.95 bleu 2.59, Wed Dec 12 23:53:55 2018\r\n",
      "  step 63700 lr 1 step-time 0.31s wps 16.66K ppl 26.72 gN 4.07 bleu 2.59, Wed Dec 12 23:54:26 2018\r\n",
      "  step 63800 lr 1 step-time 0.32s wps 16.24K ppl 27.10 gN 4.13 bleu 2.59, Wed Dec 12 23:54:58 2018\r\n",
      "  step 63900 lr 1 step-time 0.32s wps 16.44K ppl 26.77 gN 4.14 bleu 2.59, Wed Dec 12 23:55:30 2018\r\n",
      "  step 64000 lr 1 step-time 0.31s wps 16.78K ppl 26.38 gN 4.09 bleu 2.59, Wed Dec 12 23:56:01 2018\r\n",
      "# Save eval, global step 64000\r\n",
      "2018-12-12 23:56:01.782179: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:56:01.782179: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:56:01.782416: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-64000, time 0.07s\r\n",
      "  # 889\r\n",
      "    src: \"We are not concerning ourselves with the wild card process until it is certain that Düsseldorf is not receiving a licence,\" said boss of the Neckar Riesen Alexander Reil, speaking to our paper.\r\n",
      "    ref: \"Wir beschäftigten uns nicht mit dem Wildcard-Verfahren, so lange nicht feststeht, dass Düsseldorf keine Lizenz erhält\", sagte Neckar-Riesen-Boss Alexander Reil unserer Zeitung.\r\n",
      "    nmt: Die <unk> sind nicht mit uns mit dem <unk> <unk> bis es sich nicht zu einem <unk> <unk> <unk>\r\n",
      "2018-12-12 23:56:01.946820: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:56:01.946824: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-12 23:56:01.947072: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-64000, time 0.08s\r\n",
      "  eval dev: perplexity 26.67, time 3s, Wed Dec 12 23:56:05 2018.\r\n",
      "  eval test: perplexity 26.78, time 3s, Wed Dec 12 23:56:09 2018.\r\n",
      "  step 64100 lr 1 step-time 0.31s wps 16.90K ppl 27.09 gN 4.11 bleu 2.59, Wed Dec 12 23:56:40 2018\r\n",
      "  step 64200 lr 1 step-time 0.31s wps 17.03K ppl 26.72 gN 4.03 bleu 2.59, Wed Dec 12 23:57:11 2018\r\n",
      "  step 64300 lr 1 step-time 0.31s wps 17.08K ppl 27.03 gN 4.11 bleu 2.59, Wed Dec 12 23:57:42 2018\r\n",
      "  step 64400 lr 1 step-time 0.31s wps 17.01K ppl 27.27 gN 4.05 bleu 2.59, Wed Dec 12 23:58:13 2018\r\n",
      "  step 64500 lr 1 step-time 0.30s wps 17.09K ppl 26.05 gN 3.86 bleu 2.59, Wed Dec 12 23:58:43 2018\r\n",
      "  step 64600 lr 1 step-time 0.30s wps 17.04K ppl 27.71 gN 4.40 bleu 2.59, Wed Dec 12 23:59:13 2018\r\n",
      "  step 64700 lr 1 step-time 0.31s wps 17.17K ppl 27.40 gN 3.95 bleu 2.59, Wed Dec 12 23:59:44 2018\r\n",
      "  step 64800 lr 1 step-time 0.31s wps 17.09K ppl 27.24 gN 4.27 bleu 2.59, Thu Dec 13 00:00:15 2018\r\n",
      "  step 64900 lr 1 step-time 0.31s wps 16.65K ppl 27.98 gN 4.20 bleu 2.59, Thu Dec 13 00:00:46 2018\r\n",
      "  step 65000 lr 1 step-time 0.32s wps 16.60K ppl 27.07 gN 4.26 bleu 2.59, Thu Dec 13 00:01:18 2018\r\n",
      "# Save eval, global step 65000\r\n",
      "2018-12-13 00:01:18.367555: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:01:18.367834: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 00:01:18.368007: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-65000, time 0.07s\r\n",
      "  # 1391\r\n",
      "    src: However, the reason for the desire to move is not arachnophobia, but rather the fear of not being able to manage the large number of steps up to their house, and inside their home in their old age, she explained.\r\n",
      "    ref: Der Grund ist allerdings keine Spinnenphobie, sondern die Sorge, im Alter die vielen Treppenstufen zum Haus und in der Wohnung nicht mehr bewältigen zu können, erklärt sie.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 00:01:18.669019: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:01:18.669326: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 00:01:18.669557: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-65000, time 0.08s\r\n",
      "  eval dev: perplexity 19.40, time 3s, Thu Dec 13 00:01:22 2018.\r\n",
      "  eval test: perplexity 20.51, time 3s, Thu Dec 13 00:01:26 2018.\r\n",
      "2018-12-13 00:01:26.978479: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:01:26.978680: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 00:01:26.978800: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-65000, time 0.07s\r\n",
      "  # 2075\r\n",
      "    src: Planes modified for Wi-Fi systems are also more resistant to interference.\r\n",
      "    ref: Die an Wi-Fi-Systeme angepassten Flieger sind auch unempfindlicher gegenüber Interferenzen.\r\n",
      "    nmt: <unk> für <unk> sind auch <unk> um <unk> zu <unk>\r\n",
      "2018-12-13 00:01:27.090362: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:01:27.090548: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 00:01:27.090680: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-65000, time 0.07s\r\n",
      "# External evaluation, global step 65000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 45s, Thu Dec 13 00:02:12 2018.\r\n",
      "  bleu dev: 0.7\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 65000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 45s, Thu Dec 13 00:02:59 2018.\r\n",
      "  bleu test: 1.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 65100 lr 1 step-time 0.30s wps 17.10K ppl 26.66 gN 3.96 bleu 2.59, Thu Dec 13 00:03:30 2018\r\n",
      "  step 65200 lr 1 step-time 0.30s wps 17.36K ppl 26.90 gN 4.17 bleu 2.59, Thu Dec 13 00:04:00 2018\r\n",
      "  step 65300 lr 1 step-time 0.30s wps 17.13K ppl 26.60 gN 3.97 bleu 2.59, Thu Dec 13 00:04:30 2018\r\n",
      "  step 65400 lr 1 step-time 0.30s wps 17.24K ppl 26.83 gN 4.06 bleu 2.59, Thu Dec 13 00:05:00 2018\r\n",
      "  step 65500 lr 1 step-time 0.30s wps 17.27K ppl 27.01 gN 4.09 bleu 2.59, Thu Dec 13 00:05:31 2018\r\n",
      "  step 65600 lr 1 step-time 0.30s wps 17.17K ppl 26.67 gN 4.13 bleu 2.59, Thu Dec 13 00:06:01 2018\r\n",
      "  step 65700 lr 1 step-time 0.30s wps 17.06K ppl 26.61 gN 3.96 bleu 2.59, Thu Dec 13 00:06:31 2018\r\n",
      "  step 65800 lr 1 step-time 0.31s wps 16.67K ppl 26.68 gN 3.96 bleu 2.59, Thu Dec 13 00:07:03 2018\r\n",
      "  step 65900 lr 1 step-time 0.31s wps 16.85K ppl 27.27 gN 4.22 bleu 2.59, Thu Dec 13 00:07:34 2018\r\n",
      "  step 66000 lr 1 step-time 0.30s wps 16.98K ppl 26.29 gN 4.05 bleu 2.59, Thu Dec 13 00:08:04 2018\r\n",
      "# Save eval, global step 66000\r\n",
      "2018-12-13 00:08:04.639707: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:08:04.639846: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 00:08:04.639931: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-66000, time 0.07s\r\n",
      "  # 826\r\n",
      "    src: The ruling Frelimo party, the dominant political force since 1975, and Renamo blame each other for the tension.\r\n",
      "    ref: Die regierende Frelimo-Partei, seit 1975 die dominierende Kraft, und Renamo geben sich gegenseitig die Schuld für die Spannungen.\r\n",
      "    nmt: Der Begriff <unk> hat die <unk> politische Kraft seit <unk> und <unk>\r\n",
      "2018-12-13 00:08:04.781758: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:08:04.781770: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:08:04.782006: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-66000, time 0.08s\r\n",
      "  eval dev: perplexity 23.93, time 3s, Thu Dec 13 00:08:08 2018.\r\n",
      "  eval test: perplexity 25.06, time 3s, Thu Dec 13 00:08:12 2018.\r\n",
      "  step 66100 lr 1 step-time 0.31s wps 17.18K ppl 27.10 gN 4.14 bleu 2.59, Thu Dec 13 00:08:43 2018\r\n",
      "  step 66200 lr 1 step-time 0.30s wps 17.21K ppl 27.59 gN 4.21 bleu 2.59, Thu Dec 13 00:09:13 2018\r\n",
      "  step 66300 lr 1 step-time 0.30s wps 17.18K ppl 27.37 gN 4.12 bleu 2.59, Thu Dec 13 00:09:43 2018\r\n",
      "  step 66400 lr 1 step-time 0.30s wps 17.27K ppl 27.46 gN 4.08 bleu 2.59, Thu Dec 13 00:10:13 2018\r\n",
      "  step 66500 lr 1 step-time 0.30s wps 17.22K ppl 27.17 gN 4.02 bleu 2.59, Thu Dec 13 00:10:43 2018\r\n",
      "  step 66600 lr 1 step-time 0.30s wps 17.13K ppl 26.07 gN 3.96 bleu 2.59, Thu Dec 13 00:11:13 2018\r\n",
      "  step 66700 lr 1 step-time 0.30s wps 17.21K ppl 27.23 gN 4.19 bleu 2.59, Thu Dec 13 00:11:43 2018\r\n",
      "  step 66800 lr 1 step-time 0.30s wps 17.12K ppl 27.03 gN 4.04 bleu 2.59, Thu Dec 13 00:12:13 2018\r\n",
      "  step 66900 lr 1 step-time 0.30s wps 17.04K ppl 27.36 gN 4.03 bleu 2.59, Thu Dec 13 00:12:44 2018\r\n",
      "  step 67000 lr 1 step-time 0.32s wps 16.63K ppl 27.31 gN 4.30 bleu 2.59, Thu Dec 13 00:13:16 2018\r\n",
      "# Save eval, global step 67000\r\n",
      "2018-12-13 00:13:16.887752: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:13:16.887752: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:13:16.888026: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-67000, time 0.07s\r\n",
      "  # 2546\r\n",
      "    src: In so doing, the postal service is miles off the mark when it comes to public accessibility.\r\n",
      "    ref: Von Bürgernähe ist die Post dabei meilenweit entfernt.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 00:13:17.076376: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:13:17.076376: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:13:17.076627: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-67000, time 0.08s\r\n",
      "  eval dev: perplexity 25.84, time 3s, Thu Dec 13 00:13:21 2018.\r\n",
      "  eval test: perplexity 27.31, time 3s, Thu Dec 13 00:13:24 2018.\r\n",
      "  step 67100 lr 1 step-time 0.30s wps 16.93K ppl 26.24 gN 3.87 bleu 2.59, Thu Dec 13 00:13:55 2018\r\n",
      "  step 67200 lr 1 step-time 0.30s wps 17.15K ppl 27.44 gN 4.07 bleu 2.59, Thu Dec 13 00:14:25 2018\r\n",
      "  step 67300 lr 1 step-time 0.30s wps 17.20K ppl 27.07 gN 4.32 bleu 2.59, Thu Dec 13 00:14:56 2018\r\n",
      "  step 67400 lr 1 step-time 0.30s wps 17.12K ppl 27.52 gN 4.21 bleu 2.59, Thu Dec 13 00:15:26 2018\r\n",
      "  step 67500 lr 1 step-time 0.30s wps 17.16K ppl 26.45 gN 3.97 bleu 2.59, Thu Dec 13 00:15:56 2018\r\n",
      "  step 67600 lr 1 step-time 0.30s wps 17.05K ppl 26.27 gN 3.87 bleu 2.59, Thu Dec 13 00:16:27 2018\r\n",
      "  step 67700 lr 1 step-time 0.30s wps 17.15K ppl 26.24 gN 3.84 bleu 2.59, Thu Dec 13 00:16:57 2018\r\n",
      "  step 67800 lr 1 step-time 0.30s wps 17.08K ppl 26.84 gN 4.25 bleu 2.59, Thu Dec 13 00:17:27 2018\r\n",
      "  step 67900 lr 1 step-time 0.30s wps 17.08K ppl 26.58 gN 3.91 bleu 2.59, Thu Dec 13 00:17:58 2018\r\n",
      "  step 68000 lr 1 step-time 0.31s wps 16.98K ppl 25.98 gN 3.93 bleu 2.59, Thu Dec 13 00:18:29 2018\r\n",
      "# Save eval, global step 68000\r\n",
      "2018-12-13 00:18:29.412305: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:18:29.412305: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:18:29.412565: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-68000, time 0.07s\r\n",
      "  # 2108\r\n",
      "    src: It also shows that business expects that renegotiation to make a significant shift in the current balance of power back towards the UK.\r\n",
      "    ref: Sie zeigt auch, dass die Unternehmen von einer Neuverhandlung eine deutliche Verschiebung der Machtverhältnisse zurück nach Großbritannien erwarten.\r\n",
      "    nmt: Es zeigt auch <unk> dass <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 00:18:29.554577: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:18:29.554577: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:18:29.554824: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-68000, time 0.08s\r\n",
      "  eval dev: perplexity 19.60, time 3s, Thu Dec 13 00:18:33 2018.\r\n",
      "  eval test: perplexity 20.80, time 3s, Thu Dec 13 00:18:37 2018.\r\n",
      "  step 68100 lr 1 step-time 0.31s wps 16.79K ppl 26.33 gN 4.01 bleu 2.59, Thu Dec 13 00:19:08 2018\r\n",
      "  step 68200 lr 1 step-time 0.31s wps 17.00K ppl 26.73 gN 4.19 bleu 2.59, Thu Dec 13 00:19:39 2018\r\n",
      "  step 68300 lr 1 step-time 0.30s wps 17.33K ppl 25.85 gN 4.21 bleu 2.59, Thu Dec 13 00:20:09 2018\r\n",
      "  step 68400 lr 1 step-time 0.30s wps 17.55K ppl 26.97 gN 4.37 bleu 2.59, Thu Dec 13 00:20:39 2018\r\n",
      "  step 68500 lr 1 step-time 0.30s wps 17.70K ppl 26.73 gN 4.31 bleu 2.59, Thu Dec 13 00:21:09 2018\r\n",
      "  step 68600 lr 1 step-time 0.30s wps 17.88K ppl 27.00 gN 4.33 bleu 2.59, Thu Dec 13 00:21:40 2018\r\n",
      "  step 68700 lr 1 step-time 0.31s wps 17.90K ppl 27.27 gN 4.81 bleu 2.59, Thu Dec 13 00:22:10 2018\r\n",
      "  step 68800 lr 1 step-time 0.31s wps 17.94K ppl 26.47 gN 4.58 bleu 2.59, Thu Dec 13 00:22:41 2018\r\n",
      "  step 68900 lr 1 step-time 0.31s wps 18.11K ppl 26.86 gN 4.91 bleu 2.59, Thu Dec 13 00:23:11 2018\r\n",
      "  step 69000 lr 1 step-time 0.30s wps 18.16K ppl 26.16 gN 4.67 bleu 2.59, Thu Dec 13 00:23:42 2018\r\n",
      "# Save eval, global step 69000\r\n",
      "2018-12-13 00:23:42.589887: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:23:42.589887: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:23:42.590185: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-69000, time 0.07s\r\n",
      "  # 2579\r\n",
      "    src: For what was then the fifth maintenance day in the follow-up to the Natura 2000 project in Upper Hotzenwald, a group of dedicated participants met at the small Engländerhütte (Englishman's Cottage) in Ibach\r\n",
      "    ref: Zum mittlerweile fünften Pflegetag in der Nachfolge des Natura 2000-Projektes oberer Hotzenwald traf sich eine Gruppe engagierter Teilnehmer bei der kleinen Engländerhütte in Ibach.\r\n",
      "    nmt: Für was war die <unk> <unk> die <unk> in den <unk> der <unk> 2000 in der <unk> 2000 in der <unk> <unk> eine Gruppe von <unk> die in den kleinen <unk> <unk>\r\n",
      "2018-12-13 00:23:42.784627: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:23:42.784627: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:23:42.784853: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-69000, time 0.08s\r\n",
      "  eval dev: perplexity 23.77, time 3s, Thu Dec 13 00:23:46 2018.\r\n",
      "  eval test: perplexity 24.31, time 3s, Thu Dec 13 00:23:50 2018.\r\n",
      "  step 69100 lr 1 step-time 0.30s wps 18.20K ppl 25.68 gN 4.85 bleu 2.59, Thu Dec 13 00:24:20 2018\r\n",
      "  step 69200 lr 1 step-time 0.31s wps 18.40K ppl 26.05 gN 4.90 bleu 2.59, Thu Dec 13 00:24:51 2018\r\n",
      "  step 69300 lr 1 step-time 0.31s wps 18.22K ppl 25.41 gN 4.86 bleu 2.59, Thu Dec 13 00:25:21 2018\r\n",
      "  step 69400 lr 1 step-time 0.32s wps 17.81K ppl 25.97 gN 5.19 bleu 2.59, Thu Dec 13 00:25:53 2018\r\n",
      "  step 69500 lr 1 step-time 0.31s wps 18.02K ppl 24.76 gN 4.95 bleu 2.59, Thu Dec 13 00:26:25 2018\r\n",
      "  step 69600 lr 1 step-time 0.31s wps 18.37K ppl 25.28 gN 5.13 bleu 2.59, Thu Dec 13 00:26:56 2018\r\n",
      "  step 69700 lr 1 step-time 0.31s wps 18.50K ppl 25.14 gN 5.21 bleu 2.59, Thu Dec 13 00:27:26 2018\r\n",
      "  step 69800 lr 1 step-time 0.30s wps 18.49K ppl 24.53 gN 5.06 bleu 2.59, Thu Dec 13 00:27:57 2018\r\n",
      "  step 69900 lr 1 step-time 0.30s wps 18.54K ppl 23.88 gN 5.08 bleu 2.59, Thu Dec 13 00:28:27 2018\r\n",
      "  step 70000 lr 1 step-time 0.31s wps 18.66K ppl 23.81 gN 5.14 bleu 2.59, Thu Dec 13 00:28:58 2018\r\n",
      "# Save eval, global step 70000\r\n",
      "2018-12-13 00:28:58.862466: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:28:58.862598: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 00:28:58.862664: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-70000, time 0.07s\r\n",
      "  # 869\r\n",
      "    src: Marcus Zagermann, serving as narrator, guided the audience through the ten different scenes, explained circumstances and provided links explaining leaps from his youth to the time when he was approaching retirement.\r\n",
      "    ref: Marcus Zagermann nahm das Publikum als Sprecher mit durch die zehn verschiedenen Szenen, erklärte Zusammenhänge und überbrückte Zeitsprünge von der Jugend bis zur nahenden Pensionierung.\r\n",
      "    nmt: <unk> <unk> <unk> als ob die <unk> durch den zehn verschiedenen verschiedenen <unk> erklärt und Links zu den <unk> <unk> die er in den Jahren <unk> als er ihn <unk>\r\n",
      "2018-12-13 00:28:59.053475: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:28:59.053475: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:28:59.053709: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-70000, time 0.08s\r\n",
      "  eval dev: perplexity 23.82, time 3s, Thu Dec 13 00:29:02 2018.\r\n",
      "  eval test: perplexity 24.75, time 3s, Thu Dec 13 00:29:06 2018.\r\n",
      "2018-12-13 00:29:07.408300: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:29:07.408305: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:29:07.408524: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-70000, time 0.07s\r\n",
      "  # 1230\r\n",
      "    src: This begins with the wedding clothing.\r\n",
      "    ref: Das beginnt etwa bei den Hochzeitskleidern.\r\n",
      "    nmt: Das beginnt mit den <unk>\r\n",
      "2018-12-13 00:29:07.508690: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:29:07.508857: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 00:29:07.508921: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-70000, time 0.07s\r\n",
      "# External evaluation, global step 70000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 29s, Thu Dec 13 00:29:36 2018.\r\n",
      "  bleu dev: 3.7\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 70000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 30s, Thu Dec 13 00:30:08 2018.\r\n",
      "  bleu test: 4.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 70100 lr 1 step-time 0.31s wps 18.57K ppl 23.18 gN 5.09 bleu 3.72, Thu Dec 13 00:30:39 2018\r\n",
      "  step 70200 lr 1 step-time 0.30s wps 18.75K ppl 22.89 gN 5.11 bleu 3.72, Thu Dec 13 00:31:10 2018\r\n",
      "  step 70300 lr 1 step-time 0.31s wps 18.27K ppl 23.24 gN 5.06 bleu 3.72, Thu Dec 13 00:31:40 2018\r\n",
      "  step 70400 lr 1 step-time 0.32s wps 18.23K ppl 23.73 gN 5.26 bleu 3.72, Thu Dec 13 00:32:12 2018\r\n",
      "  step 70500 lr 1 step-time 0.31s wps 18.38K ppl 22.83 gN 5.02 bleu 3.72, Thu Dec 13 00:32:43 2018\r\n",
      "  step 70600 lr 1 step-time 0.31s wps 18.64K ppl 23.19 gN 5.15 bleu 3.72, Thu Dec 13 00:33:14 2018\r\n",
      "  step 70700 lr 1 step-time 0.31s wps 18.61K ppl 23.21 gN 5.20 bleu 3.72, Thu Dec 13 00:33:45 2018\r\n",
      "  step 70800 lr 1 step-time 0.31s wps 18.61K ppl 22.32 gN 5.02 bleu 3.72, Thu Dec 13 00:34:16 2018\r\n",
      "  step 70900 lr 1 step-time 0.31s wps 18.63K ppl 23.03 gN 5.30 bleu 3.72, Thu Dec 13 00:34:47 2018\r\n",
      "  step 71000 lr 1 step-time 0.31s wps 18.59K ppl 22.36 gN 4.91 bleu 3.72, Thu Dec 13 00:35:17 2018\r\n",
      "# Save eval, global step 71000\r\n",
      "2018-12-13 00:35:18.094663: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:35:18.094663: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:35:18.094900: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-71000, time 0.07s\r\n",
      "  # 1144\r\n",
      "    src: You could call him the Dostoevsky of the USA.\r\n",
      "    ref: Man könnte ihn den Dostojewski der USA nennen.\r\n",
      "    nmt: Man könnte ihn <unk> der <unk> des <unk>\r\n",
      "2018-12-13 00:35:18.225625: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:35:18.225632: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:35:18.225885: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-71000, time 0.08s\r\n",
      "  eval dev: perplexity 18.01, time 3s, Thu Dec 13 00:35:21 2018.\r\n",
      "  eval test: perplexity 19.13, time 3s, Thu Dec 13 00:35:25 2018.\r\n",
      "# Finished an epoch, step 71084. Perform external evaluation\r\n",
      "2018-12-13 00:35:51.429730: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:35:51.429730: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:35:51.430041: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-71000, time 0.07s\r\n",
      "  # 2831\r\n",
      "    src: The student volunteers usually pay their own way to Cameroon, often arriving with donated medical supplies.\r\n",
      "    ref: Die Studenten bezahlen ihre Reise nach Kamerun normalerweise selbst und bringen häufig gespendetes Sanitätsmaterial mit.\r\n",
      "    nmt: Die <unk> <unk> ihre eigenen <unk> <unk> oft mit <unk> medizinischen <unk> <unk>\r\n",
      "2018-12-13 00:35:51.558024: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:35:51.558175: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:35:51.558307: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-71000, time 0.07s\r\n",
      "# External evaluation, global step 71000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 45s, Thu Dec 13 00:36:36 2018.\r\n",
      "  bleu dev: 1.2\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 71000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 45s, Thu Dec 13 00:37:22 2018.\r\n",
      "  bleu test: 1.6\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 71100 lr 1 step-time 0.39s wps 14.39K ppl 23.79 gN 5.37 bleu 3.72, Thu Dec 13 00:37:36 2018\r\n",
      "  step 71200 lr 1 step-time 0.45s wps 13.67K ppl 25.64 gN 5.07 bleu 3.72, Thu Dec 13 00:38:21 2018\r\n",
      "  step 71300 lr 1 step-time 0.44s wps 14.03K ppl 24.39 gN 5.16 bleu 3.72, Thu Dec 13 00:39:05 2018\r\n",
      "  step 71400 lr 1 step-time 0.43s wps 14.29K ppl 23.36 gN 4.86 bleu 3.72, Thu Dec 13 00:39:48 2018\r\n",
      "  step 71500 lr 1 step-time 0.44s wps 14.22K ppl 23.26 gN 5.06 bleu 3.72, Thu Dec 13 00:40:32 2018\r\n",
      "  step 71600 lr 1 step-time 0.41s wps 14.82K ppl 22.42 gN 4.83 bleu 3.72, Thu Dec 13 00:41:13 2018\r\n",
      "  step 71700 lr 1 step-time 0.34s wps 17.96K ppl 22.32 gN 4.79 bleu 3.72, Thu Dec 13 00:41:47 2018\r\n",
      "  step 71800 lr 1 step-time 0.33s wps 18.52K ppl 21.90 gN 4.76 bleu 3.72, Thu Dec 13 00:42:20 2018\r\n",
      "  step 71900 lr 1 step-time 0.33s wps 18.52K ppl 21.36 gN 4.57 bleu 3.72, Thu Dec 13 00:42:54 2018\r\n",
      "  step 72000 lr 1 step-time 0.34s wps 18.36K ppl 21.42 gN 4.80 bleu 3.72, Thu Dec 13 00:43:27 2018\r\n",
      "# Save eval, global step 72000\r\n",
      "2018-12-13 00:43:28.082438: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:43:28.082440: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:43:28.082732: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-72000, time 0.07s\r\n",
      "  # 800\r\n",
      "    src: UN Secretary-General Ban Ki-moon told the summit overnight that now is the time to \"rise above national interests.\"\r\n",
      "    ref: UN-Generalsekretär Ban Ki-moon erklärte am Abend auf dem Gipfel, der Zeitpunkt sei gekommen, „über die nationalen Interessen hinauszudenken“.\r\n",
      "    nmt: Der Generalsekretär des Rates hat den Gipfel von Göteborg <unk> die jetzt jetzt die Zeit für die nationalen Parlamente <unk>\r\n",
      "2018-12-13 00:43:28.239567: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:43:28.239567: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:43:28.239793: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-72000, time 0.08s\r\n",
      "  eval dev: perplexity 27.67, time 3s, Thu Dec 13 00:43:31 2018.\r\n",
      "  eval test: perplexity 27.27, time 3s, Thu Dec 13 00:43:35 2018.\r\n",
      "  step 72100 lr 1 step-time 0.34s wps 18.02K ppl 21.50 gN 4.79 bleu 3.72, Thu Dec 13 00:44:10 2018\r\n",
      "  step 72200 lr 1 step-time 0.35s wps 18.07K ppl 21.14 gN 4.64 bleu 3.72, Thu Dec 13 00:44:44 2018\r\n",
      "  step 72300 lr 1 step-time 0.34s wps 18.31K ppl 21.03 gN 4.74 bleu 3.72, Thu Dec 13 00:45:19 2018\r\n",
      "  step 72400 lr 1 step-time 0.34s wps 18.39K ppl 21.07 gN 4.65 bleu 3.72, Thu Dec 13 00:45:52 2018\r\n",
      "  step 72500 lr 1 step-time 0.34s wps 18.36K ppl 21.03 gN 5.00 bleu 3.72, Thu Dec 13 00:46:26 2018\r\n",
      "  step 72600 lr 1 step-time 0.34s wps 18.45K ppl 20.67 gN 4.61 bleu 3.72, Thu Dec 13 00:47:00 2018\r\n",
      "  step 72700 lr 1 step-time 0.34s wps 18.54K ppl 20.66 gN 4.77 bleu 3.72, Thu Dec 13 00:47:34 2018\r\n",
      "  step 72800 lr 1 step-time 0.33s wps 18.44K ppl 20.06 gN 4.59 bleu 3.72, Thu Dec 13 00:48:07 2018\r\n",
      "  step 72900 lr 1 step-time 0.34s wps 18.47K ppl 20.05 gN 4.67 bleu 3.72, Thu Dec 13 00:48:41 2018\r\n",
      "  step 73000 lr 1 step-time 0.34s wps 18.50K ppl 19.83 gN 4.70 bleu 3.72, Thu Dec 13 00:49:15 2018\r\n",
      "# Save eval, global step 73000\r\n",
      "2018-12-13 00:49:15.512581: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:49:15.512581: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:49:15.512821: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-73000, time 0.07s\r\n",
      "  # 1733\r\n",
      "    src: Experts think the obesity epidemic might be one trigger of early puberty\r\n",
      "    ref: Experten glauben, die epidemische Fettleibigkeit sei ein Auslöser der frühen Pubertät\r\n",
      "    nmt: <unk> <unk> <unk> könnte sich ein <unk> der Anfang der <unk> <unk>\r\n",
      "2018-12-13 00:49:15.648359: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:49:15.648544: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 00:49:15.648870: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-73000, time 0.08s\r\n",
      "  eval dev: perplexity 21.92, time 3s, Thu Dec 13 00:49:19 2018.\r\n",
      "  eval test: perplexity 22.71, time 3s, Thu Dec 13 00:49:23 2018.\r\n",
      "  step 73100 lr 1 step-time 0.34s wps 18.26K ppl 19.66 gN 4.59 bleu 3.72, Thu Dec 13 00:49:57 2018\r\n",
      "  step 73200 lr 1 step-time 0.34s wps 18.02K ppl 19.84 gN 4.80 bleu 3.72, Thu Dec 13 00:50:31 2018\r\n",
      "  step 73300 lr 1 step-time 0.34s wps 18.22K ppl 19.45 gN 4.81 bleu 3.72, Thu Dec 13 00:51:05 2018\r\n",
      "  step 73400 lr 1 step-time 0.33s wps 18.39K ppl 19.20 gN 4.68 bleu 3.72, Thu Dec 13 00:51:38 2018\r\n",
      "  step 73500 lr 1 step-time 0.34s wps 18.47K ppl 19.31 gN 4.68 bleu 3.72, Thu Dec 13 00:52:12 2018\r\n",
      "  step 73600 lr 1 step-time 0.34s wps 18.52K ppl 19.07 gN 4.65 bleu 3.72, Thu Dec 13 00:52:46 2018\r\n",
      "  step 73700 lr 1 step-time 0.34s wps 18.64K ppl 19.19 gN 4.74 bleu 3.72, Thu Dec 13 00:53:20 2018\r\n",
      "  step 73800 lr 1 step-time 0.34s wps 18.46K ppl 19.01 gN 4.75 bleu 3.72, Thu Dec 13 00:53:53 2018\r\n",
      "  step 73900 lr 1 step-time 0.33s wps 18.57K ppl 18.92 gN 4.71 bleu 3.72, Thu Dec 13 00:54:27 2018\r\n",
      "  step 74000 lr 1 step-time 0.34s wps 18.46K ppl 18.86 gN 4.76 bleu 3.72, Thu Dec 13 00:55:01 2018\r\n",
      "# Save eval, global step 74000\r\n",
      "2018-12-13 00:55:01.517255: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:55:01.517498: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 00:55:01.517542: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-74000, time 0.07s\r\n",
      "  # 157\r\n",
      "    src: The school yard renovation was originally planned back in 2008/2009, however, high unplanned expenses meant that the work had to be pushed back.\r\n",
      "    ref: Ursprünglich war die Schulhofsanierung sogar schon in den Jahren 2008/2009 geplant, doch hohe unplanmäßige Ausgaben brachten eine Verschiebung.\r\n",
      "    nmt: Die Schule wurde ursprünglich in Kraft getreten und die <unk> <unk> die die Arbeit der Arbeit in Europa eingeführt werden <unk>\r\n",
      "2018-12-13 00:55:01.682026: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:55:01.682035: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 00:55:01.682268: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-74000, time 0.09s\r\n",
      "  eval dev: perplexity 28.22, time 3s, Thu Dec 13 00:55:05 2018.\r\n",
      "  eval test: perplexity 28.32, time 3s, Thu Dec 13 00:55:09 2018.\r\n",
      "  step 74100 lr 1 step-time 0.34s wps 18.59K ppl 18.62 gN 4.60 bleu 3.72, Thu Dec 13 00:55:43 2018\r\n",
      "  step 74200 lr 1 step-time 0.34s wps 18.31K ppl 18.56 gN 4.76 bleu 3.72, Thu Dec 13 00:56:17 2018\r\n",
      "  step 74300 lr 1 step-time 0.35s wps 18.05K ppl 18.34 gN 4.86 bleu 3.72, Thu Dec 13 00:56:51 2018\r\n",
      "  step 74400 lr 1 step-time 0.34s wps 18.38K ppl 18.31 gN 4.78 bleu 3.72, Thu Dec 13 00:57:25 2018\r\n",
      "  step 74500 lr 1 step-time 0.34s wps 18.56K ppl 18.19 gN 4.86 bleu 3.72, Thu Dec 13 00:57:59 2018\r\n",
      "  step 74600 lr 1 step-time 0.34s wps 18.55K ppl 18.12 gN 4.81 bleu 3.72, Thu Dec 13 00:58:32 2018\r\n",
      "  step 74700 lr 1 step-time 0.34s wps 18.31K ppl 18.12 gN 4.78 bleu 3.72, Thu Dec 13 00:59:06 2018\r\n",
      "  step 74800 lr 1 step-time 0.34s wps 18.50K ppl 17.46 gN 4.65 bleu 3.72, Thu Dec 13 00:59:40 2018\r\n",
      "  step 74900 lr 1 step-time 0.34s wps 18.28K ppl 17.92 gN 4.92 bleu 3.72, Thu Dec 13 01:00:14 2018\r\n",
      "  step 75000 lr 1 step-time 0.34s wps 18.32K ppl 17.43 gN 4.76 bleu 3.72, Thu Dec 13 01:00:48 2018\r\n",
      "# Save eval, global step 75000\r\n",
      "2018-12-13 01:00:49.100379: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:00:49.100513: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:00:49.100591: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-75000, time 0.07s\r\n",
      "  # 927\r\n",
      "    src: Traditionally, the museum welcomes visitors on a Saturday and Sunday, this year on on 24 and 25 August, to a colourful party for children and families as part of the summer holiday programme, with numerous participation activities and events.\r\n",
      "    ref: Traditionell heißt das Museum die Besucher am Samstag und am Sonntag, den 24. und 25. August, im Rahmen des Sommerferienprogramms zu einem bunten Kinder- und Familienfest mit zahlreichen Mitmachaktionen und Veranstaltungen willkommen.\r\n",
      "    nmt: <unk> die <unk> über eine <unk> und <unk> dieses Jahr auf 24 und 25 Jahre auf einer <unk> Partei und <unk> für Kinder und Familien sowie die <unk>\r\n",
      "2018-12-13 01:00:49.293944: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:00:49.293944: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:00:49.294213: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-75000, time 0.09s\r\n",
      "  eval dev: perplexity 20.46, time 3s, Thu Dec 13 01:00:53 2018.\r\n",
      "  eval test: perplexity 20.81, time 3s, Thu Dec 13 01:00:56 2018.\r\n",
      "2018-12-13 01:00:57.675164: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:00:57.675164: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:00:57.675392: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-75000, time 0.07s\r\n",
      "  # 2005\r\n",
      "    src: It added that, \"no further inspection activities are currently planned.\"\r\n",
      "    ref: Deshalb „sind derzeit keine weiteren Inspektionsaktivitäten geplant.“\r\n",
      "    nmt: Es gibt weitere <unk> die <unk> <unk> <unk>\r\n",
      "2018-12-13 01:00:57.797290: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:00:57.797419: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:00:57.797483: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-75000, time 0.07s\r\n",
      "# External evaluation, global step 75000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 22s, Thu Dec 13 01:01:20 2018.\r\n",
      "  bleu dev: 2.8\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 75000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 24s, Thu Dec 13 01:01:45 2018.\r\n",
      "  bleu test: 3.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 75100 lr 1 step-time 0.35s wps 18.20K ppl 17.42 gN 4.84 bleu 3.72, Thu Dec 13 01:02:20 2018\r\n",
      "  step 75200 lr 1 step-time 0.35s wps 17.84K ppl 17.42 gN 4.86 bleu 3.72, Thu Dec 13 01:02:55 2018\r\n",
      "  step 75300 lr 1 step-time 0.35s wps 18.10K ppl 17.27 gN 4.80 bleu 3.72, Thu Dec 13 01:03:30 2018\r\n",
      "  step 75400 lr 1 step-time 0.34s wps 18.18K ppl 16.92 gN 4.68 bleu 3.72, Thu Dec 13 01:04:04 2018\r\n",
      "  step 75500 lr 1 step-time 0.34s wps 18.36K ppl 17.12 gN 4.75 bleu 3.72, Thu Dec 13 01:04:38 2018\r\n",
      "  step 75600 lr 1 step-time 0.34s wps 18.33K ppl 17.07 gN 4.80 bleu 3.72, Thu Dec 13 01:05:11 2018\r\n",
      "  step 75700 lr 1 step-time 0.34s wps 18.29K ppl 17.17 gN 4.82 bleu 3.72, Thu Dec 13 01:05:45 2018\r\n",
      "  step 75800 lr 1 step-time 0.34s wps 18.19K ppl 16.93 gN 4.57 bleu 3.72, Thu Dec 13 01:06:19 2018\r\n",
      "  step 75900 lr 1 step-time 0.34s wps 18.36K ppl 17.04 gN 4.86 bleu 3.72, Thu Dec 13 01:06:53 2018\r\n",
      "  step 76000 lr 1 step-time 0.33s wps 18.26K ppl 16.66 gN 4.77 bleu 3.72, Thu Dec 13 01:07:26 2018\r\n",
      "# Save eval, global step 76000\r\n",
      "2018-12-13 01:07:27.102468: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:07:27.102468: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:07:27.102705: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-76000, time 0.07s\r\n",
      "  # 553\r\n",
      "    src: Becker advises that you wait at least five minutes before a fault with the traffic lights can be assumed.\r\n",
      "    ref: Becker rät, mindestens fünf Minuten auszuharren, bevor von einer Funktionsstörung der Ampel auszugehen ist.\r\n",
      "    nmt: <unk> Herr <unk> Sie warten mindestens fünf Minuten vor einem <unk> mit dem <unk>\r\n",
      "2018-12-13 01:07:27.247102: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:07:27.247102: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:07:27.247350: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-76000, time 0.08s\r\n",
      "  eval dev: perplexity 19.52, time 3s, Thu Dec 13 01:07:30 2018.\r\n",
      "  eval test: perplexity 20.15, time 3s, Thu Dec 13 01:07:34 2018.\r\n",
      "  step 76100 lr 1 step-time 0.34s wps 18.46K ppl 16.96 gN 4.78 bleu 3.72, Thu Dec 13 01:08:08 2018\r\n",
      "  step 76200 lr 1 step-time 0.34s wps 17.83K ppl 16.48 gN 4.65 bleu 3.72, Thu Dec 13 01:08:43 2018\r\n",
      "  step 76300 lr 1 step-time 0.34s wps 17.98K ppl 16.59 gN 4.75 bleu 3.72, Thu Dec 13 01:09:17 2018\r\n",
      "  step 76400 lr 1 step-time 0.35s wps 18.12K ppl 16.73 gN 4.91 bleu 3.72, Thu Dec 13 01:09:52 2018\r\n",
      "  step 76500 lr 1 step-time 0.34s wps 18.11K ppl 16.30 gN 4.78 bleu 3.72, Thu Dec 13 01:10:26 2018\r\n",
      "  step 76600 lr 1 step-time 0.34s wps 18.03K ppl 16.23 gN 4.68 bleu 3.72, Thu Dec 13 01:10:59 2018\r\n",
      "  step 76700 lr 1 step-time 0.34s wps 18.07K ppl 16.39 gN 4.82 bleu 3.72, Thu Dec 13 01:11:33 2018\r\n",
      "  step 76800 lr 1 step-time 0.34s wps 18.11K ppl 16.20 gN 4.61 bleu 3.72, Thu Dec 13 01:12:08 2018\r\n",
      "  step 76900 lr 1 step-time 0.34s wps 18.07K ppl 16.14 gN 4.90 bleu 3.72, Thu Dec 13 01:12:41 2018\r\n",
      "  step 77000 lr 1 step-time 0.35s wps 17.48K ppl 15.97 gN 4.70 bleu 3.72, Thu Dec 13 01:13:17 2018\r\n",
      "# Save eval, global step 77000\r\n",
      "2018-12-13 01:13:17.673056: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:13:17.673377: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:13:17.673513: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-77000, time 0.09s\r\n",
      "  # 1121\r\n",
      "    src: However, Häußler indicated that the funding would only be provided if an overall concept is developed.\r\n",
      "    ref: Häußler wies aber darauf hin, dass es die Förderung nur gebe, wenn ein Gesamtkonzept umgesetzt werde.\r\n",
      "    nmt: <unk> Herr <unk> <unk> dass die <unk> nur dann <unk> wenn ein <unk> <unk>\r\n",
      "2018-12-13 01:13:17.901641: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:13:17.901803: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:13:17.901892: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-77000, time 0.11s\r\n",
      "  eval dev: perplexity 19.82, time 6s, Thu Dec 13 01:13:24 2018.\r\n",
      "  eval test: perplexity 20.18, time 4s, Thu Dec 13 01:13:28 2018.\r\n",
      "  step 77100 lr 1 step-time 0.33s wps 18.24K ppl 16.00 gN 4.74 bleu 3.72, Thu Dec 13 01:14:02 2018\r\n",
      "  step 77200 lr 1 step-time 0.34s wps 17.96K ppl 15.39 gN 4.65 bleu 3.72, Thu Dec 13 01:14:35 2018\r\n",
      "  step 77300 lr 1 step-time 0.34s wps 17.71K ppl 15.54 gN 4.70 bleu 3.72, Thu Dec 13 01:15:10 2018\r\n",
      "  step 77400 lr 1 step-time 0.34s wps 17.93K ppl 15.62 gN 4.79 bleu 3.72, Thu Dec 13 01:15:44 2018\r\n",
      "  step 77500 lr 1 step-time 0.34s wps 18.03K ppl 15.57 gN 4.88 bleu 3.72, Thu Dec 13 01:16:18 2018\r\n",
      "  step 77600 lr 1 step-time 0.34s wps 18.05K ppl 15.24 gN 4.59 bleu 3.72, Thu Dec 13 01:16:52 2018\r\n",
      "  step 77700 lr 1 step-time 0.34s wps 17.87K ppl 15.16 gN 4.83 bleu 3.72, Thu Dec 13 01:17:25 2018\r\n",
      "  step 77800 lr 1 step-time 0.34s wps 17.83K ppl 15.42 gN 4.93 bleu 3.72, Thu Dec 13 01:17:59 2018\r\n",
      "  step 77900 lr 1 step-time 0.34s wps 17.77K ppl 14.79 gN 4.46 bleu 3.72, Thu Dec 13 01:18:33 2018\r\n",
      "  step 78000 lr 1 step-time 0.34s wps 17.75K ppl 14.92 gN 4.64 bleu 3.72, Thu Dec 13 01:19:07 2018\r\n",
      "# Save eval, global step 78000\r\n",
      "2018-12-13 01:19:08.057582: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:19:08.057794: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:19:08.057930: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-78000, time 0.07s\r\n",
      "  # 2329\r\n",
      "    src: Howie was also ordered to pay costs of £90 and a victim surcharge of £100.\r\n",
      "    ref: Howie wurde außerdem zur Zahlung von Kosten in Höhe von 90 £ sowie eines Opferzuschlags von 100 £ verurteilt.\r\n",
      "    nmt: Die <unk> wurde auch für die Kosten der Kosten und der <unk> von <unk> <unk>\r\n",
      "2018-12-13 01:19:08.203765: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:19:08.203775: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:19:08.204016: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-78000, time 0.09s\r\n",
      "  eval dev: perplexity 23.87, time 3s, Thu Dec 13 01:19:12 2018.\r\n",
      "  eval test: perplexity 23.70, time 3s, Thu Dec 13 01:19:16 2018.\r\n",
      "  step 78100 lr 1 step-time 0.34s wps 17.78K ppl 14.89 gN 4.78 bleu 3.72, Thu Dec 13 01:19:49 2018\r\n",
      "  step 78200 lr 1 step-time 0.34s wps 17.97K ppl 15.02 gN 4.72 bleu 3.72, Thu Dec 13 01:20:23 2018\r\n",
      "  step 78300 lr 1 step-time 0.34s wps 17.58K ppl 14.89 gN 4.82 bleu 3.72, Thu Dec 13 01:20:57 2018\r\n",
      "  step 78400 lr 1 step-time 0.34s wps 17.48K ppl 14.74 gN 4.70 bleu 3.72, Thu Dec 13 01:21:31 2018\r\n",
      "  step 78500 lr 1 step-time 0.34s wps 17.74K ppl 14.72 gN 4.58 bleu 3.72, Thu Dec 13 01:22:05 2018\r\n",
      "  step 78600 lr 1 step-time 0.34s wps 17.83K ppl 14.70 gN 4.86 bleu 3.72, Thu Dec 13 01:22:39 2018\r\n",
      "  step 78700 lr 1 step-time 0.34s wps 17.78K ppl 14.42 gN 4.74 bleu 3.72, Thu Dec 13 01:23:13 2018\r\n",
      "  step 78800 lr 1 step-time 0.34s wps 17.83K ppl 14.22 gN 4.55 bleu 3.72, Thu Dec 13 01:23:46 2018\r\n",
      "  step 78900 lr 1 step-time 0.34s wps 17.81K ppl 14.10 gN 4.69 bleu 3.72, Thu Dec 13 01:24:20 2018\r\n",
      "  step 79000 lr 1 step-time 0.34s wps 17.99K ppl 14.16 gN 4.89 bleu 3.72, Thu Dec 13 01:24:54 2018\r\n",
      "# Save eval, global step 79000\r\n",
      "2018-12-13 01:24:54.644707: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:24:54.644850: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:24:54.644918: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-79000, time 0.07s\r\n",
      "  # 1453\r\n",
      "    src: I look forward to speaking with you in your country when the situation is resolved, and thank you for your efforts in upholding the international laws that protect us all.\r\n",
      "    ref: Ich freue mich auf ein Gespräch mit Ihnen in Ihrem Land, sobald die Situation geklärt ist und danke Ihnen für ihre Bemühungen, das internationale Recht zu wahren, das uns alle beschützt.\r\n",
      "    nmt: Ich freue mich <unk> mit Ihnen in Ihrem Land <unk> wenn die Situation <unk> und für Ihre Bemühungen in Europa <unk> die uns <unk> <unk>\r\n",
      "2018-12-13 01:24:54.824197: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:24:54.824139: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:24:54.824438: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-79000, time 0.09s\r\n",
      "  eval dev: perplexity 19.89, time 3s, Thu Dec 13 01:24:58 2018.\r\n",
      "  eval test: perplexity 20.41, time 3s, Thu Dec 13 01:25:02 2018.\r\n",
      "  step 79100 lr 1 step-time 0.33s wps 17.79K ppl 13.90 gN 4.90 bleu 3.72, Thu Dec 13 01:25:36 2018\r\n",
      "  step 79200 lr 1 step-time 0.34s wps 17.90K ppl 13.85 gN 4.78 bleu 3.72, Thu Dec 13 01:26:10 2018\r\n",
      "  step 79300 lr 1 step-time 0.34s wps 17.92K ppl 13.68 gN 4.80 bleu 3.72, Thu Dec 13 01:26:43 2018\r\n",
      "  step 79400 lr 1 step-time 0.35s wps 17.57K ppl 13.33 gN 4.76 bleu 3.72, Thu Dec 13 01:27:18 2018\r\n",
      "  step 79500 lr 1 step-time 0.34s wps 17.56K ppl 13.48 gN 4.74 bleu 3.72, Thu Dec 13 01:27:52 2018\r\n",
      "  step 79600 lr 1 step-time 0.34s wps 17.82K ppl 13.48 gN 4.89 bleu 3.72, Thu Dec 13 01:28:26 2018\r\n",
      "  step 79700 lr 1 step-time 0.34s wps 17.80K ppl 12.93 gN 4.61 bleu 3.72, Thu Dec 13 01:28:59 2018\r\n",
      "  step 79800 lr 1 step-time 0.34s wps 17.90K ppl 13.24 gN 4.85 bleu 3.72, Thu Dec 13 01:29:33 2018\r\n",
      "  step 79900 lr 1 step-time 0.33s wps 17.79K ppl 12.79 gN 4.67 bleu 3.72, Thu Dec 13 01:30:07 2018\r\n",
      "  step 80000 lr 1 step-time 0.34s wps 17.94K ppl 12.88 gN 4.95 bleu 3.72, Thu Dec 13 01:30:41 2018\r\n",
      "# Save eval, global step 80000\r\n",
      "2018-12-13 01:30:42.219146: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:30:42.219302: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:30:42.219373: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-80000, time 0.07s\r\n",
      "  # 496\r\n",
      "    src: He got too close to certain clients, in particular Scarborough, and he allowed his independence to be compromised.\r\n",
      "    ref: Er stand bestimmten Mandanten zu nahe, insbesondere Scarborough, und er ließ es zu, dass seine Unabhängigkeit kompromittiert wurde.\r\n",
      "    nmt: Er hat zu wenig zu wenig Zeit zu bestimmten Punkten <unk> insbesondere in Bezug auf die Unabhängigkeit und seine Unabhängigkeit <unk>\r\n",
      "2018-12-13 01:30:42.380264: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:30:42.380408: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:30:42.380496: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-80000, time 0.09s\r\n",
      "  eval dev: perplexity 26.58, time 3s, Thu Dec 13 01:30:46 2018.\r\n",
      "  eval test: perplexity 26.31, time 3s, Thu Dec 13 01:30:50 2018.\r\n",
      "2018-12-13 01:30:50.902353: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:30:50.902353: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:30:50.902602: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-80000, time 0.07s\r\n",
      "  # 337\r\n",
      "    src: Passengers often grumble about baggage charges and other fees, but airlines love them.\r\n",
      "    ref: Passagiere schimpfen häufig über Gepäckzuschläge und andere Gebühren, doch Fluggesellschaften greifen gern darauf zurück.\r\n",
      "    nmt: Leider haben sich häufig <unk> und andere <unk> aber Fluggesellschaften <unk> <unk>\r\n",
      "2018-12-13 01:30:51.028768: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:30:51.029000: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:30:51.029144: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-80000, time 0.07s\r\n",
      "# External evaluation, global step 80000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 28s, Thu Dec 13 01:31:19 2018.\r\n",
      "  bleu dev: 3.4\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 80000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 29s, Thu Dec 13 01:31:50 2018.\r\n",
      "  bleu test: 4.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 80100 lr 1 step-time 0.34s wps 17.73K ppl 12.64 gN 4.75 bleu 3.72, Thu Dec 13 01:32:24 2018\r\n",
      "  step 80200 lr 1 step-time 0.34s wps 17.87K ppl 12.76 gN 4.81 bleu 3.72, Thu Dec 13 01:32:59 2018\r\n",
      "  step 80300 lr 1 step-time 0.35s wps 17.44K ppl 12.30 gN 4.71 bleu 3.72, Thu Dec 13 01:33:33 2018\r\n",
      "  step 80400 lr 1 step-time 0.34s wps 17.57K ppl 12.60 gN 4.97 bleu 3.72, Thu Dec 13 01:34:08 2018\r\n",
      "  step 80500 lr 1 step-time 0.34s wps 17.87K ppl 12.44 gN 4.86 bleu 3.72, Thu Dec 13 01:34:42 2018\r\n",
      "  step 80600 lr 1 step-time 0.34s wps 17.90K ppl 12.42 gN 4.87 bleu 3.72, Thu Dec 13 01:35:16 2018\r\n",
      "  step 80700 lr 1 step-time 0.35s wps 17.95K ppl 12.23 gN 4.80 bleu 3.72, Thu Dec 13 01:35:51 2018\r\n",
      "  step 80800 lr 1 step-time 0.34s wps 17.78K ppl 12.04 gN 4.69 bleu 3.72, Thu Dec 13 01:36:25 2018\r\n",
      "  step 80900 lr 1 step-time 0.35s wps 17.96K ppl 12.45 gN 5.20 bleu 3.72, Thu Dec 13 01:37:00 2018\r\n",
      "  step 81000 lr 1 step-time 0.34s wps 17.82K ppl 12.00 gN 4.88 bleu 3.72, Thu Dec 13 01:37:34 2018\r\n",
      "# Save eval, global step 81000\r\n",
      "2018-12-13 01:37:35.295704: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:37:35.295928: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:37:35.296284: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-81000, time 0.07s\r\n",
      "  # 2235\r\n",
      "    src: Reuben Proctor also likes to visit the store on \"Domgasse\".\r\n",
      "    ref: Auch Reuben Proctor besucht den Laden in der Domgasse gerne.\r\n",
      "    nmt: <unk> <unk> hat auch die <unk> die sich auf die <unk>\r\n",
      "2018-12-13 01:37:35.429987: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:37:35.429987: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:37:35.430253: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-81000, time 0.09s\r\n",
      "  eval dev: perplexity 20.22, time 3s, Thu Dec 13 01:37:39 2018.\r\n",
      "  eval test: perplexity 20.49, time 3s, Thu Dec 13 01:37:43 2018.\r\n",
      "  step 81100 lr 1 step-time 0.35s wps 17.86K ppl 12.08 gN 4.74 bleu 3.72, Thu Dec 13 01:38:17 2018\r\n",
      "  step 81200 lr 1 step-time 0.35s wps 17.78K ppl 11.89 gN 4.92 bleu 3.72, Thu Dec 13 01:38:52 2018\r\n",
      "  step 81300 lr 1 step-time 0.35s wps 17.56K ppl 11.97 gN 4.90 bleu 3.72, Thu Dec 13 01:39:27 2018\r\n",
      "  step 81400 lr 1 step-time 0.35s wps 17.58K ppl 11.72 gN 4.91 bleu 3.72, Thu Dec 13 01:40:02 2018\r\n",
      "  step 81500 lr 1 step-time 0.35s wps 17.89K ppl 11.81 gN 4.99 bleu 3.72, Thu Dec 13 01:40:37 2018\r\n",
      "  step 81600 lr 1 step-time 0.35s wps 17.95K ppl 12.00 gN 4.97 bleu 3.72, Thu Dec 13 01:41:11 2018\r\n",
      "  step 81700 lr 1 step-time 0.35s wps 17.89K ppl 13.05 gN 4.95 bleu 3.72, Thu Dec 13 01:41:46 2018\r\n",
      "  step 81800 lr 1 step-time 0.35s wps 17.86K ppl 13.28 gN 4.78 bleu 3.72, Thu Dec 13 01:42:21 2018\r\n",
      "  step 81900 lr 1 step-time 0.35s wps 17.89K ppl 14.14 gN 5.14 bleu 3.72, Thu Dec 13 01:42:56 2018\r\n",
      "  step 82000 lr 1 step-time 0.35s wps 17.88K ppl 14.25 gN 4.71 bleu 3.72, Thu Dec 13 01:43:31 2018\r\n",
      "# Save eval, global step 82000\r\n",
      "2018-12-13 01:43:31.453439: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:43:31.453439: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:43:31.453690: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-82000, time 0.07s\r\n",
      "  # 690\r\n",
      "    src: Teams and individual competitors will be pitted against one another in the disciplines of tossing the caber, horseshoe tossing and bucket carrying.\r\n",
      "    ref: Teams und Einzelkämpfer messen sich dabei in den Disziplinen Baumstammwerfen, Hufeisenwerfen und Wassereimertragen.\r\n",
      "    nmt: Die <unk> werden <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> und <unk> <unk>\r\n",
      "2018-12-13 01:43:31.607781: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:43:31.607783: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:43:31.608063: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-82000, time 0.09s\r\n",
      "  eval dev: perplexity 19.09, time 3s, Thu Dec 13 01:43:35 2018.\r\n",
      "  eval test: perplexity 19.65, time 3s, Thu Dec 13 01:43:39 2018.\r\n",
      "  step 82100 lr 1 step-time 0.35s wps 17.89K ppl 14.83 gN 4.79 bleu 3.72, Thu Dec 13 01:44:14 2018\r\n",
      "  step 82200 lr 1 step-time 0.35s wps 17.91K ppl 15.34 gN 4.72 bleu 3.72, Thu Dec 13 01:44:49 2018\r\n",
      "  step 82300 lr 1 step-time 0.35s wps 17.67K ppl 15.79 gN 4.88 bleu 3.72, Thu Dec 13 01:45:24 2018\r\n",
      "  step 82400 lr 1 step-time 0.36s wps 17.62K ppl 16.30 gN 4.83 bleu 3.72, Thu Dec 13 01:45:59 2018\r\n",
      "  step 82500 lr 1 step-time 0.35s wps 17.77K ppl 16.31 gN 4.78 bleu 3.72, Thu Dec 13 01:46:34 2018\r\n",
      "  step 82600 lr 1 step-time 0.35s wps 17.84K ppl 16.53 gN 4.70 bleu 3.72, Thu Dec 13 01:47:09 2018\r\n",
      "  step 82700 lr 1 step-time 0.35s wps 17.88K ppl 16.86 gN 4.95 bleu 3.72, Thu Dec 13 01:47:44 2018\r\n",
      "  step 82800 lr 1 step-time 0.35s wps 17.87K ppl 17.00 gN 4.51 bleu 3.72, Thu Dec 13 01:48:19 2018\r\n",
      "  step 82900 lr 1 step-time 0.35s wps 17.80K ppl 17.15 gN 4.78 bleu 3.72, Thu Dec 13 01:48:53 2018\r\n",
      "  step 83000 lr 1 step-time 0.35s wps 17.83K ppl 17.10 gN 4.85 bleu 3.72, Thu Dec 13 01:49:28 2018\r\n",
      "# Save eval, global step 83000\r\n",
      "2018-12-13 01:49:29.252308: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:49:29.252446: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:49:29.252514: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-83000, time 0.07s\r\n",
      "  # 2444\r\n",
      "    src: It's five years later, Mr. President, and I couldn't agree with you more.\r\n",
      "    ref: Es sind fünf Jahre später, Mr. President, und ich könnte Ihnen nicht stärker zustimmen.\r\n",
      "    nmt: <unk> Herr <unk> Herr <unk> und ich stimme Ihnen mit Ihnen einverstanden mit Ihnen <unk>\r\n",
      "2018-12-13 01:49:29.394290: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:49:29.394291: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:49:29.394561: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-83000, time 0.09s\r\n",
      "  eval dev: perplexity 26.28, time 3s, Thu Dec 13 01:49:33 2018.\r\n",
      "  eval test: perplexity 25.98, time 3s, Thu Dec 13 01:49:37 2018.\r\n",
      "  step 83100 lr 1 step-time 0.34s wps 17.75K ppl 16.85 gN 4.63 bleu 3.72, Thu Dec 13 01:50:11 2018\r\n",
      "  step 83200 lr 1 step-time 0.34s wps 17.94K ppl 16.81 gN 4.63 bleu 3.72, Thu Dec 13 01:50:46 2018\r\n",
      "  step 83300 lr 1 step-time 0.34s wps 17.87K ppl 17.19 gN 4.56 bleu 3.72, Thu Dec 13 01:51:20 2018\r\n",
      "  step 83400 lr 1 step-time 0.35s wps 17.43K ppl 17.39 gN 4.57 bleu 3.72, Thu Dec 13 01:51:55 2018\r\n",
      "  step 83500 lr 1 step-time 0.35s wps 17.49K ppl 17.29 gN 4.63 bleu 3.72, Thu Dec 13 01:52:31 2018\r\n",
      "  step 83600 lr 1 step-time 0.35s wps 17.76K ppl 17.41 gN 4.56 bleu 3.72, Thu Dec 13 01:53:05 2018\r\n",
      "  step 83700 lr 1 step-time 0.35s wps 17.94K ppl 17.49 gN 4.67 bleu 3.72, Thu Dec 13 01:53:40 2018\r\n",
      "  step 83800 lr 1 step-time 0.34s wps 17.82K ppl 17.48 gN 4.55 bleu 3.72, Thu Dec 13 01:54:14 2018\r\n",
      "  step 83900 lr 1 step-time 0.34s wps 17.70K ppl 17.61 gN 4.59 bleu 3.72, Thu Dec 13 01:54:49 2018\r\n",
      "  step 84000 lr 1 step-time 0.34s wps 17.82K ppl 17.37 gN 4.37 bleu 3.72, Thu Dec 13 01:55:23 2018\r\n",
      "# Save eval, global step 84000\r\n",
      "2018-12-13 01:55:24.115837: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:55:24.115970: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 01:55:24.116049: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-84000, time 0.07s\r\n",
      "  # 2967\r\n",
      "    src: We have actually prevented airplanes from going down, buildings from being blown up, and people from being assassinated because we've been able to learn ahead of time of the plans.\r\n",
      "    ref: Wir haben tatsächlich Flugzeugabstürze, Anschläge auf Gebäude und die Ermordung von Menschen verhindert, weil wir im Vorfeld von solchen Plänen erfahren haben.\r\n",
      "    nmt: Wir haben <unk> daß die <unk> von <unk> aus <unk> <unk> und <unk> <unk> <unk> weil sie sich an der Zeit <unk>\r\n",
      "2018-12-13 01:55:24.290301: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:55:24.290552: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 01:55:24.290605: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-84000, time 0.09s\r\n",
      "  eval dev: perplexity 19.12, time 3s, Thu Dec 13 01:55:28 2018.\r\n",
      "  eval test: perplexity 19.43, time 3s, Thu Dec 13 01:55:32 2018.\r\n",
      "  step 84100 lr 1 step-time 0.35s wps 17.92K ppl 17.97 gN 4.57 bleu 3.72, Thu Dec 13 01:56:06 2018\r\n",
      "  step 84200 lr 1 step-time 0.35s wps 17.82K ppl 18.37 gN 4.57 bleu 3.72, Thu Dec 13 01:56:41 2018\r\n",
      "  step 84300 lr 1 step-time 0.34s wps 17.85K ppl 17.94 gN 4.35 bleu 3.72, Thu Dec 13 01:57:15 2018\r\n",
      "  step 84400 lr 1 step-time 0.35s wps 17.55K ppl 18.24 gN 4.63 bleu 3.72, Thu Dec 13 01:57:50 2018\r\n",
      "  step 84500 lr 1 step-time 0.35s wps 17.40K ppl 18.32 gN 4.36 bleu 3.72, Thu Dec 13 01:58:25 2018\r\n",
      "  step 84600 lr 1 step-time 0.35s wps 17.59K ppl 18.08 gN 4.60 bleu 3.72, Thu Dec 13 01:59:00 2018\r\n",
      "  step 84700 lr 1 step-time 0.34s wps 17.78K ppl 18.48 gN 4.55 bleu 3.72, Thu Dec 13 01:59:34 2018\r\n",
      "  step 84800 lr 1 step-time 0.34s wps 17.75K ppl 18.25 gN 4.27 bleu 3.72, Thu Dec 13 02:00:09 2018\r\n",
      "  step 84900 lr 1 step-time 0.34s wps 17.67K ppl 18.25 gN 4.43 bleu 3.72, Thu Dec 13 02:00:43 2018\r\n",
      "  step 85000 lr 1 step-time 0.34s wps 17.78K ppl 18.02 gN 4.41 bleu 3.72, Thu Dec 13 02:01:18 2018\r\n",
      "# Save eval, global step 85000\r\n",
      "2018-12-13 02:01:18.522859: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:01:18.523124: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:01:18.523273: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-85000, time 0.07s\r\n",
      "  # 75\r\n",
      "    src: New York City is looking into one.\r\n",
      "    ref: New York City erwägt ebenfalls ein solches.\r\n",
      "    nmt: New York wird sich in der Lage <unk>\r\n",
      "2018-12-13 02:01:18.646228: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:01:18.646432: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:01:18.646569: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-85000, time 0.09s\r\n",
      "  eval dev: perplexity 25.01, time 3s, Thu Dec 13 02:01:22 2018.\r\n",
      "  eval test: perplexity 24.19, time 3s, Thu Dec 13 02:01:26 2018.\r\n",
      "2018-12-13 02:01:27.172647: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:01:27.172861: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:01:27.173020: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-85000, time 0.07s\r\n",
      "  # 2552\r\n",
      "    src: Their party has spoken out in favour of privatisation.\r\n",
      "    ref: Ihre Partei hat sich ja für Privatisierungen ausgesprochen.\r\n",
      "    nmt: Ihre Partei hat sich für die <unk> <unk>\r\n",
      "2018-12-13 02:01:27.284515: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:01:27.284585: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:01:27.284727: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-85000, time 0.07s\r\n",
      "# External evaluation, global step 85000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 27s, Thu Dec 13 02:01:54 2018.\r\n",
      "  bleu dev: 2.8\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 85000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 28s, Thu Dec 13 02:02:23 2018.\r\n",
      "  bleu test: 3.4\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 85100 lr 1 step-time 0.34s wps 17.63K ppl 18.55 gN 4.39 bleu 3.72, Thu Dec 13 02:02:58 2018\r\n",
      "  step 85200 lr 1 step-time 0.34s wps 17.39K ppl 19.71 gN 4.35 bleu 3.72, Thu Dec 13 02:03:32 2018\r\n",
      "  step 85300 lr 1 step-time 0.34s wps 17.20K ppl 21.14 gN 4.47 bleu 3.72, Thu Dec 13 02:04:06 2018\r\n",
      "  step 85400 lr 1 step-time 0.34s wps 16.96K ppl 22.27 gN 4.62 bleu 3.72, Thu Dec 13 02:04:41 2018\r\n",
      "  step 85500 lr 1 step-time 0.35s wps 17.12K ppl 22.77 gN 4.57 bleu 3.72, Thu Dec 13 02:05:15 2018\r\n",
      "  step 85600 lr 1 step-time 0.34s wps 17.00K ppl 23.45 gN 4.40 bleu 3.72, Thu Dec 13 02:05:49 2018\r\n",
      "  step 85700 lr 1 step-time 0.33s wps 16.96K ppl 24.00 gN 4.43 bleu 3.72, Thu Dec 13 02:06:23 2018\r\n",
      "  step 85800 lr 1 step-time 0.33s wps 16.84K ppl 24.66 gN 4.36 bleu 3.72, Thu Dec 13 02:06:56 2018\r\n",
      "  step 85900 lr 1 step-time 0.34s wps 16.74K ppl 24.83 gN 4.35 bleu 3.72, Thu Dec 13 02:07:30 2018\r\n",
      "  step 86000 lr 1 step-time 0.33s wps 16.64K ppl 24.34 gN 4.19 bleu 3.72, Thu Dec 13 02:08:03 2018\r\n",
      "# Save eval, global step 86000\r\n",
      "2018-12-13 02:08:03.710025: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:08:03.710164: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:08:03.710239: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-86000, time 0.07s\r\n",
      "  # 1158\r\n",
      "    src: His stories have inspired film producers such as Ridley Scott, Paul Verhoeven and Steven Spielberg.\r\n",
      "    ref: Seine Storys haben Filmregisseure wie Ridley Scott, Paul Verhoeven und Steven Spielberg inspiriert.\r\n",
      "    nmt: Seine Geschichten haben <unk> <unk> wie <unk> Paul <unk> und <unk> <unk>\r\n",
      "2018-12-13 02:08:03.850633: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:08:03.850633: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:08:03.850902: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-86000, time 0.08s\r\n",
      "  eval dev: perplexity 19.36, time 3s, Thu Dec 13 02:08:07 2018.\r\n",
      "  eval test: perplexity 19.64, time 3s, Thu Dec 13 02:08:11 2018.\r\n",
      "  step 86100 lr 1 step-time 0.34s wps 16.74K ppl 25.52 gN 4.56 bleu 3.72, Thu Dec 13 02:08:45 2018\r\n",
      "  step 86200 lr 1 step-time 0.34s wps 16.63K ppl 25.75 gN 4.30 bleu 3.72, Thu Dec 13 02:09:18 2018\r\n",
      "  step 86300 lr 1 step-time 0.33s wps 16.52K ppl 25.92 gN 4.45 bleu 3.72, Thu Dec 13 02:09:52 2018\r\n",
      "  step 86400 lr 1 step-time 0.34s wps 16.19K ppl 25.67 gN 4.22 bleu 3.72, Thu Dec 13 02:10:25 2018\r\n",
      "  step 86500 lr 1 step-time 0.34s wps 16.11K ppl 25.14 gN 4.07 bleu 3.72, Thu Dec 13 02:10:59 2018\r\n",
      "  step 86600 lr 1 step-time 0.33s wps 16.43K ppl 26.25 gN 4.46 bleu 3.72, Thu Dec 13 02:11:32 2018\r\n",
      "  step 86700 lr 1 step-time 0.33s wps 16.37K ppl 25.67 gN 4.19 bleu 3.72, Thu Dec 13 02:12:05 2018\r\n",
      "  step 86800 lr 1 step-time 0.33s wps 16.40K ppl 26.85 gN 4.36 bleu 3.72, Thu Dec 13 02:12:38 2018\r\n",
      "  step 86900 lr 1 step-time 0.33s wps 16.28K ppl 26.95 gN 4.23 bleu 3.72, Thu Dec 13 02:13:12 2018\r\n",
      "  step 87000 lr 1 step-time 0.33s wps 16.22K ppl 27.47 gN 4.31 bleu 3.72, Thu Dec 13 02:13:45 2018\r\n",
      "# Save eval, global step 87000\r\n",
      "2018-12-13 02:13:45.518307: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:13:45.518458: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:13:45.518525: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-87000, time 0.07s\r\n",
      "  # 2573\r\n",
      "    src: TSV Freudenstadt I: Dominik Bäuerle, Yannik Büchle, Sebastian Dölker, Felix Pälchen, Stefan Räller, Simon Schenk and Eduard Schulz.\r\n",
      "    ref: TSV Freudenstadt I: Dominik Bäuerle, Yannik Büchle, Sebastian Dölker, Felix Pälchen, Stefan Räller, Simon Schenk und Eduard Schulz.\r\n",
      "    nmt: Das <unk> <unk> <unk> <unk> <unk> <unk> <unk> Pierre <unk> <unk> Simon <unk> Simon <unk> und <unk>\r\n",
      "2018-12-13 02:13:45.670229: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:13:45.670229: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:13:45.670465: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-87000, time 0.08s\r\n",
      "  eval dev: perplexity 24.17, time 3s, Thu Dec 13 02:13:49 2018.\r\n",
      "  eval test: perplexity 23.92, time 3s, Thu Dec 13 02:13:53 2018.\r\n",
      "  step 87100 lr 1 step-time 0.33s wps 16.24K ppl 28.58 gN 4.35 bleu 3.72, Thu Dec 13 02:14:26 2018\r\n",
      "  step 87200 lr 1 step-time 0.33s wps 16.13K ppl 27.57 gN 4.03 bleu 3.72, Thu Dec 13 02:14:59 2018\r\n",
      "  step 87300 lr 1 step-time 0.33s wps 16.17K ppl 28.63 gN 4.14 bleu 3.72, Thu Dec 13 02:15:32 2018\r\n",
      "  step 87400 lr 1 step-time 0.34s wps 16.16K ppl 28.49 gN 4.26 bleu 3.72, Thu Dec 13 02:16:06 2018\r\n",
      "  step 87500 lr 1 step-time 0.34s wps 15.83K ppl 29.29 gN 4.31 bleu 3.72, Thu Dec 13 02:16:40 2018\r\n",
      "  step 87600 lr 1 step-time 0.34s wps 15.89K ppl 29.48 gN 4.31 bleu 3.72, Thu Dec 13 02:17:13 2018\r\n",
      "  step 87700 lr 1 step-time 0.34s wps 15.98K ppl 29.21 gN 4.12 bleu 3.72, Thu Dec 13 02:17:47 2018\r\n",
      "  step 87800 lr 1 step-time 0.33s wps 15.97K ppl 29.34 gN 4.21 bleu 3.72, Thu Dec 13 02:18:20 2018\r\n",
      "  step 87900 lr 1 step-time 0.34s wps 16.02K ppl 29.82 gN 4.07 bleu 3.72, Thu Dec 13 02:18:54 2018\r\n",
      "  step 88000 lr 1 step-time 0.33s wps 16.06K ppl 29.28 gN 4.22 bleu 3.72, Thu Dec 13 02:19:27 2018\r\n",
      "# Save eval, global step 88000\r\n",
      "2018-12-13 02:19:28.314796: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:19:28.314802: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:19:28.315070: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-88000, time 0.07s\r\n",
      "  # 2586\r\n",
      "    src: According to Tribukait, the tourist objective of the vision coincided with the goal of preserving the now extremely overgrown old Allmend grazing pasture, with its specific protected habitats, through its opening and connection to the still existing grazing land.\r\n",
      "    ref: Das touristische Ziel des Weitblicks deckt sich laut Tribukait mit dem Ziel, das inzwischen stark zugewachsene alte Allmendweidfeld mit seinen spezifischen geschützten Lebensraumtypen zu erhalten durch Öffnung und Verbindung zu den noch bestehenden Weiden hin.\r\n",
      "    nmt: Nachdem die <unk> die <unk> von den <unk> aus dem Ziel der Vision <unk> <unk> <unk> die alten <unk> die alten <unk> durch ihre <unk> und die <unk> die noch bestehenden <unk> <unk> <unk>\r\n",
      "2018-12-13 02:19:28.525518: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:19:28.525518: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:19:28.525761: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-88000, time 0.08s\r\n",
      "  eval dev: perplexity 21.96, time 3s, Thu Dec 13 02:19:32 2018.\r\n",
      "  eval test: perplexity 22.10, time 3s, Thu Dec 13 02:19:36 2018.\r\n",
      "  step 88100 lr 1 step-time 0.34s wps 16.09K ppl 29.06 gN 4.22 bleu 3.72, Thu Dec 13 02:20:09 2018\r\n",
      "  step 88200 lr 1 step-time 0.33s wps 16.04K ppl 28.82 gN 4.12 bleu 3.72, Thu Dec 13 02:20:43 2018\r\n",
      "  step 88300 lr 1 step-time 0.33s wps 16.08K ppl 27.60 gN 4.07 bleu 3.72, Thu Dec 13 02:21:16 2018\r\n",
      "  step 88400 lr 1 step-time 0.33s wps 16.11K ppl 28.43 gN 4.14 bleu 3.72, Thu Dec 13 02:21:49 2018\r\n",
      "  step 88500 lr 1 step-time 0.34s wps 16.19K ppl 28.10 gN 4.07 bleu 3.72, Thu Dec 13 02:22:23 2018\r\n",
      "  step 88600 lr 1 step-time 0.34s wps 15.88K ppl 27.77 gN 4.39 bleu 3.72, Thu Dec 13 02:22:57 2018\r\n",
      "  step 88700 lr 1 step-time 0.33s wps 15.96K ppl 26.91 gN 4.13 bleu 3.72, Thu Dec 13 02:23:30 2018\r\n",
      "  step 88800 lr 1 step-time 0.34s wps 16.17K ppl 26.92 gN 4.09 bleu 3.72, Thu Dec 13 02:24:04 2018\r\n",
      "  step 88900 lr 1 step-time 0.33s wps 16.24K ppl 27.11 gN 4.15 bleu 3.72, Thu Dec 13 02:24:38 2018\r\n",
      "  step 89000 lr 1 step-time 0.33s wps 16.19K ppl 26.82 gN 4.14 bleu 3.72, Thu Dec 13 02:25:11 2018\r\n",
      "# Save eval, global step 89000\r\n",
      "2018-12-13 02:25:11.528017: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:25:11.528212: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:25:11.528288: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-89000, time 0.07s\r\n",
      "  # 2422\r\n",
      "    src: Moreover, I believe that partisan obstructionism has upended too many efforts to push our nation forward: immigration reform, a public option for health care, and closing the base at Guantanamo Bay, among others.\r\n",
      "    ref: Auch ich bin der Ansicht, dass die parteipolitische Blockadetaktik zu viele Bestrebungen gekippt habe, mit denen unsere Nation vorwärts gebracht werden sollte: Einwanderungsreform, eine öffentliche Option für Krankenversicherung und das Schließen von Guantanamo Bay, um nur einige zu nennen.\r\n",
      "    nmt: Ich glaube <unk> dass ich <unk> <unk> zu viele Anstrengungen zu <unk> um unsere Nation zu <unk> die <unk> zu <unk> und die <unk> zu <unk> und die <unk> zu <unk>\r\n",
      "2018-12-13 02:25:11.722985: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:25:11.723212: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:25:11.723002: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-89000, time 0.08s\r\n",
      "  eval dev: perplexity 21.63, time 3s, Thu Dec 13 02:25:15 2018.\r\n",
      "  eval test: perplexity 21.98, time 3s, Thu Dec 13 02:25:19 2018.\r\n",
      "  step 89100 lr 1 step-time 0.33s wps 16.19K ppl 26.05 gN 4.03 bleu 3.72, Thu Dec 13 02:25:52 2018\r\n",
      "  step 89200 lr 1 step-time 0.33s wps 16.27K ppl 26.97 gN 4.13 bleu 3.72, Thu Dec 13 02:26:25 2018\r\n",
      "  step 89300 lr 1 step-time 0.34s wps 16.24K ppl 26.73 gN 4.23 bleu 3.72, Thu Dec 13 02:26:59 2018\r\n",
      "  step 89400 lr 1 step-time 0.33s wps 16.23K ppl 25.53 gN 4.01 bleu 3.72, Thu Dec 13 02:27:32 2018\r\n",
      "  step 89500 lr 1 step-time 0.34s wps 16.27K ppl 26.87 gN 4.32 bleu 3.72, Thu Dec 13 02:28:05 2018\r\n",
      "  step 89600 lr 1 step-time 0.33s wps 15.95K ppl 25.53 gN 3.94 bleu 3.72, Thu Dec 13 02:28:39 2018\r\n",
      "  step 89700 lr 1 step-time 0.34s wps 15.90K ppl 25.89 gN 4.19 bleu 3.72, Thu Dec 13 02:29:13 2018\r\n",
      "  step 89800 lr 1 step-time 0.33s wps 16.22K ppl 25.76 gN 4.16 bleu 3.72, Thu Dec 13 02:29:46 2018\r\n",
      "  step 89900 lr 1 step-time 0.33s wps 16.28K ppl 26.42 gN 4.22 bleu 3.72, Thu Dec 13 02:30:20 2018\r\n",
      "  step 90000 lr 1 step-time 0.33s wps 16.33K ppl 25.99 gN 4.22 bleu 3.72, Thu Dec 13 02:30:53 2018\r\n",
      "# Save eval, global step 90000\r\n",
      "2018-12-13 02:30:54.178137: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:30:54.178345: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:30:54.178487: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-90000, time 0.07s\r\n",
      "  # 1036\r\n",
      "    src: But a suggestion of stronger demand came Friday from two reports on Chinese manufacturing that showed an uptick in activity.\r\n",
      "    ref: Doch am Freitag gab es Hinweise auf stärkere Nachfrage durch zwei Berichte über einen Aktivitätszuwachs in der chinesischen Fertigung.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 02:30:54.386995: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:30:54.386995: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:30:54.387258: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-90000, time 0.09s\r\n",
      "  eval dev: perplexity 20.05, time 3s, Thu Dec 13 02:30:58 2018.\r\n",
      "  eval test: perplexity 21.29, time 3s, Thu Dec 13 02:31:02 2018.\r\n",
      "2018-12-13 02:31:02.816663: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:31:02.816663: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:31:02.816909: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-90000, time 0.07s\r\n",
      "  # 274\r\n",
      "    src: This question should also provide information regarding the preconditions for the origins of life.\r\n",
      "    ref: Auch diese Frage soll letztlich Aufschluss darüber geben, welche Voraussetzungen es für die Entstehung von Leben gibt.\r\n",
      "    nmt: Diese Frage sollte auch Informationen über die Herkunft des <unk> <unk>\r\n",
      "2018-12-13 02:31:02.940960: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:31:02.941104: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:31:02.941174: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-90000, time 0.07s\r\n",
      "# External evaluation, global step 90000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 46s, Thu Dec 13 02:31:49 2018.\r\n",
      "  bleu dev: 0.4\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 90000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 47s, Thu Dec 13 02:32:38 2018.\r\n",
      "  bleu test: 0.5\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 90100 lr 1 step-time 0.33s wps 16.19K ppl 25.65 gN 4.11 bleu 3.72, Thu Dec 13 02:33:12 2018\r\n",
      "  step 90200 lr 1 step-time 0.33s wps 16.26K ppl 24.92 gN 4.00 bleu 3.72, Thu Dec 13 02:33:46 2018\r\n",
      "  step 90300 lr 1 step-time 0.33s wps 16.30K ppl 26.13 gN 4.19 bleu 3.72, Thu Dec 13 02:34:19 2018\r\n",
      "  step 90400 lr 1 step-time 0.34s wps 16.12K ppl 25.38 gN 4.12 bleu 3.72, Thu Dec 13 02:34:53 2018\r\n",
      "  step 90500 lr 1 step-time 0.34s wps 15.92K ppl 25.60 gN 4.18 bleu 3.72, Thu Dec 13 02:35:27 2018\r\n",
      "  step 90600 lr 1 step-time 0.33s wps 16.21K ppl 24.68 gN 4.01 bleu 3.72, Thu Dec 13 02:36:00 2018\r\n",
      "  step 90700 lr 1 step-time 0.34s wps 16.37K ppl 26.68 gN 4.24 bleu 3.72, Thu Dec 13 02:36:34 2018\r\n",
      "  step 90800 lr 1 step-time 0.33s wps 16.20K ppl 25.58 gN 3.88 bleu 3.72, Thu Dec 13 02:37:07 2018\r\n",
      "  step 90900 lr 1 step-time 0.33s wps 16.24K ppl 25.48 gN 3.76 bleu 3.72, Thu Dec 13 02:37:40 2018\r\n",
      "  step 91000 lr 1 step-time 0.33s wps 16.16K ppl 27.39 gN 4.04 bleu 3.72, Thu Dec 13 02:38:14 2018\r\n",
      "# Save eval, global step 91000\r\n",
      "2018-12-13 02:38:14.499163: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:38:14.499301: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:38:14.499372: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-91000, time 0.07s\r\n",
      "  # 121\r\n",
      "    src: For Hans Kammerer, the exercise was also a chance to show what can be achieved with just a few available staff.\r\n",
      "    ref: Hans Kammerer ging es bei der Übung auch darum aufzuzeigen, was mit wenig zur Verfügung stehendem Personal zu bewerkstelligen ist.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 02:38:14.709382: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:38:14.709382: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:38:14.709610: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-91000, time 0.08s\r\n",
      "  eval dev: perplexity 24.80, time 3s, Thu Dec 13 02:38:18 2018.\r\n",
      "  eval test: perplexity 26.15, time 3s, Thu Dec 13 02:38:22 2018.\r\n",
      "  step 91100 lr 1 step-time 0.33s wps 16.08K ppl 26.70 gN 4.07 bleu 3.72, Thu Dec 13 02:38:55 2018\r\n",
      "  step 91200 lr 1 step-time 0.33s wps 16.12K ppl 26.96 gN 3.88 bleu 3.72, Thu Dec 13 02:39:28 2018\r\n",
      "  step 91300 lr 1 step-time 0.33s wps 16.04K ppl 27.42 gN 3.91 bleu 3.72, Thu Dec 13 02:40:02 2018\r\n",
      "  step 91400 lr 1 step-time 0.33s wps 15.98K ppl 26.90 gN 3.85 bleu 3.72, Thu Dec 13 02:40:34 2018\r\n",
      "  step 91500 lr 1 step-time 0.34s wps 15.68K ppl 27.88 gN 3.95 bleu 3.72, Thu Dec 13 02:41:09 2018\r\n",
      "  step 91600 lr 1 step-time 0.33s wps 15.46K ppl 26.13 gN 3.71 bleu 3.72, Thu Dec 13 02:41:42 2018\r\n",
      "  step 91700 lr 1 step-time 0.33s wps 15.81K ppl 27.36 gN 3.78 bleu 3.72, Thu Dec 13 02:42:16 2018\r\n",
      "  step 91800 lr 1 step-time 0.33s wps 15.77K ppl 27.04 gN 3.87 bleu 3.72, Thu Dec 13 02:42:49 2018\r\n",
      "  step 91900 lr 1 step-time 0.33s wps 15.85K ppl 25.91 gN 3.71 bleu 3.72, Thu Dec 13 02:43:23 2018\r\n",
      "  step 92000 lr 1 step-time 0.33s wps 15.82K ppl 26.46 gN 3.58 bleu 3.72, Thu Dec 13 02:43:56 2018\r\n",
      "# Save eval, global step 92000\r\n",
      "2018-12-13 02:43:56.814706: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:43:56.814706: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:43:56.814941: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-92000, time 0.07s\r\n",
      "  # 357\r\n",
      "    src: On Wednesday it slashed the mileage award to 25 percent of the miles of the trip.\r\n",
      "    ref: Am Mittwoch wurden die Meilen noch einmal auf 25 Prozent der Flugstrecke gekürzt.\r\n",
      "    nmt: Am Mittwoch <unk> sie die <unk> <unk> der Meilen des <unk>\r\n",
      "2018-12-13 02:43:56.954695: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:43:56.954695: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:43:56.954937: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-92000, time 0.09s\r\n",
      "  eval dev: perplexity 19.37, time 3s, Thu Dec 13 02:44:00 2018.\r\n",
      "  eval test: perplexity 20.31, time 3s, Thu Dec 13 02:44:04 2018.\r\n",
      "  step 92100 lr 1 step-time 0.33s wps 15.79K ppl 27.67 gN 4.01 bleu 3.72, Thu Dec 13 02:44:38 2018\r\n",
      "  step 92200 lr 1 step-time 0.33s wps 15.94K ppl 27.28 gN 3.80 bleu 3.72, Thu Dec 13 02:45:11 2018\r\n",
      "  step 92300 lr 1 step-time 0.33s wps 15.94K ppl 27.16 gN 3.91 bleu 3.72, Thu Dec 13 02:45:44 2018\r\n",
      "  step 92400 lr 1 step-time 0.33s wps 15.97K ppl 26.80 gN 3.95 bleu 3.72, Thu Dec 13 02:46:17 2018\r\n",
      "  step 92500 lr 1 step-time 0.33s wps 16.05K ppl 26.56 gN 3.84 bleu 3.72, Thu Dec 13 02:46:50 2018\r\n",
      "  step 92600 lr 1 step-time 0.33s wps 15.87K ppl 26.88 gN 3.79 bleu 3.72, Thu Dec 13 02:47:23 2018\r\n",
      "  step 92700 lr 1 step-time 0.34s wps 15.82K ppl 26.95 gN 4.07 bleu 3.72, Thu Dec 13 02:47:57 2018\r\n",
      "  step 92800 lr 1 step-time 0.33s wps 16.02K ppl 26.67 gN 4.03 bleu 3.72, Thu Dec 13 02:48:29 2018\r\n",
      "  step 92900 lr 1 step-time 0.33s wps 16.03K ppl 26.47 gN 3.96 bleu 3.72, Thu Dec 13 02:49:02 2018\r\n",
      "  step 93000 lr 1 step-time 0.33s wps 16.16K ppl 26.70 gN 4.07 bleu 3.72, Thu Dec 13 02:49:35 2018\r\n",
      "# Save eval, global step 93000\r\n",
      "2018-12-13 02:49:35.583885: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:49:35.584248: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:49:35.584522: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-93000, time 0.07s\r\n",
      "  # 735\r\n",
      "    src: After an eight-hour flight, they headed straight for Brooklyn Bridge, via which the heart of the city, Manhattan, can be reached on foot.\r\n",
      "    ref: Nach acht Stunden Flug ging es gleich los zur Brooklyn Bridge, über die zu Fuß das Herz der Stadt, Manhattan, erreicht wurde.\r\n",
      "    nmt: Nach <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 02:49:35.802533: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:49:35.802533: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:49:35.802764: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-93000, time 0.08s\r\n",
      "  eval dev: perplexity 21.52, time 3s, Thu Dec 13 02:49:39 2018.\r\n",
      "  eval test: perplexity 22.59, time 3s, Thu Dec 13 02:49:43 2018.\r\n",
      "  step 93100 lr 1 step-time 0.33s wps 16.15K ppl 26.73 gN 4.07 bleu 3.72, Thu Dec 13 02:50:16 2018\r\n",
      "  step 93200 lr 1 step-time 0.33s wps 16.12K ppl 26.18 gN 3.91 bleu 3.72, Thu Dec 13 02:50:49 2018\r\n",
      "  step 93300 lr 1 step-time 0.33s wps 16.13K ppl 26.12 gN 4.08 bleu 3.72, Thu Dec 13 02:51:22 2018\r\n",
      "  step 93400 lr 1 step-time 0.33s wps 16.12K ppl 26.23 gN 4.04 bleu 3.72, Thu Dec 13 02:51:55 2018\r\n",
      "  step 93500 lr 1 step-time 0.33s wps 16.11K ppl 26.09 gN 3.98 bleu 3.72, Thu Dec 13 02:52:28 2018\r\n",
      "  step 93600 lr 1 step-time 0.33s wps 16.22K ppl 26.94 gN 4.15 bleu 3.72, Thu Dec 13 02:53:01 2018\r\n",
      "  step 93700 lr 1 step-time 0.33s wps 15.90K ppl 26.13 gN 3.99 bleu 3.72, Thu Dec 13 02:53:34 2018\r\n",
      "  step 93800 lr 1 step-time 0.33s wps 16.04K ppl 25.79 gN 3.87 bleu 3.72, Thu Dec 13 02:54:07 2018\r\n",
      "  step 93900 lr 1 step-time 0.33s wps 16.18K ppl 26.18 gN 4.25 bleu 3.72, Thu Dec 13 02:54:40 2018\r\n",
      "  step 94000 lr 1 step-time 0.33s wps 16.16K ppl 25.64 gN 3.89 bleu 3.72, Thu Dec 13 02:55:13 2018\r\n",
      "# Save eval, global step 94000\r\n",
      "2018-12-13 02:55:14.072911: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:55:14.073080: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:55:14.073151: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-94000, time 0.07s\r\n",
      "  # 493\r\n",
      "    src: But this went way beyond the ordinary confines of a lawyer-client relationship.\r\n",
      "    ref: Doch das ging weit über die Grenzen einer normalen Beziehung zwischen Anwalt und Mandant hinaus.\r\n",
      "    nmt: Aber diese <unk> wie etwa die normale <unk> eines <unk> <unk>\r\n",
      "2018-12-13 02:55:14.208318: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 02:55:14.208528: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 02:55:14.208695: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-94000, time 0.09s\r\n",
      "  eval dev: perplexity 19.59, time 3s, Thu Dec 13 02:55:18 2018.\r\n",
      "  eval test: perplexity 20.77, time 3s, Thu Dec 13 02:55:22 2018.\r\n",
      "  step 94100 lr 1 step-time 0.33s wps 16.25K ppl 26.14 gN 4.17 bleu 3.72, Thu Dec 13 02:55:55 2018\r\n",
      "  step 94200 lr 1 step-time 0.33s wps 16.27K ppl 25.84 gN 4.10 bleu 3.72, Thu Dec 13 02:56:28 2018\r\n",
      "  step 94300 lr 1 step-time 0.33s wps 16.28K ppl 25.24 gN 4.09 bleu 3.72, Thu Dec 13 02:57:00 2018\r\n",
      "  step 94400 lr 1 step-time 0.33s wps 16.28K ppl 25.52 gN 4.15 bleu 3.72, Thu Dec 13 02:57:33 2018\r\n",
      "  step 94500 lr 1 step-time 0.33s wps 16.37K ppl 25.41 gN 4.03 bleu 3.72, Thu Dec 13 02:58:06 2018\r\n",
      "  step 94600 lr 1 step-time 0.33s wps 16.30K ppl 25.48 gN 4.10 bleu 3.72, Thu Dec 13 02:58:39 2018\r\n",
      "  step 94700 lr 1 step-time 0.33s wps 16.22K ppl 25.30 gN 4.11 bleu 3.72, Thu Dec 13 02:59:11 2018\r\n",
      "  step 94800 lr 1 step-time 0.33s wps 16.08K ppl 25.81 gN 4.13 bleu 3.72, Thu Dec 13 02:59:44 2018\r\n",
      "  step 94900 lr 1 step-time 0.33s wps 16.19K ppl 25.69 gN 4.15 bleu 3.72, Thu Dec 13 03:00:18 2018\r\n",
      "  step 95000 lr 1 step-time 0.33s wps 16.31K ppl 25.16 gN 3.94 bleu 3.72, Thu Dec 13 03:00:50 2018\r\n",
      "# Save eval, global step 95000\r\n",
      "2018-12-13 03:00:51.084812: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:00:51.085014: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:00:51.085184: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-95000, time 0.07s\r\n",
      "  # 2723\r\n",
      "    src: The ex-Baywatch babe has ditched her long blonde locks in favour of a platinum pixie crop.\r\n",
      "    ref: Die ehemalige Baywatch-Schönheit hat sich zugunsten eines platinblonden Kurzhaarschnitts von ihren langen blonden Locken getrennt.\r\n",
      "    nmt: Die <unk> <unk> hat ihre lange <unk> <unk> in einem <unk> <unk> <unk>\r\n",
      "2018-12-13 03:00:51.228651: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:00:51.228799: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:00:51.228916: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-95000, time 0.09s\r\n",
      "  eval dev: perplexity 18.14, time 3s, Thu Dec 13 03:00:55 2018.\r\n",
      "  eval test: perplexity 19.36, time 3s, Thu Dec 13 03:00:59 2018.\r\n",
      "2018-12-13 03:00:59.805647: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:00:59.805647: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:00:59.805944: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-95000, time 0.07s\r\n",
      "  # 1936\r\n",
      "    src: It said that Malaysia, Thailand and Singapore had the highest household debt to gross domestic product ratios in Asia.\r\n",
      "    ref: Malaysia, Thailand und Singapur haben nach Einschätzung der Agentur die höchste Haushaltsverschuldung in Asien im Verhältnis zum Bruttoinlandsprodukt.\r\n",
      "    nmt: Es sagte <unk> dass Thailand Thailand und Singapur die höchste <unk> <unk> in <unk> <unk>\r\n",
      "2018-12-13 03:00:59.944102: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:00:59.944347: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:00:59.944496: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-95000, time 0.07s\r\n",
      "# External evaluation, global step 95000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 45s, Thu Dec 13 03:01:45 2018.\r\n",
      "  bleu dev: 2.3\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 95000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 46s, Thu Dec 13 03:02:33 2018.\r\n",
      "  bleu test: 2.6\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 95100 lr 1 step-time 0.33s wps 16.36K ppl 25.06 gN 4.07 bleu 3.72, Thu Dec 13 03:03:06 2018\r\n",
      "  step 95200 lr 1 step-time 0.33s wps 16.32K ppl 25.87 gN 4.36 bleu 3.72, Thu Dec 13 03:03:39 2018\r\n",
      "  step 95300 lr 1 step-time 0.33s wps 16.31K ppl 24.41 gN 3.93 bleu 3.72, Thu Dec 13 03:04:12 2018\r\n",
      "  step 95400 lr 1 step-time 0.33s wps 16.33K ppl 26.00 gN 4.27 bleu 3.72, Thu Dec 13 03:04:45 2018\r\n",
      "  step 95500 lr 1 step-time 0.33s wps 16.35K ppl 24.86 gN 3.95 bleu 3.72, Thu Dec 13 03:05:18 2018\r\n",
      "  step 95600 lr 1 step-time 0.33s wps 16.03K ppl 25.49 gN 4.14 bleu 3.72, Thu Dec 13 03:05:51 2018\r\n",
      "  step 95700 lr 1 step-time 0.33s wps 16.31K ppl 25.07 gN 4.24 bleu 3.72, Thu Dec 13 03:06:25 2018\r\n",
      "  step 95800 lr 1 step-time 0.32s wps 16.42K ppl 24.01 gN 4.03 bleu 3.72, Thu Dec 13 03:06:57 2018\r\n",
      "  step 95900 lr 1 step-time 0.33s wps 16.46K ppl 25.26 gN 4.23 bleu 3.72, Thu Dec 13 03:07:30 2018\r\n",
      "  step 96000 lr 1 step-time 0.33s wps 16.44K ppl 25.21 gN 4.19 bleu 3.72, Thu Dec 13 03:08:03 2018\r\n",
      "# Save eval, global step 96000\r\n",
      "2018-12-13 03:08:03.605208: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:08:03.605360: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:08:03.605447: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-96000, time 0.07s\r\n",
      "  # 1088\r\n",
      "    src: Does he know about phone hacking?\r\n",
      "    ref: Weiß er über das Telefon-Hacking Bescheid?\r\n",
      "    nmt: <unk> er über <unk> <unk>\r\n",
      "2018-12-13 03:08:03.721905: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:08:03.721958: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:08:03.722188: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-96000, time 0.09s\r\n",
      "  eval dev: perplexity 18.96, time 3s, Thu Dec 13 03:08:07 2018.\r\n",
      "  eval test: perplexity 20.23, time 3s, Thu Dec 13 03:08:11 2018.\r\n",
      "  step 96100 lr 1 step-time 0.33s wps 16.43K ppl 24.52 gN 4.04 bleu 3.72, Thu Dec 13 03:08:44 2018\r\n",
      "  step 96200 lr 1 step-time 0.33s wps 16.29K ppl 24.58 gN 4.08 bleu 3.72, Thu Dec 13 03:09:16 2018\r\n",
      "  step 96300 lr 1 step-time 0.33s wps 16.45K ppl 25.02 gN 4.29 bleu 3.72, Thu Dec 13 03:09:49 2018\r\n",
      "  step 96400 lr 1 step-time 0.33s wps 16.46K ppl 24.80 gN 4.36 bleu 3.72, Thu Dec 13 03:10:22 2018\r\n",
      "  step 96500 lr 1 step-time 0.33s wps 16.38K ppl 24.72 gN 4.11 bleu 3.72, Thu Dec 13 03:10:54 2018\r\n",
      "  step 96600 lr 1 step-time 0.33s wps 16.30K ppl 24.81 gN 4.21 bleu 3.72, Thu Dec 13 03:11:27 2018\r\n",
      "  step 96700 lr 1 step-time 0.33s wps 15.87K ppl 24.71 gN 4.10 bleu 3.72, Thu Dec 13 03:12:00 2018\r\n",
      "  step 96800 lr 1 step-time 0.33s wps 16.28K ppl 24.96 gN 4.04 bleu 3.72, Thu Dec 13 03:12:33 2018\r\n",
      "  step 96900 lr 1 step-time 0.32s wps 16.20K ppl 24.45 gN 3.99 bleu 3.72, Thu Dec 13 03:13:05 2018\r\n",
      "  step 97000 lr 1 step-time 0.32s wps 16.31K ppl 23.91 gN 3.86 bleu 3.72, Thu Dec 13 03:13:38 2018\r\n",
      "# Save eval, global step 97000\r\n",
      "2018-12-13 03:13:38.497865: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:13:38.498081: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:13:38.498219: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-97000, time 0.07s\r\n",
      "  # 2116\r\n",
      "    src: A contractual dispute between Gazprom and its counterparts in Ukraine, which hosts most of Russia's gas for Europe, adds a layer of risk to conventional routes, officials say.\r\n",
      "    ref: Ein Vertragsstreit zwischen Gazprom und seinen Pendants in der Ukraine, in dem der Großteil des russischen Gases für Europa gelagert ist, sorge für ein erhöhtes Risiko bei konventionellen Routen, wie von offizieller Seite zu hören ist.\r\n",
      "    nmt: Ein <unk> zwischen <unk> und <unk> in <unk> die meisten <unk> <unk> für <unk> <unk> für <unk> <unk>\r\n",
      "2018-12-13 03:13:38.661245: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:13:38.661245: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:13:38.661529: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-97000, time 0.08s\r\n",
      "  eval dev: perplexity 17.55, time 3s, Thu Dec 13 03:13:42 2018.\r\n",
      "  eval test: perplexity 18.59, time 3s, Thu Dec 13 03:13:46 2018.\r\n",
      "  step 97100 lr 1 step-time 0.33s wps 16.34K ppl 24.80 gN 3.92 bleu 3.72, Thu Dec 13 03:14:19 2018\r\n",
      "  step 97200 lr 1 step-time 0.32s wps 16.34K ppl 24.48 gN 3.97 bleu 3.72, Thu Dec 13 03:14:50 2018\r\n",
      "  step 97300 lr 1 step-time 0.32s wps 16.39K ppl 25.06 gN 4.08 bleu 3.72, Thu Dec 13 03:15:23 2018\r\n",
      "  step 97400 lr 1 step-time 0.32s wps 16.42K ppl 24.67 gN 3.94 bleu 3.72, Thu Dec 13 03:15:55 2018\r\n",
      "  step 97500 lr 1 step-time 0.32s wps 16.47K ppl 24.69 gN 3.91 bleu 3.72, Thu Dec 13 03:16:26 2018\r\n",
      "  step 97600 lr 1 step-time 0.32s wps 16.44K ppl 24.51 gN 3.91 bleu 3.72, Thu Dec 13 03:16:58 2018\r\n",
      "  step 97700 lr 1 step-time 0.32s wps 16.23K ppl 24.67 gN 3.91 bleu 3.72, Thu Dec 13 03:17:31 2018\r\n",
      "  step 97800 lr 1 step-time 0.33s wps 16.04K ppl 24.34 gN 3.76 bleu 3.72, Thu Dec 13 03:18:03 2018\r\n",
      "  step 97900 lr 1 step-time 0.32s wps 16.44K ppl 25.15 gN 4.07 bleu 3.72, Thu Dec 13 03:18:35 2018\r\n",
      "  step 98000 lr 1 step-time 0.32s wps 16.52K ppl 24.03 gN 3.86 bleu 3.72, Thu Dec 13 03:19:07 2018\r\n",
      "# Save eval, global step 98000\r\n",
      "2018-12-13 03:19:07.667095: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:19:07.667095: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:19:07.667431: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-98000, time 0.07s\r\n",
      "  # 91\r\n",
      "    src: There have been some big mistakes in some of these state pilot programs.\r\n",
      "    ref: In einigen dieser öffentlichen Pilotprogramme wurden große Fehler gemacht.\r\n",
      "    nmt: Es gab einige große Fehler in einigen dieser <unk>\r\n",
      "2018-12-13 03:19:07.796891: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:19:07.796891: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:19:07.797135: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-98000, time 0.08s\r\n",
      "  eval dev: perplexity 17.68, time 3s, Thu Dec 13 03:19:11 2018.\r\n",
      "  eval test: perplexity 18.65, time 3s, Thu Dec 13 03:19:15 2018.\r\n",
      "  step 98100 lr 1 step-time 0.31s wps 16.45K ppl 23.97 gN 3.74 bleu 3.72, Thu Dec 13 03:19:46 2018\r\n",
      "  step 98200 lr 1 step-time 0.32s wps 16.55K ppl 24.35 gN 3.87 bleu 3.72, Thu Dec 13 03:20:18 2018\r\n",
      "  step 98300 lr 1 step-time 0.32s wps 16.60K ppl 24.24 gN 3.88 bleu 3.72, Thu Dec 13 03:20:50 2018\r\n",
      "  step 98400 lr 1 step-time 0.32s wps 16.53K ppl 24.27 gN 4.06 bleu 3.72, Thu Dec 13 03:21:21 2018\r\n",
      "  step 98500 lr 1 step-time 0.31s wps 16.51K ppl 24.54 gN 3.98 bleu 3.72, Thu Dec 13 03:21:53 2018\r\n",
      "  step 98600 lr 1 step-time 0.31s wps 16.51K ppl 24.48 gN 3.96 bleu 3.72, Thu Dec 13 03:22:24 2018\r\n",
      "  step 98700 lr 1 step-time 0.32s wps 16.61K ppl 24.46 gN 3.73 bleu 3.72, Thu Dec 13 03:22:56 2018\r\n",
      "  step 98800 lr 1 step-time 0.32s wps 16.41K ppl 23.69 gN 3.88 bleu 3.72, Thu Dec 13 03:23:27 2018\r\n",
      "  step 98900 lr 1 step-time 0.32s wps 16.20K ppl 23.79 gN 3.83 bleu 3.72, Thu Dec 13 03:23:59 2018\r\n",
      "  step 99000 lr 1 step-time 0.32s wps 16.28K ppl 24.83 gN 4.00 bleu 3.72, Thu Dec 13 03:24:31 2018\r\n",
      "# Save eval, global step 99000\r\n",
      "2018-12-13 03:24:32.302820: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:24:32.303015: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:24:32.303412: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-99000, time 0.07s\r\n",
      "  # 1307\r\n",
      "    src: German passports will have a third designation other than M or F -- X, for intersex, according to the Interior Ministry.\r\n",
      "    ref: Deutsche Ausweise haben neben M und W künftig eine dritte Zuweisung, X für intersexuell, so das Innenministerium.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 03:24:32.511314: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:24:32.511319: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:24:32.511581: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-99000, time 0.09s\r\n",
      "  eval dev: perplexity 17.20, time 3s, Thu Dec 13 03:24:36 2018.\r\n",
      "  eval test: perplexity 18.38, time 3s, Thu Dec 13 03:24:40 2018.\r\n",
      "  step 99100 lr 1 step-time 0.32s wps 16.54K ppl 24.60 gN 3.93 bleu 3.72, Thu Dec 13 03:25:11 2018\r\n",
      "  step 99200 lr 1 step-time 0.32s wps 16.55K ppl 25.01 gN 4.08 bleu 3.72, Thu Dec 13 03:25:43 2018\r\n",
      "  step 99300 lr 1 step-time 0.31s wps 16.56K ppl 24.04 gN 3.90 bleu 3.72, Thu Dec 13 03:26:14 2018\r\n",
      "  step 99400 lr 1 step-time 0.32s wps 16.61K ppl 24.46 gN 3.82 bleu 3.72, Thu Dec 13 03:26:46 2018\r\n",
      "  step 99500 lr 1 step-time 0.31s wps 16.67K ppl 24.22 gN 3.93 bleu 3.72, Thu Dec 13 03:27:17 2018\r\n",
      "  step 99600 lr 1 step-time 0.32s wps 16.56K ppl 24.11 gN 3.88 bleu 3.72, Thu Dec 13 03:27:49 2018\r\n",
      "  step 99700 lr 1 step-time 0.31s wps 16.70K ppl 23.86 gN 3.73 bleu 3.72, Thu Dec 13 03:28:20 2018\r\n",
      "  step 99800 lr 1 step-time 0.31s wps 16.75K ppl 24.69 gN 4.03 bleu 3.72, Thu Dec 13 03:28:51 2018\r\n",
      "  step 99900 lr 1 step-time 0.31s wps 16.85K ppl 23.89 gN 3.63 bleu 3.72, Thu Dec 13 03:29:22 2018\r\n",
      "  step 100000 lr 1 step-time 0.32s wps 16.49K ppl 24.15 gN 3.90 bleu 3.72, Thu Dec 13 03:29:54 2018\r\n",
      "# Save eval, global step 100000\r\n",
      "2018-12-13 03:29:54.520584: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:29:54.520720: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:29:54.520789: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-100000, time 0.07s\r\n",
      "  # 1263\r\n",
      "    src: I will follow the facts wherever they lead.\r\n",
      "    ref: Ich folge den Fakten, in welche Richtung sie auch führen.\r\n",
      "    nmt: Ich werde die Fakten <unk> wo sie <unk>\r\n",
      "2018-12-13 03:29:54.648509: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:29:54.648579: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:29:54.648733: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-100000, time 0.09s\r\n",
      "  eval dev: perplexity 19.69, time 3s, Thu Dec 13 03:29:58 2018.\r\n",
      "  eval test: perplexity 20.33, time 3s, Thu Dec 13 03:30:02 2018.\r\n",
      "2018-12-13 03:30:03.339086: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:30:03.339086: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:30:03.339315: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-100000, time 0.07s\r\n",
      "  # 510\r\n",
      "    src: Following the great success of the musical, \"Rock my Life\", which enthused audiences this past Spring, the Liederkranz will bless two church services with the performance of Franz Schubert's Deutsche Messe, to close its anniversary year celebrations.\r\n",
      "    ref: Nach dem großen Erfolg des Musicals \"Rock my Life\", das die Zuschauer im Frühjahr diesen Jahres begeisterte, wird der Liederkranz zum Abschluss des Jubiläumsjahres zwei Gottesdienste mit der Aufführung der Deutschen Messe von Franz Schubert bereichern.\r\n",
      "    nmt: Nach dem großen Erfolg des <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 03:30:03.624201: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:30:03.624207: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:30:03.624510: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-100000, time 0.07s\r\n",
      "# External evaluation, global step 100000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 46s, Thu Dec 13 03:30:49 2018.\r\n",
      "  bleu dev: 1.4\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 100000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 44s, Thu Dec 13 03:31:35 2018.\r\n",
      "  bleu test: 2.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 100100 lr 1 step-time 0.31s wps 16.86K ppl 24.92 gN 3.97 bleu 3.72, Thu Dec 13 03:32:07 2018\r\n",
      "  step 100200 lr 1 step-time 0.31s wps 16.90K ppl 24.68 gN 3.90 bleu 3.72, Thu Dec 13 03:32:38 2018\r\n",
      "  step 100300 lr 1 step-time 0.31s wps 16.79K ppl 24.57 gN 3.95 bleu 3.72, Thu Dec 13 03:33:09 2018\r\n",
      "  step 100400 lr 1 step-time 0.31s wps 16.66K ppl 24.06 gN 3.88 bleu 3.72, Thu Dec 13 03:33:40 2018\r\n",
      "  step 100500 lr 1 step-time 0.31s wps 16.61K ppl 24.10 gN 3.72 bleu 3.72, Thu Dec 13 03:34:12 2018\r\n",
      "  step 100600 lr 1 step-time 0.31s wps 16.60K ppl 24.40 gN 3.82 bleu 3.72, Thu Dec 13 03:34:43 2018\r\n",
      "  step 100700 lr 1 step-time 0.31s wps 16.73K ppl 24.76 gN 3.90 bleu 3.72, Thu Dec 13 03:35:14 2018\r\n",
      "  step 100800 lr 1 step-time 0.31s wps 16.73K ppl 24.32 gN 3.82 bleu 3.72, Thu Dec 13 03:35:45 2018\r\n",
      "  step 100900 lr 1 step-time 0.32s wps 16.36K ppl 24.51 gN 3.90 bleu 3.72, Thu Dec 13 03:36:17 2018\r\n",
      "  step 101000 lr 1 step-time 0.32s wps 16.50K ppl 24.08 gN 3.90 bleu 3.72, Thu Dec 13 03:36:49 2018\r\n",
      "# Save eval, global step 101000\r\n",
      "2018-12-13 03:36:49.507751: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:36:49.507952: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:36:49.508234: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-101000, time 0.07s\r\n",
      "  # 2863\r\n",
      "    src: The meeting point for his tours is the Cologne Tourism Service Centre, right at the cathedral.\r\n",
      "    ref: Treffpunkt für seine Führungen ist das Service-Center von Köln-Tourismus direkt am Dom.\r\n",
      "    nmt: Die Tagung für seine Touren ist der <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 03:36:49.646581: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:36:49.646581: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:36:49.646835: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-101000, time 0.09s\r\n",
      "  eval dev: perplexity 17.98, time 3s, Thu Dec 13 03:36:53 2018.\r\n",
      "  eval test: perplexity 19.19, time 3s, Thu Dec 13 03:36:57 2018.\r\n",
      "  step 101100 lr 1 step-time 0.31s wps 16.61K ppl 24.20 gN 3.79 bleu 3.72, Thu Dec 13 03:37:28 2018\r\n",
      "  step 101200 lr 1 step-time 0.31s wps 16.82K ppl 24.23 gN 3.81 bleu 3.72, Thu Dec 13 03:37:59 2018\r\n",
      "  step 101300 lr 1 step-time 0.31s wps 16.74K ppl 23.94 gN 3.75 bleu 3.72, Thu Dec 13 03:38:30 2018\r\n",
      "  step 101400 lr 1 step-time 0.31s wps 16.77K ppl 24.44 gN 3.91 bleu 3.72, Thu Dec 13 03:39:01 2018\r\n",
      "  step 101500 lr 1 step-time 0.31s wps 16.68K ppl 23.93 gN 3.89 bleu 3.72, Thu Dec 13 03:39:32 2018\r\n",
      "  step 101600 lr 1 step-time 0.31s wps 16.61K ppl 24.59 gN 3.88 bleu 3.72, Thu Dec 13 03:40:03 2018\r\n",
      "  step 101700 lr 1 step-time 0.31s wps 16.87K ppl 24.55 gN 3.81 bleu 3.72, Thu Dec 13 03:40:34 2018\r\n",
      "  step 101800 lr 1 step-time 0.31s wps 16.90K ppl 24.21 gN 3.77 bleu 3.72, Thu Dec 13 03:41:05 2018\r\n",
      "  step 101900 lr 1 step-time 0.31s wps 16.93K ppl 25.15 gN 4.09 bleu 3.72, Thu Dec 13 03:41:36 2018\r\n",
      "  step 102000 lr 1 step-time 0.31s wps 16.88K ppl 24.50 gN 3.88 bleu 3.72, Thu Dec 13 03:42:07 2018\r\n",
      "# Save eval, global step 102000\r\n",
      "2018-12-13 03:42:08.025314: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:42:08.025453: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:42:08.025519: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-102000, time 0.07s\r\n",
      "  # 235\r\n",
      "    src: Given that it is likely that the Kirchberg and Schlossberg tunnel will have to be reconstructed and renovated, as is currently the case in Wolfach, the \"Am Hirschen\" railway crossing may become of major traffic significance for a longer period of time.\r\n",
      "    ref: Da abzusehen sei, dass Kirchberg- und Schlossbergtunnel umgebaut und saniert werden müssten, wie dies derzeit in Wolfach der Fall ist, könne dem Bahnübergang \"Am \"Hirschen\" auch für einen längeren Zeitraum eine wichtige Verkehrsbedeutung zukommen.\r\n",
      "    nmt: Angesichts der <unk> dass die <unk> und <unk> <unk> <unk> werden <unk> und <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 03:42:08.209250: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:42:08.209250: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:42:08.209515: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-102000, time 0.09s\r\n",
      "  eval dev: perplexity 19.31, time 3s, Thu Dec 13 03:42:12 2018.\r\n",
      "  eval test: perplexity 20.01, time 4s, Thu Dec 13 03:42:16 2018.\r\n",
      "  step 102100 lr 1 step-time 0.31s wps 16.39K ppl 24.45 gN 3.84 bleu 3.72, Thu Dec 13 03:42:47 2018\r\n",
      "  step 102200 lr 1 step-time 0.31s wps 16.53K ppl 24.06 gN 3.74 bleu 3.72, Thu Dec 13 03:43:18 2018\r\n",
      "  step 102300 lr 1 step-time 0.32s wps 16.29K ppl 25.02 gN 3.94 bleu 3.72, Thu Dec 13 03:43:50 2018\r\n",
      "  step 102400 lr 1 step-time 0.32s wps 16.39K ppl 24.35 gN 3.82 bleu 3.72, Thu Dec 13 03:44:22 2018\r\n",
      "  step 102500 lr 1 step-time 0.32s wps 16.17K ppl 24.34 gN 3.60 bleu 3.72, Thu Dec 13 03:44:54 2018\r\n",
      "  step 102600 lr 1 step-time 0.32s wps 16.14K ppl 23.81 gN 3.64 bleu 3.72, Thu Dec 13 03:45:26 2018\r\n",
      "  step 102700 lr 1 step-time 0.32s wps 16.23K ppl 24.13 gN 3.77 bleu 3.72, Thu Dec 13 03:45:58 2018\r\n",
      "  step 102800 lr 1 step-time 0.32s wps 16.39K ppl 24.36 gN 3.90 bleu 3.72, Thu Dec 13 03:46:30 2018\r\n",
      "  step 102900 lr 1 step-time 0.31s wps 16.38K ppl 24.24 gN 3.89 bleu 3.72, Thu Dec 13 03:47:01 2018\r\n",
      "  step 103000 lr 1 step-time 0.32s wps 16.59K ppl 24.88 gN 3.92 bleu 3.72, Thu Dec 13 03:47:33 2018\r\n",
      "# Save eval, global step 103000\r\n",
      "2018-12-13 03:47:34.113816: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:47:34.113816: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:47:34.114123: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-103000, time 0.07s\r\n",
      "  # 994\r\n",
      "    src: \"The city is definitely in the comedy DNA of all of Larry's work,\" Steinberg said.\r\n",
      "    ref: „Die Stadt ist definitiv in der Comedy-DNA von Larrys gesamter Arbeit“, sagte Steinberg.\r\n",
      "    nmt: <unk> <unk> ist in <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 03:47:34.292180: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:47:34.292180: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:47:34.292501: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-103000, time 0.09s\r\n",
      "  eval dev: perplexity 21.12, time 3s, Thu Dec 13 03:47:38 2018.\r\n",
      "  eval test: perplexity 22.66, time 3s, Thu Dec 13 03:47:42 2018.\r\n",
      "  step 103100 lr 1 step-time 0.31s wps 16.65K ppl 24.26 gN 3.82 bleu 3.72, Thu Dec 13 03:48:13 2018\r\n",
      "  step 103200 lr 1 step-time 0.31s wps 16.42K ppl 23.30 gN 3.73 bleu 3.72, Thu Dec 13 03:48:45 2018\r\n",
      "  step 103300 lr 1 step-time 0.31s wps 16.52K ppl 23.88 gN 3.80 bleu 3.72, Thu Dec 13 03:49:16 2018\r\n",
      "  step 103400 lr 1 step-time 0.31s wps 16.82K ppl 25.07 gN 4.12 bleu 3.72, Thu Dec 13 03:49:47 2018\r\n",
      "  step 103500 lr 1 step-time 0.31s wps 16.75K ppl 24.49 gN 3.84 bleu 3.72, Thu Dec 13 03:50:18 2018\r\n",
      "  step 103600 lr 1 step-time 0.31s wps 16.73K ppl 24.36 gN 3.84 bleu 3.72, Thu Dec 13 03:50:49 2018\r\n",
      "  step 103700 lr 1 step-time 0.31s wps 16.92K ppl 24.27 gN 3.70 bleu 3.72, Thu Dec 13 03:51:20 2018\r\n",
      "  step 103800 lr 1 step-time 0.31s wps 16.99K ppl 23.97 gN 3.97 bleu 3.72, Thu Dec 13 03:51:51 2018\r\n",
      "  step 103900 lr 1 step-time 0.31s wps 17.17K ppl 24.44 gN 3.94 bleu 3.72, Thu Dec 13 03:52:22 2018\r\n",
      "  step 104000 lr 1 step-time 0.31s wps 16.96K ppl 24.13 gN 4.01 bleu 3.72, Thu Dec 13 03:52:53 2018\r\n",
      "# Save eval, global step 104000\r\n",
      "2018-12-13 03:52:54.184990: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:52:54.184990: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:52:54.185316: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-104000, time 0.08s\r\n",
      "  # 1699\r\n",
      "    src: The austerity imposed by Berlin and the European Central Bank, coupled with the straitjacket imposed on national economies through adherence to the common currency, has led many people to think Project Europe has gone too far.\r\n",
      "    ref: Wegen der von Berlin und der Europäischen Zentralbank verhängten strengen Sparpolitik in Verbindung mit der Zwangsjacke, in die die jeweilige nationale Wirtschaft durch das Festhalten an der gemeinsamen Währung genötigt wird, sind viele Menschen der Ansicht, das Projekt Europa sei zu weit gegangen.\r\n",
      "    nmt: Die <unk> von Berlin und der Europäischen Zentralbank <unk> mit den <unk> <unk> mit den nationalen <unk> <unk> hat viele Menschen <unk> um die Menschen zu <unk> um die <unk> zu <unk>\r\n",
      "2018-12-13 03:52:54.392671: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:52:54.392671: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:52:54.392983: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-104000, time 0.09s\r\n",
      "  eval dev: perplexity 16.79, time 3s, Thu Dec 13 03:52:58 2018.\r\n",
      "  eval test: perplexity 18.11, time 4s, Thu Dec 13 03:53:02 2018.\r\n",
      "  step 104100 lr 1 step-time 0.32s wps 16.94K ppl 23.76 gN 4.03 bleu 3.72, Thu Dec 13 03:53:34 2018\r\n",
      "  step 104200 lr 1 step-time 0.32s wps 16.98K ppl 24.05 gN 4.29 bleu 3.72, Thu Dec 13 03:54:06 2018\r\n",
      "  step 104300 lr 1 step-time 0.32s wps 17.28K ppl 24.41 gN 4.48 bleu 3.72, Thu Dec 13 03:54:37 2018\r\n",
      "  step 104400 lr 1 step-time 0.31s wps 17.44K ppl 23.78 gN 4.47 bleu 3.72, Thu Dec 13 03:55:09 2018\r\n",
      "  step 104500 lr 1 step-time 0.32s wps 17.70K ppl 23.70 gN 4.44 bleu 3.72, Thu Dec 13 03:55:40 2018\r\n",
      "  step 104600 lr 1 step-time 0.32s wps 17.51K ppl 23.76 gN 4.62 bleu 3.72, Thu Dec 13 03:56:12 2018\r\n",
      "  step 104700 lr 1 step-time 0.31s wps 17.63K ppl 23.28 gN 4.66 bleu 3.72, Thu Dec 13 03:56:44 2018\r\n",
      "  step 104800 lr 1 step-time 0.31s wps 17.73K ppl 22.44 gN 4.69 bleu 3.72, Thu Dec 13 03:57:15 2018\r\n",
      "  step 104900 lr 1 step-time 0.31s wps 17.96K ppl 23.22 gN 4.89 bleu 3.72, Thu Dec 13 03:57:46 2018\r\n",
      "  step 105000 lr 1 step-time 0.31s wps 17.96K ppl 22.61 gN 4.58 bleu 3.72, Thu Dec 13 03:58:18 2018\r\n",
      "# Save eval, global step 105000\r\n",
      "2018-12-13 03:58:18.621925: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:58:18.622094: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:58:18.622165: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-105000, time 0.07s\r\n",
      "  # 2570\r\n",
      "    src: Clear victories in the first two sets clearly demonstrated the superiority of the Freudenstadt team in all areas.\r\n",
      "    ref: Zwei hohe erste Satzgewinne drückten deutlich die Überlegenheit der Freudenstädter in allen Belangen aus.\r\n",
      "    nmt: <unk> <unk> in den ersten zwei <unk> zeigt das <unk> des <unk> in allen <unk>\r\n",
      "2018-12-13 03:58:18.772870: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:58:18.772899: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:58:18.773154: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-105000, time 0.09s\r\n",
      "  eval dev: perplexity 16.76, time 3s, Thu Dec 13 03:58:22 2018.\r\n",
      "  eval test: perplexity 17.72, time 3s, Thu Dec 13 03:58:26 2018.\r\n",
      "2018-12-13 03:58:27.455052: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:58:27.455191: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:58:27.455259: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-105000, time 0.07s\r\n",
      "  # 45\r\n",
      "    src: The American Civil Liberties Union is deeply concerned, too, raising a variety of privacy issues.\r\n",
      "    ref: Die amerikanische Bürgerrechtsvereinigung (ACLU) ist ebenfalls zutiefst besorgt und äußert eine Reihe von Datenschutzbedenken.\r\n",
      "    nmt: Die amerikanische <unk> ist zutiefst <unk> <unk> <unk> eine Vielzahl von Privatsphäre <unk>\r\n",
      "2018-12-13 03:58:27.589766: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 03:58:27.589911: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 03:58:27.589980: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-105000, time 0.07s\r\n",
      "# External evaluation, global step 105000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 47s, Thu Dec 13 03:59:15 2018.\r\n",
      "  bleu dev: 1.8\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 105000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 48s, Thu Dec 13 04:00:04 2018.\r\n",
      "  bleu test: 2.2\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 105100 lr 1 step-time 0.32s wps 17.91K ppl 22.19 gN 4.66 bleu 3.72, Thu Dec 13 04:00:36 2018\r\n",
      "  step 105200 lr 1 step-time 0.32s wps 17.78K ppl 21.93 gN 5.16 bleu 3.72, Thu Dec 13 04:01:08 2018\r\n",
      "  step 105300 lr 1 step-time 0.31s wps 18.18K ppl 22.31 gN 5.08 bleu 3.72, Thu Dec 13 04:01:39 2018\r\n",
      "  step 105400 lr 1 step-time 0.31s wps 18.25K ppl 21.66 gN 4.89 bleu 3.72, Thu Dec 13 04:02:11 2018\r\n",
      "  step 105500 lr 1 step-time 0.31s wps 18.03K ppl 21.18 gN 4.76 bleu 3.72, Thu Dec 13 04:02:42 2018\r\n",
      "  step 105600 lr 1 step-time 0.31s wps 18.31K ppl 21.55 gN 5.04 bleu 3.72, Thu Dec 13 04:03:13 2018\r\n",
      "  step 105700 lr 1 step-time 0.31s wps 18.23K ppl 20.69 gN 4.80 bleu 3.72, Thu Dec 13 04:03:44 2018\r\n",
      "  step 105800 lr 1 step-time 0.31s wps 18.41K ppl 21.33 gN 4.85 bleu 3.72, Thu Dec 13 04:04:15 2018\r\n",
      "  step 105900 lr 1 step-time 0.32s wps 18.32K ppl 21.07 gN 4.89 bleu 3.72, Thu Dec 13 04:04:47 2018\r\n",
      "  step 106000 lr 1 step-time 0.31s wps 18.38K ppl 20.79 gN 4.98 bleu 3.72, Thu Dec 13 04:05:18 2018\r\n",
      "# Save eval, global step 106000\r\n",
      "2018-12-13 04:05:18.576448: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:05:18.576448: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:05:18.576757: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-106000, time 0.07s\r\n",
      "  # 2103\r\n",
      "    src: There was general discontent with the Single Market, with businesses saying that the costs of Brussels regulation now outweighed the benefits of being part of Europe's trading area - even 40 per cent of large businesses, traditionally the most pro-European of companies, agreed.\r\n",
      "    ref: Es herrschte allgemeine Unzufriedenheit über den Binnenmarkt, da laut Aussage der Unternehmen die Kosten der Brüsseler Vorschriften inzwischen die Vorteile überwiegen würden, Teil von Europas Handelszone zu sein – selbst 40 Prozent der Großunternehmen stimmten dem zu, die traditionell am europafreundlichsten sind.\r\n",
      "    nmt: Es gab allgemeine <unk> mit den <unk> mit <unk> <unk> dass die Kosten für die <unk> von Brüssel jetzt <unk> dass die Kosten von <unk> <unk> traditionell <unk> <unk> traditionell <unk> <unk> die <unk> der <unk> <unk>\r\n",
      "2018-12-13 04:05:18.800976: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:05:18.801319: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:05:18.801381: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-106000, time 0.09s\r\n",
      "  eval dev: perplexity 17.67, time 3s, Thu Dec 13 04:05:22 2018.\r\n",
      "  eval test: perplexity 18.49, time 3s, Thu Dec 13 04:05:26 2018.\r\n",
      "  step 106100 lr 1 step-time 0.31s wps 18.29K ppl 20.65 gN 4.85 bleu 3.72, Thu Dec 13 04:05:57 2018\r\n",
      "  step 106200 lr 1 step-time 0.31s wps 18.35K ppl 20.05 gN 4.65 bleu 3.72, Thu Dec 13 04:06:29 2018\r\n",
      "  step 106300 lr 1 step-time 0.31s wps 18.14K ppl 20.68 gN 4.82 bleu 3.72, Thu Dec 13 04:07:00 2018\r\n",
      "  step 106400 lr 1 step-time 0.32s wps 18.17K ppl 20.56 gN 4.83 bleu 3.72, Thu Dec 13 04:07:32 2018\r\n",
      "  step 106500 lr 1 step-time 0.32s wps 18.17K ppl 20.33 gN 4.90 bleu 3.72, Thu Dec 13 04:08:04 2018\r\n",
      "  step 106600 lr 1 step-time 0.31s wps 18.04K ppl 20.29 gN 4.82 bleu 3.72, Thu Dec 13 04:08:35 2018\r\n",
      "# Finished an epoch, step 106626. Perform external evaluation\r\n",
      "2018-12-13 04:08:43.442345: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:08:43.442345: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:08:43.442673: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-106000, time 0.07s\r\n",
      "  # 784\r\n",
      "    src: Anke Gellert-Helpenstein\r\n",
      "    ref: Anke Gellert-Helpenstein\r\n",
      "    nmt: <unk> <unk>\r\n",
      "2018-12-13 04:08:43.534660: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:08:43.534907: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 04:08:43.535239: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-106000, time 0.07s\r\n",
      "# External evaluation, global step 106000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 41s, Thu Dec 13 04:09:25 2018.\r\n",
      "  bleu dev: 3.3\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 106000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 40s, Thu Dec 13 04:10:06 2018.\r\n",
      "  bleu test: 3.7\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 106700 lr 1 step-time 0.47s wps 12.47K ppl 23.07 gN 5.34 bleu 3.72, Thu Dec 13 04:10:45 2018\r\n",
      "  step 106800 lr 1 step-time 0.44s wps 14.06K ppl 21.60 gN 4.67 bleu 3.72, Thu Dec 13 04:11:29 2018\r\n",
      "  step 106900 lr 1 step-time 0.44s wps 14.01K ppl 20.99 gN 4.53 bleu 3.72, Thu Dec 13 04:12:13 2018\r\n",
      "  step 107000 lr 1 step-time 0.43s wps 14.10K ppl 20.68 gN 4.71 bleu 3.72, Thu Dec 13 04:12:56 2018\r\n",
      "# Save eval, global step 107000\r\n",
      "2018-12-13 04:12:58.031820: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:12:58.031955: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 04:12:58.032031: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-107000, time 0.15s\r\n",
      "  # 837\r\n",
      "    src: \"It's two big men (Guebuza and Dhlakama) butting heads together,\" said Joseph Hanlon, a lecturer at the Open University and Mozambique expert.\r\n",
      "    ref: „Wir haben hier zwei erwachsene Männer (Guebuza und Dhlakama), die die Köpfe zusammenstoßen“, meint Joseph Hanlon, Dozent an der Open University und Mosambik-Experte.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 04:12:58.429398: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:12:58.429634: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 04:12:58.429804: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-107000, time 0.17s\r\n",
      "  eval dev: perplexity 17.46, time 5s, Thu Dec 13 04:13:03 2018.\r\n",
      "  eval test: perplexity 17.95, time 5s, Thu Dec 13 04:13:09 2018.\r\n",
      "  step 107100 lr 1 step-time 0.44s wps 14.02K ppl 20.03 gN 4.50 bleu 3.72, Thu Dec 13 04:13:53 2018\r\n",
      "  step 107200 lr 1 step-time 0.38s wps 16.30K ppl 20.31 gN 4.52 bleu 3.72, Thu Dec 13 04:14:31 2018\r\n",
      "  step 107300 lr 1 step-time 0.33s wps 18.14K ppl 19.63 gN 4.44 bleu 3.72, Thu Dec 13 04:15:05 2018\r\n",
      "  step 107400 lr 1 step-time 0.34s wps 18.17K ppl 19.52 gN 4.53 bleu 3.72, Thu Dec 13 04:15:39 2018\r\n",
      "  step 107500 lr 1 step-time 0.34s wps 18.18K ppl 19.47 gN 4.55 bleu 3.72, Thu Dec 13 04:16:13 2018\r\n",
      "  step 107600 lr 1 step-time 0.34s wps 18.34K ppl 19.48 gN 4.57 bleu 3.72, Thu Dec 13 04:16:47 2018\r\n",
      "  step 107700 lr 1 step-time 0.34s wps 18.17K ppl 19.10 gN 4.40 bleu 3.72, Thu Dec 13 04:17:21 2018\r\n",
      "  step 107800 lr 1 step-time 0.34s wps 18.33K ppl 19.54 gN 4.83 bleu 3.72, Thu Dec 13 04:17:55 2018\r\n",
      "  step 107900 lr 1 step-time 0.34s wps 18.14K ppl 18.78 gN 4.47 bleu 3.72, Thu Dec 13 04:18:29 2018\r\n",
      "  step 108000 lr 1 step-time 0.34s wps 18.25K ppl 19.01 gN 4.45 bleu 3.72, Thu Dec 13 04:19:03 2018\r\n",
      "# Save eval, global step 108000\r\n",
      "2018-12-13 04:19:03.860517: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:19:03.860652: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 04:19:03.860753: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-108000, time 0.07s\r\n",
      "  # 850\r\n",
      "    src: The instability has added to frustrations with the government, says Fernando Lima, head of Mediacoop, an independent media company, with many people also concerned about corruption, the slow pace of development and a recent spate of kidnappings.\r\n",
      "    ref: Die Instabilität habe die Frustration über die Regierung noch gesteigert, sagt Fernando Lima, Leiter von Mediacoop, einem unabhängigen Medienunternehmen, denn viele Menschen sorgten sich bereits wegen der Korruption, den schleppenden Fortschritten bei der Entwicklung und einer kürzlichen Entführungswelle.\r\n",
      "    nmt: Die Instabilität hat sich mit der <unk> mit dem <unk> der <unk> der <unk> der <unk> eines unabhängigen <unk> mit vielen Menschen und einem <unk> der <unk> der Entwicklung und einer jüngsten <unk>\r\n",
      "2018-12-13 04:19:04.064524: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:19:04.064524: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:19:04.064808: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-108000, time 0.09s\r\n",
      "  eval dev: perplexity 22.37, time 3s, Thu Dec 13 04:19:07 2018.\r\n",
      "  eval test: perplexity 22.69, time 3s, Thu Dec 13 04:19:11 2018.\r\n",
      "  step 108100 lr 1 step-time 0.35s wps 17.84K ppl 18.87 gN 4.42 bleu 3.72, Thu Dec 13 04:19:46 2018\r\n",
      "  step 108200 lr 1 step-time 0.35s wps 17.87K ppl 18.57 gN 4.52 bleu 3.72, Thu Dec 13 04:20:21 2018\r\n",
      "  step 108300 lr 1 step-time 0.34s wps 18.12K ppl 18.59 gN 4.54 bleu 3.72, Thu Dec 13 04:20:55 2018\r\n",
      "  step 108400 lr 1 step-time 0.34s wps 18.27K ppl 18.48 gN 4.50 bleu 3.72, Thu Dec 13 04:21:29 2018\r\n",
      "  step 108500 lr 1 step-time 0.34s wps 18.06K ppl 17.87 gN 4.32 bleu 3.72, Thu Dec 13 04:22:03 2018\r\n",
      "  step 108600 lr 1 step-time 0.35s wps 18.05K ppl 18.11 gN 4.59 bleu 3.72, Thu Dec 13 04:22:38 2018\r\n",
      "  step 108700 lr 1 step-time 0.34s wps 18.04K ppl 17.68 gN 4.37 bleu 3.72, Thu Dec 13 04:23:12 2018\r\n",
      "  step 108800 lr 1 step-time 0.34s wps 18.02K ppl 18.07 gN 4.54 bleu 3.72, Thu Dec 13 04:23:47 2018\r\n",
      "  step 108900 lr 1 step-time 0.35s wps 18.05K ppl 17.58 gN 4.54 bleu 3.72, Thu Dec 13 04:24:21 2018\r\n",
      "  step 109000 lr 1 step-time 0.35s wps 18.15K ppl 17.54 gN 4.68 bleu 3.72, Thu Dec 13 04:24:56 2018\r\n",
      "# Save eval, global step 109000\r\n",
      "2018-12-13 04:24:57.285337: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:24:57.285337: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:24:57.285567: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-109000, time 0.07s\r\n",
      "  # 459\r\n",
      "    src: According to a message shared by the airport management via twitter, the incident began at 9.30 am (local time).\r\n",
      "    ref: Wie die Flughafenleitung über Twitter mitteilte, begann der Vorfall um 9.30 Uhr morgens (Ortszeit).\r\n",
      "    nmt: Nach einer Botschaft von <unk> über die <unk> über die <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 04:24:57.436272: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:24:57.436272: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:24:57.436585: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-109000, time 0.09s\r\n",
      "  eval dev: perplexity 17.44, time 3s, Thu Dec 13 04:25:01 2018.\r\n",
      "  eval test: perplexity 18.08, time 3s, Thu Dec 13 04:25:05 2018.\r\n",
      "  step 109100 lr 1 step-time 0.35s wps 17.86K ppl 17.43 gN 4.58 bleu 3.72, Thu Dec 13 04:25:39 2018\r\n",
      "  step 109200 lr 1 step-time 0.34s wps 17.97K ppl 17.22 gN 4.49 bleu 3.72, Thu Dec 13 04:26:14 2018\r\n",
      "  step 109300 lr 1 step-time 0.34s wps 18.07K ppl 17.31 gN 4.47 bleu 3.72, Thu Dec 13 04:26:48 2018\r\n",
      "  step 109400 lr 1 step-time 0.34s wps 18.30K ppl 17.13 gN 4.41 bleu 3.72, Thu Dec 13 04:27:22 2018\r\n",
      "  step 109500 lr 1 step-time 0.34s wps 18.21K ppl 17.32 gN 4.47 bleu 3.72, Thu Dec 13 04:27:57 2018\r\n",
      "  step 109600 lr 1 step-time 0.34s wps 18.24K ppl 17.33 gN 4.60 bleu 3.72, Thu Dec 13 04:28:31 2018\r\n",
      "  step 109700 lr 1 step-time 0.34s wps 18.17K ppl 17.04 gN 4.52 bleu 3.72, Thu Dec 13 04:29:05 2018\r\n",
      "  step 109800 lr 1 step-time 0.35s wps 18.06K ppl 16.67 gN 4.43 bleu 3.72, Thu Dec 13 04:29:40 2018\r\n",
      "  step 109900 lr 1 step-time 0.34s wps 18.18K ppl 16.65 gN 4.56 bleu 3.72, Thu Dec 13 04:30:14 2018\r\n",
      "  step 110000 lr 1 step-time 0.35s wps 18.09K ppl 16.59 gN 4.57 bleu 3.72, Thu Dec 13 04:30:49 2018\r\n",
      "# Save eval, global step 110000\r\n",
      "2018-12-13 04:30:49.762650: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:30:49.762856: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 04:30:49.762983: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-110000, time 0.07s\r\n",
      "  # 1777\r\n",
      "    src: The dispute comes as plane makers vie to sell ever-larger versions of their twin-engined long-distance aircraft, with potentially record orders expected at the November 17-21 event.\r\n",
      "    ref: Die Auseinandersetzung kommt zu einem Zeitpunkt, da die Flugzeugbauer darum wetteifern, noch größere Versionen ihrer zweimotorigen Langstreckenflieger zu verkaufen, und bei der Veranstaltung vom 17. bis 21. November Rekordaufträge erwarten.\r\n",
      "    nmt: Der Streit ist <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 04:30:49.917690: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:30:49.917695: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:30:49.918059: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-110000, time 0.09s\r\n",
      "  eval dev: perplexity 18.74, time 3s, Thu Dec 13 04:30:53 2018.\r\n",
      "  eval test: perplexity 19.20, time 3s, Thu Dec 13 04:30:57 2018.\r\n",
      "2018-12-13 04:30:58.395908: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:30:58.395908: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:30:58.396175: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-110000, time 0.07s\r\n",
      "  # 2157\r\n",
      "    src: Mr Hare said he had provided his view to the YMCA NSW board that the lesson for the organisation from the \"Jonathan Lord incident\" was \"not about reporting\" by staff, and the board agreed with him.\r\n",
      "    ref: Hare erklärte, er habe dem Vorstand des YMCA NSW seine Ansicht mitgeteilt, dass die Lektion, die die Organisation aus dem „Jonathan-Lord-Zwischenfall“ zu ziehen habe, „nicht das Melden“ durch Mitarbeiter betreffe, und der Vorstand habe ihm zugestimmt.\r\n",
      "    nmt: Herr <unk> sagte er <unk> er hat seine Auffassung <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 04:30:58.669365: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:30:58.669498: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 04:30:58.669574: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-110000, time 0.07s\r\n",
      "# External evaluation, global step 110000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 46s, Thu Dec 13 04:31:45 2018.\r\n",
      "  bleu dev: 0.5\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 110000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 47s, Thu Dec 13 04:32:33 2018.\r\n",
      "  bleu test: 0.7\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 110100 lr 1 step-time 0.34s wps 18.23K ppl 16.48 gN 4.65 bleu 3.72, Thu Dec 13 04:33:08 2018\r\n",
      "  step 110200 lr 1 step-time 0.34s wps 17.89K ppl 16.18 gN 4.44 bleu 3.72, Thu Dec 13 04:33:42 2018\r\n",
      "  step 110300 lr 1 step-time 0.35s wps 17.94K ppl 16.30 gN 4.64 bleu 3.72, Thu Dec 13 04:34:17 2018\r\n",
      "  step 110400 lr 1 step-time 0.35s wps 17.90K ppl 15.95 gN 4.39 bleu 3.72, Thu Dec 13 04:34:52 2018\r\n",
      "  step 110500 lr 1 step-time 0.35s wps 18.03K ppl 16.31 gN 4.74 bleu 3.72, Thu Dec 13 04:35:27 2018\r\n",
      "  step 110600 lr 1 step-time 0.35s wps 17.95K ppl 16.02 gN 4.66 bleu 3.72, Thu Dec 13 04:36:01 2018\r\n",
      "  step 110700 lr 1 step-time 0.34s wps 18.12K ppl 15.83 gN 4.48 bleu 3.72, Thu Dec 13 04:36:36 2018\r\n",
      "  step 110800 lr 1 step-time 0.34s wps 18.16K ppl 15.94 gN 4.62 bleu 3.72, Thu Dec 13 04:37:10 2018\r\n",
      "  step 110900 lr 1 step-time 0.34s wps 18.10K ppl 15.71 gN 4.58 bleu 3.72, Thu Dec 13 04:37:44 2018\r\n",
      "  step 111000 lr 1 step-time 0.35s wps 17.75K ppl 15.74 gN 4.46 bleu 3.72, Thu Dec 13 04:38:19 2018\r\n",
      "# Save eval, global step 111000\r\n",
      "2018-12-13 04:38:20.245076: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:38:20.245215: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 04:38:20.245282: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-111000, time 0.07s\r\n",
      "  # 1245\r\n",
      "    src: Everything you need for an unforgettable celebration.\r\n",
      "    ref: Alles für ein unvergessliches Fest.\r\n",
      "    nmt: Alles muss Sie <unk> <unk>\r\n",
      "2018-12-13 04:38:20.366282: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:38:20.366282: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:38:20.366529: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-111000, time 0.09s\r\n",
      "  eval dev: perplexity 17.84, time 3s, Thu Dec 13 04:38:24 2018.\r\n",
      "  eval test: perplexity 18.41, time 3s, Thu Dec 13 04:38:28 2018.\r\n",
      "  step 111100 lr 1 step-time 0.35s wps 17.85K ppl 15.63 gN 4.58 bleu 3.72, Thu Dec 13 04:39:03 2018\r\n",
      "  step 111200 lr 1 step-time 0.35s wps 17.99K ppl 15.63 gN 4.60 bleu 3.72, Thu Dec 13 04:39:37 2018\r\n",
      "  step 111300 lr 1 step-time 0.34s wps 18.03K ppl 15.32 gN 4.52 bleu 3.72, Thu Dec 13 04:40:12 2018\r\n",
      "  step 111400 lr 1 step-time 0.34s wps 18.02K ppl 15.42 gN 4.43 bleu 3.72, Thu Dec 13 04:40:46 2018\r\n",
      "  step 111500 lr 1 step-time 0.34s wps 18.09K ppl 15.36 gN 4.53 bleu 3.72, Thu Dec 13 04:41:20 2018\r\n",
      "  step 111600 lr 1 step-time 0.34s wps 18.26K ppl 15.11 gN 4.50 bleu 3.72, Thu Dec 13 04:41:54 2018\r\n",
      "  step 111700 lr 1 step-time 0.34s wps 18.18K ppl 15.03 gN 4.36 bleu 3.72, Thu Dec 13 04:42:28 2018\r\n",
      "  step 111800 lr 1 step-time 0.34s wps 18.27K ppl 15.48 gN 4.54 bleu 3.72, Thu Dec 13 04:43:02 2018\r\n",
      "  step 111900 lr 1 step-time 0.34s wps 18.12K ppl 15.04 gN 4.51 bleu 3.72, Thu Dec 13 04:43:36 2018\r\n",
      "  step 112000 lr 1 step-time 0.34s wps 18.06K ppl 15.08 gN 4.55 bleu 3.72, Thu Dec 13 04:44:10 2018\r\n",
      "# Save eval, global step 112000\r\n",
      "2018-12-13 04:44:11.372490: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:44:11.372490: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:44:11.372824: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-112000, time 0.07s\r\n",
      "  # 1550\r\n",
      "    src: He said: \"I really want to develop an invisible ice cream.\"\r\n",
      "    ref: Er sagt: „Ich möchte gern eine unsichtbare Eiscreme entwickeln.“\r\n",
      "    nmt: Er <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 04:44:11.501119: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:44:11.501210: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:44:11.501373: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-112000, time 0.09s\r\n",
      "  eval dev: perplexity 18.05, time 3s, Thu Dec 13 04:44:15 2018.\r\n",
      "  eval test: perplexity 18.88, time 3s, Thu Dec 13 04:44:19 2018.\r\n",
      "  step 112100 lr 1 step-time 0.35s wps 17.75K ppl 15.01 gN 4.49 bleu 3.72, Thu Dec 13 04:44:54 2018\r\n",
      "  step 112200 lr 1 step-time 0.34s wps 17.91K ppl 14.95 gN 4.65 bleu 3.72, Thu Dec 13 04:45:28 2018\r\n",
      "  step 112300 lr 1 step-time 0.34s wps 18.33K ppl 15.04 gN 4.60 bleu 3.72, Thu Dec 13 04:46:01 2018\r\n",
      "  step 112400 lr 1 step-time 0.34s wps 18.23K ppl 15.00 gN 4.75 bleu 3.72, Thu Dec 13 04:46:35 2018\r\n",
      "  step 112500 lr 1 step-time 0.34s wps 18.21K ppl 14.70 gN 4.51 bleu 3.72, Thu Dec 13 04:47:09 2018\r\n",
      "  step 112600 lr 1 step-time 0.34s wps 18.21K ppl 14.37 gN 4.46 bleu 3.72, Thu Dec 13 04:47:43 2018\r\n",
      "  step 112700 lr 1 step-time 0.33s wps 18.26K ppl 14.46 gN 4.46 bleu 3.72, Thu Dec 13 04:48:16 2018\r\n",
      "  step 112800 lr 1 step-time 0.34s wps 18.21K ppl 14.28 gN 4.57 bleu 3.72, Thu Dec 13 04:48:49 2018\r\n",
      "  step 112900 lr 1 step-time 0.33s wps 18.19K ppl 14.33 gN 4.66 bleu 3.72, Thu Dec 13 04:49:23 2018\r\n",
      "  step 113000 lr 1 step-time 0.33s wps 18.31K ppl 14.02 gN 4.49 bleu 3.72, Thu Dec 13 04:49:56 2018\r\n",
      "# Save eval, global step 113000\r\n",
      "2018-12-13 04:49:57.202145: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:49:57.202145: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:49:57.202387: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-113000, time 0.07s\r\n",
      "  # 1574\r\n",
      "    src: The majority of Americans - 158 million of them in fact - will be celebrating Halloween this year, spending a total of $6.9 billion on candy, costumes and decorations, according to the National Retail Federation.\r\n",
      "    ref: Die Mehrheit der Amerikaner – 158 Millionen, um genau zu sein – feiern dieses Jahr Halloween und geben dabei insgesamt 6,9 Milliarden US-Dollar für Süßigkeiten, Kostüme und Dekorationen aus, so der US-amerikanische Verband der Einzelhändler (NRF).\r\n",
      "    nmt: Die Mehrheit der Amerikaner - die von ihnen in Wirklichkeit - werden in Wirklichkeit - in Wirklichkeit - die Ausgaben für die <unk> von Milliarden Euro auf die <unk> und die <unk> von den nationalen Behörden <unk>\r\n",
      "2018-12-13 04:49:57.407700: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:49:57.407700: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:49:57.407933: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-113000, time 0.08s\r\n",
      "  eval dev: perplexity 26.05, time 3s, Thu Dec 13 04:50:01 2018.\r\n",
      "  eval test: perplexity 25.63, time 3s, Thu Dec 13 04:50:04 2018.\r\n",
      "  step 113100 lr 1 step-time 0.34s wps 17.81K ppl 13.96 gN 4.54 bleu 3.72, Thu Dec 13 04:50:38 2018\r\n",
      "  step 113200 lr 1 step-time 0.35s wps 17.70K ppl 14.28 gN 4.79 bleu 3.72, Thu Dec 13 04:51:13 2018\r\n",
      "  step 113300 lr 1 step-time 0.34s wps 17.62K ppl 13.75 gN 4.34 bleu 3.72, Thu Dec 13 04:51:47 2018\r\n",
      "  step 113400 lr 1 step-time 0.33s wps 18.05K ppl 14.06 gN 4.56 bleu 3.72, Thu Dec 13 04:52:20 2018\r\n",
      "  step 113500 lr 1 step-time 0.34s wps 18.01K ppl 14.05 gN 4.62 bleu 3.72, Thu Dec 13 04:52:54 2018\r\n",
      "  step 113600 lr 1 step-time 0.33s wps 18.09K ppl 13.63 gN 4.37 bleu 3.72, Thu Dec 13 04:53:28 2018\r\n",
      "  step 113700 lr 1 step-time 0.33s wps 18.08K ppl 13.47 gN 4.39 bleu 3.72, Thu Dec 13 04:54:01 2018\r\n",
      "  step 113800 lr 1 step-time 0.33s wps 18.18K ppl 13.85 gN 4.71 bleu 3.72, Thu Dec 13 04:54:34 2018\r\n",
      "  step 113900 lr 1 step-time 0.33s wps 18.03K ppl 13.45 gN 4.30 bleu 3.72, Thu Dec 13 04:55:08 2018\r\n",
      "  step 114000 lr 1 step-time 0.33s wps 18.10K ppl 13.77 gN 4.66 bleu 3.72, Thu Dec 13 04:55:41 2018\r\n",
      "# Save eval, global step 114000\r\n",
      "2018-12-13 04:55:41.565591: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:55:41.565591: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:55:41.565844: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-114000, time 0.07s\r\n",
      "  # 2789\r\n",
      "    src: You can leave home at 5 a.m., running to the hospital to be the first, and you are not the first.\r\n",
      "    ref: Man kann um fünf Uhr morgens das Haus verlassen und zum Krankenhaus rennen, um der Erste zu sein, und ist doch nicht Erster.\r\n",
      "    nmt: Sie können in den nächsten Jahren in den <unk> die Straße in die Hand gebracht und nicht die <unk>\r\n",
      "2018-12-13 04:55:41.720151: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:55:41.720151: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 04:55:41.720392: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-114000, time 0.08s\r\n",
      "  eval dev: perplexity 26.60, time 3s, Thu Dec 13 04:55:45 2018.\r\n",
      "  eval test: perplexity 26.38, time 3s, Thu Dec 13 04:55:49 2018.\r\n",
      "  step 114100 lr 1 step-time 0.33s wps 18.09K ppl 13.59 gN 4.48 bleu 3.72, Thu Dec 13 04:56:22 2018\r\n",
      "  step 114200 lr 1 step-time 0.34s wps 17.60K ppl 13.30 gN 4.40 bleu 3.72, Thu Dec 13 04:56:56 2018\r\n",
      "  step 114300 lr 1 step-time 0.34s wps 17.62K ppl 12.97 gN 4.36 bleu 3.72, Thu Dec 13 04:57:30 2018\r\n",
      "  step 114400 lr 1 step-time 0.34s wps 18.09K ppl 13.14 gN 4.53 bleu 3.72, Thu Dec 13 04:58:03 2018\r\n",
      "  step 114500 lr 1 step-time 0.34s wps 18.01K ppl 13.03 gN 4.45 bleu 3.72, Thu Dec 13 04:58:37 2018\r\n",
      "  step 114600 lr 1 step-time 0.33s wps 17.98K ppl 12.96 gN 4.65 bleu 3.72, Thu Dec 13 04:59:10 2018\r\n",
      "  step 114700 lr 1 step-time 0.33s wps 17.97K ppl 12.46 gN 4.30 bleu 3.72, Thu Dec 13 04:59:44 2018\r\n",
      "  step 114800 lr 1 step-time 0.33s wps 18.12K ppl 12.68 gN 4.57 bleu 3.72, Thu Dec 13 05:00:17 2018\r\n",
      "  step 114900 lr 1 step-time 0.33s wps 18.09K ppl 12.38 gN 4.35 bleu 3.72, Thu Dec 13 05:00:50 2018\r\n",
      "  step 115000 lr 1 step-time 0.34s wps 18.22K ppl 12.50 gN 4.59 bleu 3.72, Thu Dec 13 05:01:24 2018\r\n",
      "# Save eval, global step 115000\r\n",
      "2018-12-13 05:01:24.623841: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:01:24.624041: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2018-12-13 05:01:24.624194: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-115000, time 0.07s\r\n",
      "  # 1472\r\n",
      "    src: President Barack Obama's closest advisers secretly considered replacing Vice President Joe Biden with Hillary Clinton on the 2012 ticket, according to the New York Times.\r\n",
      "    ref: Die engsten Berater von Präsident Barack Obama haben im Geheimen überlegt, Vizepräsident Joe Biden im Wahlkampf 2012 durch Hillary Clinton zu ersetzen, so die New York Times.\r\n",
      "    nmt: Präsident Barack <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 05:01:24.851823: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:01:24.851823: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:01:24.852263: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-115000, time 0.08s\r\n",
      "  eval dev: perplexity 18.59, time 3s, Thu Dec 13 05:01:28 2018.\r\n",
      "  eval test: perplexity 18.92, time 3s, Thu Dec 13 05:01:32 2018.\r\n",
      "2018-12-13 05:01:33.241925: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:01:33.241925: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:01:33.242242: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-115000, time 0.07s\r\n",
      "  # 322\r\n",
      "    src: Frontier Airlines plans to charge up to $100 for passengers to store carry-on luggage on board their flight.\r\n",
      "    ref: Frontier Airlines plant, bis zu 100 US-Dollar von Passagieren zu verlangen, die auf ihrem Flug Handgepäck verstauen möchten.\r\n",
      "    nmt: <unk> <unk> für <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 05:01:33.370686: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:01:33.370686: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:01:33.370935: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-115000, time 0.07s\r\n",
      "# External evaluation, global step 115000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 46s, Thu Dec 13 05:02:19 2018.\r\n",
      "  bleu dev: 0.9\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 115000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 46s, Thu Dec 13 05:03:07 2018.\r\n",
      "  bleu test: 1.2\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 115100 lr 1 step-time 0.34s wps 17.57K ppl 12.05 gN 4.39 bleu 3.72, Thu Dec 13 05:03:41 2018\r\n",
      "  step 115200 lr 1 step-time 0.34s wps 17.91K ppl 12.18 gN 4.67 bleu 3.72, Thu Dec 13 05:04:15 2018\r\n",
      "  step 115300 lr 1 step-time 0.34s wps 17.97K ppl 12.21 gN 4.58 bleu 3.72, Thu Dec 13 05:04:49 2018\r\n",
      "  step 115400 lr 1 step-time 0.33s wps 17.91K ppl 11.99 gN 4.55 bleu 3.72, Thu Dec 13 05:05:22 2018\r\n",
      "  step 115500 lr 1 step-time 0.34s wps 18.00K ppl 11.66 gN 4.49 bleu 3.72, Thu Dec 13 05:05:56 2018\r\n",
      "  step 115600 lr 1 step-time 0.34s wps 18.06K ppl 12.01 gN 4.93 bleu 3.72, Thu Dec 13 05:06:30 2018\r\n",
      "  step 115700 lr 1 step-time 0.34s wps 18.15K ppl 11.73 gN 4.50 bleu 3.72, Thu Dec 13 05:07:04 2018\r\n",
      "  step 115800 lr 1 step-time 0.33s wps 17.98K ppl 11.55 gN 4.60 bleu 3.72, Thu Dec 13 05:07:37 2018\r\n",
      "  step 115900 lr 1 step-time 0.33s wps 18.09K ppl 11.40 gN 4.43 bleu 3.72, Thu Dec 13 05:08:10 2018\r\n",
      "  step 116000 lr 1 step-time 0.34s wps 18.06K ppl 11.44 gN 4.61 bleu 3.72, Thu Dec 13 05:08:44 2018\r\n",
      "# Save eval, global step 116000\r\n",
      "2018-12-13 05:08:44.968937: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:08:44.969179: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 05:08:44.969577: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-116000, time 0.07s\r\n",
      "  # 1955\r\n",
      "    src: NSA siphons data from Google and Yahoo - Snowden wants to help\r\n",
      "    ref: NSA saugt Daten von Google und Yahoo ab - Snowden will helfen\r\n",
      "    nmt: Herr <unk> Daten von Google und Yahoo - <unk> wollen helfen -\r\n",
      "2018-12-13 05:08:45.103838: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:08:45.103838: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:08:45.104101: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-116000, time 0.08s\r\n",
      "  eval dev: perplexity 19.28, time 3s, Thu Dec 13 05:08:48 2018.\r\n",
      "  eval test: perplexity 19.72, time 3s, Thu Dec 13 05:08:52 2018.\r\n",
      "  step 116100 lr 1 step-time 0.35s wps 17.53K ppl 11.37 gN 4.66 bleu 3.72, Thu Dec 13 05:09:27 2018\r\n",
      "  step 116200 lr 1 step-time 0.35s wps 17.72K ppl 11.47 gN 4.83 bleu 3.72, Thu Dec 13 05:10:02 2018\r\n",
      "  step 116300 lr 1 step-time 0.34s wps 17.90K ppl 11.20 gN 4.68 bleu 3.72, Thu Dec 13 05:10:36 2018\r\n",
      "  step 116400 lr 1 step-time 0.34s wps 18.04K ppl 11.11 gN 4.70 bleu 3.72, Thu Dec 13 05:11:10 2018\r\n",
      "  step 116500 lr 1 step-time 0.34s wps 18.02K ppl 11.08 gN 4.70 bleu 3.72, Thu Dec 13 05:11:45 2018\r\n",
      "  step 116600 lr 1 step-time 0.34s wps 17.98K ppl 11.04 gN 4.53 bleu 3.72, Thu Dec 13 05:12:19 2018\r\n",
      "  step 116700 lr 1 step-time 0.34s wps 18.09K ppl 11.25 gN 4.88 bleu 3.72, Thu Dec 13 05:12:53 2018\r\n",
      "  step 116800 lr 1 step-time 0.34s wps 18.04K ppl 10.88 gN 4.67 bleu 3.72, Thu Dec 13 05:13:27 2018\r\n",
      "  step 116900 lr 1 step-time 0.34s wps 18.18K ppl 11.09 gN 4.85 bleu 3.72, Thu Dec 13 05:14:01 2018\r\n",
      "  step 117000 lr 1 step-time 0.34s wps 18.01K ppl 10.85 gN 4.74 bleu 3.72, Thu Dec 13 05:14:35 2018\r\n",
      "# Save eval, global step 117000\r\n",
      "2018-12-13 05:14:36.309002: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:14:36.309007: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:14:36.309272: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-117000, time 0.07s\r\n",
      "  # 2853\r\n",
      "    src: His efforts to finally pull the fish to the surface of the water are so genuine that members of the audience forget that the sea in question consists merely of water bottles, illuminated in blue.\r\n",
      "    ref: Seine Anstrengungen, den Fisch endlich an die Oberfläche des Wassers zu ziehen, sind so echt, dass die Zuschauer vergessen, dass das Meer doch nur aus blau beleuchteten Wasserflaschen besteht.\r\n",
      "    nmt: Seine Bemühungen <unk> den Fisch zu <unk> zu <unk> dass die <unk> der <unk> so gut wie möglich <unk> dass das Meer nur von Wasser <unk>\r\n",
      "2018-12-13 05:14:36.497762: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:14:36.497762: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:14:36.497998: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-117000, time 0.08s\r\n",
      "  eval dev: perplexity 18.79, time 3s, Thu Dec 13 05:14:40 2018.\r\n",
      "  eval test: perplexity 19.12, time 3s, Thu Dec 13 05:14:44 2018.\r\n",
      "  step 117100 lr 1 step-time 0.34s wps 17.76K ppl 10.68 gN 4.48 bleu 3.72, Thu Dec 13 05:15:18 2018\r\n",
      "  step 117200 lr 1 step-time 0.35s wps 17.49K ppl 11.85 gN 4.94 bleu 3.72, Thu Dec 13 05:15:54 2018\r\n",
      "  step 117300 lr 1 step-time 0.35s wps 17.92K ppl 12.15 gN 4.78 bleu 3.72, Thu Dec 13 05:16:29 2018\r\n",
      "  step 117400 lr 1 step-time 0.34s wps 18.14K ppl 12.84 gN 4.83 bleu 3.72, Thu Dec 13 05:17:03 2018\r\n",
      "  step 117500 lr 1 step-time 0.34s wps 18.04K ppl 13.16 gN 4.69 bleu 3.72, Thu Dec 13 05:17:37 2018\r\n",
      "  step 117600 lr 1 step-time 0.35s wps 18.08K ppl 13.55 gN 4.65 bleu 3.72, Thu Dec 13 05:18:12 2018\r\n",
      "  step 117700 lr 1 step-time 0.34s wps 18.12K ppl 14.22 gN 4.57 bleu 3.72, Thu Dec 13 05:18:46 2018\r\n",
      "  step 117800 lr 1 step-time 0.34s wps 18.06K ppl 14.29 gN 4.58 bleu 3.72, Thu Dec 13 05:19:21 2018\r\n",
      "  step 117900 lr 1 step-time 0.35s wps 18.03K ppl 14.76 gN 4.45 bleu 3.72, Thu Dec 13 05:19:55 2018\r\n",
      "  step 118000 lr 1 step-time 0.35s wps 18.05K ppl 15.09 gN 4.77 bleu 3.72, Thu Dec 13 05:20:30 2018\r\n",
      "# Save eval, global step 118000\r\n",
      "2018-12-13 05:20:30.578219: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:20:30.578219: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:20:30.578517: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-118000, time 0.07s\r\n",
      "  # 2394\r\n",
      "    src: \"If the vehicle is struck from behind, the head restraint may not properly protect occupants, increasing the risk of injury,\" according to the notice posted on the National Highway Traffic Safety Administration website.\r\n",
      "    ref: „Wenn von hinten auf das Fahrzeug aufgefahren wird, ist es möglich, dass die Kopfstütze die Insassen nicht richtig schützt, sodass ein erhöhtes Verletzungsrisiko besteht“, war in der Nachricht auf der Website der National Highway Traffic Safety Administration (NHTSA) zu lesen.\r\n",
      "    nmt: Zweitens ist das <unk> der <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 05:20:30.842525: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:20:30.842525: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:20:30.842844: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-118000, time 0.08s\r\n",
      "  eval dev: perplexity 19.52, time 3s, Thu Dec 13 05:20:34 2018.\r\n",
      "  eval test: perplexity 19.39, time 3s, Thu Dec 13 05:20:38 2018.\r\n",
      "  step 118100 lr 1 step-time 0.34s wps 18.10K ppl 15.13 gN 4.43 bleu 3.72, Thu Dec 13 05:21:12 2018\r\n",
      "  step 118200 lr 1 step-time 0.36s wps 17.56K ppl 16.01 gN 4.75 bleu 3.72, Thu Dec 13 05:21:48 2018\r\n",
      "  step 118300 lr 1 step-time 0.35s wps 17.61K ppl 15.86 gN 4.65 bleu 3.72, Thu Dec 13 05:22:23 2018\r\n",
      "  step 118400 lr 1 step-time 0.34s wps 17.99K ppl 15.79 gN 4.47 bleu 3.72, Thu Dec 13 05:22:58 2018\r\n",
      "  step 118500 lr 1 step-time 0.35s wps 17.97K ppl 15.97 gN 4.41 bleu 3.72, Thu Dec 13 05:23:32 2018\r\n",
      "  step 118600 lr 1 step-time 0.34s wps 18.02K ppl 16.00 gN 4.53 bleu 3.72, Thu Dec 13 05:24:06 2018\r\n",
      "  step 118700 lr 1 step-time 0.34s wps 18.09K ppl 15.64 gN 4.44 bleu 3.72, Thu Dec 13 05:24:41 2018\r\n",
      "  step 118800 lr 1 step-time 0.34s wps 18.01K ppl 15.80 gN 4.47 bleu 3.72, Thu Dec 13 05:25:15 2018\r\n",
      "  step 118900 lr 1 step-time 0.34s wps 18.02K ppl 15.83 gN 4.28 bleu 3.72, Thu Dec 13 05:25:49 2018\r\n",
      "  step 119000 lr 1 step-time 0.34s wps 18.14K ppl 16.50 gN 4.51 bleu 3.72, Thu Dec 13 05:26:23 2018\r\n",
      "# Save eval, global step 119000\r\n",
      "2018-12-13 05:26:24.009408: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:26:24.009408: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:26:24.009646: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-119000, time 0.07s\r\n",
      "  # 868\r\n",
      "    src: From his arrival, to his being conferred with honorary citizenship and his death, Alois Kraftzcyk, the scriptwriter and actor portraying Hansjakob, has written an entertaining play, which received great acclaim under the directorship of Cornelia Volk.\r\n",
      "    ref: Von der Ankunft über die Verleihung der Ehrenbürgerschaft bis hin zu seinem Tod hatte Drehbuchautor und Hansjakobdarsteller Alois Kraftzcyk ein unterhaltsames Stück entworfen, das unter der Regie von Cornelia Volk viel Beifall bekam.\r\n",
      "    nmt: Aus seiner <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 05:26:24.297725: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:26:24.298139: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:26:24.298198: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-119000, time 0.08s\r\n",
      "  eval dev: perplexity 19.21, time 3s, Thu Dec 13 05:26:28 2018.\r\n",
      "  eval test: perplexity 19.76, time 3s, Thu Dec 13 05:26:31 2018.\r\n",
      "  step 119100 lr 1 step-time 0.34s wps 17.90K ppl 15.99 gN 4.21 bleu 3.72, Thu Dec 13 05:27:06 2018\r\n",
      "  step 119200 lr 1 step-time 0.34s wps 17.72K ppl 15.98 gN 4.25 bleu 3.72, Thu Dec 13 05:27:40 2018\r\n",
      "  step 119300 lr 1 step-time 0.35s wps 17.32K ppl 16.35 gN 4.48 bleu 3.72, Thu Dec 13 05:28:16 2018\r\n",
      "  step 119400 lr 1 step-time 0.35s wps 17.53K ppl 16.69 gN 4.57 bleu 3.72, Thu Dec 13 05:28:51 2018\r\n",
      "  step 119500 lr 1 step-time 0.35s wps 17.41K ppl 16.37 gN 4.22 bleu 3.72, Thu Dec 13 05:29:26 2018\r\n",
      "  step 119600 lr 1 step-time 0.35s wps 17.35K ppl 16.59 gN 4.40 bleu 3.72, Thu Dec 13 05:30:01 2018\r\n",
      "  step 119700 lr 1 step-time 0.35s wps 17.38K ppl 16.78 gN 4.34 bleu 3.72, Thu Dec 13 05:30:37 2018\r\n",
      "  step 119800 lr 1 step-time 0.35s wps 17.33K ppl 17.12 gN 4.40 bleu 3.72, Thu Dec 13 05:31:12 2018\r\n",
      "  step 119900 lr 1 step-time 0.35s wps 17.41K ppl 16.94 gN 4.38 bleu 3.72, Thu Dec 13 05:31:47 2018\r\n",
      "  step 120000 lr 1 step-time 0.35s wps 17.39K ppl 17.49 gN 4.39 bleu 3.72, Thu Dec 13 05:32:22 2018\r\n",
      "# Save eval, global step 120000\r\n",
      "2018-12-13 05:32:23.241833: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:32:23.241986: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 05:32:23.242085: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-120000, time 0.07s\r\n",
      "  # 1137\r\n",
      "    src: The police completely blocked off the road immediately, but initially could not make much comment on the cause of the accident.\r\n",
      "    ref: Die Polizei sperrte die Straße sofort komplett, konnte aber zum Unfallhergang zunächst wenig sagen.\r\n",
      "    nmt: Die Polizei hat sich auf die <unk> <unk> aber zunächst nicht zu den Ursachen der Krise zu <unk>\r\n",
      "2018-12-13 05:32:23.404894: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:32:23.404900: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:32:23.405159: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-120000, time 0.09s\r\n",
      "  eval dev: perplexity 22.10, time 3s, Thu Dec 13 05:32:27 2018.\r\n",
      "  eval test: perplexity 22.01, time 4s, Thu Dec 13 05:32:31 2018.\r\n",
      "2018-12-13 05:32:32.185563: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:32:32.185563: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:32:32.185849: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-120000, time 0.07s\r\n",
      "  # 1663\r\n",
      "    src: Miss Hall, from Halifax, West Yorkshire, said: \"Watching the rescue was terrifying.\"\r\n",
      "    ref: Becky Hall aus Halifax, West Yorkshire, sagte: „Bei der Rettung zuzusehen war beängstigend.“\r\n",
      "    nmt: Die <unk> von <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 05:32:32.306242: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:32:32.306242: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:32:32.306542: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-120000, time 0.08s\r\n",
      "# External evaluation, global step 120000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 25s, Thu Dec 13 05:32:57 2018.\r\n",
      "  bleu dev: 3.5\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 120000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 26s, Thu Dec 13 05:33:24 2018.\r\n",
      "  bleu test: 3.9\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 120100 lr 1 step-time 0.36s wps 16.95K ppl 16.95 gN 4.15 bleu 3.72, Thu Dec 13 05:34:01 2018\r\n",
      "  step 120200 lr 1 step-time 0.36s wps 16.99K ppl 17.31 gN 4.48 bleu 3.72, Thu Dec 13 05:34:37 2018\r\n",
      "  step 120300 lr 1 step-time 0.35s wps 17.19K ppl 17.03 gN 4.15 bleu 3.72, Thu Dec 13 05:35:12 2018\r\n",
      "  step 120400 lr 1 step-time 0.35s wps 17.27K ppl 17.24 gN 4.29 bleu 3.72, Thu Dec 13 05:35:47 2018\r\n",
      "  step 120500 lr 1 step-time 0.35s wps 17.70K ppl 17.24 gN 4.40 bleu 3.72, Thu Dec 13 05:36:22 2018\r\n",
      "  step 120600 lr 1 step-time 0.35s wps 17.64K ppl 17.15 gN 4.14 bleu 3.72, Thu Dec 13 05:36:57 2018\r\n",
      "  step 120700 lr 1 step-time 0.34s wps 17.55K ppl 18.48 gN 4.43 bleu 3.72, Thu Dec 13 05:37:31 2018\r\n",
      "  step 120800 lr 1 step-time 0.34s wps 17.18K ppl 19.57 gN 4.40 bleu 3.72, Thu Dec 13 05:38:05 2018\r\n",
      "  step 120900 lr 1 step-time 0.35s wps 16.90K ppl 20.24 gN 4.23 bleu 3.72, Thu Dec 13 05:38:41 2018\r\n",
      "  step 121000 lr 1 step-time 0.35s wps 16.81K ppl 20.65 gN 4.07 bleu 3.72, Thu Dec 13 05:39:15 2018\r\n",
      "# Save eval, global step 121000\r\n",
      "2018-12-13 05:39:16.113430: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:39:16.113430: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:39:16.113693: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-121000, time 0.07s\r\n",
      "  # 134\r\n",
      "    src: However, nobody can afford to lose qualified workers,\" he added.\r\n",
      "    ref: Aber niemand könne es sich leisten, qualifizierte Arbeitskräfte zu verlieren, sagte er weiter.\r\n",
      "    nmt: <unk> kann niemand <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 05:39:16.239687: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:39:16.239687: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:39:16.239954: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-121000, time 0.09s\r\n",
      "  eval dev: perplexity 17.16, time 3s, Thu Dec 13 05:39:20 2018.\r\n",
      "  eval test: perplexity 17.70, time 3s, Thu Dec 13 05:39:24 2018.\r\n",
      "  step 121100 lr 1 step-time 0.35s wps 16.59K ppl 21.56 gN 4.26 bleu 3.72, Thu Dec 13 05:39:58 2018\r\n",
      "  step 121200 lr 1 step-time 0.35s wps 16.61K ppl 21.97 gN 4.33 bleu 3.72, Thu Dec 13 05:40:33 2018\r\n",
      "  step 121300 lr 1 step-time 0.35s wps 16.49K ppl 22.65 gN 4.24 bleu 3.72, Thu Dec 13 05:41:08 2018\r\n",
      "  step 121400 lr 1 step-time 0.33s wps 16.76K ppl 22.48 gN 4.15 bleu 3.72, Thu Dec 13 05:41:41 2018\r\n",
      "  step 121500 lr 1 step-time 0.34s wps 16.60K ppl 23.37 gN 4.36 bleu 3.72, Thu Dec 13 05:42:15 2018\r\n",
      "  step 121600 lr 1 step-time 0.34s wps 16.68K ppl 23.57 gN 4.18 bleu 3.72, Thu Dec 13 05:42:49 2018\r\n",
      "  step 121700 lr 1 step-time 0.33s wps 16.59K ppl 23.32 gN 4.20 bleu 3.72, Thu Dec 13 05:43:22 2018\r\n",
      "  step 121800 lr 1 step-time 0.34s wps 16.54K ppl 23.39 gN 4.06 bleu 3.72, Thu Dec 13 05:43:56 2018\r\n",
      "  step 121900 lr 1 step-time 0.34s wps 16.15K ppl 23.93 gN 4.21 bleu 3.72, Thu Dec 13 05:44:30 2018\r\n",
      "  step 122000 lr 1 step-time 0.34s wps 16.46K ppl 24.63 gN 4.25 bleu 3.72, Thu Dec 13 05:45:03 2018\r\n",
      "# Save eval, global step 122000\r\n",
      "2018-12-13 05:45:04.345253: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:45:04.345413: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 05:45:04.345480: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-122000, time 0.07s\r\n",
      "  # 2242\r\n",
      "    src: Rather than missing burgers, scrambled eggs or gummi bears, the vegan has quickly discovered entirely new products that really inspire him.\r\n",
      "    ref: Statt Burgern, Rühreiern oder Gummibären hinterherzutrauern, habe der Veganer schnell ganz neue Produkte entdeckt, die Begeisterung stieg an.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 05:45:04.564772: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:45:04.564775: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:45:04.565051: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-122000, time 0.09s\r\n",
      "  eval dev: perplexity 19.01, time 3s, Thu Dec 13 05:45:08 2018.\r\n",
      "  eval test: perplexity 19.24, time 4s, Thu Dec 13 05:45:12 2018.\r\n",
      "  step 122100 lr 1 step-time 0.33s wps 16.12K ppl 23.60 gN 4.01 bleu 3.72, Thu Dec 13 05:45:45 2018\r\n",
      "  step 122200 lr 1 step-time 0.33s wps 16.41K ppl 24.30 gN 4.10 bleu 3.72, Thu Dec 13 05:46:19 2018\r\n",
      "  step 122300 lr 1 step-time 0.34s wps 15.90K ppl 24.25 gN 4.18 bleu 3.72, Thu Dec 13 05:46:52 2018\r\n",
      "  step 122400 lr 1 step-time 0.34s wps 15.69K ppl 24.50 gN 3.94 bleu 3.72, Thu Dec 13 05:47:27 2018\r\n",
      "  step 122500 lr 1 step-time 0.34s wps 16.09K ppl 25.65 gN 4.13 bleu 3.72, Thu Dec 13 05:48:00 2018\r\n",
      "  step 122600 lr 1 step-time 0.34s wps 15.83K ppl 25.64 gN 4.05 bleu 3.72, Thu Dec 13 05:48:34 2018\r\n",
      "  step 122700 lr 1 step-time 0.34s wps 15.78K ppl 25.78 gN 3.95 bleu 3.72, Thu Dec 13 05:49:08 2018\r\n",
      "  step 122800 lr 1 step-time 0.34s wps 15.88K ppl 26.26 gN 4.12 bleu 3.72, Thu Dec 13 05:49:42 2018\r\n",
      "  step 122900 lr 1 step-time 0.34s wps 16.18K ppl 26.67 gN 4.07 bleu 3.72, Thu Dec 13 05:50:16 2018\r\n",
      "  step 123000 lr 1 step-time 0.33s wps 16.05K ppl 27.43 gN 4.06 bleu 3.72, Thu Dec 13 05:50:49 2018\r\n",
      "# Save eval, global step 123000\r\n",
      "2018-12-13 05:50:49.770589: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:50:49.770589: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:50:49.770951: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-123000, time 0.07s\r\n",
      "  # 1602\r\n",
      "    src: House fire in Helmbrechts: Rescue services retrieve charred body\r\n",
      "    ref: Wohnungsbrand in Helmbrechts: Rettungskräfte bergen verkohlte Leiche\r\n",
      "    nmt: Das Haus <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 05:50:49.917062: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:50:49.917126: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:50:49.917300: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-123000, time 0.09s\r\n",
      "  eval dev: perplexity 17.93, time 3s, Thu Dec 13 05:50:53 2018.\r\n",
      "  eval test: perplexity 18.71, time 3s, Thu Dec 13 05:50:57 2018.\r\n",
      "  step 123100 lr 1 step-time 0.33s wps 16.03K ppl 26.55 gN 4.06 bleu 3.72, Thu Dec 13 05:51:31 2018\r\n",
      "  step 123200 lr 1 step-time 0.33s wps 15.98K ppl 26.66 gN 3.82 bleu 3.72, Thu Dec 13 05:52:04 2018\r\n",
      "  step 123300 lr 1 step-time 0.34s wps 15.86K ppl 27.39 gN 4.08 bleu 3.72, Thu Dec 13 05:52:38 2018\r\n",
      "  step 123400 lr 1 step-time 0.35s wps 15.55K ppl 27.73 gN 4.07 bleu 3.72, Thu Dec 13 05:53:13 2018\r\n",
      "  step 123500 lr 1 step-time 0.34s wps 15.56K ppl 27.00 gN 3.97 bleu 3.72, Thu Dec 13 05:53:47 2018\r\n",
      "  step 123600 lr 1 step-time 0.34s wps 15.65K ppl 26.37 gN 3.70 bleu 3.72, Thu Dec 13 05:54:21 2018\r\n",
      "  step 123700 lr 1 step-time 0.34s wps 15.64K ppl 27.00 gN 4.16 bleu 3.72, Thu Dec 13 05:54:55 2018\r\n",
      "  step 123800 lr 1 step-time 0.34s wps 15.79K ppl 26.49 gN 4.04 bleu 3.72, Thu Dec 13 05:55:30 2018\r\n",
      "  step 123900 lr 1 step-time 0.34s wps 15.76K ppl 26.59 gN 3.98 bleu 3.72, Thu Dec 13 05:56:04 2018\r\n",
      "  step 124000 lr 1 step-time 0.35s wps 15.67K ppl 25.87 gN 3.88 bleu 3.72, Thu Dec 13 05:56:39 2018\r\n",
      "# Save eval, global step 124000\r\n",
      "2018-12-13 05:56:39.543002: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:56:39.543140: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 05:56:39.543209: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-124000, time 0.07s\r\n",
      "  # 1882\r\n",
      "    src: Passengers can already do this during the bulk of a flight but many people find it annoying to be unable to access their e-books during take-offs and landings.\r\n",
      "    ref: Während des Großteils des Flugs ist Passagieren dies bereits erlaubt, doch finden es viele Leute ärgerlich, dass sie beim Start und der Landung ihre E-Books nicht lesen dürfen.\r\n",
      "    nmt: <unk> kann dies während des <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 05:56:39.803065: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:56:39.803065: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 05:56:39.803338: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-124000, time 0.09s\r\n",
      "  eval dev: perplexity 22.15, time 4s, Thu Dec 13 05:56:43 2018.\r\n",
      "  eval test: perplexity 23.01, time 4s, Thu Dec 13 05:56:47 2018.\r\n",
      "  step 124100 lr 1 step-time 0.34s wps 15.70K ppl 25.48 gN 4.07 bleu 3.72, Thu Dec 13 05:57:21 2018\r\n",
      "  step 124200 lr 1 step-time 0.34s wps 15.72K ppl 25.15 gN 3.82 bleu 3.72, Thu Dec 13 05:57:56 2018\r\n",
      "  step 124300 lr 1 step-time 0.34s wps 15.81K ppl 24.66 gN 3.89 bleu 3.72, Thu Dec 13 05:58:30 2018\r\n",
      "  step 124400 lr 1 step-time 0.34s wps 15.98K ppl 24.98 gN 3.90 bleu 3.72, Thu Dec 13 05:59:03 2018\r\n",
      "  step 124500 lr 1 step-time 0.34s wps 15.81K ppl 25.87 gN 4.16 bleu 3.72, Thu Dec 13 05:59:38 2018\r\n",
      "  step 124600 lr 1 step-time 0.33s wps 16.24K ppl 25.24 gN 4.18 bleu 3.72, Thu Dec 13 06:00:11 2018\r\n",
      "  step 124700 lr 1 step-time 0.33s wps 16.29K ppl 25.13 gN 3.86 bleu 3.72, Thu Dec 13 06:00:44 2018\r\n",
      "  step 124800 lr 1 step-time 0.33s wps 16.34K ppl 25.02 gN 3.97 bleu 3.72, Thu Dec 13 06:01:17 2018\r\n",
      "  step 124900 lr 1 step-time 0.33s wps 16.36K ppl 24.74 gN 3.99 bleu 3.72, Thu Dec 13 06:01:50 2018\r\n",
      "  step 125000 lr 1 step-time 0.33s wps 16.31K ppl 24.04 gN 3.96 bleu 3.72, Thu Dec 13 06:02:23 2018\r\n",
      "# Save eval, global step 125000\r\n",
      "2018-12-13 06:02:23.806686: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:02:23.806817: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:02:23.806883: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-125000, time 0.07s\r\n",
      "  # 1761\r\n",
      "    src: Other findings support this conclusion, but there are many other contributing factors.\r\n",
      "    ref: Andere Untersuchungen unterstützen diese Schlussfolgerung, aber es gebe viele andere Faktoren, die eine Rolle spielten.\r\n",
      "    nmt: Andere <unk> unterstützen diese <unk> aber es gibt viele andere <unk>\r\n",
      "2018-12-13 06:02:23.941192: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:02:23.941192: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:02:23.941432: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-125000, time 0.08s\r\n",
      "  eval dev: perplexity 17.69, time 3s, Thu Dec 13 06:02:27 2018.\r\n",
      "  eval test: perplexity 18.63, time 3s, Thu Dec 13 06:02:31 2018.\r\n",
      "2018-12-13 06:02:32.407815: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:02:32.407959: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:02:32.408040: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-125000, time 0.07s\r\n",
      "  # 2518\r\n",
      "    src: \"Unless a player comes forward and expresses the desire to leave the club,\" explained Rangnick.\r\n",
      "    ref: \"Außer ein Spieler tritt mit dem Wunsch heran, dass er den Verein verlassen will\", stellte Rangnick klar.\r\n",
      "    nmt: <unk> ein Spieler <unk> und <unk> die <unk> die <unk> <unk> <unk>\r\n",
      "2018-12-13 06:02:32.532569: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:02:32.532749: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:02:32.533114: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-125000, time 0.07s\r\n",
      "# External evaluation, global step 125000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 46s, Thu Dec 13 06:03:18 2018.\r\n",
      "  bleu dev: 1.6\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 125000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 46s, Thu Dec 13 06:04:06 2018.\r\n",
      "  bleu test: 2.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 125100 lr 1 step-time 0.33s wps 16.39K ppl 25.20 gN 4.34 bleu 3.72, Thu Dec 13 06:04:40 2018\r\n",
      "  step 125200 lr 1 step-time 0.34s wps 15.91K ppl 24.40 gN 4.00 bleu 3.72, Thu Dec 13 06:05:14 2018\r\n",
      "  step 125300 lr 1 step-time 0.34s wps 16.14K ppl 24.23 gN 4.01 bleu 3.72, Thu Dec 13 06:05:48 2018\r\n",
      "  step 125400 lr 1 step-time 0.33s wps 16.37K ppl 23.88 gN 3.83 bleu 3.72, Thu Dec 13 06:06:21 2018\r\n",
      "  step 125500 lr 1 step-time 0.33s wps 16.41K ppl 23.71 gN 3.94 bleu 3.72, Thu Dec 13 06:06:54 2018\r\n",
      "  step 125600 lr 1 step-time 0.33s wps 16.46K ppl 24.15 gN 4.19 bleu 3.72, Thu Dec 13 06:07:27 2018\r\n",
      "  step 125700 lr 1 step-time 0.33s wps 16.17K ppl 24.36 gN 4.14 bleu 3.72, Thu Dec 13 06:08:00 2018\r\n",
      "  step 125800 lr 1 step-time 0.34s wps 16.21K ppl 24.79 gN 4.04 bleu 3.72, Thu Dec 13 06:08:34 2018\r\n",
      "  step 125900 lr 1 step-time 0.33s wps 16.17K ppl 24.21 gN 3.96 bleu 3.72, Thu Dec 13 06:09:08 2018\r\n",
      "  step 126000 lr 1 step-time 0.33s wps 16.15K ppl 23.90 gN 3.88 bleu 3.72, Thu Dec 13 06:09:41 2018\r\n",
      "# Save eval, global step 126000\r\n",
      "2018-12-13 06:09:41.804107: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:09:41.804363: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:09:41.804777: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-126000, time 0.07s\r\n",
      "  # 261\r\n",
      "    src: At the beginning of September, the elite in the field of European space research met in Paris to discuss proposals for such missions.\r\n",
      "    ref: Anfang September traf sich in Paris die Elite der europäischen Weltraumforschung, um Vorschläge für solche Missionen zu diskutieren.\r\n",
      "    nmt: Anfang des Jahres <unk> die Elite in der europäischen <unk> in Paris um Vorschläge für solche Vorschläge zu <unk>\r\n",
      "2018-12-13 06:09:41.964730: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:09:41.964730: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:09:41.965007: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-126000, time 0.09s\r\n",
      "  eval dev: perplexity 20.61, time 3s, Thu Dec 13 06:09:45 2018.\r\n",
      "  eval test: perplexity 21.56, time 3s, Thu Dec 13 06:09:49 2018.\r\n",
      "  step 126100 lr 1 step-time 0.33s wps 16.17K ppl 23.93 gN 3.93 bleu 3.72, Thu Dec 13 06:10:23 2018\r\n",
      "  step 126200 lr 1 step-time 0.34s wps 16.11K ppl 24.87 gN 4.17 bleu 3.72, Thu Dec 13 06:10:57 2018\r\n",
      "  step 126300 lr 1 step-time 0.34s wps 15.80K ppl 23.89 gN 3.89 bleu 3.72, Thu Dec 13 06:11:31 2018\r\n",
      "  step 126400 lr 1 step-time 0.34s wps 15.86K ppl 24.26 gN 3.92 bleu 3.72, Thu Dec 13 06:12:05 2018\r\n",
      "  step 126500 lr 1 step-time 0.34s wps 16.08K ppl 25.15 gN 4.10 bleu 3.72, Thu Dec 13 06:12:39 2018\r\n",
      "  step 126600 lr 1 step-time 0.33s wps 16.07K ppl 24.49 gN 3.64 bleu 3.72, Thu Dec 13 06:13:12 2018\r\n",
      "  step 126700 lr 1 step-time 0.33s wps 15.96K ppl 24.57 gN 3.68 bleu 3.72, Thu Dec 13 06:13:45 2018\r\n",
      "  step 126800 lr 1 step-time 0.33s wps 16.01K ppl 24.75 gN 3.76 bleu 3.72, Thu Dec 13 06:14:19 2018\r\n",
      "  step 126900 lr 1 step-time 0.33s wps 15.90K ppl 24.81 gN 3.57 bleu 3.72, Thu Dec 13 06:14:52 2018\r\n",
      "  step 127000 lr 1 step-time 0.33s wps 15.83K ppl 25.22 gN 3.75 bleu 3.72, Thu Dec 13 06:15:25 2018\r\n",
      "# Save eval, global step 127000\r\n",
      "2018-12-13 06:15:26.115644: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:15:26.115644: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:15:26.115901: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-127000, time 0.07s\r\n",
      "  # 225\r\n",
      "    src: In particular, safety at railway crossings is to be increased - collisions between trains and other vehicles frequently occur at these across the country.\r\n",
      "    ref: Besonders soll dabei die Sicherheit an Bahnübergängen erhöht werden - regelmäßig kommt es bundesweit zu Kollisionen von Zügen mit anderen Fahrzeuge.\r\n",
      "    nmt: In den <unk> wird die Sicherheit bei <unk> <unk> <unk> zwischen <unk> und anderen Fahrzeugen oft in diesen <unk> <unk>\r\n",
      "2018-12-13 06:15:26.282479: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:15:26.282479: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:15:26.282733: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-127000, time 0.09s\r\n",
      "  eval dev: perplexity 18.47, time 3s, Thu Dec 13 06:15:30 2018.\r\n",
      "  eval test: perplexity 19.52, time 3s, Thu Dec 13 06:15:34 2018.\r\n",
      "  step 127100 lr 1 step-time 0.33s wps 15.75K ppl 25.33 gN 3.73 bleu 3.72, Thu Dec 13 06:16:07 2018\r\n",
      "  step 127200 lr 1 step-time 0.34s wps 15.82K ppl 27.06 gN 3.86 bleu 3.72, Thu Dec 13 06:16:41 2018\r\n",
      "  step 127300 lr 1 step-time 0.34s wps 15.48K ppl 25.81 gN 3.65 bleu 3.72, Thu Dec 13 06:17:14 2018\r\n",
      "  step 127400 lr 1 step-time 0.34s wps 15.43K ppl 25.54 gN 3.60 bleu 3.72, Thu Dec 13 06:17:48 2018\r\n",
      "  step 127500 lr 1 step-time 0.33s wps 15.65K ppl 25.08 gN 3.61 bleu 3.72, Thu Dec 13 06:18:22 2018\r\n",
      "  step 127600 lr 1 step-time 0.34s wps 15.83K ppl 25.67 gN 3.66 bleu 3.72, Thu Dec 13 06:18:55 2018\r\n",
      "  step 127700 lr 1 step-time 0.33s wps 15.81K ppl 25.75 gN 3.95 bleu 3.72, Thu Dec 13 06:19:29 2018\r\n",
      "  step 127800 lr 1 step-time 0.33s wps 15.85K ppl 25.06 gN 3.66 bleu 3.72, Thu Dec 13 06:20:02 2018\r\n",
      "  step 127900 lr 1 step-time 0.33s wps 15.98K ppl 26.08 gN 3.88 bleu 3.72, Thu Dec 13 06:20:35 2018\r\n",
      "  step 128000 lr 1 step-time 0.33s wps 15.96K ppl 26.27 gN 3.80 bleu 3.72, Thu Dec 13 06:21:08 2018\r\n",
      "# Save eval, global step 128000\r\n",
      "2018-12-13 06:21:08.995599: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:21:08.995805: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:21:08.995941: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-128000, time 0.07s\r\n",
      "  # 1628\r\n",
      "    src: This would suit the young people of today, as it is not just about your career, but about having a meaningful job as well.\r\n",
      "    ref: Das komme den jungen Leuten von heute entgegen, denen es nicht nur um Karriere, sondern um eine sinnerfüllte Arbeit gehe.\r\n",
      "    nmt: Dies würde die junge Leute von <unk> als es nicht nur über Ihre <unk> sondern über eine sinnvolle Arbeit als <unk> <unk>\r\n",
      "2018-12-13 06:21:09.161893: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:21:09.162177: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:21:09.162234: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-128000, time 0.09s\r\n",
      "  eval dev: perplexity 19.08, time 3s, Thu Dec 13 06:21:13 2018.\r\n",
      "  eval test: perplexity 20.08, time 3s, Thu Dec 13 06:21:17 2018.\r\n",
      "  step 128100 lr 1 step-time 0.33s wps 15.88K ppl 25.22 gN 3.74 bleu 3.72, Thu Dec 13 06:21:50 2018\r\n",
      "  step 128200 lr 1 step-time 0.33s wps 15.88K ppl 24.38 gN 3.55 bleu 3.72, Thu Dec 13 06:22:22 2018\r\n",
      "  step 128300 lr 1 step-time 0.33s wps 15.93K ppl 25.48 gN 3.84 bleu 3.72, Thu Dec 13 06:22:56 2018\r\n",
      "  step 128400 lr 1 step-time 0.33s wps 15.96K ppl 24.89 gN 3.92 bleu 3.72, Thu Dec 13 06:23:29 2018\r\n",
      "  step 128500 lr 1 step-time 0.33s wps 15.90K ppl 25.19 gN 4.03 bleu 3.72, Thu Dec 13 06:24:02 2018\r\n",
      "  step 128600 lr 1 step-time 0.33s wps 16.09K ppl 24.79 gN 3.86 bleu 3.72, Thu Dec 13 06:24:35 2018\r\n",
      "  step 128700 lr 1 step-time 0.34s wps 15.85K ppl 24.94 gN 3.89 bleu 3.72, Thu Dec 13 06:25:09 2018\r\n",
      "  step 128800 lr 1 step-time 0.33s wps 16.22K ppl 24.71 gN 3.72 bleu 3.72, Thu Dec 13 06:25:42 2018\r\n",
      "  step 128900 lr 1 step-time 0.33s wps 16.08K ppl 25.73 gN 4.00 bleu 3.72, Thu Dec 13 06:26:15 2018\r\n",
      "  step 129000 lr 1 step-time 0.33s wps 16.30K ppl 24.84 gN 3.95 bleu 3.72, Thu Dec 13 06:26:47 2018\r\n",
      "# Save eval, global step 129000\r\n",
      "2018-12-13 06:26:48.146327: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:26:48.146327: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:26:48.146587: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-129000, time 0.07s\r\n",
      "  # 1736\r\n",
      "    src: Should a mother be alarmed if her daughter begins to sprout breast buds and pubic hair at 7 or 8?\r\n",
      "    ref: Sollte eine Mutter besorgt sein, wenn ihrer Tochter schon im Alter von sieben oder acht Jahren Brüste und Schamhaare wachsen?\r\n",
      "    nmt: Wenn eine Mutter <unk> wenn ihre Tochter beginnt <unk> <unk> <unk> <unk> <unk> <unk> und <unk> <unk>\r\n",
      "2018-12-13 06:26:48.304530: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:26:48.304530: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:26:48.304829: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-129000, time 0.09s\r\n",
      "  eval dev: perplexity 17.68, time 3s, Thu Dec 13 06:26:52 2018.\r\n",
      "  eval test: perplexity 18.84, time 3s, Thu Dec 13 06:26:56 2018.\r\n",
      "  step 129100 lr 1 step-time 0.32s wps 16.15K ppl 24.43 gN 3.82 bleu 3.72, Thu Dec 13 06:27:28 2018\r\n",
      "  step 129200 lr 1 step-time 0.33s wps 16.29K ppl 25.59 gN 4.04 bleu 3.72, Thu Dec 13 06:28:01 2018\r\n",
      "  step 129300 lr 1 step-time 0.33s wps 16.23K ppl 24.30 gN 3.81 bleu 3.72, Thu Dec 13 06:28:34 2018\r\n",
      "  step 129400 lr 1 step-time 0.33s wps 16.21K ppl 24.26 gN 3.91 bleu 3.72, Thu Dec 13 06:29:07 2018\r\n",
      "  step 129500 lr 1 step-time 0.33s wps 16.10K ppl 24.37 gN 3.91 bleu 3.72, Thu Dec 13 06:29:40 2018\r\n",
      "  step 129600 lr 1 step-time 0.33s wps 16.04K ppl 23.97 gN 3.97 bleu 3.72, Thu Dec 13 06:30:13 2018\r\n",
      "  step 129700 lr 1 step-time 0.34s wps 16.23K ppl 25.26 gN 4.13 bleu 3.72, Thu Dec 13 06:30:47 2018\r\n",
      "  step 129800 lr 1 step-time 0.33s wps 16.46K ppl 24.45 gN 4.12 bleu 3.72, Thu Dec 13 06:31:19 2018\r\n",
      "  step 129900 lr 1 step-time 0.32s wps 16.46K ppl 23.57 gN 3.80 bleu 3.72, Thu Dec 13 06:31:51 2018\r\n",
      "  step 130000 lr 1 step-time 0.33s wps 16.52K ppl 24.49 gN 3.94 bleu 3.72, Thu Dec 13 06:32:24 2018\r\n",
      "# Save eval, global step 130000\r\n",
      "2018-12-13 06:32:24.935312: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:32:24.935446: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:32:24.935513: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-130000, time 0.07s\r\n",
      "  # 1442\r\n",
      "    src: In the course of my service to these organizations, I believe I witnessed systemic violations of law by my government that created a moral duty to act.\r\n",
      "    ref: Im Zuge meiner Beschäftigung in diesen Einrichtungen wurde ich Zeuge systematischer Gesetzesverstöße meiner Regierung, die mich aus moralischer Pflicht zum Handeln veranlassten.\r\n",
      "    nmt: In der <unk> ich <unk> ich <unk> ich <unk> ich habe <unk> Verletzungen von Gesetz durch meine Regierung <unk> die eine moralische Pflicht <unk>\r\n",
      "2018-12-13 06:32:25.107758: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:32:25.107764: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:32:25.108004: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-130000, time 0.08s\r\n",
      "  eval dev: perplexity 18.05, time 3s, Thu Dec 13 06:32:28 2018.\r\n",
      "  eval test: perplexity 19.37, time 3s, Thu Dec 13 06:32:32 2018.\r\n",
      "2018-12-13 06:32:33.489987: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:32:33.490211: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:32:33.490346: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-130000, time 0.07s\r\n",
      "  # 788\r\n",
      "    src: Traditionally, the anniversary celebration is also always the fitting occasion to bestow honours.\r\n",
      "    ref: Traditionell ist das Stiftungsfest auch immer die passende Festivität, um Ehrungen vorzunehmen.\r\n",
      "    nmt: <unk> <unk> ist immer die <unk> <unk>\r\n",
      "2018-12-13 06:32:33.603138: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:32:33.603291: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:32:33.603359: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-130000, time 0.07s\r\n",
      "# External evaluation, global step 130000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 45s, Thu Dec 13 06:33:19 2018.\r\n",
      "  bleu dev: 1.9\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 130000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 45s, Thu Dec 13 06:34:06 2018.\r\n",
      "  bleu test: 2.2\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 130100 lr 1 step-time 0.32s wps 16.35K ppl 23.83 gN 3.90 bleu 3.72, Thu Dec 13 06:34:38 2018\r\n",
      "  step 130200 lr 1 step-time 0.32s wps 16.50K ppl 24.08 gN 3.89 bleu 3.72, Thu Dec 13 06:35:11 2018\r\n",
      "  step 130300 lr 1 step-time 0.32s wps 16.47K ppl 23.53 gN 3.85 bleu 3.72, Thu Dec 13 06:35:43 2018\r\n",
      "  step 130400 lr 1 step-time 0.34s wps 16.20K ppl 24.61 gN 4.15 bleu 3.72, Thu Dec 13 06:36:17 2018\r\n",
      "  step 130500 lr 1 step-time 0.33s wps 16.20K ppl 23.64 gN 4.06 bleu 3.72, Thu Dec 13 06:36:50 2018\r\n",
      "  step 130600 lr 1 step-time 0.33s wps 16.35K ppl 23.47 gN 3.80 bleu 3.72, Thu Dec 13 06:37:22 2018\r\n",
      "  step 130700 lr 1 step-time 0.32s wps 16.62K ppl 23.65 gN 3.87 bleu 3.72, Thu Dec 13 06:37:54 2018\r\n",
      "  step 130800 lr 1 step-time 0.32s wps 16.60K ppl 23.91 gN 3.93 bleu 3.72, Thu Dec 13 06:38:27 2018\r\n",
      "  step 130900 lr 1 step-time 0.32s wps 16.67K ppl 23.37 gN 3.92 bleu 3.72, Thu Dec 13 06:38:59 2018\r\n",
      "  step 131000 lr 1 step-time 0.33s wps 16.69K ppl 24.40 gN 4.04 bleu 3.72, Thu Dec 13 06:39:31 2018\r\n",
      "# Save eval, global step 131000\r\n",
      "2018-12-13 06:39:32.256172: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:39:32.256172: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:39:32.256408: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-131000, time 0.07s\r\n",
      "  # 2304\r\n",
      "    src: First of all, US investment bank Goldman Sachs sent large quantities of incorrect purchase orders to the options markets due to technical problems.\r\n",
      "    ref: Zuerst hatte die US-Investmentbank Goldman Sachs wegen technischer Probleme massenhaft fehlerhafte Kaufaufträge an die Optionsmärkte geschickt.\r\n",
      "    nmt: Erste <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 06:39:32.476255: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:39:32.476451: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:39:32.476742: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-131000, time 0.09s\r\n",
      "  eval dev: perplexity 17.96, time 3s, Thu Dec 13 06:39:36 2018.\r\n",
      "  eval test: perplexity 18.97, time 3s, Thu Dec 13 06:39:40 2018.\r\n",
      "  step 131100 lr 1 step-time 0.32s wps 16.59K ppl 23.66 gN 4.08 bleu 3.72, Thu Dec 13 06:40:12 2018\r\n",
      "  step 131200 lr 1 step-time 0.32s wps 16.54K ppl 23.48 gN 3.78 bleu 3.72, Thu Dec 13 06:40:44 2018\r\n",
      "  step 131300 lr 1 step-time 0.32s wps 16.57K ppl 23.16 gN 3.84 bleu 3.72, Thu Dec 13 06:41:17 2018\r\n",
      "  step 131400 lr 1 step-time 0.32s wps 16.56K ppl 23.36 gN 3.95 bleu 3.72, Thu Dec 13 06:41:49 2018\r\n",
      "  step 131500 lr 1 step-time 0.36s wps 14.87K ppl 23.36 gN 4.01 bleu 3.72, Thu Dec 13 06:42:25 2018\r\n",
      "  step 131600 lr 1 step-time 0.34s wps 16.21K ppl 23.32 gN 3.87 bleu 3.72, Thu Dec 13 06:42:58 2018\r\n",
      "  step 131700 lr 1 step-time 0.33s wps 16.43K ppl 23.40 gN 4.03 bleu 3.72, Thu Dec 13 06:43:31 2018\r\n",
      "  step 131800 lr 1 step-time 0.32s wps 16.51K ppl 22.86 gN 3.92 bleu 3.72, Thu Dec 13 06:44:03 2018\r\n",
      "  step 131900 lr 1 step-time 0.32s wps 16.63K ppl 23.09 gN 3.87 bleu 3.72, Thu Dec 13 06:44:36 2018\r\n",
      "  step 132000 lr 1 step-time 0.32s wps 16.67K ppl 23.31 gN 4.08 bleu 3.72, Thu Dec 13 06:45:08 2018\r\n",
      "# Save eval, global step 132000\r\n",
      "2018-12-13 06:45:08.909604: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:45:08.909604: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:45:08.909902: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-132000, time 0.07s\r\n",
      "  # 14\r\n",
      "    src: The traffic light system itself, which cost around EUR 15,000, is the \"most modern system that is currently available on the market,\" explained Arnold.\r\n",
      "    ref: Die rund 15 000 Euro teure Ampelanlage selbst ist das \"modernste, was es derzeit auf dem Markt gibt\", erläuterte Arnold.\r\n",
      "    nmt: Das <unk> <unk> das rund EUR EUR <unk> ist die <unk> moderne <unk> die derzeit auf der <unk> erklärt <unk>\r\n",
      "2018-12-13 06:45:09.073036: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:45:09.073105: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:45:09.073210: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-132000, time 0.08s\r\n",
      "  eval dev: perplexity 18.20, time 3s, Thu Dec 13 06:45:12 2018.\r\n",
      "  eval test: perplexity 19.32, time 3s, Thu Dec 13 06:45:16 2018.\r\n",
      "  step 132100 lr 1 step-time 0.32s wps 16.55K ppl 23.10 gN 3.92 bleu 3.72, Thu Dec 13 06:45:48 2018\r\n",
      "  step 132200 lr 1 step-time 0.32s wps 16.59K ppl 23.25 gN 3.96 bleu 3.72, Thu Dec 13 06:46:20 2018\r\n",
      "  step 132300 lr 1 step-time 0.32s wps 16.60K ppl 22.91 gN 3.85 bleu 3.72, Thu Dec 13 06:46:52 2018\r\n",
      "  step 132400 lr 1 step-time 0.32s wps 16.62K ppl 23.50 gN 3.93 bleu 3.72, Thu Dec 13 06:47:24 2018\r\n",
      "  step 132500 lr 1 step-time 0.32s wps 16.50K ppl 23.21 gN 3.62 bleu 3.72, Thu Dec 13 06:47:56 2018\r\n",
      "  step 132600 lr 1 step-time 0.33s wps 16.24K ppl 23.49 gN 3.91 bleu 3.72, Thu Dec 13 06:48:29 2018\r\n",
      "  step 132700 lr 1 step-time 0.33s wps 15.95K ppl 22.79 gN 3.80 bleu 3.72, Thu Dec 13 06:49:01 2018\r\n",
      "  step 132800 lr 1 step-time 0.32s wps 16.38K ppl 24.06 gN 4.08 bleu 3.72, Thu Dec 13 06:49:34 2018\r\n",
      "  step 132900 lr 1 step-time 0.32s wps 16.48K ppl 23.69 gN 3.70 bleu 3.72, Thu Dec 13 06:50:06 2018\r\n",
      "  step 133000 lr 1 step-time 0.32s wps 16.40K ppl 23.48 gN 3.87 bleu 3.72, Thu Dec 13 06:50:38 2018\r\n",
      "# Save eval, global step 133000\r\n",
      "2018-12-13 06:50:38.576567: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:50:38.576727: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:50:38.576797: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-133000, time 0.07s\r\n",
      "  # 1907\r\n",
      "    src: When his team mates followed, there was loud singing and scarves were waving - but by no means everywhere.\r\n",
      "    ref: Als seine Mannschaftskollegen folgten, gab es lautstarken Gesang und wehende Schals - aber längst nicht überall.\r\n",
      "    nmt: Wenn er <unk> <unk> gab es <unk> und <unk> <unk> - aber durch keinen <unk>\r\n",
      "2018-12-13 06:50:38.726933: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:50:38.726933: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:50:38.727186: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-133000, time 0.08s\r\n",
      "  eval dev: perplexity 17.34, time 3s, Thu Dec 13 06:50:42 2018.\r\n",
      "  eval test: perplexity 18.55, time 3s, Thu Dec 13 06:50:46 2018.\r\n",
      "  step 133100 lr 1 step-time 0.32s wps 16.30K ppl 23.54 gN 3.75 bleu 3.72, Thu Dec 13 06:51:18 2018\r\n",
      "  step 133200 lr 1 step-time 0.32s wps 16.33K ppl 22.98 gN 3.67 bleu 3.72, Thu Dec 13 06:51:50 2018\r\n",
      "  step 133300 lr 1 step-time 0.32s wps 16.24K ppl 23.53 gN 3.71 bleu 3.72, Thu Dec 13 06:52:22 2018\r\n",
      "  step 133400 lr 1 step-time 0.32s wps 16.22K ppl 23.76 gN 3.77 bleu 3.72, Thu Dec 13 06:52:54 2018\r\n",
      "  step 133500 lr 1 step-time 0.32s wps 16.31K ppl 23.47 gN 3.85 bleu 3.72, Thu Dec 13 06:53:27 2018\r\n",
      "  step 133600 lr 1 step-time 0.32s wps 16.43K ppl 22.67 gN 3.57 bleu 3.72, Thu Dec 13 06:53:58 2018\r\n",
      "  step 133700 lr 1 step-time 0.32s wps 16.27K ppl 23.74 gN 3.82 bleu 3.72, Thu Dec 13 06:54:30 2018\r\n",
      "  step 133800 lr 1 step-time 0.32s wps 16.07K ppl 22.92 gN 3.63 bleu 3.72, Thu Dec 13 06:55:03 2018\r\n",
      "  step 133900 lr 1 step-time 0.32s wps 16.38K ppl 23.44 gN 3.89 bleu 3.72, Thu Dec 13 06:55:35 2018\r\n",
      "  step 134000 lr 1 step-time 0.31s wps 16.49K ppl 22.63 gN 3.66 bleu 3.72, Thu Dec 13 06:56:06 2018\r\n",
      "# Save eval, global step 134000\r\n",
      "2018-12-13 06:56:06.986471: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:56:06.986607: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 06:56:06.986672: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-134000, time 0.07s\r\n",
      "  # 2747\r\n",
      "    src: In various projects, they learned of the different tasks involved in Christian church life and attended the Youth Day in Untermachtal together.\r\n",
      "    ref: In unterschiedlichen Projekten lernten sie dabei verschiedene Aufgaben des christlichen Gemeindelebens kennen und erlebten gemeinsam den Jugendtag in Untermachtal.\r\n",
      "    nmt: In verschiedenen <unk> haben sie die verschiedenen Aufgaben der <unk> die in christlichen <unk> geboren und nahmen den <unk> in <unk> <unk>\r\n",
      "2018-12-13 06:56:07.150861: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:56:07.150861: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 06:56:07.151162: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-134000, time 0.09s\r\n",
      "  eval dev: perplexity 20.03, time 3s, Thu Dec 13 06:56:10 2018.\r\n",
      "  eval test: perplexity 21.13, time 3s, Thu Dec 13 06:56:14 2018.\r\n",
      "  step 134100 lr 1 step-time 0.32s wps 16.45K ppl 23.29 gN 3.73 bleu 3.72, Thu Dec 13 06:56:46 2018\r\n",
      "  step 134200 lr 1 step-time 0.31s wps 16.51K ppl 23.07 gN 3.77 bleu 3.72, Thu Dec 13 06:57:17 2018\r\n",
      "  step 134300 lr 1 step-time 0.32s wps 16.54K ppl 22.76 gN 3.71 bleu 3.72, Thu Dec 13 06:57:49 2018\r\n",
      "  step 134400 lr 1 step-time 0.32s wps 16.60K ppl 23.11 gN 3.81 bleu 3.72, Thu Dec 13 06:58:20 2018\r\n",
      "  step 134500 lr 1 step-time 0.31s wps 16.55K ppl 22.79 gN 3.56 bleu 3.72, Thu Dec 13 06:58:52 2018\r\n",
      "  step 134600 lr 1 step-time 0.31s wps 16.52K ppl 22.44 gN 3.65 bleu 3.72, Thu Dec 13 06:59:23 2018\r\n",
      "  step 134700 lr 1 step-time 0.32s wps 16.63K ppl 23.15 gN 3.92 bleu 3.72, Thu Dec 13 06:59:55 2018\r\n",
      "  step 134800 lr 1 step-time 0.31s wps 16.61K ppl 23.16 gN 3.75 bleu 3.72, Thu Dec 13 07:00:26 2018\r\n",
      "  step 134900 lr 1 step-time 0.32s wps 16.19K ppl 23.11 gN 3.85 bleu 3.72, Thu Dec 13 07:00:59 2018\r\n",
      "  step 135000 lr 1 step-time 0.32s wps 16.17K ppl 23.00 gN 3.81 bleu 3.72, Thu Dec 13 07:01:31 2018\r\n",
      "# Save eval, global step 135000\r\n",
      "2018-12-13 07:01:31.595067: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:01:31.595067: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:01:31.595313: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-135000, time 0.07s\r\n",
      "  # 681\r\n",
      "    src: The goal of this adjustment is to create a more relaxing atmosphere.\r\n",
      "    ref: Eine entspanntere Atmosphäre zu schaffen, ist das Ziel dieser Neuerung.\r\n",
      "    nmt: Ziel dieser Anpassung ist <unk> eine <unk> <unk> zu <unk>\r\n",
      "2018-12-13 07:01:31.727862: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:01:31.727913: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:01:31.728169: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-135000, time 0.09s\r\n",
      "  eval dev: perplexity 16.83, time 3s, Thu Dec 13 07:01:35 2018.\r\n",
      "  eval test: perplexity 18.03, time 3s, Thu Dec 13 07:01:39 2018.\r\n",
      "2018-12-13 07:01:40.199087: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:01:40.199087: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:01:40.199330: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-135000, time 0.07s\r\n",
      "  # 2088\r\n",
      "    src: Bird airlifted to safety from North Sea rig released back into wild\r\n",
      "    ref: Per Luftrettungsdienst von Nordsee-Bohrinsel geretteter Vogel wieder freigesetzt\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 07:01:40.346918: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:01:40.347151: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:01:40.347258: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-135000, time 0.07s\r\n",
      "# External evaluation, global step 135000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 45s, Thu Dec 13 07:02:26 2018.\r\n",
      "  bleu dev: 0.9\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 135000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 45s, Thu Dec 13 07:03:12 2018.\r\n",
      "  bleu test: 1.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 135100 lr 1 step-time 0.31s wps 16.70K ppl 23.48 gN 3.86 bleu 3.72, Thu Dec 13 07:03:44 2018\r\n",
      "  step 135200 lr 1 step-time 0.31s wps 16.68K ppl 22.48 gN 3.62 bleu 3.72, Thu Dec 13 07:04:15 2018\r\n",
      "  step 135300 lr 1 step-time 0.31s wps 16.90K ppl 23.01 gN 3.62 bleu 3.72, Thu Dec 13 07:04:46 2018\r\n",
      "  step 135400 lr 1 step-time 0.31s wps 16.84K ppl 23.62 gN 3.91 bleu 3.72, Thu Dec 13 07:05:17 2018\r\n",
      "  step 135500 lr 1 step-time 0.31s wps 16.86K ppl 23.76 gN 3.88 bleu 3.72, Thu Dec 13 07:05:48 2018\r\n",
      "  step 135600 lr 1 step-time 0.31s wps 16.77K ppl 23.05 gN 3.56 bleu 3.72, Thu Dec 13 07:06:19 2018\r\n",
      "  step 135700 lr 1 step-time 0.32s wps 16.59K ppl 23.50 gN 3.85 bleu 3.72, Thu Dec 13 07:06:51 2018\r\n",
      "  step 135800 lr 1 step-time 0.32s wps 16.41K ppl 23.30 gN 3.83 bleu 3.72, Thu Dec 13 07:07:23 2018\r\n",
      "  step 135900 lr 1 step-time 0.31s wps 16.60K ppl 22.90 gN 3.50 bleu 3.72, Thu Dec 13 07:07:54 2018\r\n",
      "  step 136000 lr 1 step-time 0.31s wps 16.75K ppl 22.41 gN 3.70 bleu 3.72, Thu Dec 13 07:08:25 2018\r\n",
      "# Save eval, global step 136000\r\n",
      "2018-12-13 07:08:25.946871: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:08:25.946871: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:08:25.947109: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-136000, time 0.07s\r\n",
      "  # 2623\r\n",
      "    src: \"Egypt today is a civil, national, constitutional and modern state,\" Morsi, wearing a blue business suit and a red tie, told the judges in the wood-panelled chamber where he took the oath of office.\r\n",
      "    ref: „Ägypten ist heute ein ziviler, nationaler, verfassungsmäßiger und moderner Staat“, erklärte der in einen blauen Anzug mit roter Krawatte gekleidete Mursi den Richtern in der holzgetäfelten Kammer, in der er den Amtseid ablegte.\r\n",
      "    nmt: Heute ist heute ein <unk> <unk> <unk> und moderne <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 07:08:26.222029: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:08:26.222286: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 07:08:26.222427: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-136000, time 0.09s\r\n",
      "  eval dev: perplexity 16.44, time 3s, Thu Dec 13 07:08:29 2018.\r\n",
      "  eval test: perplexity 17.55, time 3s, Thu Dec 13 07:08:33 2018.\r\n",
      "  step 136100 lr 1 step-time 0.31s wps 16.91K ppl 23.68 gN 3.86 bleu 3.72, Thu Dec 13 07:09:05 2018\r\n",
      "  step 136200 lr 1 step-time 0.31s wps 16.88K ppl 22.58 gN 3.62 bleu 3.72, Thu Dec 13 07:09:35 2018\r\n",
      "  step 136300 lr 1 step-time 0.31s wps 16.99K ppl 23.42 gN 3.70 bleu 3.72, Thu Dec 13 07:10:06 2018\r\n",
      "  step 136400 lr 1 step-time 0.31s wps 17.00K ppl 23.49 gN 3.82 bleu 3.72, Thu Dec 13 07:10:37 2018\r\n",
      "  step 136500 lr 1 step-time 0.31s wps 16.92K ppl 23.03 gN 3.66 bleu 3.72, Thu Dec 13 07:11:08 2018\r\n",
      "  step 136600 lr 1 step-time 0.31s wps 16.94K ppl 23.39 gN 3.73 bleu 3.72, Thu Dec 13 07:11:38 2018\r\n",
      "  step 136700 lr 1 step-time 0.31s wps 17.05K ppl 23.48 gN 3.78 bleu 3.72, Thu Dec 13 07:12:09 2018\r\n",
      "  step 136800 lr 1 step-time 0.31s wps 16.93K ppl 23.32 gN 3.86 bleu 3.72, Thu Dec 13 07:12:40 2018\r\n",
      "  step 136900 lr 1 step-time 0.31s wps 16.36K ppl 22.85 gN 3.68 bleu 3.72, Thu Dec 13 07:13:11 2018\r\n",
      "  step 137000 lr 1 step-time 0.31s wps 16.52K ppl 22.68 gN 3.67 bleu 3.72, Thu Dec 13 07:13:42 2018\r\n",
      "# Save eval, global step 137000\r\n",
      "2018-12-13 07:13:43.343154: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:13:43.343154: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:13:43.343399: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-137000, time 0.07s\r\n",
      "  # 1583\r\n",
      "    src: In fact, Americans will spend $330 million on pet costumes this year, according to the NRF.\r\n",
      "    ref: Tatsächlich geben Amerikaner 330 Millionen Dollar dieses Jahr für Kostüme ihrer Haustiere aus, so der NRF.\r\n",
      "    nmt: In <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 07:13:43.529948: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:13:43.529948: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:13:43.530218: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-137000, time 0.09s\r\n",
      "  eval dev: perplexity 16.81, time 3s, Thu Dec 13 07:13:47 2018.\r\n",
      "  eval test: perplexity 18.03, time 3s, Thu Dec 13 07:13:51 2018.\r\n",
      "  step 137100 lr 1 step-time 0.31s wps 16.90K ppl 22.98 gN 3.78 bleu 3.72, Thu Dec 13 07:14:22 2018\r\n",
      "  step 137200 lr 1 step-time 0.30s wps 16.82K ppl 23.19 gN 3.77 bleu 3.72, Thu Dec 13 07:14:52 2018\r\n",
      "  step 137300 lr 1 step-time 0.31s wps 17.09K ppl 22.91 gN 3.75 bleu 3.72, Thu Dec 13 07:15:23 2018\r\n",
      "  step 137400 lr 1 step-time 0.30s wps 17.12K ppl 22.91 gN 3.66 bleu 3.72, Thu Dec 13 07:15:53 2018\r\n",
      "  step 137500 lr 1 step-time 0.30s wps 17.04K ppl 23.21 gN 3.54 bleu 3.72, Thu Dec 13 07:16:23 2018\r\n",
      "  step 137600 lr 1 step-time 0.31s wps 17.03K ppl 22.95 gN 3.65 bleu 3.72, Thu Dec 13 07:16:54 2018\r\n",
      "  step 137700 lr 1 step-time 0.30s wps 17.09K ppl 23.01 gN 3.65 bleu 3.72, Thu Dec 13 07:17:24 2018\r\n",
      "  step 137800 lr 1 step-time 0.30s wps 17.12K ppl 23.58 gN 3.77 bleu 3.72, Thu Dec 13 07:17:55 2018\r\n",
      "  step 137900 lr 1 step-time 0.30s wps 17.04K ppl 23.73 gN 3.76 bleu 3.72, Thu Dec 13 07:18:25 2018\r\n",
      "  step 138000 lr 1 step-time 0.31s wps 17.02K ppl 23.27 gN 3.66 bleu 3.72, Thu Dec 13 07:18:55 2018\r\n",
      "# Save eval, global step 138000\r\n",
      "2018-12-13 07:18:56.356170: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:18:56.356170: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:18:56.356441: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-138000, time 0.07s\r\n",
      "  # 310\r\n",
      "    src: Hans-Peter Friedrich, German interior minister, told Zeit Online: \"If Mr Snowden is ready to speak to German officials, we will find ways to make this possible.\"\r\n",
      "    ref: Der deutsche Innenminister Hans-Peter Friedrich sagte gegenüber Zeit Online: „Wenn Herr Snowden bereit ist, mit deutschen Vertretern zu sprechen, dann finden wir Wege, das zu ermöglichen.“\r\n",
      "    nmt: <unk> <unk> Deutsche <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 07:18:56.595841: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:18:56.595841: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:18:56.596127: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-138000, time 0.09s\r\n",
      "  eval dev: perplexity 16.91, time 3s, Thu Dec 13 07:19:00 2018.\r\n",
      "  eval test: perplexity 18.13, time 3s, Thu Dec 13 07:19:04 2018.\r\n",
      "  step 138100 lr 1 step-time 0.32s wps 16.52K ppl 23.70 gN 3.75 bleu 3.72, Thu Dec 13 07:19:36 2018\r\n",
      "  step 138200 lr 1 step-time 0.31s wps 16.78K ppl 22.99 gN 3.60 bleu 3.72, Thu Dec 13 07:20:07 2018\r\n",
      "  step 138300 lr 1 step-time 0.31s wps 17.14K ppl 23.37 gN 3.63 bleu 3.72, Thu Dec 13 07:20:37 2018\r\n",
      "  step 138400 lr 1 step-time 0.31s wps 17.04K ppl 23.33 gN 3.64 bleu 3.72, Thu Dec 13 07:21:08 2018\r\n",
      "  step 138500 lr 1 step-time 0.30s wps 16.96K ppl 22.98 gN 3.64 bleu 3.72, Thu Dec 13 07:21:38 2018\r\n",
      "  step 138600 lr 1 step-time 0.31s wps 17.06K ppl 23.36 gN 3.69 bleu 3.72, Thu Dec 13 07:22:09 2018\r\n",
      "  step 138700 lr 1 step-time 0.30s wps 17.03K ppl 22.69 gN 3.74 bleu 3.72, Thu Dec 13 07:22:40 2018\r\n",
      "  step 138800 lr 1 step-time 0.31s wps 17.03K ppl 23.04 gN 3.68 bleu 3.72, Thu Dec 13 07:23:10 2018\r\n",
      "  step 138900 lr 1 step-time 0.31s wps 17.07K ppl 22.51 gN 3.58 bleu 3.72, Thu Dec 13 07:23:41 2018\r\n",
      "  step 139000 lr 1 step-time 0.31s wps 17.07K ppl 23.03 gN 3.81 bleu 3.72, Thu Dec 13 07:24:12 2018\r\n",
      "# Save eval, global step 139000\r\n",
      "2018-12-13 07:24:12.736926: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:24:12.736958: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:24:12.737274: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-139000, time 0.07s\r\n",
      "  # 30\r\n",
      "    src: On the predominantly empty stage - with one important requirement: a crumpled sofa, on which cast members allude to copulating and masturbating - the eight-person ensemble work their way through the text material.\r\n",
      "    ref: Auf der weitgehend leergeräumten Bühne - wichtiges Requisit: ein zerknautschtes Sofa, auf dem andeutungsweise kopuliert und masturbiert wird - hangelt sich das achtköpfige Ensemble durch das Textmaterial.\r\n",
      "    nmt: Auf dem <unk> <unk> <unk> mit einem wichtigen <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 07:24:13.013864: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:24:13.014360: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:24:13.021515: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-139000, time 0.09s\r\n",
      "  eval dev: perplexity 17.21, time 3s, Thu Dec 13 07:24:16 2018.\r\n",
      "  eval test: perplexity 18.48, time 3s, Thu Dec 13 07:24:20 2018.\r\n",
      "  step 139100 lr 1 step-time 0.30s wps 16.99K ppl 22.79 gN 3.65 bleu 3.72, Thu Dec 13 07:24:51 2018\r\n",
      "  step 139200 lr 1 step-time 0.31s wps 16.84K ppl 23.21 gN 3.70 bleu 3.72, Thu Dec 13 07:25:22 2018\r\n",
      "  step 139300 lr 1 step-time 0.31s wps 16.91K ppl 23.33 gN 3.87 bleu 3.72, Thu Dec 13 07:25:52 2018\r\n",
      "  step 139400 lr 1 step-time 0.30s wps 17.31K ppl 23.00 gN 3.75 bleu 3.72, Thu Dec 13 07:26:23 2018\r\n",
      "  step 139500 lr 1 step-time 0.30s wps 17.40K ppl 22.82 gN 3.77 bleu 3.72, Thu Dec 13 07:26:53 2018\r\n",
      "  step 139600 lr 1 step-time 0.31s wps 17.60K ppl 23.26 gN 4.08 bleu 3.72, Thu Dec 13 07:27:24 2018\r\n",
      "  step 139700 lr 1 step-time 0.30s wps 17.74K ppl 23.07 gN 4.13 bleu 3.72, Thu Dec 13 07:27:54 2018\r\n",
      "  step 139800 lr 1 step-time 0.31s wps 17.70K ppl 22.72 gN 4.41 bleu 3.72, Thu Dec 13 07:28:25 2018\r\n",
      "  step 139900 lr 1 step-time 0.31s wps 17.78K ppl 22.44 gN 4.14 bleu 3.72, Thu Dec 13 07:28:56 2018\r\n",
      "  step 140000 lr 1 step-time 0.31s wps 17.89K ppl 22.66 gN 4.30 bleu 3.72, Thu Dec 13 07:29:27 2018\r\n",
      "# Save eval, global step 140000\r\n",
      "2018-12-13 07:29:27.869512: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:29:27.869512: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:29:27.869739: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-140000, time 0.07s\r\n",
      "  # 573\r\n",
      "    src: \"A job like this is not something you achieve overnight,\" said Gerster in praise of the annual financial statement.\r\n",
      "    ref: \"So ein Werk schüttelt man nicht einfach aus dem Ärmel\", lobte Gerster mit Blick auf die Jahresrechnung.\r\n",
      "    nmt: Die Arbeit wie dies ist nicht etwas was Sie erreichen <unk> sagte <unk> in der <unk> des jährlichen <unk>\r\n",
      "2018-12-13 07:29:28.028686: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:29:28.028686: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:29:28.028920: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-140000, time 0.09s\r\n",
      "  eval dev: perplexity 23.57, time 3s, Thu Dec 13 07:29:31 2018.\r\n",
      "  eval test: perplexity 24.01, time 3s, Thu Dec 13 07:29:35 2018.\r\n",
      "2018-12-13 07:29:36.572569: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:29:36.572571: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:29:36.572840: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-140000, time 0.08s\r\n",
      "  # 437\r\n",
      "    src: Executives said new guidance would be provided in the fourth quarter.\r\n",
      "    ref: Laut Unternehmensführung wird es für das vierte Quartal neue Vorgaben geben.\r\n",
      "    nmt: Die zweite Anleitung würde neue Anleitung in der vierten Phase <unk>\r\n",
      "2018-12-13 07:29:36.696744: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:29:36.696811: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:29:36.697104: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-140000, time 0.08s\r\n",
      "# External evaluation, global step 140000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 28s, Thu Dec 13 07:30:05 2018.\r\n",
      "  bleu dev: 4.0\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 140000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 28s, Thu Dec 13 07:30:34 2018.\r\n",
      "  bleu test: 4.5\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 140100 lr 1 step-time 0.31s wps 17.90K ppl 22.19 gN 4.42 bleu 4.02, Thu Dec 13 07:31:06 2018\r\n",
      "  step 140200 lr 1 step-time 0.32s wps 17.52K ppl 22.33 gN 4.61 bleu 4.02, Thu Dec 13 07:31:37 2018\r\n",
      "  step 140300 lr 1 step-time 0.32s wps 17.58K ppl 21.77 gN 4.44 bleu 4.02, Thu Dec 13 07:32:09 2018\r\n",
      "  step 140400 lr 1 step-time 0.32s wps 17.52K ppl 21.80 gN 4.57 bleu 4.02, Thu Dec 13 07:32:41 2018\r\n",
      "  step 140500 lr 1 step-time 0.32s wps 17.69K ppl 21.17 gN 4.52 bleu 4.02, Thu Dec 13 07:33:13 2018\r\n",
      "  step 140600 lr 1 step-time 0.32s wps 17.64K ppl 21.57 gN 5.52 bleu 4.02, Thu Dec 13 07:33:45 2018\r\n",
      "  step 140700 lr 1 step-time 0.32s wps 17.80K ppl 21.33 gN 4.81 bleu 4.02, Thu Dec 13 07:34:17 2018\r\n",
      "  step 140800 lr 1 step-time 0.32s wps 17.86K ppl 21.18 gN 4.80 bleu 4.02, Thu Dec 13 07:34:49 2018\r\n",
      "  step 140900 lr 1 step-time 0.31s wps 17.78K ppl 20.46 gN 4.69 bleu 4.02, Thu Dec 13 07:35:20 2018\r\n",
      "  step 141000 lr 1 step-time 0.32s wps 17.92K ppl 20.34 gN 4.64 bleu 4.02, Thu Dec 13 07:35:52 2018\r\n",
      "# Save eval, global step 141000\r\n",
      "2018-12-13 07:35:53.195901: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:35:53.195901: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:35:53.196207: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-141000, time 0.07s\r\n",
      "  # 1508\r\n",
      "    src: In the case of systems such as Gmail, the robots also identify the information that Google requires for displaying context-based advertising.\r\n",
      "    ref: Bei Systemen wie GMail ermittelt der Roboter auch die Informationen, die Google zum Platzieren von Kontext-Werbung benötigt.\r\n",
      "    nmt: Im Fall von Systemen wie <unk> <unk> <unk> die <unk> die Google <unk> <unk> <unk>\r\n",
      "2018-12-13 07:35:53.356416: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:35:53.356416: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:35:53.356703: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-141000, time 0.09s\r\n",
      "  eval dev: perplexity 15.61, time 3s, Thu Dec 13 07:35:57 2018.\r\n",
      "  eval test: perplexity 16.61, time 3s, Thu Dec 13 07:36:01 2018.\r\n",
      "  step 141100 lr 1 step-time 0.32s wps 17.76K ppl 19.93 gN 4.73 bleu 4.02, Thu Dec 13 07:36:33 2018\r\n",
      "  step 141200 lr 1 step-time 0.32s wps 18.30K ppl 20.17 gN 4.99 bleu 4.02, Thu Dec 13 07:37:04 2018\r\n",
      "  step 141300 lr 1 step-time 0.32s wps 18.29K ppl 20.33 gN 4.87 bleu 4.02, Thu Dec 13 07:37:36 2018\r\n",
      "  step 141400 lr 1 step-time 0.32s wps 18.13K ppl 19.79 gN 4.65 bleu 4.02, Thu Dec 13 07:38:07 2018\r\n",
      "  step 141500 lr 1 step-time 0.31s wps 18.50K ppl 20.10 gN 4.74 bleu 4.02, Thu Dec 13 07:38:38 2018\r\n",
      "  step 141600 lr 1 step-time 0.30s wps 18.50K ppl 19.58 gN 4.66 bleu 4.02, Thu Dec 13 07:39:09 2018\r\n",
      "  step 141700 lr 1 step-time 0.31s wps 18.64K ppl 19.38 gN 4.64 bleu 4.02, Thu Dec 13 07:39:40 2018\r\n",
      "  step 141800 lr 1 step-time 0.31s wps 18.63K ppl 19.82 gN 4.88 bleu 4.02, Thu Dec 13 07:40:11 2018\r\n",
      "  step 141900 lr 1 step-time 0.31s wps 18.60K ppl 19.81 gN 4.83 bleu 4.02, Thu Dec 13 07:40:41 2018\r\n",
      "  step 142000 lr 1 step-time 0.31s wps 18.48K ppl 19.24 gN 4.63 bleu 4.02, Thu Dec 13 07:41:12 2018\r\n",
      "# Save eval, global step 142000\r\n",
      "2018-12-13 07:41:13.175542: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:41:13.175763: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 07:41:13.176069: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-142000, time 0.07s\r\n",
      "  # 1184\r\n",
      "    src: On the instruction of the Office for the Protection of the Constitution (BfV), Germany's domestic intelligence agency, its mission was to photograph the rooftop of the US outpost, which is located less than 5km from the European Central Bank and Bundesbank.\r\n",
      "    ref: Auf Anweisung des Bundesamtes für Verfassungsschutz und Terrorismusbekämpfung (BVT), des deutschen Innengeheimdienstes, sollte er das Dach des US-Außenpostens fotografieren, der sich weniger als 5 km von der Europäischen Zentralbank und der Bundesbank befindet.\r\n",
      "    nmt: <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 07:41:13.493944: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:41:13.493944: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:41:13.494185: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-142000, time 0.09s\r\n",
      "  eval dev: perplexity 16.37, time 3s, Thu Dec 13 07:41:17 2018.\r\n",
      "  eval test: perplexity 17.90, time 3s, Thu Dec 13 07:41:21 2018.\r\n",
      "  step 142100 lr 1 step-time 0.31s wps 18.52K ppl 19.14 gN 4.44 bleu 4.02, Thu Dec 13 07:41:51 2018\r\n",
      "# Finished an epoch, step 142168. Perform external evaluation\r\n",
      "2018-12-13 07:42:12.747646: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:42:12.747921: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 07:42:12.748122: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-142000, time 0.07s\r\n",
      "  # 246\r\n",
      "    src: According to the councillors, the reconstruction of this railway line was rejected by a majority, as the town of Schiltach would \"bear the brunt of the cost\" for the problem of vehicles becoming stuck, since the Deutsche Bahn would be able to deny any responsibility following the completion of the construction work.\r\n",
      "    ref: Mehrheitlich wurde dem Umbau dieses Bahnübergangs die Zustimmung verweigert, da die Stadt Schiltach das Problem mit aufsitzenden Fahrzeugen \"ausbaden müsste\", so die Räte, da sich die Bahn nach Abschluss der Bauarbeiten aus der Verantwortung zurückziehen könne.\r\n",
      "    nmt: Nach dem <unk> der <unk> wurde der <unk> von einem <unk> als die Stadt <unk> <unk> die <unk> der <unk> für das Problem der <unk> da die Deutsche Bahn <unk> nach dem Abschluss der <unk> <unk> <unk>\r\n",
      "2018-12-13 07:42:12.959723: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:42:12.959723: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:42:12.960026: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-142000, time 0.07s\r\n",
      "# External evaluation, global step 142000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 42s, Thu Dec 13 07:42:55 2018.\r\n",
      "  bleu dev: 3.2\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 142000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 40s, Thu Dec 13 07:43:37 2018.\r\n",
      "  bleu test: 3.7\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 142200 lr 1 step-time 0.41s wps 13.67K ppl 20.39 gN 5.01 bleu 4.02, Thu Dec 13 07:43:58 2018\r\n",
      "  step 142300 lr 1 step-time 0.45s wps 13.73K ppl 21.18 gN 4.68 bleu 4.02, Thu Dec 13 07:44:43 2018\r\n",
      "  step 142400 lr 1 step-time 0.43s wps 14.35K ppl 20.28 gN 4.48 bleu 4.02, Thu Dec 13 07:45:26 2018\r\n",
      "  step 142500 lr 1 step-time 0.43s wps 14.27K ppl 19.69 gN 4.42 bleu 4.02, Thu Dec 13 07:46:09 2018\r\n",
      "  step 142600 lr 1 step-time 0.43s wps 14.44K ppl 19.37 gN 4.46 bleu 4.02, Thu Dec 13 07:46:52 2018\r\n",
      "  step 142700 lr 1 step-time 0.40s wps 15.22K ppl 18.89 gN 4.51 bleu 4.02, Thu Dec 13 07:47:32 2018\r\n",
      "  step 142800 lr 1 step-time 0.33s wps 18.51K ppl 19.07 gN 4.45 bleu 4.02, Thu Dec 13 07:48:05 2018\r\n",
      "  step 142900 lr 1 step-time 0.33s wps 18.51K ppl 18.63 gN 4.37 bleu 4.02, Thu Dec 13 07:48:38 2018\r\n",
      "  step 143000 lr 1 step-time 0.33s wps 18.70K ppl 18.74 gN 4.46 bleu 4.02, Thu Dec 13 07:49:12 2018\r\n",
      "# Save eval, global step 143000\r\n",
      "2018-12-13 07:49:12.497464: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:49:12.497464: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:49:12.497683: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-143000, time 0.07s\r\n",
      "  # 456\r\n",
      "    src: Television footage revealed how numerous ambulances and police cars arrived at a terminal.\r\n",
      "    ref: Auf Fernsehbildern war zu sehen, wie zahlreiche Kranken- und Polizeiwagen vor einem Terminal vorfuhren.\r\n",
      "    nmt: <unk> <unk> <unk> wie viele <unk> und <unk> auf einer <unk> <unk>\r\n",
      "2018-12-13 07:49:12.636421: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:49:12.636568: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:49:12.636676: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-143000, time 0.09s\r\n",
      "  eval dev: perplexity 16.83, time 3s, Thu Dec 13 07:49:16 2018.\r\n",
      "  eval test: perplexity 17.42, time 3s, Thu Dec 13 07:49:20 2018.\r\n",
      "  step 143100 lr 1 step-time 0.33s wps 18.39K ppl 17.95 gN 4.11 bleu 4.02, Thu Dec 13 07:49:53 2018\r\n",
      "  step 143200 lr 1 step-time 0.34s wps 17.96K ppl 18.05 gN 4.21 bleu 4.02, Thu Dec 13 07:50:27 2018\r\n",
      "  step 143300 lr 1 step-time 0.34s wps 18.36K ppl 18.11 gN 4.31 bleu 4.02, Thu Dec 13 07:51:01 2018\r\n",
      "  step 143400 lr 1 step-time 0.34s wps 18.62K ppl 18.53 gN 4.51 bleu 4.02, Thu Dec 13 07:51:35 2018\r\n",
      "  step 143500 lr 1 step-time 0.33s wps 18.54K ppl 17.95 gN 4.38 bleu 4.02, Thu Dec 13 07:52:08 2018\r\n",
      "  step 143600 lr 1 step-time 0.34s wps 18.54K ppl 17.64 gN 4.26 bleu 4.02, Thu Dec 13 07:52:42 2018\r\n",
      "  step 143700 lr 1 step-time 0.34s wps 18.65K ppl 17.96 gN 4.55 bleu 4.02, Thu Dec 13 07:53:15 2018\r\n",
      "  step 143800 lr 1 step-time 0.34s wps 18.61K ppl 17.79 gN 4.49 bleu 4.02, Thu Dec 13 07:53:49 2018\r\n",
      "  step 143900 lr 1 step-time 0.33s wps 18.56K ppl 17.38 gN 4.41 bleu 4.02, Thu Dec 13 07:54:22 2018\r\n",
      "  step 144000 lr 1 step-time 0.33s wps 18.51K ppl 17.07 gN 4.14 bleu 4.02, Thu Dec 13 07:54:56 2018\r\n",
      "# Save eval, global step 144000\r\n",
      "2018-12-13 07:54:56.559010: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:54:56.559235: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 07:54:56.559458: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-144000, time 0.07s\r\n",
      "  # 712\r\n",
      "    src: In the past, he has appeared at the Christmas market in Dornhan and the Narrenzunft (Fool's Guild event).\r\n",
      "    ref: In Dornhan ist er beim Weihnachtsmarkt und bei der Narrenzunft bereits aufgetreten.\r\n",
      "    nmt: In der <unk> hat er im <unk> <unk> und <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 07:54:56.701715: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:54:56.701715: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 07:54:56.701973: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-144000, time 0.08s\r\n",
      "  eval dev: perplexity 17.09, time 3s, Thu Dec 13 07:55:00 2018.\r\n",
      "  eval test: perplexity 17.74, time 3s, Thu Dec 13 07:55:04 2018.\r\n",
      "  step 144100 lr 1 step-time 0.33s wps 18.44K ppl 16.91 gN 4.17 bleu 4.02, Thu Dec 13 07:55:37 2018\r\n",
      "  step 144200 lr 1 step-time 0.34s wps 18.24K ppl 17.38 gN 4.33 bleu 4.02, Thu Dec 13 07:56:11 2018\r\n",
      "  step 144300 lr 1 step-time 0.34s wps 18.00K ppl 17.11 gN 4.33 bleu 4.02, Thu Dec 13 07:56:46 2018\r\n",
      "  step 144400 lr 1 step-time 0.34s wps 18.47K ppl 16.79 gN 4.38 bleu 4.02, Thu Dec 13 07:57:20 2018\r\n",
      "  step 144500 lr 1 step-time 0.34s wps 18.34K ppl 16.80 gN 4.29 bleu 4.02, Thu Dec 13 07:57:54 2018\r\n",
      "  step 144600 lr 1 step-time 0.33s wps 18.48K ppl 16.50 gN 4.44 bleu 4.02, Thu Dec 13 07:58:27 2018\r\n",
      "  step 144700 lr 1 step-time 0.34s wps 18.66K ppl 16.55 gN 4.41 bleu 4.02, Thu Dec 13 07:59:01 2018\r\n",
      "  step 144800 lr 1 step-time 0.33s wps 18.54K ppl 16.66 gN 4.50 bleu 4.02, Thu Dec 13 07:59:34 2018\r\n",
      "  step 144900 lr 1 step-time 0.34s wps 18.42K ppl 16.43 gN 4.23 bleu 4.02, Thu Dec 13 08:00:08 2018\r\n",
      "  step 145000 lr 1 step-time 0.34s wps 18.45K ppl 16.37 gN 4.41 bleu 4.02, Thu Dec 13 08:00:42 2018\r\n",
      "# Save eval, global step 145000\r\n",
      "2018-12-13 08:00:42.628026: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:00:42.628026: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:00:42.628314: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-145000, time 0.07s\r\n",
      "  # 1714\r\n",
      "    src: She wants to use next year's EU elections to create an anti-EU, anti-common currency bloc across the European Parliament.\r\n",
      "    ref: Sie möchte die EU-Wahlen nächstes Jahr dazu nutzen, einen Anti-EU-, Anti-Gemeinschaftswährungsblock im Europäischen Parlament zu schmieden.\r\n",
      "    nmt: Sie will nächstes Jahr <unk> dass die <unk> eine <unk> <unk> <unk> <unk> innerhalb der Europäischen Union <unk>\r\n",
      "2018-12-13 08:00:42.782695: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:00:42.782695: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:00:42.782939: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-145000, time 0.08s\r\n",
      "  eval dev: perplexity 16.56, time 3s, Thu Dec 13 08:00:46 2018.\r\n",
      "  eval test: perplexity 17.17, time 3s, Thu Dec 13 08:00:50 2018.\r\n",
      "2018-12-13 08:00:51.164560: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:00:51.164760: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 08:00:51.164893: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-145000, time 0.07s\r\n",
      "  # 2342\r\n",
      "    src: He added that just as in humans, for dogs the right side of the brain was responsible for left-handed movement and vice versa, and the two hemispheres played different roles in emotions.\r\n",
      "    ref: Er bemerkte außerdem, dass bei Hunden genau wie beim Menschen die rechte Gehirnhälfte für die Bewegung der linken Seite zuständig sei und umgekehrt, und dass die beiden Hemisphären unterschiedliche Rollen bei den Gefühlen spielten.\r\n",
      "    nmt: Er hat <unk> dass die <unk> für die <unk> der <unk> für <unk> und <unk> und die beiden <unk> unterschiedliche Rollen gespielt <unk>\r\n",
      "2018-12-13 08:00:51.327316: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:00:51.327316: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:00:51.327559: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-145000, time 0.07s\r\n",
      "# External evaluation, global step 145000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 33s, Thu Dec 13 08:01:24 2018.\r\n",
      "  bleu dev: 3.2\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 145000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 34s, Thu Dec 13 08:01:59 2018.\r\n",
      "  bleu test: 3.6\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "  step 145100 lr 1 step-time 0.35s wps 18.08K ppl 16.26 gN 4.32 bleu 4.02, Thu Dec 13 08:02:35 2018\r\n",
      "  step 145200 lr 1 step-time 0.34s wps 18.19K ppl 16.33 gN 4.39 bleu 4.02, Thu Dec 13 08:03:09 2018\r\n",
      "  step 145300 lr 1 step-time 0.35s wps 17.98K ppl 16.19 gN 4.51 bleu 4.02, Thu Dec 13 08:03:44 2018\r\n",
      "  step 145400 lr 1 step-time 0.34s wps 18.00K ppl 16.07 gN 4.44 bleu 4.02, Thu Dec 13 08:04:18 2018\r\n",
      "  step 145500 lr 1 step-time 0.35s wps 18.12K ppl 15.77 gN 4.51 bleu 4.02, Thu Dec 13 08:04:53 2018\r\n",
      "  step 145600 lr 1 step-time 0.35s wps 18.07K ppl 15.72 gN 4.39 bleu 4.02, Thu Dec 13 08:05:27 2018\r\n",
      "  step 145700 lr 1 step-time 0.35s wps 18.00K ppl 15.60 gN 4.43 bleu 4.02, Thu Dec 13 08:06:02 2018\r\n",
      "  step 145800 lr 1 step-time 0.35s wps 17.98K ppl 15.43 gN 4.21 bleu 4.02, Thu Dec 13 08:06:37 2018\r\n",
      "  step 145900 lr 1 step-time 0.35s wps 17.97K ppl 15.57 gN 4.69 bleu 4.02, Thu Dec 13 08:07:11 2018\r\n",
      "  step 146000 lr 1 step-time 0.35s wps 18.10K ppl 15.32 gN 4.44 bleu 4.02, Thu Dec 13 08:07:46 2018\r\n",
      "# Save eval, global step 146000\r\n",
      "2018-12-13 08:07:46.926929: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:07:46.927163: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 08:07:46.927306: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-146000, time 0.07s\r\n",
      "  # 2182\r\n",
      "    src: Fenton is animal mad - he loves horses, tractors and farms and has got two chickens which he looks after.\r\n",
      "    ref: Fenton ist verrückt nach Tieren – er liebt Pferde, Traktoren und Bauernhöfe und hat zwei Hühner, um die er sich kümmert.\r\n",
      "    nmt: <unk> ist <unk> - er ist <unk> und <unk> und die Betriebe sind zwei <unk> die er <unk>\r\n",
      "2018-12-13 08:07:47.083159: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:07:47.083174: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:07:47.083419: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-146000, time 0.09s\r\n",
      "  eval dev: perplexity 23.48, time 3s, Thu Dec 13 08:07:50 2018.\r\n",
      "  eval test: perplexity 24.23, time 3s, Thu Dec 13 08:07:54 2018.\r\n",
      "  step 146100 lr 1 step-time 0.35s wps 18.10K ppl 15.23 gN 4.44 bleu 4.02, Thu Dec 13 08:08:29 2018\r\n",
      "  step 146200 lr 1 step-time 0.35s wps 17.75K ppl 14.88 gN 4.27 bleu 4.02, Thu Dec 13 08:09:04 2018\r\n",
      "  step 146300 lr 1 step-time 0.34s wps 18.25K ppl 15.15 gN 4.48 bleu 4.02, Thu Dec 13 08:09:38 2018\r\n",
      "  step 146400 lr 1 step-time 0.34s wps 18.21K ppl 14.61 gN 4.28 bleu 4.02, Thu Dec 13 08:10:12 2018\r\n",
      "  step 146500 lr 1 step-time 0.34s wps 18.17K ppl 15.02 gN 4.42 bleu 4.02, Thu Dec 13 08:10:46 2018\r\n",
      "  step 146600 lr 1 step-time 0.34s wps 18.24K ppl 15.03 gN 4.46 bleu 4.02, Thu Dec 13 08:11:20 2018\r\n",
      "  step 146700 lr 1 step-time 0.34s wps 18.38K ppl 14.98 gN 4.49 bleu 4.02, Thu Dec 13 08:11:55 2018\r\n",
      "  step 146800 lr 1 step-time 0.34s wps 18.18K ppl 14.85 gN 4.26 bleu 4.02, Thu Dec 13 08:12:29 2018\r\n",
      "  step 146900 lr 1 step-time 0.34s wps 18.17K ppl 14.84 gN 4.58 bleu 4.02, Thu Dec 13 08:13:03 2018\r\n",
      "  step 147000 lr 1 step-time 0.34s wps 18.12K ppl 14.44 gN 4.29 bleu 4.02, Thu Dec 13 08:13:37 2018\r\n",
      "# Save eval, global step 147000\r\n",
      "2018-12-13 08:13:37.777511: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:13:37.777650: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 08:13:37.777718: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-147000, time 0.07s\r\n",
      "  # 587\r\n",
      "    src: His choir colleagues presented him with a German Choral Association certificate and an engraved pewter plate.\r\n",
      "    ref: Seine Sängerkollegen überreichten ihm die Urkunde des deutschen Chorverbandes sowie einen gravierten Zinnteller.\r\n",
      "    nmt: Seine <unk> <unk> <unk> <unk> <unk> und ein <unk> <unk> <unk> <unk> <unk>\r\n",
      "2018-12-13 08:13:37.917179: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:13:37.917179: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:13:37.917443: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-147000, time 0.09s\r\n",
      "  eval dev: perplexity 17.05, time 3s, Thu Dec 13 08:13:41 2018.\r\n",
      "  eval test: perplexity 17.87, time 3s, Thu Dec 13 08:13:45 2018.\r\n",
      "  step 147100 lr 1 step-time 0.34s wps 18.14K ppl 14.44 gN 4.27 bleu 4.02, Thu Dec 13 08:14:19 2018\r\n",
      "  step 147200 lr 1 step-time 0.34s wps 17.80K ppl 14.43 gN 4.42 bleu 4.02, Thu Dec 13 08:14:54 2018\r\n",
      "  step 147300 lr 1 step-time 0.35s wps 17.80K ppl 14.57 gN 4.43 bleu 4.02, Thu Dec 13 08:15:28 2018\r\n",
      "  step 147400 lr 1 step-time 0.34s wps 18.03K ppl 14.35 gN 4.30 bleu 4.02, Thu Dec 13 08:16:02 2018\r\n",
      "  step 147500 lr 1 step-time 0.34s wps 18.10K ppl 14.36 gN 4.42 bleu 4.02, Thu Dec 13 08:16:36 2018\r\n",
      "  step 147600 lr 1 step-time 0.34s wps 18.23K ppl 14.30 gN 4.52 bleu 4.02, Thu Dec 13 08:17:10 2018\r\n",
      "  step 147700 lr 1 step-time 0.34s wps 18.18K ppl 14.36 gN 4.58 bleu 4.02, Thu Dec 13 08:17:44 2018\r\n",
      "  step 147800 lr 1 step-time 0.34s wps 18.09K ppl 13.94 gN 4.21 bleu 4.02, Thu Dec 13 08:18:18 2018\r\n",
      "  step 147900 lr 1 step-time 0.34s wps 18.08K ppl 14.05 gN 4.36 bleu 4.02, Thu Dec 13 08:18:52 2018\r\n",
      "  step 148000 lr 1 step-time 0.34s wps 18.12K ppl 14.12 gN 4.33 bleu 4.02, Thu Dec 13 08:19:27 2018\r\n",
      "# Save eval, global step 148000\r\n",
      "2018-12-13 08:19:27.421112: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:19:27.421356: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 08:19:27.421472: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-148000, time 0.07s\r\n",
      "  # 442\r\n",
      "    src: While the airport management announced via short messaging service Twitter that the shooter is in custody, the \"Los Angeles Times\" reported that the man is dead.\r\n",
      "    ref: Während die Flughafenleitung über den Kurznachrichtendienst Twitter mitteilte, der Schütze sei in Gewahrsam, berichtete die \"Los Angeles Times\", der Mann sei tot.\r\n",
      "    nmt: Während die <unk> über kurze Zeit <unk> <unk> dass die <unk> in der <unk> der <unk> der <unk> der <unk> der Mann <unk> <unk>\r\n",
      "2018-12-13 08:19:27.602190: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:19:27.602301: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:19:27.602423: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-148000, time 0.09s\r\n",
      "  eval dev: perplexity 21.43, time 3s, Thu Dec 13 08:19:31 2018.\r\n",
      "  eval test: perplexity 21.67, time 3s, Thu Dec 13 08:19:35 2018.\r\n",
      "  step 148100 lr 1 step-time 0.34s wps 17.94K ppl 13.86 gN 4.42 bleu 4.02, Thu Dec 13 08:20:09 2018\r\n",
      "  step 148200 lr 1 step-time 0.34s wps 17.94K ppl 13.91 gN 4.39 bleu 4.02, Thu Dec 13 08:20:42 2018\r\n",
      "  step 148300 lr 1 step-time 0.35s wps 17.66K ppl 13.76 gN 4.48 bleu 4.02, Thu Dec 13 08:21:17 2018\r\n",
      "  step 148400 lr 1 step-time 0.34s wps 18.04K ppl 13.74 gN 4.46 bleu 4.02, Thu Dec 13 08:21:51 2018\r\n",
      "  step 148500 lr 1 step-time 0.33s wps 18.24K ppl 13.62 gN 4.44 bleu 4.02, Thu Dec 13 08:22:24 2018\r\n",
      "  step 148600 lr 1 step-time 0.33s wps 18.33K ppl 13.49 gN 4.37 bleu 4.02, Thu Dec 13 08:22:58 2018\r\n",
      "  step 148700 lr 1 step-time 0.33s wps 18.25K ppl 13.56 gN 4.50 bleu 4.02, Thu Dec 13 08:23:31 2018\r\n",
      "  step 148800 lr 1 step-time 0.33s wps 18.21K ppl 13.29 gN 4.20 bleu 4.02, Thu Dec 13 08:24:04 2018\r\n",
      "  step 148900 lr 1 step-time 0.33s wps 18.29K ppl 13.06 gN 4.29 bleu 4.02, Thu Dec 13 08:24:37 2018\r\n",
      "  step 149000 lr 1 step-time 0.33s wps 18.25K ppl 13.17 gN 4.46 bleu 4.02, Thu Dec 13 08:25:10 2018\r\n",
      "# Save eval, global step 149000\r\n",
      "2018-12-13 08:25:11.223921: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:25:11.224136: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 08:25:11.224228: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-149000, time 0.07s\r\n",
      "  # 917\r\n",
      "    src: The matches were doubles matches with a long set up to nine points, or a maximum duration of 45 minutes.\r\n",
      "    ref: Gespielt wurde im Doppelmodus mit einem langen Satz bis zu neun Punkten oder maximal 45 Minuten Dauer.\r\n",
      "    nmt: Die Spiele waren <unk> <unk> bis zum Zeitraum <unk> bis neun <unk> oder <unk> <unk>\r\n",
      "2018-12-13 08:25:11.370403: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:25:11.370511: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:25:11.370637: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-149000, time 0.08s\r\n",
      "  eval dev: perplexity 17.91, time 3s, Thu Dec 13 08:25:15 2018.\r\n",
      "  eval test: perplexity 18.18, time 3s, Thu Dec 13 08:25:18 2018.\r\n",
      "  step 149100 lr 1 step-time 0.33s wps 18.16K ppl 13.15 gN 4.27 bleu 4.02, Thu Dec 13 08:25:52 2018\r\n",
      "  step 149200 lr 1 step-time 0.33s wps 18.17K ppl 13.24 gN 4.37 bleu 4.02, Thu Dec 13 08:26:25 2018\r\n",
      "  step 149300 lr 1 step-time 0.33s wps 18.02K ppl 12.93 gN 4.38 bleu 4.02, Thu Dec 13 08:26:58 2018\r\n",
      "  step 149400 lr 1 step-time 0.34s wps 17.58K ppl 13.14 gN 4.40 bleu 4.02, Thu Dec 13 08:27:32 2018\r\n",
      "  step 149500 lr 1 step-time 0.34s wps 17.89K ppl 12.91 gN 4.23 bleu 4.02, Thu Dec 13 08:28:06 2018\r\n",
      "  step 149600 lr 1 step-time 0.34s wps 17.96K ppl 12.89 gN 4.47 bleu 4.02, Thu Dec 13 08:28:39 2018\r\n",
      "  step 149700 lr 1 step-time 0.33s wps 18.03K ppl 12.49 gN 4.22 bleu 4.02, Thu Dec 13 08:29:13 2018\r\n",
      "  step 149800 lr 1 step-time 0.33s wps 18.00K ppl 12.71 gN 4.27 bleu 4.02, Thu Dec 13 08:29:45 2018\r\n",
      "  step 149900 lr 1 step-time 0.34s wps 17.96K ppl 12.72 gN 4.43 bleu 4.02, Thu Dec 13 08:30:19 2018\r\n",
      "  step 150000 lr 1 step-time 0.33s wps 18.01K ppl 12.49 gN 4.29 bleu 4.02, Thu Dec 13 08:30:53 2018\r\n",
      "# Save eval, global step 150000\r\n",
      "2018-12-13 08:30:53.553572: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:30:53.553796: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 08:30:53.553866: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-150000, time 0.07s\r\n",
      "  # 384\r\n",
      "    src: \"NSA.gov was not accessible for several hours tonight because of an internal error that occurred during a scheduled update,\" the spy agency said in an emailed statement.\r\n",
      "    ref: „NSA.gov war heute Nacht einige Stunden lang nicht erreichbar, da während eines geplanten Updates ein interner Fehler aufgetreten ist“, erläuterte die Spionageagentur in einer per E-Mail versandten Meldung.\r\n",
      "    nmt: Die Kommission war nicht für mehrere Stunden heute Abend wegen eines internen <unk> das während eines geplanten <unk> der Agentur in einer Minute <unk> <unk>\r\n",
      "2018-12-13 08:30:53.730269: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:30:53.730269: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:30:53.730503: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-150000, time 0.09s\r\n",
      "  eval dev: perplexity 23.43, time 3s, Thu Dec 13 08:30:57 2018.\r\n",
      "  eval test: perplexity 23.92, time 3s, Thu Dec 13 08:31:01 2018.\r\n",
      "2018-12-13 08:31:02.160770: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:31:02.160772: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:31:02.161051: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-150000, time 0.07s\r\n",
      "  # 1605\r\n",
      "    src: Rescue workers retrieve a charred body from the house.\r\n",
      "    ref: Die Rettungskräfte bergen eine verkohlte Leiche aus dem Haus.\r\n",
      "    nmt: Die Arbeitnehmer haben eine <unk> des <unk> eines <unk> aus dem <unk>\r\n",
      "2018-12-13 08:31:02.283154: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:31:02.283154: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:31:02.283399: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-150000, time 0.07s\r\n",
      "# External evaluation, global step 150000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 25s, Thu Dec 13 08:31:27 2018.\r\n",
      "  bleu dev: 4.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 150000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 27s, Thu Dec 13 08:31:55 2018.\r\n",
      "  bleu test: 4.6\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "2018-12-13 08:31:56.907562: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:31:56.907562: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:31:56.907802: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-150000, time 0.07s\r\n",
      "  # 359\r\n",
      "    src: It also allows passengers to choose their seat in advance only if they buy directly from the Frontier website.\r\n",
      "    ref: Passagiere können auch ausschließlich beim Direktkauf auf der Website von Frontier Plätze reservieren.\r\n",
      "    nmt: Es gestattet auch <unk> dass es auch Passagiere in den <unk> nur wenn sie direkt aus dem <unk> <unk>\r\n",
      "2018-12-13 08:31:57.068514: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:31:57.068514: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:31:57.068764: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-150000, time 0.09s\r\n",
      "  eval dev: perplexity 23.43, time 3s, Thu Dec 13 08:32:01 2018.\r\n",
      "  eval test: perplexity 23.92, time 3s, Thu Dec 13 08:32:04 2018.\r\n",
      "2018-12-13 08:32:05.034117: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:32:05.034328: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 08:32:05.034726: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-150000, time 0.07s\r\n",
      "# External evaluation, global step 150000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 25s, Thu Dec 13 08:32:30 2018.\r\n",
      "  bleu dev: 4.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 150000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 26s, Thu Dec 13 08:32:58 2018.\r\n",
      "  bleu test: 4.6\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# Final, step 150000 lr 1 step-time 0.33s wps 18.01K ppl 12.49 gN 4.29 dev ppl 23.43, dev bleu 4.1, test ppl 23.92, test bleu 4.6, Thu Dec 13 08:32:58 2018\r\n",
      "# Done training!, time 53912s, Thu Dec 13 08:32:58 2018.\r\n",
      "# Start evaluating saved best models.\r\n",
      "2018-12-13 08:32:58.988478: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:32:58.988613: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 08:32:58.988678: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/best_bleu/translate.ckpt-150000, time 0.07s\r\n",
      "  # 1672\r\n",
      "    src: I just can't believe where she was.\r\n",
      "    ref: Ich kann kaum glauben, wo sie war.\r\n",
      "    nmt: Ich glaube <unk> dass sie in der Tat <unk>\r\n",
      "2018-12-13 08:32:59.114773: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:32:59.114773: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:32:59.115038: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "  loaded eval model parameters from /home/ecbm4040/nmt/nmt_attention_model/best_bleu/translate.ckpt-150000, time 0.09s\r\n",
      "  eval dev: perplexity 23.43, time 4s, Thu Dec 13 08:33:03 2018.\r\n",
      "  eval test: perplexity 23.92, time 3s, Thu Dec 13 08:33:07 2018.\r\n",
      "2018-12-13 08:33:07.333040: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "2018-12-13 08:33:07.333179: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en is already initialized.\r\n",
      "2018-12-13 08:33:07.333259: I tensorflow/core/kernels/lookup_util.cc:373] Table trying to initialize from file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de is already initialized.\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/best_bleu/translate.ckpt-150000, time 0.07s\r\n",
      "# External evaluation, global step 150000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_dev\r\n",
      "  done, num sentences 3003, num translations per input 1, time 25s, Thu Dec 13 08:33:33 2018.\r\n",
      "  bleu dev: 4.1\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# External evaluation, global step 150000\r\n",
      "  decoding to output /home/ecbm4040/nmt/nmt_attention_model/output_test\r\n",
      "  done, num sentences 3000, num translations per input 1, time 27s, Thu Dec 13 08:34:01 2018.\r\n",
      "  bleu test: 4.6\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/hparams\r\n",
      "# Best bleu, step 150000 lr 1 step-time 0.33s wps 18.01K ppl 12.49 gN 4.29 dev ppl 23.43, dev bleu 4.1, test ppl 23.92, test bleu 4.6, Thu Dec 13 08:34:01 2018\r\n"
     ]
    }
   ],
   "source": [
    "! cat ./text/nmt_train_log.txt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## NMT translation sample\n",
    "from English to German"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<unk> <unk> Sicherheit für <unk>\r\n",
      "Sie sind nicht einmal 100 Meter <unk> auf dem neuen B 33 <unk> in <unk> in <unk> wurde in <unk> Jahren - im Hinblick auf die bestehenden <unk>\r\n",
      "Zwei Formen der <unk> so enge <unk> oder nur eine <unk> <unk>\r\n",
      "<unk> <unk> <unk> hat eine klare Antwort auf diese Entschließung <unk>\r\n",
      "Die <unk> wurde seit dem <unk> der Stadt <unk> weil dies eine Schule <unk> erklärt <unk>\r\n",
      "Die <unk> <unk> schützen ebenso weit wie auch die von den <unk> und die Bewohner von <unk>\r\n",
      "Die <unk> die offiziell offiziell durchgeführt <unk> ist von Bedeutung für die <unk> <unk>\r\n",
      "Wir haben die beiden <unk> die <unk> des <unk> ein <unk> Verfahren und eine <unk> nicht vergessen und nicht die <unk> von den <unk> <unk>\r\n",
      "Die Zeit hoher <unk> und <unk> eines zusätzlichen <unk> wurden für eine <unk> <unk> um <unk> zu <unk>\r\n",
      "Das wurde auch vom Peter <unk> von dem <unk> <unk> <unk>\r\n",
      "Die aktuellen <unk> in der Stadt <unk> rund um die Stadt <unk> über die Stadt <unk> auf einem täglichen <unk> von <unk> auf einem täglichen <unk> von denen sich die Höhe von ca. zehn Euro <unk>\r\n",
      "Deshalb war der Bau eines zusätzlichen Pakets von <unk> mehr als <unk> <unk> <unk> <unk> dass <unk> <unk> <unk>\r\n",
      "Eine vollständige <unk> wurden durchgeführt und eine <unk> wurde ebenfalls <unk> wurde ebenfalls <unk> diese Idee wurde auf dem <unk> der <unk> des <unk> <unk>\r\n",
      "Nach dem Bericht von <unk> zufolge wurde jede mögliche Prüfung des <unk> für den <unk> <unk> ein <unk> mit besonders langen <unk> <unk> Wir haben auch <unk> ob solche Fahrzeuge den zweiten <unk> von den <unk> von den <unk> von den <unk> von den <unk> <unk>\r\n",
      "Das <unk> das auf Kosten des <unk> <unk> ist das <unk> moderne System des modernen Systems des derzeitigen <unk> das derzeit über die <unk> erklärt <unk>\r\n",
      "Das System ist mit <unk> <unk> <unk> die genug <unk> dass die Fahrer leicht die <unk> selbst als Sonne in der Welt <unk>\r\n",
      "Und sie sind auch die älteren <unk> die sich auf 100 <unk> mit dem neuen <unk> mit dem neuen <unk>\r\n",
      "Es gibt drei Formen von <unk> pro <unk>\r\n",
      "Die Technologie hat die Technologie der neuen <unk> <unk> mit zwei <unk> <unk>\r\n",
      "Wenn die <unk> auf dem <unk> auf dem <unk> <unk> dann wird die <unk> <unk>\r\n",
      "Wenn die Straße <unk> ist ein grünen Licht <unk> wenn es um eine Verzögerung von ca. 15 Jahren <unk>\r\n",
      "Ein zusätzlicher <unk> <unk> ob die grüne Phase für die <unk> für die <unk> erreicht werden <unk>\r\n",
      "Eine Gruppe von Personen oder <unk> wenn Menschen <unk> die grüne Phase der grünen Phase ist <unk> damit gewährleistet werden <unk> dass jeder sicher sicher garantiert <unk>\r\n",
      "Natürlich müssen Fahrer auch ihre Rolle spielen und ihre Augen auf dem Weg <unk>\r\n",
      "Gestern war dies nicht das <unk> Licht war es kaum <unk> als ein <unk> mit einem <unk> auf einem roten <unk> zu <unk>\r\n",
      "Mehr als 30 <unk> Josef <unk> wurde vom <unk> <unk> seiner <unk> und <unk>\r\n",
      "Der <unk> seines <unk> <unk> - die <unk> seine Tendenz hin zu <unk> Gewalt und <unk> die <unk> und mangelnde Freude - wurde viele Male durch die <unk> <unk>\r\n",
      "Der <unk> ist hauptsächlich als Verfasser des <unk> mit <unk> mit <unk> für <unk>\r\n",
      "In einer Reihe von Texten für seine Leistung für seine Leistung ist die <unk> auf der Spitze Ihrer <unk> <unk> auf der Spitze Ihrer <unk> die jetzt in <unk> X auf <unk> <unk> <unk> <unk> <unk> eine <unk> von <unk> <unk>\r\n",
      "Das Theater hat somit Elemente aus dem <unk> Roman <unk> <unk> <unk> <unk> <unk> <unk> <unk> mit <unk> <unk> aus <unk> <unk> <unk> seine Familie <unk>\r\n",
      "Am <unk> <unk> - mit einer wichtigen <unk> - mit einer wichtigen <unk> auf dem <unk> die Mitglieder <unk> und <unk> - die <unk> Arbeit ihrer Art durch den Text durch den Text <unk>\r\n",
      "Der Direktor des <unk> scheint offenbar wenig Vertrauen in der EU zu <unk>\r\n",
      "Aber Bill Bill <unk> Vorsitzender des <unk> hat <unk> <unk> <unk> er sieht als die am <unk> langfristigen langfristigen langfristigen <unk>\r\n",
      "Die freie <unk> auf der Stiftung von <unk> sind ebenfalls <unk> % der Fahrer pro <unk>\r\n",
      "Die Frage ist nicht nur eine Steuer in einem schwarzen <unk> sagte <unk> <unk> Vorsitzender der Politik auf <unk>\r\n",
      "Die Menschen zahlen mehr direkt in Richtung <unk> was sie <unk>\r\n",
      "Die Bewegung ist auch durch zwei ehemalige <unk> <unk> <unk> die in einem Jahr vom Juni 2009 aufgefordert <unk> in der EU <unk>\r\n",
      "Der amerikanische <unk> nahm ein <unk> ein <unk> letztes Jahr im Jahr 2007 <unk>\r\n",
      "Doch das Parlament hat die <unk> die sich auf Bedenken von ländlichen <unk> <unk> die sich auf die Sorgen von Kindern <unk> deren tägliche Leben häufig zu einer Vielzahl von Meilen zu unternehmen oder in <unk> <unk>\r\n",
      "Mehrere Staaten und Städte sind dennoch auf ihre <unk>\r\n",
      "Das wichtigste ist <unk> das ist <unk> <unk> in der größten <unk>\r\n",
      "Diese Fahrer zahlen bald die Gebühren für die <unk> anstatt die <unk> zu <unk>\r\n",
      "Die Sierra Leone hat bereits eine Entschließung <unk>\r\n",
      "Neue New York wartet auf <unk>\r\n",
      "Die Frage versucht auf eine begrenzte Basis mit <unk>\r\n",
      "Und die <unk> die von 17 staatlichen <unk> entlang der östlichen <unk> <unk> <unk> <unk> <unk> und <unk> untersucht werden <unk> prüft wie sie sich über die Umsetzung der Umsetzung des <unk>\r\n",
      "Das Konzept ist kein <unk> <unk>\r\n",
      "In der Tat wurden in der Tat mit 50 <unk> Autos ausgestattet mit dem Auto nicht lange mit den Geräten <unk> die die Regierung in der Lage <unk> ihre eigenen <unk> zu <unk>\r\n",
      "Die zweite Bemerkung über Big <unk> und all <unk> Dinge war ein großer <unk> sagte <unk> <unk> <unk> und <unk> auf dem Gebiet des <unk>\r\n",
      "Das war kein Volk <unk>\r\n",
      "Wie den Prozess festgestellt <unk> hat die <unk> von Island auf seiner <unk> <unk> <unk> wäre ziemlich leicht leicht zu <unk> diese Geräte in <unk> <unk>\r\n",
      "Es besteht keine Notwendigkeit <unk> eine <unk> technologische Infrastruktur zu <unk> die zwangsläufig weiter ausgebaut werden <unk> um den Alltag des täglichen Lebens und der <unk> zu <unk>\r\n",
      "Island gehört zu mehreren Staaten in <unk> um <unk> Technologien zu <unk> die den Staat überlassen <unk> wie viele Meilen ein Auto <unk> aber nicht genau wo und was was zu tun und was auf welchen Weg und was zu welchem Zeitpunkt und was zu welchem Zeitpunkt und was auf was zu tun <unk>\r\n",
      "Wenn Sie das tun <unk> dann wird die Öffentlichkeit mehr <unk>\r\n",
      "Die <unk> für diese Technologie hat einige staatlichen Agenturen <unk> um eine kleine Regierung <unk> <unk> <unk>\r\n",
      "Das war nicht ursprünglich in der Wirtschaft von <unk> <unk>\r\n",
      "Es wollte sich an einen <unk> Markt in einem <unk> Markt <unk> in dem Fahrer auf ihrer Grundlage angewiesen <unk>\r\n",
      "Aber die Geräte laufen jedoch an die <unk> die Autobahn <unk> weil sie <unk> GPS GPS und eine begrenzte Anzahl von <unk> <unk>\r\n",
      "Die Entscheidung wird mehr bereit <unk> dies zu <unk> wenn Sie nicht ihre Geschwindigkeit und Ihre <unk> nicht ihre <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Es gab einige große Fehler in einigen dieser <unk>\r\n",
      "Es gibt viel weniger <unk> und weniger <unk> Möglichkeiten zu <unk>\r\n",
      "In Wirklichkeit sind die <unk> mit anderen Ländern <unk>\r\n",
      "Sie können ein Gerät mit oder ohne <unk> <unk>\r\n",
      "Oder können sie nicht auf ein Gerät <unk> das nicht auf <unk> <unk> sondern stattdessen eine Wohnung auf der Höhe von <unk> <unk> von allen staatlichen Beihilfen <unk>\r\n",
      "Während des <unk> schien Wolf beeindruckt von der <unk> <unk>\r\n",
      "Seit 2006 wurde es erfolgreich in <unk> zwischen der Unterstützung der Unterstützung der <unk> School School School School School School School and the <unk> School of the <unk> School of the University of the <unk>\r\n",
      "Er hat auch die <unk> Haltung innerhalb des <unk>\r\n",
      "Die <unk> ist nicht nur um die Familie des <unk> in <unk> sondern auch auf <unk> <unk> die Zeit für die langfristige Versorgung und Unterstützung für Familien wie <unk> erklärt <unk>\r\n",
      "Er hat auch darauf <unk> dass eine wachsende Zahl von <unk> die sich nach der langfristigen Betreuung und Unterstützung von Kindern <unk>\r\n",
      "Die Unterstützung von ihrer <unk> die infolge ihrer <unk> Belastung auf Arbeitnehmer könnte dazu führen <unk> dass die Beschäftigung der Arbeitnehmer zu den <unk> führen <unk>\r\n",
      "Niemand kann es uns <unk> qualifizierte qualifizierte <unk> zu <unk>\r\n",
      "Besonders wichtig ist besonders wichtig für <unk> dass der Austausch von Universitäten zwischen Universitäten und <unk>\r\n",
      "Die <unk> die sich aus den <unk> die sich aus ihren <unk> gelernt <unk> häufig bleiben in ihren Studien in ihren Studien häufig im Einklang mit ihren <unk> Wissen und <unk> wodurch Beitrag zur Stärkung des <unk> <unk> <unk> <unk> <unk> seine <unk> <unk>\r\n",
      "Für sie ist nur wenn eine ausreichende Anzahl von <unk> möglich sein <unk> dass die Notwendigkeit qualifizierter Arbeitskräfte für qualifizierte Arbeitnehmer gewährleistet werden <unk>\r\n",
      "In seinem Bericht ist die <unk> als Standort seiner <unk> in <unk> <unk> in unmittelbarer Nähe Frankreichs und <unk> in unmittelbarer Nähe Frankreichs und <unk>\r\n",
      "Neben dem <unk> auf seinem Zug von <unk> bis hin zu <unk> hat er die Anstrengungen bereits unternommen <unk> die bereits unternommen <unk> die öffentliche Meinung zu <unk>\r\n",
      "Die <unk> muss fortgesetzt und <unk> dass die lokalen öffentlichen öffentlichen <unk> sogar noch in der Frage der lokalen Politiker in der Frage der lokalen Politiker in Europa <unk>\r\n",
      "Musik macht eine <unk> Nachmittag\r\n",
      "Vor 15 Jahren war es vor 15 Jahren <unk> dass die Familie der Familie für Kaffee und <unk> gefolgt von einem <unk> <unk>\r\n",
      "Die älteren Bürger wurden in den <unk> <unk>\r\n",
      "Der Kaffee Nachmittag findet jetzt in St. Petersburg <unk>\r\n",
      "Die Bewohner des <unk> waren mit dem <unk> <unk> und <unk> <unk>\r\n",
      "Später wurde ein <unk> <unk> <unk>\r\n",
      "<unk> und ihrem Vater Karl Karl <unk> <unk> diese <unk> in <unk> mit öffentlichen <unk>\r\n",
      "Je mehr als <unk> natürliche <unk> die als wichtigste <unk> zwischen alten <unk> - das aufgrund des alten <unk> - wieder einmal auf die <unk> für die Stadt von <unk> <unk> <unk>\r\n",
      "In den Tagen vor dem <unk> <unk> <unk> wenn die ersten Vorbereitungen durchgeführt worden <unk> wurde die Schule vor Ort im <unk> eine kleine Ecke mit <unk> <unk> und <unk> die <unk> Belastung auf dem alten natürlichen natürlichen <unk> der mehr als hundert Jahre alt <unk>\r\n",
      "Gemäß Alexander <unk> von <unk> <unk> und <unk> <unk> die laufenden Verfahren zur Bewältigung des <unk> <unk> in Planung und Entwicklung zur Erstellung des alten <unk> für die alten <unk>\r\n",
      "Eine Senkung der <unk> ist von einem Team von <unk> <unk> wodurch dann dann auch die Stadt vorgelegt werden <unk> die eine Entscheidung treffen und die laufenden <unk> <unk>\r\n",
      "Eine Entscheidung wird voraussichtlich in den kommenden Monaten <unk>\r\n",
      "Nach dem <unk> und <unk> von Bäume in alten <unk> innerhalb des alten internen <unk> innerhalb des alten <unk> in den beiden <unk> der <unk> muss das <unk> von <unk> <unk> das in der <unk> der <unk> <unk>\r\n",
      "Die <unk> eines <unk> zwischen alten <unk> zwischen alten <unk> und <unk> ist dringend als Folge Wasser und <unk> auf Berücksichtigung des fehlenden <unk> und <unk> <unk>\r\n",
      "In mehreren einzelnen <unk> in einigen einzelnen <unk> auf dem <unk> ist es nicht die Mauer der Mauer nicht Gefahr für die <unk>\r\n",
      "Eine sichere Mauer ist für eine Schule für eine Schule <unk> die von <unk> verwendet werden und das ist der Zweck des aktuellen <unk>\r\n",
      "Die Schule wurde ursprünglich in <unk> Jahren in <unk> <unk> <unk> hohe Kosten für die Arbeit der Arbeitnehmer musste jedoch auch auf die Arbeit gebracht <unk>\r\n",
      "Die <unk> Behörde wird eine große <unk> in der historischen <unk> <unk> die sogar verwendet worden <unk>\r\n",
      "Wenn diese Behörde die <unk> <unk> dann würde die Stadt von <unk> Subventionen aus dem <unk> <unk>\r\n",
      "Kein konkreter Details wurden über diese Probleme <unk> aber es wird darüber <unk> dass mindestens eine <unk> Angelegenheit <unk>\r\n",
      "Sie können <unk> dass das Gefängnis von zehn Jahren nicht mehr <unk>\r\n",
      "2014 ist ein Jahr des <unk> in <unk>\r\n",
      "Der Jahrestag des <unk> in <unk> in <unk>\r\n",
      "Jahrestag des ersten <unk> Berichts des <unk> sind die <unk>\r\n",
      "Wenn das Jahr ein Ende des Jahres in einem Ende des Jahres <unk> wird das Jahr 2009 am Ende <unk>\r\n",
      "Die <unk> und <unk> waren erstmals im Jahr 2009 in der <unk>\r\n",
      "In der Tat wurde eine <unk> in der Mitte 2008 in <unk> <unk>\r\n",
      "Am 15. Oktober wird das Jahr offiziell offiziell und weil es derzeit keine geeignete Lösung <unk> diese Phase wird in Ort <unk> während die beiden Städte in dem <unk> in dem die beiden Städte ersten <unk> Jahren <unk>\r\n",
      "Im Rahmen des 20. Jahrhunderts sind mehrere Ereignisse in <unk> und <unk>\r\n",
      "Die <unk> wird den Jahrestag des <unk> Jahrestag eines <unk> von 18 bis 20. bis 20. bis 20. Mai <unk>\r\n",
      "<unk>\r\n",
      "Am Freitag wird es ein <unk> und am Samstag und Sonntag am Samstag stattfinden und am Sonntag stattfinden <unk>\r\n",
      "Das <unk> Festival wird auch auf diesem <unk> <unk>\r\n",
      "Die Stadt <unk> <unk> <unk> hat eine Agentur für die Stadt auf der Stadt <unk> die auf drei Ebenen durchgeführt werden <unk>\r\n",
      "Am 21. Juli 2006 in Verbindung mit dem <unk> <unk> <unk> <unk> über 12 Juli in <unk> mit dem 12. Juli im <unk> mit 13 am 13. Dezember als erste Sitzung des <unk> <unk> <unk> in den neuen <unk>\r\n",
      "Dieses Treffen wird abgeschlossen und wird im Jahrestag des <unk> im vergangenen Wochenende mit dem offiziellen Datum des letzten Jahres im vergangenen Jahr am 27. und 28. Juli 2008 abgeschlossen <unk>\r\n",
      "Auf der Sitzung des <unk> wird eine neue <unk> eine neue <unk> <unk>\r\n",
      "Es wird nicht nur eine <unk> von <unk> <unk> sondern vielmehr eine <unk> Arbeit an der <unk> von <unk> <unk> die jetzt von <unk> <unk> <unk> <unk> und <unk> <unk> gesagt <unk>\r\n",
      "Und das ist heute auch ein Geburtstag in <unk> als es 1974 in 1974 <unk> weil es 1974 in Polen um die derzeitige Region <unk>\r\n",
      "Der neue <unk> ist auf 21 oder 22 im neuen Forum im <unk> im Juni 2007 <unk>\r\n",
      "<unk> Jahr ist ein Jahr von vielen <unk> in anderen <unk>\r\n",
      "Die <unk> <unk> <unk> <unk> <unk> beginnt am 8. Februar mit einem Abend des traditionellen <unk> auf dem <unk> <unk> <unk> <unk> <unk> wird ein <unk> <unk> und am 29. März wird ein <unk> <unk> und anschließend am 29. März 2009 ein <unk> <unk> und anschließend wird das <unk> <unk>\r\n",
      "Die <unk> <unk> Home wird 40 Jahre lang in seiner neuen Lage für 50 Jahre lang in seinem neuen Standort für 50 Jahre lang und wird das <unk> das <unk> <unk> <unk> und das <unk> <unk> wird das <unk> <unk> und wird dies als Teil des <unk> <unk>\r\n",
      "Die Stadt <unk> war ursprünglich offiziell offiziell in der <unk> in einem <unk> der <unk> das jetzt im Besitz des Heiligen <unk> <unk>\r\n",
      "Die <unk> wurde in der Tat in Gestalt des <unk> <unk> die auf der Zeit der Zeit gefunden worden <unk>\r\n",
      "Beide Gemeinschaften haben also auch in derselben Richtung <unk>\r\n",
      "Ein Grund für die Wahl 2014 bis 2014 ist <unk> dass es auch mit dem <unk> Jahrestag des <unk> <unk> <unk>\r\n",
      "Der Rat legt seine Sehenswürdigkeiten auf dem <unk>\r\n",
      "Sollte die <unk> <unk> auf große <unk> <unk> um zu <unk> um den Verkehr zu <unk>\r\n",
      "Die Stadt hat <unk> dass die Antwort die Antwort <unk>\r\n",
      "Die <unk> werden zu einer <unk> von Euro zur Verfügung gestellt <unk>\r\n",
      "Oder suchen wir beispielsweise ähnliche Beispiele für die Erde und damit vielleicht <unk>\r\n",
      "Diese Fragen werden derzeit von den zuständigen <unk> <unk> die auf europäischer Ebene <unk>\r\n",
      "Für ihre <unk> <unk> müssen sie sich für zwei große <unk> <unk> die sich sehr stark <unk>\r\n",
      "Der Haushalt für <unk> wie etwa etwa etwa 30 Milliarden Euro ist ein <unk>\r\n",
      "Die Projekte geplant sind in <unk> und <unk>\r\n",
      "Anfang des Jahres 2008 wurde die Elite im Bereich der europäischen <unk> in Paris über Vorschläge für solche Initiativen <unk>\r\n",
      "30 Ideen waren für die <unk> von <unk> die fünf bisher auf die kurze Zeit eingegangen <unk>\r\n",
      "Die <unk> sind die <unk> die Anfragen an die <unk>\r\n",
      "In den kommenden Monaten ist ein letzter Beschluss des <unk> Programms zur <unk>\r\n",
      "In Finnland wurden vier wichtige Fragen vom Rat gewählt und die <unk> des <unk> <unk> <unk> in <unk> <unk>\r\n",
      "Welche Bedingungen für die Bildung von <unk> und <unk>\r\n",
      "Die genaue Prozesse für die Bildung von Stars aus großen <unk> - und damit die Bildung des <unk> dass diese Stars diese Sterne - befinden sich in <unk>\r\n",
      "Ein Großteil der <unk> könnte in der Tat eine große Mehrheit <unk>\r\n",
      "Und wenn ein Stern in der Lage <unk> unter welchen Bedingungen kann man das Leben <unk>\r\n",
      "Um diese <unk> zu <unk> ist die <unk> in <unk> mit dem 500 bekannte <unk> in der Nähe 500 bekannten Systeme in enger Weise untersucht werden <unk>\r\n",
      "Die Möglichkeiten des <unk> - <unk> - sind eine kleine Mission mit einem Haushalt 150 Millionen <unk>\r\n",
      "Mit größerer <unk> könnte man ähnliche <unk> ähnliche Beispiele für Earth und sogar Analysen analysiert und somit suchen <unk> die als Ersatz für biologische Vielfalt dienen <unk>\r\n",
      "Wie sieht das System der <unk>\r\n",
      "Diese Frage sollte auch Informationen über die <unk> des <unk> für die Herkunft des <unk> <unk>\r\n",
      "Die <unk> Tätigkeit eines <unk> der <unk> des <unk> und der <unk> <unk> spielen eine wichtige <unk>\r\n",
      "Es ist möglich <unk> diese Prozesse in unseren <unk> zu <unk> als Beispiel für eine solche Anwendung Anwendung zu <unk>\r\n",
      "Mit dem <unk> hat die ESA bereits eine Mission <unk> die sich über eine halbe Million Euro <unk> die über ca. Million Euro zur Bewältigung dieses Problems <unk>\r\n",
      "Die <unk> ist in <unk> und wird genau die Oberfläche und die Tätigkeit der Kommission aufmerksam <unk>\r\n",
      "Die <unk> und ihre <unk> sind auch große Interesse an der <unk>\r\n",
      "Sie wollen unsere Rolle in der Entwicklung des <unk> <unk> hat sich in der Entwicklung des <unk> <unk>\r\n",
      "Die ESA plant <unk> dass die ersten drei <unk> des <unk> das Programm <unk> dieses Programms dieses Programm befasst <unk>\r\n",
      "Die <unk> <unk> <unk> <unk> <unk> ist für seine Reise in <unk> <unk>\r\n",
      "Dann wird es später wieder <unk> und wird die Atmosphäre des Planeten als auch die Atmosphäre des Planeten sowie die <unk> <unk> <unk> und <unk> <unk>\r\n",
      "Was sind die grundlegenden <unk> Gesetze des <unk>\r\n",
      "Die <unk> bietet viele Möglichkeiten für die Erforschung von Stoffen unter extremen Bedingungen und damit Prüfung ob die Gesetze von <unk> wie bekannt bekannt bekannt <unk>\r\n",
      "Es mag auch <unk> dass es möglich könnte <unk> dass der Weg zur neuen <unk> unter dem <unk> von allen bekannten Gesetzen ausgeschlossen werden <unk>\r\n",
      "Wie hat das Universum über und was ist es <unk>\r\n",
      "Das Schreiben umfasst ein Angebot an <unk> mit deutschen Behörden <unk> die Schwierigkeiten dieser humanitären Situation wurden <unk>\r\n",
      "<unk> Fluggesellschaften zahlen für <unk> <unk>\r\n",
      "Die <unk> sollen für die Beförderung von <unk> für Passagiere auf <unk> <unk> <unk> <unk>\r\n",
      "Die <unk> sollen zur Aufnahme von <unk> für eine <unk> <unk> und <unk> für Kaffee oder <unk> obwohl ihre Ankündigung am Mittwoch zum Mittwoch wieder <unk> dass die Passagiere die ganze Welt erhalten <unk>\r\n",
      "Die neue <unk> beträgt für <unk> in der <unk> so kleine <unk> unter dem Sitz des <unk>\r\n",
      "Aber es wird <unk> dass die Gebühren in <unk> <unk> wenn die Gebühren bezahlt <unk> wenn Reisende bis zu <unk> Uhr zahlen <unk>\r\n",
      "Die <unk> <unk> <unk> <unk> <unk> <unk> die Gebühren für die Bezahlung von Reisenden in <unk>\r\n",
      "Die <unk> wollen sie <unk> sie wollen sie <unk>\r\n",
      "Airlines begannen für die erste und zweite <unk> in <unk>\r\n",
      "Die <unk> versuchen diese Gebühren zu <unk> wie sie es in <unk> <unk> <unk> in <unk> <unk> in <unk> <unk> was häufig häufig von <unk> häufig aus <unk>\r\n",
      "Die <unk> sind eine Art <unk> um die Passagiere weniger auf die Straße zu <unk>\r\n",
      "Die neue Behörde ist nicht wirklich über die <unk>\r\n",
      "Die meisten <unk> die meisten Kunden <unk> die es sehr klar <unk> dass es sich um <unk> <unk> <unk>\r\n",
      "<unk> die ihre Tickets auf die Website von <unk> <unk> müssen sich auf die Website der <unk> <unk>\r\n",
      "Das bedeutet ein <unk> in der <unk> ein <unk> auf dem Weg zu einem <unk> zu <unk> während die nächste Person im Sinne einer ähnlichen <unk> für eine ähnliche <unk>\r\n",
      "Die <unk> über die Website von <unk> und <unk> werden geändert werden und <unk> dass Passagiere über die Gebühren vor Gericht gestellt werden <unk> bevor sie die <unk>\r\n",
      "<unk> neue <unk> <unk> beginnen bis zu <unk> wenn ein Datum <unk>\r\n",
      "Die <unk> oft über Gepäck und andere <unk> aber die <unk> die <unk>\r\n",
      "Sie sind <unk> dass die Kosten für die <unk> Geld für die <unk> und Passagiere zahlen <unk> die für die Dienstleistung zahlen <unk>\r\n",
      "Viele von Wall Street betrachten die gleichen <unk> als Zeichen <unk> dass Fluggesellschaften genügend Geld Geld für die Höhe von <unk> für die <unk> von <unk> nach Jahren hinaus <unk>\r\n",
      "Die meisten <unk> haben <unk> <unk> <unk> <unk>\r\n",
      "Die <unk> Fluggesellschaft begann erstmals die erste <unk> drei Jahre später und andere <unk> Air <unk> Air <unk>\r\n",
      "Die einzige Fluggesellschaft mit solchen <unk> ist <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> die eng miteinander <unk>\r\n",
      "Er Schätzungen im Dezember 2011 einen <unk> <unk> <unk> <unk> <unk> Millionen Euro pro <unk>\r\n",
      "Ein ehemaligen <unk> mit <unk> <unk> <unk> Geist und <unk> <unk> wie sich die <unk> auf dem Tor als Passagiere <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "<unk> <unk> war das <unk> ich hatte in meiner <unk> die <unk> er hatte <unk>\r\n",
      "Ich erwarte <unk> dass die <unk> von <unk> und einen Kampf gegen die EU <unk>\r\n",
      "Der Flugzeug war <unk> er hat ihn <unk> er hat <unk>\r\n",
      "Auch hier wird auch <unk> <unk> für <unk> <unk> <unk> oder <unk>\r\n",
      "Die <unk> die die <unk> oder <unk> können die ganze Welt behalten und es wird Kaffee <unk> für <unk>\r\n",
      "Das wird noch immer noch nicht <unk>\r\n",
      "Die USA haben kurz für Getränke in Höhe von Getränken in 2008 <unk> aber sieben Monate später nach <unk> und keine anderen großen <unk>\r\n",
      "Die Kommission war nicht für mehrere Stunden heute Abend wegen eines internen <unk> das während eines geplanten <unk> der Agentur in einer Minute <unk> <unk>\r\n",
      "Das Thema wird diese Frage gelöst <unk>\r\n",
      "Die <unk> dass die <unk> durch eine <unk> Verteilung des <unk> von <unk> <unk> nicht <unk>\r\n",
      "Heute Abend wurde heute Abend ein <unk> über die Webseite des <unk> über mindestens sechs Monate lang und die Website nach einigen Jahren <unk>\r\n",
      "Leider sagte eine <unk> <unk> Nachrichten über <unk> <unk> <unk> <unk> Netz war auf <unk> <unk>\r\n",
      "Keine <unk> Informationen ist in <unk> die <unk>\r\n",
      "mindestens eine <unk> Gruppe wurde <unk> dass sie für die <unk> <unk> mit einer <unk> <unk> <unk>\r\n",
      "Die Angriffe auf die <unk> sollen ein Ziel <unk> um eine Webseite mit dem Verkehr zu <unk> bis die Server die <unk> und die Website <unk>\r\n",
      "Die <unk> ist ein relativ <unk> <unk> und die Angriffe sind nicht <unk> das interne Netz des <unk> das das Ziel des Ziels des Ziels des Ziels des Ziels des Ziels des Ziels des Ziels des Ziels des Ziels des Ziels des Ziels des Ziels des Ziels des Binnenmarkts <unk>\r\n",
      "Der frühere <unk> <unk> <unk> einmal einmal hat es sich in sehr öffentlichen <unk> <unk> und <unk> <unk> in früheren Monaten nach einem Strom von <unk> über <unk> <unk> <unk> und <unk> - <unk> <unk> - <unk> - <unk> <unk> - <unk> die Qualität von <unk> <unk> von <unk> <unk> <unk> von <unk> <unk> <unk> <unk> <unk>\r\n",
      "Solche wachsende <unk> über die Agentur <unk> <unk> <unk> <unk> <unk> war das Ergebnis einer gezielte <unk>\r\n",
      "Tatsächlich wurde die Zahl der <unk> etwas durch eine <unk> von <unk> <unk>\r\n",
      "Die Höhe von 3.1 pro <unk> ist tatsächlich besser als das frühere Jahr und ist auch besser als in <unk> <unk> wir hatten <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Mehrere Unternehmen haben daher viel <unk> wenn es um die <unk> <unk>\r\n",
      "Ein Grund für die <unk> <unk> <unk> <unk> haben kaum qualifizierte Arbeitnehmer in den Bereichen qualifizierten <unk> und <unk> Gesundheit und <unk>\r\n",
      "Die Arbeit der Arbeitnehmer bietet für Personal im Hotel und im <unk> seit <unk>\r\n",
      "Die <unk> beginnt in der Industrie in <unk>\r\n",
      "Der vollständige Hintergrund des Berichts kann in der <unk> Zeitung über <unk> <unk> <unk> <unk> <unk>\r\n",
      "<unk> Gewinne werden als Flugzeug <unk>\r\n",
      "<unk> Flugzeuge und <unk> haben einen 15 Prozent des <unk> auf <unk> <unk> indem sie weniger Flugzeuge auf <unk> <unk> und Lieferungen in den dritten Quartal und im dritten Quartal im dritten Quartal und im dritten Quartal 2008 <unk>\r\n",
      "Die <unk> haben auch keine Flüge über ihre <unk> für ihre <unk> <unk> Flugzeuge oder Angebot über eine Aktualisierung des <unk> <unk> indem die Flugzeuge ihren ehrgeizigen Zeitplan durch nächstes Jahr bis 2013 <unk>\r\n",
      "Nach dem Test über <unk> über einen Monat über Monat und eine halbe Million <unk> hat es nur drei weitere <unk> Fragen über Fragen über die Überprüfung der <unk>\r\n",
      "Die <unk> fielen kurzfristig nur auf <unk> und 75 % mehr als 8 Prozent auf dem <unk>\r\n",
      "Die <unk> eines <unk> mit nationalen <unk> <unk> seine <unk> auf <unk> <unk> von <unk> auf dem <unk> mit Blick auf die <unk> dass die Börse begrenzte <unk> über die nächste Säule beschränkt oder zwei Jahre hinweg <unk>\r\n",
      "Die <unk> Flugzeuge wurden größtenteils von den <unk> <unk> wir sind eindeutig enttäuscht über die <unk> in <unk> <unk> in einem Client <unk>\r\n",
      "Wir glauben <unk> dass wir neue Aufträge für die <unk> als <unk> <unk>\r\n",
      "Wenn keine neuen Bestellungen in den kommenden Monaten veröffentlicht werden <unk> dann <unk> dass der Markt mehr als 80 % des Marktes sein <unk>\r\n",
      "Die Hoffnungen der <unk> die <unk> können sie in die niedrige <unk> eines Marktes jetzt durch <unk> und <unk> <unk>\r\n",
      "Der erste Test war im März und wurde im März 2008 im September 2008 <unk>\r\n",
      "Doch strenge Aufträge für die <unk> sind so weit wie möglich auf <unk> <unk> wie potenzielle Käufer warten <unk> für <unk> die neuen <unk> zu <unk> die <unk> <unk> und Kosten für die <unk>\r\n",
      "Derzeit gibt es derzeit vollständige Aufträge und Verpflichtungen mit 15 Kunden und <unk>\r\n",
      "Der Jahresbericht 2002 wurde <unk> dass sich <unk> <unk> sein <unk> um seine 300 feste <unk> durch die erste Stelle des ersten <unk> zu <unk>\r\n",
      "<unk> und Kinder <unk>\r\n",
      "Die <unk> kam unter anderem unter vielen <unk> hinter vielen <unk>\r\n",
      "Ein Mitarbeiter des <unk> <unk> <unk> der in Zeiten des <unk> wie er früher gesagt hatte – wie er es früher gesagt hatte – zwei Aufnahmen zu <unk>\r\n",
      "Ein Mitarbeiter der <unk> hat eine <unk> <unk> um die <unk> zu <unk>\r\n",
      "Die Szene war etwas aus einer <unk>\r\n",
      "Der Mann hat <unk> dass er dann selbst eine Sicherheit <unk>\r\n",
      "Die Aufnahmen wurden in der Nähe von <unk> in Nähe einer <unk> <unk>\r\n",
      "Der Flughafen des <unk>\r\n",
      "Die <unk> <unk> hat <unk> wie viele <unk> und <unk> auf einem Tisch <unk>\r\n",
      "Ein hundert Menschen wurde aus dem Bau des <unk> <unk>\r\n",
      "Nutzer auf Twitter veröffentlicht Bilder von einem <unk> <unk> und eine Waffe auf dem <unk>\r\n",
      "Nach einer Botschaft von der <unk> über <unk> über <unk> Uhr begann die <unk> über <unk> <unk>\r\n",
      "Der Zugang zu Straßen wurde nach dem Zugang zu <unk> <unk> <unk>\r\n",
      "Die Beförderung von Ankunft von Ankunft von <unk> wurde vorübergehend <unk>\r\n",
      "Einige Flugzeuge könnten jedoch auf die <unk> Weise <unk>\r\n",
      "Der Terminal 3 dient hauptsächlich dem kleinen <unk>\r\n",
      "Der Los Angeles ist ein Mitglied der <unk> Flughäfen ist eines der größten Flughäfen in der <unk>\r\n",
      "<unk> <unk> der von Herrn Big über die Polizei über die Untersuchung von <unk> <unk>\r\n",
      "<unk> <unk> würde die Information von <unk> <unk> <unk> <unk>\r\n",
      "Der <unk> <unk> seine <unk> <unk> wäre schwerer <unk>\r\n",
      "War es ein <unk> Gefängnis in <unk> <unk> Court Court\r\n",
      "Ein erster <unk> der einen Mann über einen Mann über eine große Polizei <unk> hat eine große <unk> weil er seine <unk> <unk> <unk> wäre für drei Jahre <unk>\r\n",
      "Die <unk> <unk> würde <unk> <unk> <unk> <unk> <unk> <unk> <unk> über <unk> in seinem <unk> nach seiner <unk> <unk>\r\n",
      "Die <unk> die sich als <unk> <unk> und <unk> von <unk> als <unk> <unk> wurde nach seiner Heimat nach einem <unk> in <unk> <unk> die er in einem früheren <unk> <unk> <unk>\r\n",
      "<unk> <unk> <unk> <unk> <unk> <unk> drei <unk> in <unk> während der <unk> während des Gesetzes über ein Gesetz mit <unk> <unk>\r\n",
      "Die <unk> wurde <unk> dass eine <unk> von <unk> aus <unk> nach Tests gezogen <unk> nachdem Untersuchungen Spuren von <unk> in seinem <unk> und seiner <unk> zu seiner <unk>\r\n",
      "Über acht Monate lang zwischen Januar und August 2011 forderte er <unk> Informationen über die <unk> von zwei Männern im Namen von <unk> sowie einer seiner <unk>\r\n",
      "Alle vier vier Jahre wurden durch die Polizei in Zeiten einer großen Untersuchung in einer Reihe einer Untersuchung in einer <unk> Untersuchung und <unk> <unk> <unk> und <unk> <unk>\r\n",
      "Sie und 32 anderen Männer wurden später nach <unk> <unk> und <unk> <unk> sich nach mehr als <unk> in einer Reihe von <unk> während einer Reihe von <unk>\r\n",
      "Die <unk> <unk> Informationen über <unk> weil wegen ihrer <unk> ihre <unk> <unk> ausgesetzt <unk> wäre ausgesetzt <unk>\r\n",
      "Heute ist heute <unk> <unk> gegen <unk> <unk> die in <unk> <unk> <unk> auf <unk> Grundlage vor Gericht gestellt worden <unk> nachdem es sich um <unk> <unk> zwei <unk> des <unk> <unk> <unk> <unk>\r\n",
      "Er hat <unk> dass er in früheren <unk> <unk>\r\n",
      "Der so genannte <unk> mit dem ursprünglichen Titel <unk> zur <unk> des <unk> <unk> <unk> des <unk> <unk> des <unk> <unk> <unk> ist ein <unk> Werk von <unk> <unk> von <unk> Franz <unk> aus <unk> wurde fast fast einmal veröffentlicht und wurde fast <unk>\r\n",
      "Die <unk> <unk> <unk> ist angesichts der <unk> in der Kirche als Teil der Kirche <unk>\r\n",
      "Unter dem <unk> der <unk> wird die <unk> von <unk> mit dem <unk> von <unk> <unk> Musik und von <unk> <unk>\r\n",
      "<unk> <unk> <unk> bietet das Vertrauen des Vertrauens\r\n",
      "Der rasche <unk> des Rates wird den grundlegenden Weg für die Gleichstellung der Geschlechter im <unk> <unk> <unk> <unk> <unk>\r\n",
      "Dann wird es nur eine gemeinsame <unk> <unk> für alle sechs Monate <unk>\r\n",
      "In einem gemeinsamen Treffen über <unk> <unk> die Ausschüsse von <unk> <unk> <unk> <unk> und <unk> vorbereitet für die <unk>\r\n",
      "Das ist deshalb noch keine weiteren Änderungen zur Erreichung des grundlegenden <unk> der <unk> und es ist Sache der <unk> diese Art von so zufrieden <unk> wie zufrieden <unk> eine Art <unk>\r\n",
      "Während des Tages war ein Mensch vor allem die <unk> auf das neue System des neuen Systems zu <unk> doch es wird <unk>\r\n",
      "Die äußerst konstruktive Gespräche zwischen sechs Ausschüssen und den Mitgliedern des <unk> <unk> <unk> <unk> Themen von <unk> und Erwartungen hinsichtlich des <unk> <unk> bis zum Jahr 2015 konkrete Vorschläge bezüglich der künftigen Zusammensetzung und Größe des <unk>\r\n",
      "Die regionale Entwicklung hat Georg <unk> erklärt die neue <unk> für <unk> in der Region mit Hilfe einer <unk>\r\n",
      "Laut Angaben zufolge wird die SE als Kirche eine Kirche <unk> unter öffentlichen <unk> die die Rechte und Pflichten der sechs einzelnen Gemeinschaften übernehmen <unk>\r\n",
      "Dann wird es nur eine gemeinsame <unk> <unk> und eine Stiftung in der <unk> in dem die <unk> durch seine <unk> vertreten sein <unk>\r\n",
      "Von jedem einzelnen Abgeordneten werden mindestens zwei gewählte Mitglieder <unk> mit so genannten <unk> die in sechs <unk> in sechs Jahren festgelegt <unk>\r\n",
      "In Zukunft wird ihre Aufgabe zur Förderung der Kirche auf lokaler Ebene <unk>\r\n",
      "Was die Frage der Finanzen der einzelnen <unk> <unk> so wurde die Notwendigkeit einer umfassenden Diskussion <unk>\r\n",
      "Der Plan für den <unk> für den <unk> in der EU ist für eine bestimmte Frist <unk>\r\n",
      "Die anderen <unk> werden über den anderen <unk> <unk> da eine <unk> <unk>\r\n",
      "In der Slowakei wurden die Schulden von <unk> die sich damit auf alle anderen Ebenen <unk> die Auswirkungen auf große <unk>\r\n",
      "Die Investitionen wurden nur in Projekten nur in Projekten erzielt <unk> die durch die einzelnen <unk> durch den <unk> von <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Die Vorsitzende des Ausschusses für <unk> <unk> <unk> <unk> <unk> hat praktische Erfahrungen aus einem gemeinsamen Ausschuss für fünf Jahre <unk>\r\n",
      "2006 legte sie selbst die <unk> <unk> <unk> <unk> bleiben und war <unk> dass die Aufgabe wirklich nicht <unk> dass die Aufgabe wirklich nicht <unk>\r\n",
      "Die <unk> des <unk> <unk> <unk> die auf Fragen Fragen bezüglich Fragen bezüglich der künftigen Zusammensetzung und Größe der gemeinsamen <unk> sowie die praktische Arbeit der Kirche <unk>\r\n",
      "Die spezifischen Einzelheiten werden in späteren Treffen und in einem zusätzlichen gemeinsamen Treffen aller sechs Ausschüsse in den kommenden sechs Ausschüssen sechs Ausschüsse <unk>\r\n",
      "Am <unk> <unk> Michael <unk> Michael <unk> vom <unk> präsentiert das neue Logo des <unk> <unk> das vom klaren <unk> angenommen worden <unk>\r\n",
      "<unk> ist in Europa mehr teuer in <unk>\r\n",
      "Die Bürger der <unk> werden sich auf hohe <unk> anpassen <unk>\r\n",
      "Als Direktor des <unk> <unk> <unk> <unk> bestätigt sich die Familien von vier <unk> Familien in <unk> am <unk> werden am Ende 2009 jährlich 90 Euro pro Jahr <unk>\r\n",
      "Ein großer Grund für den bevorstehenden Preis ist die Zunahme der so genannten <unk> von <unk> bis <unk> bis <unk>\r\n",
      "Diese <unk> wird durch die vier Betreiber der großen <unk> im Oktober jedes Jahr <unk>\r\n",
      "Sie erwarten die zusätzlichen Kosten für sie <unk> da sie infolge des <unk> durch das <unk> auf dem <unk> der <unk> im <unk> zurückkehren <unk>\r\n",
      "Die <unk> <unk> bildet das letzte Zusammenhang mit diesem <unk>\r\n",
      "In der Zwischenzeit hätte eine gute finanzielle Lage <unk> dass die lokalen Behörden mit hohen <unk> <unk>\r\n",
      "Gemäß dem Zeitpunkt der Zeit nach Zeit hat dies zu Beginn der Zeit zur Verringerung der Emissionen reduziert <unk>\r\n",
      "Es gibt <unk> dass wir in der Tat dafür verpflichtet werden <unk> diese Subventionen aus verschiedenen <unk> zu <unk>\r\n",
      "Unter anderem müssen die Städte und <unk> Anwendung der Beihilfen für die Subventionen bestimmte <unk> <unk>\r\n",
      "Die Frage muss Gegenstand des Themas <unk> <unk> da es Investitionen in die kommenden Jahre für die nächsten Jahre 2007 in den kommenden Jahren tun <unk> um diese <unk> zu <unk>\r\n",
      "<unk> <unk> - <unk> <unk> <unk> Mitglied für 60 Jahre\r\n",
      "Seit 60 Jahren ist eine <unk> für 60 <unk> <unk> Geschichte mit dem <unk> <unk> <unk> so lange wie dieses der <unk> während der <unk> während der <unk> <unk>\r\n",
      "Wie je zuvor war es auf der Bühne in Farbe seiner <unk> Stimme <unk>\r\n",
      "Selbst nach 60 Jahren ist er noch viel Freude von <unk> mit dem <unk> mit dem es viel mehr als <unk> während dieses Berichts erreicht worden <unk>\r\n",
      "Das ist auch aktive Rolle im <unk> als Mitglied des Ausschusses für 28 <unk> unter anderem unter anderem unter anderem unter anderem unter anderem unter anderem unter anderem als Mitglied des <unk>\r\n",
      "Für seine Verpflichtung und <unk> an die <unk> hat er mehrere <unk> <unk> <unk> <unk> <unk> <unk> im Namen des <unk> <unk> <unk> er hat ihm mit einem <unk> <unk> und ein Schreiben von <unk> unterzeichnet von <unk> <unk> - die <unk> - <unk>\r\n",
      "Seine <unk> Kollegen haben ihn mit einem deutschen <unk> <unk> und eine <unk> <unk> <unk>\r\n",
      "Die <unk> von <unk> <unk> <unk> <unk> wie <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> und <unk> die <unk> <unk> <unk> <unk> und <unk> die 400 oder <unk> <unk> die 400 oder so genannte <unk> <unk>\r\n",
      "Die <unk> <unk> <unk> haben Dinge mit <unk> Lieder wie <unk> <unk> und <unk> ihre <unk>\r\n",
      "Sie hatten auch eine kurze <unk> als Anerkennung für ihre <unk> <unk> <unk> <unk> - Wolfgang <unk> <unk> <unk> <unk>\r\n",
      "Die <unk> <unk> <unk> <unk> auch klassische <unk> wie <unk> durch <unk> <unk> <unk> <unk> <unk> und das <unk> <unk> Sie haben heute <unk> <unk> <unk>\r\n",
      "Mit seiner <unk> <unk> und seiner <unk> - <unk> - <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Die <unk> <unk> die sich auf ausländische Länder mit dem <unk> <unk> <unk> <unk> und <unk> <unk> indem sie von <unk> <unk> während der <unk> auch auf ausländische <unk> und <unk> <unk> wurden auf ihre <unk> <unk>\r\n",
      "Die <unk> Division des <unk> <unk> <unk> hat ihren <unk> mit <unk> <unk> durch Hans <unk> und Robert <unk> <unk> während die <unk> Music Society für <unk> <unk> <unk> während der <unk> Music Society the <unk> <unk>\r\n",
      "Beispielsweise gab es ein kleines <unk> das <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> und <unk> sowie einige <unk> die die Kinder in ganz Europa <unk>\r\n",
      "Die Träume reichen echte Hoffnungen\r\n",
      "In den nächsten Jahren wird die Schulen und <unk> in <unk> <unk> <unk>\r\n",
      "Die <unk> <unk> <unk> <unk> in Zusammenarbeit mit <unk> und der <unk> <unk> <unk> würde den Institutionen in der Gewährung ihrer Konstruktion und Erneuerung der <unk> <unk>\r\n",
      "Ist die Schule der <unk> eine neue <unk>\r\n",
      "Alle <unk> und <unk> aus gesamten <unk> können sich in der gesamten Region <unk>\r\n",
      "Wenn sie einen Bau oder <unk> für ihre <unk> <unk> können sie dies mit dem <unk> <unk>\r\n",
      "Lernen Sie kreative mit Ihrer Kinder und Überraschung des <unk> des <unk> <unk> <unk> <unk> <unk>\r\n",
      "Ein Gremium aus Vertretern von Vertretern des <unk> <unk> und <unk> wird drei Wünsche aus diesen Ländern wählen und drei Wünsche aus diesen Ländern wählen <unk>\r\n",
      "Was sind die Anforderungen für <unk>\r\n",
      "Es muss möglich <unk> die Nutzung von Materialien für einen maximalen Wert von <unk> zu <unk> und auf einem <unk> <unk>\r\n",
      "Zweitens müssen die Gewinner eine Reihe von <unk> <unk>\r\n",
      "Was ist die Kampagne des <unk> und die <unk>\r\n",
      "Der <unk> <unk> <unk> <unk> dass sich die <unk> in den <unk> und <unk> wiederholt wiederholt hat und so dass sie nicht gespielt werden <unk>\r\n",
      "Es war erst 15 Jahre vor <unk> dass Lösungen für das Problem gelöst worden waren und wenn die Konstruktion eines dritten <unk> auf dem <unk> oder auf der <unk> über <unk> <unk>\r\n",
      "Beide Ideen waren <unk>\r\n",
      "Vor sechs Jahren haben wir Gedanken <unk> dass sich eine <unk> <unk> <unk> die als perfekte <unk> angesehen worden <unk>\r\n",
      "Die Pläne wurden zwei Jahre später zwei Jahre lang <unk> Als der FC <unk> in <unk> einen Beitrag zur Schaffung des Bau des Bau des <unk> und des <unk> angenommen <unk> wurde ein <unk> von Euro <unk>\r\n",
      "Im Oktober 2007 hat der <unk> die verbleibenden Mittel zur Verfügung gestellt und die restlichen Ausgaben für die Ausgaben für die <unk> von <unk> <unk>\r\n",
      "Die Arbeit begann am 68 <unk> <unk> <unk> <unk> auf 4 <unk>\r\n",
      "Während des <unk> in drei <unk> <unk> <unk> <unk> wurden <unk> Meter von der Hälfte der Hälfte eines <unk> <unk> <unk>\r\n",
      "Die Union und die <unk> haben ihre Koalition mit der Problematik der inneren Angelegenheiten und der <unk> <unk>\r\n",
      "In diesem Zusammenhang hat die zuständige Arbeitsgruppe dieses <unk> <unk>\r\n",
      "Unter anderem diskutiert Themen über die direkte <unk> die direkte <unk> und die <unk>\r\n",
      "Während der Krise und Integration der <unk> hat auch die <unk> ihre <unk> weiter <unk>\r\n",
      "Unter den Themen ist es <unk> dass es sich um zwei Seiten <unk> in denen beide Seiten gegen beide Seiten gegen beide Seiten gegen beide Seiten Widerstand gegen die Diskriminierung <unk>\r\n",
      "Die <unk> würde ein Ende des <unk> <unk> um Kinder zu einer <unk> zu einer Steuer - die Union zu einer <unk> - der Begriff einer doppelten Mehrheit zu <unk>\r\n",
      "Was das Thema <unk> <unk> das nicht auf Tagesordnung für diese Entschließung <unk> so hat seine Opposition seine Ablehnung für eine <unk> <unk> die durch die Kommission gefördert worden <unk>\r\n",
      "Eine <unk> würde eine <unk> für <unk> Fahrer und <unk> <unk> damit es damit <unk> dass die <unk> für Fragen im Zusammenhang mit <unk> <unk> im Schreiben von <unk> in einem Schreiben zum Ausdruck gebracht werden <unk>\r\n",
      "Es wäre eine Bedrohung der <unk> auf dem <unk> auf dem sich bereits schwere <unk> <unk>\r\n",
      "Die Einführung einer <unk> für Autos wäre auch nur ein erster <unk> in <unk>\r\n",
      "Die Gefahr ist das Risiko für die <unk> dass die Entschädigung für Deutschen in einem späteren Punkt in <unk> <unk>\r\n",
      "<unk> Thomas <unk> in <unk> Die <unk> über die <unk> <unk>\r\n",
      "Stuttgart - <unk> wird im Sommer 2007 nicht die Frage <unk> die Frage der <unk> auf dem <unk> <unk> Theater auf <unk>\r\n",
      "Es war wirklich ein tropischen Abend in <unk>\r\n",
      "Das bedeutet daher die ideale Bedingungen für <unk> <unk> Thomas <unk> und seine <unk>\r\n",
      "Klicken Sie mit dem Bild der Leistung des <unk> <unk>\r\n",
      "<unk> schwere Schäden in Unfall\r\n",
      "Ein <unk> Auto aus <unk> wurde schweren Schaden auf einem Unfall am Donnerstag <unk>\r\n",
      "Nach Angaben des <unk> wurde eine <unk> aus dem <unk> <unk> in seinem Auto auf dem Auto in seinem Auto auf dem Weg zu <unk>\r\n",
      "Wie er sich damals wieder in Erinnerung <unk> hat er Guantánamo <unk> Straßen nicht <unk> die <unk> <unk>\r\n",
      "Die Fahrzeuge haben die Fahrzeuge <unk>\r\n",
      "Die <unk> <unk> <unk> und musste sich auf das Krankenhaus für das Krankenhaus <unk>\r\n",
      "<unk> Straße nach dem Unfall auf dem <unk>\r\n",
      "Nach dem Unfall wurde der Unfall als <unk> eines Schweizer <unk> Ibiza <unk> Ibiza Stadt Stadt Stadt Bay Stadt <unk>\r\n",
      "Das <unk> wird auch einige Punkte für die <unk> <unk>\r\n",
      "Die Entscheidung ist offen bis vor wenigen Stunden vor Beginn des <unk>\r\n",
      "Mit dem <unk> <unk> und der <unk> <unk> <unk> die halb halb halb halb halb halb halb eine halbe Stunde dauern <unk> gibt es viel zu <unk>\r\n",
      "In der <unk> Fans von <unk> wird Musik für ihre <unk> ihre <unk> <unk>\r\n",
      "Derzeit spielen die <unk> die <unk> auf Worte von <unk> <unk> und vielleicht auch ihre Liebe als <unk> <unk> von <unk> <unk> von <unk> <unk>\r\n",
      "Die Band spielt <unk> und <unk>\r\n",
      "Außerdem enthält ihre <unk> auch <unk> und eine vollständige Band <unk>\r\n",
      "Die <unk> von <unk> unter den <unk> unter den <unk> wird auch besser bekannt sein als die <unk> <unk> <unk> und schwarze <unk>\r\n",
      "In der Zwischenzeit schien er im <unk> in <unk> und die <unk> <unk> <unk> <unk>\r\n",
      "Am <unk> wird die Initiative der Gesellschaft <unk> die Zivilgesellschaft mit einem Morgen mit dem <unk> <unk> <unk> mit dem <unk> <unk> als Gast von <unk> <unk> und anschließend die <unk> zu einem <unk>\r\n",
      "Die <unk> wird unter anderem mit dem <unk> <unk> <unk> mit dem Programm <unk> <unk>\r\n",
      "Andere Punkte in der <unk> am Samstag und Sonntag gehören die <unk> Auto und <unk> und Ausstellungen von Unternehmen auf dem Thema der Landwirtschaft und <unk>\r\n",
      "Weitere Attraktionen auf Sonntag sind die <unk> <unk> und <unk>\r\n",
      "Für die <unk> gibt es eine <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> und <unk>\r\n",
      "Das Ereignis organisiert durch die Gemeinschaft von <unk> die <unk> und die <unk> <unk> <unk> <unk>\r\n",
      "Eine Übersicht über Milch und <unk>\r\n",
      "Die Ernährung fördert die <unk> für <unk> Milch und <unk>\r\n",
      "Die <unk> mit <unk> für <unk> dient als Ersatz für <unk> <unk>\r\n",
      "Die <unk> Assoziierungsabkommen wird weitere Beispiele für den Tag der <unk> über den 1. Mai <unk>\r\n",
      "Am <unk> am Tag des <unk> am 1. Mai wird die Vereinigung von <unk> <unk> ein Großteil von <unk> <unk>\r\n",
      "Die <unk> ist eine gute Alternative zur <unk> während die <unk> durch <unk> ersetzt werden <unk>\r\n",
      "Die <unk> <unk> oder <unk> können in der Lage verwendet <unk>\r\n",
      "Die <unk> <unk> kann traditionelle <unk> <unk>\r\n",
      "Es gibt auch alternative Alternativen zur <unk>\r\n",
      "Eine <unk> <unk> <unk> für <unk> kann ein <unk> als verbindlich in einem <unk> <unk>\r\n",
      "50 % des <unk> von <unk> oder einer <unk> von <unk> plus drei <unk> sind ebenfalls <unk>\r\n",
      "Ein <unk> wird durch eine Mischung von <unk> mit einer Mischung von einer Mischung von einer Mischung von <unk> <unk> und drei <unk> von <unk> sowie drei Drittel der <unk> für Kinder <unk>\r\n",
      "50 % der <unk> von <unk> oder <unk> können auch diese <unk> erfüllen <unk>\r\n",
      "Nach Angaben des <unk> von <unk> über die <unk> Universitäten haben derzeit drei <unk> <unk> d. h. eine <unk> <unk>\r\n",
      "<unk> in New York\r\n",
      "Was ihre <unk> in <unk> <unk> so muss die Schule der <unk> <unk> Schule der amerikanischen Stadt New York bekannt kennen <unk>\r\n",
      "Nach einer <unk> <unk> haben sie unmittelbar für <unk> über <unk> über die das Herz des <unk> <unk> erreicht werden <unk>\r\n",
      "Daniel <unk> ist mehr als ein <unk> <unk> während er van natürlich <unk> <unk>\r\n",
      "Aber ich habe eine <unk> mit ihm - <unk> - <unk>\r\n",
      "Es gab bereits zwei Ereignisse in der <unk> <unk> <unk>\r\n",
      "Oder vielleicht mehr <unk>\r\n",
      "Das ist deshalb nicht mehr außerhalb des <unk> als in - Café <unk> <unk> hat nicht davon entfernt <unk>\r\n",
      "Aber es gab auch die <unk>\r\n",
      "Die beiden <unk> fanden sie erfolgreich und <unk>\r\n",
      "Aber es war nicht für <unk>\r\n",
      "Vielleicht ist Daniel <unk> nicht ein <unk> Fan von <unk> <unk> <unk> nur nicht bitte kann ich Ihnen nicht <unk>\r\n",
      "Und mit einer <unk> ich bin stets nur an diejenigen <unk> die sich im Interesse des <unk> geäußert <unk>\r\n",
      "Aus diesem Grund werden die Ereignisse stets eine Ausnahme für die Rechtsstaatlichkeit <unk>\r\n",
      "Die <unk> wollen so wenig wie möglich <unk> wie möglich möglich <unk>\r\n",
      "Das ist auch für die <unk> <unk> auch für <unk>\r\n",
      "Das ist mit Blick auf Qualität der Produkte und die <unk> sowie das Team sowie das Team sowie die <unk> Einrichtung auf dem <unk>\r\n",
      "Die Straße ist schnell ein <unk> <unk>\r\n",
      "Das ist die Freude vieler <unk> <unk> Gäste aus nahe und weit und die <unk> die die <unk> <unk> und mit ihnen <unk> <unk> für <unk>\r\n",
      "<unk> <unk>\r\n",
      "Ein Tag des Tages hat sich <unk> <unk> in <unk> <unk>\r\n",
      "Dieses Jahr hat Präsident <unk> <unk> <unk> eine Einladung an seine <unk> <unk> <unk> die 52 <unk> <unk> und ihre <unk> waren glücklich <unk>\r\n",
      "In der Zwischenzeit haben wir im <unk> Inn in <unk> alle diese <unk> <unk> im Namen des <unk>\r\n",
      "Der Jahrestag des <unk> ist auch immer die richtige <unk> die <unk> zu <unk>\r\n",
      "Diese Zeit ist jedoch <unk> dass die <unk> des <unk> der <unk> der <unk> der <unk> der <unk> <unk>\r\n",
      "Sie haben nur noch unzählige Einzelheiten für <unk> <unk> aber Sie haben auch viel Arbeit für die <unk> und für diese <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Die Auszeichnung für Teilnahme an den Leistungen und <unk> durch die Präsentation des <unk> <unk> dieses Jahr wurde dieses Jahr <unk> <unk> mit 44 <unk> <unk> gefolgt von 44 <unk> <unk> gefolgt von 44 <unk> <unk> den Vorsitzenden und letzten <unk> des <unk> Friedrich <unk> jedes Jahr <unk>\r\n",
      "Die <unk> fand in <unk> <unk> für die Organisation von <unk> für die Organisation von Musik <unk>\r\n",
      "Der Vorstand hat dank des <unk> <unk> dank des <unk> <unk> <unk> <unk> das erneut diese heutige Liste mit einer obersten Klasse und zur <unk> des <unk> für den Tisch <unk>\r\n",
      "Die <unk> erfüllt sich für ihre regelmäßigen <unk> in der <unk> alle Dienstag am <unk>\r\n",
      "Die Stimmen der Liebe zu <unk> sind mehr als willkommen zu <unk> <unk>\r\n",
      "Die Vereinten Nationen haben neue Ziele zur Bekämpfung Armut\r\n",
      "Die Vereinten Nationen versuchen unverzüglich auf neue Elemente von Zielen zur Einführung des <unk> <unk> die vor zwölf Jahren vor zwölf Jahren vor dem Kampf gegen globale <unk> eingeleitet werden <unk>\r\n",
      "<unk> <unk> spielte eine entscheidende Rolle bei der Förderung von <unk> für <unk> die die <unk> in <unk> <unk> die in Rio de <unk> <unk> in Rio de <unk> <unk> <unk>\r\n",
      "Sie wurden im endgültigen Entwurf des Berichts von <unk> <unk> die von führenden Politikern einschließlich von Frau <unk> unterstützt werden <unk>\r\n",
      "Sowohl die <unk> als auch die <unk> müssen sie nicht verhindern <unk>\r\n",
      "Aber nach Ansicht des Kollegen <unk> wurde nach seiner Rede <unk> als Redner <unk> das <unk> <unk> <unk>\r\n",
      "Er sagte <unk> dass er das Abkommen nicht mehr anerkannt wurde und nicht mehr respektiert werden <unk>\r\n",
      "Die Vision ist jedoch <unk> die <unk> zu <unk> aber mit <unk> Herr <unk>\r\n",
      "Die Gespräche zwischen den Parteien haben kaum zu einer Reihe von Spannungen <unk> um Spannungen zu <unk> diese <unk> dieses <unk>\r\n",
      "Zwei große Männer sind <unk> und <unk> <unk> <unk> <unk> Joseph <unk> eine <unk> auf dem Open University und <unk>\r\n",
      "Nicht sind sie gute <unk> und weder sind sie bereit bereit zu <unk> die Art von <unk> zu <unk>\r\n",
      "Die <unk> die seit <unk> Jahren für <unk> <unk> hätte bereits gesagt <unk> dass es in <unk> <unk> <unk> <unk>\r\n",
      "Die parlamentarische und parlamentarische <unk> sind für nächste Woche <unk>\r\n",
      "Einige <unk> haben ihre Verwendung als Versuch eines <unk> <unk> zur Teilnahme an <unk> und finanziellen <unk> aus dem <unk> <unk>\r\n",
      "Die Abstimmung über die Abstimmung wurde seit <unk> <unk> da eine <unk> <unk> die demokratischen <unk> von <unk> <unk> die durch einen ehemaligen <unk> <unk> <unk> <unk> seine Beweis auf der Verbesserung seiner <unk>\r\n",
      "Herr <unk> sagt Herr <unk> - wer aufgrund seiner zweiten Amtszeit nach vorn sein <unk> wenn seine zweite Amtszeit im kommenden Jahr das <unk> <unk>\r\n",
      "Aber nicht will ich <unk> dass er nicht transparent <unk> er will nicht transparente Wahlen <unk> weil er nicht die <unk> Herr <unk> <unk>\r\n",
      "Es ist nicht <unk> wie viel Kapazität <unk> aber es hat <unk> Angriffe auf <unk> auf <unk> und Fahrzeuge auf einem zentralen <unk> <unk>\r\n",
      "Die meisten des <unk> haben in <unk> <unk> <unk> die mehrere hundert Kilometer südlich von <unk> <unk> aber <unk> die Häfen <unk> die darunter Rio <unk> einschließlich von Rio <unk>\r\n",
      "In Afrika wurde Rio seine Verwendung von <unk> nach einer Woche nach einer Woche nach einer Woche <unk>\r\n",
      "Herr <unk> war <unk> wenn Sie über <unk> ob wir diese Frage wiederholen <unk>\r\n",
      "Die internationale Gemeinschaft wollte die internationale Gemeinschaft <unk> dass sich Dinge nicht in <unk> Herr <unk> <unk>\r\n",
      "Die Instabilität hat sich mit dem <unk> <unk> <unk> <unk> <unk> <unk> <unk> einen unabhängigen <unk> mit vielen Menschen mit vielen Menschen über die <unk> Entwicklung und eine jüngste <unk>\r\n",
      "Die Verantwortlichen für die Zukunft des Landes sind die Regierung und die <unk> und er sollte es auch für eine Lösung gefunden werden und es sollte Lösungen für die Zukunft <unk>\r\n",
      "Die <unk> haben eine <unk> <unk> die nur wenige Menschen <unk>\r\n",
      "Aber eine <unk> über <unk> und <unk> sie wollen nur Frieden <unk> sie wollen freien Zugang zu den <unk> er <unk>\r\n",
      "Kinder sollten <unk> und <unk> als Beispiel für eine Art <unk> <unk> <unk>\r\n",
      "Die Erweiterung der <unk> könnte sich nicht <unk> Stärke ist kein Druck für <unk> <unk> während die <unk> die Bedeutung einer <unk> <unk>\r\n",
      "Leider wäre viele der <unk> wären zu viel zu spät und in einigen Fällen viel zu spät zu <unk> und in einigen Fällen muss man <unk> dass eine <unk> von <unk> <unk> <unk> <unk>\r\n",
      "Es ist jedoch <unk> dass es in <unk> <unk> und <unk> bereits einen Teil in <unk> <unk> er hat ihn <unk>\r\n",
      "Ich habe es als Plan für zwanzig Jahre <unk>\r\n",
      "Er enthält die Autoren und Lehrer <unk> die <unk> <unk> ist ein <unk> für <unk> mit Botschaften <unk> die in schönen <unk> <unk>\r\n",
      "Die <unk> die sich aus <unk> als <unk> bezeichnet und schriftlich das Buch von <unk> <unk> und britischen <unk> <unk> <unk> mögen gute Absichten gut Gutes haben können aber auch besser daran <unk> sie gut zu <unk>\r\n",
      "Vielleicht ist vielleicht der große Unterschied zwischen einem Erwachsenen namens <unk> Schreiben für eine <unk> und ein <unk> Autor für ein Kind ist das notwendige Gefühl der <unk>\r\n",
      "Nicht alles muss einfach oder einfach ein <unk> <unk> <unk> aber das gibt es ein <unk> Gefühl guter und <unk> <unk>\r\n",
      "Und das muss man durch eine Geschichte <unk> anstatt sie zu <unk>\r\n",
      "Die <unk> wird ein Besuch in den <unk> <unk>\r\n",
      "Die Teilnehmer der Tour werden die Geschichte der Geschichte der Kirche und wird Einblick in die Entwicklung des <unk> <unk> in der Entwicklung des <unk> in <unk> was ein <unk> Gebiet durch und <unk>\r\n",
      "Im vergangenen Jahr wird nicht <unk> während die Kirche auch in den letzten <unk> die vom 20. <unk> <unk> von Friedrich <unk> mit Unterstützung Walter <unk> und Georg <unk> <unk>\r\n",
      "Es ist ein <unk> <unk> der berühmten Arbeit Leonardo da Vinci in <unk>\r\n",
      "Der <unk> für eine halbe Stunde ist die <unk> und eine halbe Stunde der <unk>\r\n",
      "Karten werden ab dem <unk> auf dem <unk> <unk>\r\n",
      "Das <unk> <unk> ist für Anfragen und Angebote <unk> Sie können Ihnen mit Ihnen <unk>\r\n",
      "Die weitere Aussage kann in Russland weitere Erklärungen\r\n",
      "Die ehemalige amerikanischen <unk> <unk> <unk> können weitere Erklärungen bezüglich der <unk> von seinem russischen <unk> aus seiner russischen <unk> <unk>\r\n",
      "Die <unk> der Bundesrepublik <unk> könnten entweder Anfragen schriftlich schriftlich oder die <unk> in Person <unk>\r\n",
      "Das wurde von der Agentur der Agentur über Gruppen von Gruppen über Gruppen von <unk> <unk> die nicht in größeren Bereichen genannt worden <unk>\r\n",
      "Solche Angelegenheiten müssen geklärt werden und sie wurde in einer Regierungskonferenz <unk>\r\n",
      "Ein <unk> von Russland ist praktisch praktisch <unk>\r\n",
      "Das war jedoch auch <unk> er würde seine Status als <unk> gesagt und seine <unk> <unk> ihre <unk>\r\n",
      "Weil Deutschland ein Verbündeten des <unk> <unk> wäre es Gefahr <unk> wenn er <unk> wenn er <unk> <unk>\r\n",
      "<unk> zahlt <unk>\r\n",
      "<unk> Teams werden auf dem Club <unk> <unk>\r\n",
      "In der Zwischenzeit war es der <unk> des <unk> das die endgültige Entscheidung beschlossen <unk>\r\n",
      "Die <unk> der <unk> <unk> <unk> Sport <unk> <unk> <unk> für das Turnier für die lokalen Clubs und <unk>\r\n",
      "Der Schwerpunkt des Teams war am Spielen am Spielen <unk>\r\n",
      "fünf Spiele wurden für jedes Team für jedes Team <unk> mit jedem Team gegen alle <unk>\r\n",
      "Die Spiele waren mit langen <unk> bis zu neun Jahren bis zu neun Jahren oder maximal 45 % 45 <unk>\r\n",
      "<unk> <unk> <unk>\r\n",
      "Die Organisation des Turnier wurde in den Händen des <unk> <unk> <unk> die von Carmen Müller unterstützt und <unk> <unk>\r\n",
      "Nach dem ersten drei Spielen und einem Mittagessen mit <unk> mit <unk> in den entscheidenden <unk>\r\n",
      "Die <unk> <unk> <unk> wurden mit Michael <unk> und <unk> <unk> <unk> Teams aus dem <unk> <unk> <unk> dass die letzten zwei Spiele eine Chance produzieren <unk>\r\n",
      "Am <unk> Morgan Müller hat sich endlich Freude zur Freude des <unk> <unk> <unk> und Matthias <unk> die sich die größte Macht an der endgültigen Macht in den letzten Jahren gezeigt <unk>\r\n",
      "Der zweite Platz wurde vom Michael <unk> <unk> <unk> <unk> <unk>\r\n",
      "Die <unk> gingen auf <unk> und <unk> der <unk> <unk>\r\n",
      "Am späten Nachmittag Nachmittag begleitet sich mit Kaffee und <unk> das Turnier auf einem erfolgreichen <unk>\r\n",
      "Am letzten Wochenende in <unk> in <unk> <unk> <unk> <unk> <unk> <unk> in <unk> wird wieder einmal wieder in den Händen von <unk> <unk>\r\n",
      "Das Museum begrüßt die Besucher über einen Samstag und <unk> dieses Jahr am 24. und 25. <unk> bis 24 <unk> für Kinder und Familien als Teil des <unk> mit zahlreichen Aktivitäten und <unk>\r\n",
      "In enger Konsultation mit dem Rat sind wir jetzt in einer Position der <unk> die <unk> von technischen Mitteln zu <unk>\r\n",
      "In Zukunft wird er auch Dialog mit <unk> Dialog mit Russland <unk>\r\n",
      "Seit Matthias <unk> hat seit Matthias <unk> einige weitere Pläne in der EU <unk>\r\n",
      "Mit dem Bau des <unk> <unk> <unk> ist weiterhin Fokus auf Kohle für Kohle für die Macht von <unk> und ist eines der großen <unk> in diesem Sektor in <unk>\r\n",
      "Dank des <unk> für die Front des <unk> an eine Tiefe von <unk> ist es jetzt schon jetzt möglich <unk> sich auf <unk> <unk> <unk> <unk>\r\n",
      "Was wir <unk> so hoffen wir <unk> dass wir das 3. Jahr <unk> <unk> <unk> <unk>\r\n",
      "Die lokale <unk> die <unk> die <unk> die <unk> <unk> auch weiterhin auf die Macht von <unk>\r\n",
      "Wenn die <unk> in den <unk> über 5 Millionen Tonnen Tonnen Tonnen Tonnen Tonnen Tonnen Tonnen pro Jahr pro Jahr betragen <unk> wird das Jahr 2009 <unk>\r\n",
      "Das erste Schiff auf die Brücke und die zweite <unk> könnte diesen Anstieg des 10. <unk> <unk>\r\n",
      "<unk> <unk> <unk> <unk> trotz ersten <unk>\r\n",
      "Selbst ihre erste Niederlage in der <unk> könnte nicht die enormen <unk> des FC Bayern <unk> <unk>\r\n",
      "Die <unk> können uns <unk> dass wir uns auch gegen das beste Team in Europa über den letzten zwei Jahren <unk> <unk> nach dem <unk> <unk> nach dem <unk> <unk> <unk> nach dem <unk> <unk> <unk> <unk> <unk>\r\n",
      "Wir haben eine <unk> <unk> auch in <unk>\r\n",
      "In ihrer ersten drei <unk> in der ersten drei <unk> die Mannschaft des Teams von München hat sich das Team lange lange nicht ausreichend <unk> sondern nicht ausreichend <unk>\r\n",
      "Die Gäste haben sich <unk> ein Defizit in einem <unk> mit 13 Minuten zu <unk> mit 13 Minuten bis zum <unk> bevor sie sich wieder einmal wieder einmal <unk>\r\n",
      "<unk> hat wieder gegen die <unk> <unk> <unk> aber wieder einmal wieder einmal <unk> <unk>\r\n",
      "Wir stolz stolz auf unsere <unk> aber wir wollen alle <unk>\r\n",
      "Die <unk> und <unk> <unk> waren die am besten erfolgreiche <unk> für den <unk> <unk> der sich gegen die italienische Serie <unk> <unk> <unk> und die polnischen <unk> <unk> in ihren ersten zwei Jahren <unk>\r\n",
      "Ben <unk> Das <unk> <unk> der New York <unk> <unk> <unk>\r\n",
      "Man könnte <unk> dass New York City City die <unk> von <unk> <unk> in <unk> fast hundert Jahren <unk> die <unk> Frank <unk> die als Meister des <unk> auf dem Gipfel von <unk> Uhr wieder direkt an die <unk> in <unk> <unk>\r\n",
      "Die Innovation wurde durch die <unk> <unk> durch die New York <unk> <unk> <unk>\r\n",
      "Die <unk> und <unk> indem sie <unk> <unk> des <unk> <unk> <unk> das Festival <unk> seine <unk> Jahrestag dieses <unk> dieses <unk> mit mehr als <unk> <unk> und großen <unk>\r\n",
      "Die <unk> dieser <unk> schien auf <unk> und zu größerer Transparenz zu <unk> um zu <unk> wo sich die <unk> zu einer <unk> <unk> <unk>\r\n",
      "Wir haben dieses Festival als Weg für die Arbeit in Belarus <unk>\r\n",
      "Dieses <unk> umfasst natürlich durch <unk> <unk> <unk> und Bill <unk> sowie <unk> sowie <unk> für <unk> einen jährlichen Gewinn für militärische <unk> auf <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Wie das Festival bisher gezeigt <unk> hat die Welt der <unk>\r\n",
      "Mehrere der <unk> Teilnahme am <unk> wurde durch <unk> <unk> wie <unk> wie beispielsweise <unk> <unk> wie <unk> <unk> und <unk>\r\n",
      "<unk> <unk> erhebt sich auf eine <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> und jetzt hat seine eigenen <unk> <unk> <unk>\r\n",
      "Die <unk> ist ein <unk> Mitglied beider <unk> und <unk> und <unk> und <unk> obwohl sie bekannt bekannt bekannt für ihre <unk> <unk> die <unk> mit <unk> <unk>\r\n",
      "Sowohl die <unk> als auch andere junge <unk> mit <unk> Stimmen <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> Marken der amerikanischen <unk>\r\n",
      "Eines der größten <unk> wird ein <unk> David <unk> mit dem ich <unk> <unk>\r\n",
      "Steinberg begann als <unk> aber hat sie ein <unk> Fernsehen und Film sowie ein <unk> <unk> sowie eine <unk> <unk>\r\n",
      "In späteren Fällen haben die Opfer ihre Opfer <unk>\r\n",
      "Ein weiterer <unk> der eine der Frau hatte <unk> dass sich alle Frauen in ihrer <unk> <unk> ist noch immer eine <unk>\r\n",
      "Dies ist ein Fall des <unk> <unk> <unk> dass die Gewalt und Ausbeutung in diesem Bereich als <unk> bezeichnet werden <unk>\r\n",
      "Gestern hat das Nein zum Ausdruck gebracht <unk> Bedauern zum Bedauern des <unk>\r\n",
      "Die <unk> haben mich aus diesen <unk> und Hoffnung auf eine völlig normale Ära nach meinem Dafürhalten <unk>\r\n",
      "Öl erstreckt sich auf die <unk> um eine <unk> zu <unk>\r\n",
      "Der Preis für Öl wird am Freitag als Bedenken über hohe Gebühren <unk> ein Bericht <unk> das <unk> <unk> <unk> <unk>\r\n",
      "Die USA haben beispielsweise für Dezember 2008 14 Jahre lang eine <unk> durch <unk> Uhr in Europa in Europa in elektronischen <unk> auf dem New York <unk> <unk>\r\n",
      "Der Vertrag betrug 39 <unk> auf <unk> <unk> es wird <unk> Prozent des Monats für den Monat von <unk> <unk>\r\n",
      "Die Lieferungen der <unk> haben auf den Preis in den letzten Jahren <unk>\r\n",
      "Das <unk> sagte am Mittwoch <unk> dass amerikanische <unk> Millionen Euro <unk> Millionen Euro <unk>\r\n",
      "Mehr als 25 Millionen Euro sind über 25 Millionen Euro <unk>\r\n",
      "Aber ein Vorschlag für stärkere Nachfrage wurde vom Freitag über chinesische <unk> von zwei Berichten über chinesische <unk> <unk>\r\n",
      "Das schlägt <unk> dass die wirtschaftliche Erholung der Wirtschaft nach Wachstum in den dritten Jahren fortgesetzt werden <unk> um Wachstum in den dritten <unk> in den vorangegangenen Jahren zu <unk>\r\n",
      "Die <unk> eines <unk> für internationale <unk> wurde auch durch amerikanische <unk> <unk> um <unk> zu <unk> einen <unk> auf dem <unk> im <unk>\r\n",
      "Der Gerichtshof auf <unk> <unk> Politik auf <unk>\r\n",
      "Ein <unk> Gericht gegen Donnerstag blockiert einen <unk> <unk> eine <unk> die Veränderungen auf dem New York <unk> Programm für <unk> <unk> und das Gericht vom Richter aus dem <unk> <unk>\r\n",
      "Der zweite amerikanische <unk> Gerichtshof hat den Entscheidungen von <unk> <unk> <unk> <unk> werden bis zum Ausgang eines Aufruf seitens des Parlaments bis zum Ende des Jahres <unk>\r\n",
      "Der Richter hatte im August die Verfassung <unk> die Verfassung in der Vergangenheit <unk> er hat ihr Programm für <unk> und <unk> <unk>\r\n",
      "Die Stadt hat ihre Erkenntnisse und ihre <unk> einschließlich einer Entscheidung zur Überwachung einer Überwachung zur Unterstützung der <unk> ihre Politik sowie das <unk> mit <unk> mit <unk>\r\n",
      "Das <unk> Gericht sprach gestern Abend am <unk>\r\n",
      "Der Gerichtshof sagte <unk> dass das Gericht vom Fall des <unk> gestrichen werden <unk> weil sie <unk> dass er von dem Verhaltenskodex für <unk> durch <unk> die Notwendigkeit einer Reihe von <unk> und öffentlichen Erklärungen öffentlich <unk> um die Kritik an <unk> zu <unk> weil sie sich aufgrund einer Reihe von Medien <unk>\r\n",
      "Der Richter hatte <unk> dass die Polizei gegen die Bürgerrechte verletzt <unk> indem sie die Bürgerrechte von <unk> <unk> von Menschen durch <unk> <unk> schwarze und <unk> Männer mit ihren <unk> <unk>\r\n",
      "Sie hat außerhalb der <unk> eine Verbindung außerhalb der <unk> <unk> einschließlich Reformen in <unk> Ausbildung und <unk> und sie bot ein <unk> zur Prüfung von Kameras in einigen <unk> wo die meisten <unk>\r\n",
      "In Europa hat New York City City <unk> die Praxis der Praxis zu <unk> die Namen und Adressen von Menschen sind nach einer <unk> <unk>\r\n",
      "Ein mündlichen Argument für die <unk> Forderung nach dem <unk> nach März 2007 ist für <unk>\r\n",
      "Die <unk> wurde durch einige der Bürgerrechte <unk>\r\n",
      "Seit Jahrzehnten wurde seit Jahrzehnten in einigen Jahren in einigen Ländern <unk> aber <unk> unter der Verwaltung unabhängiger <unk> Michael Michael <unk> bis zum Jahr 2006 bis zum Jahr 2006 <unk> und <unk>\r\n",
      "Ein <unk> wurde vom Jahr 2000 vom Jahr vier Jahre <unk> und wurde eine Klasse <unk>\r\n",
      "Die Änderung Änderungen des <unk> <unk> das Programm <unk> wird die Änderungen <unk> <unk> werden <unk> und wirksame <unk> und wirksame <unk> sowie mögliche <unk> wie andere <unk> nutzen <unk>\r\n",
      "Die Änderung würde die Änderungen niedrigeren <unk> <unk> aber nicht <unk> und nicht lösen keine <unk> Probleme eines <unk> unter Druck des <unk> nach <unk> während der letzten <unk> während der letzten <unk>\r\n",
      "Der Richter hat sie <unk> sie hat ein Ende des <unk> <unk> das <unk> aber die Art und Weise war die Art und Weise seiner <unk>\r\n",
      "Ist er über <unk>\r\n",
      "Er sagt er <unk> wir sagen <unk> dass er <unk>\r\n",
      "Die Rede von einer Angelegenheit mit einer <unk> mit einer <unk> die sich durch die <unk> <unk> als eine Quelle <unk> die Frau <unk> interessiert <unk> war <unk> <unk> <unk> Ihre <unk> <unk> mit <unk> <unk>\r\n",
      "Ein <unk> von ihrem Telefon auf mindestens drei Male war von <unk> <unk> von <unk> im August <unk>\r\n",
      "Auch fanden auch Listen über den privaten <unk> Computer über den Computer von Frau <unk> und ihre <unk> als <unk>\r\n",
      "Während der Zeit wurde Frau <unk> Frau <unk> <unk> <unk> gefordert <unk> Forderungen Informationen über <unk> Herr <unk> <unk>\r\n",
      "<unk> ehemalige <unk> <unk> <unk> und ehemalige <unk> James <unk> <unk> Überwachung von Frau <unk> <unk>\r\n",
      "Wenn Sie ein <unk> am 18. Juni <unk> sagte <unk> <unk> sagte <unk> dass eine Geschichte zur Planung von <unk> morgen wirklich gern mit Charles <unk> sprechen <unk>\r\n",
      "Herr <unk> sagte <unk> Engagement in der Geschichte in der Geschichte als mit anderen wichtigen <unk> wie ehemalige <unk> wie ehemalige <unk> David <unk>\r\n",
      "Die Jury hat am Donnerstag <unk> dass er sich mit einer Angelegenheit mit einer Angelegenheit mit einer <unk> Frau während einer Angelegenheit mit einer <unk> Frau <unk> <unk> die auf dem <unk> <unk>\r\n",
      "Die <unk> und <unk> lassen sich mit anderen <unk> zwischen Oktober 3 und August 9 <unk>\r\n",
      "<unk> und <unk> haben <unk> Telefon <unk>\r\n",
      "In <unk> gegen die geplante Steuer auf die geplante <unk> die französische Regierung wird sich tatsächlich mit dem ersten <unk> <unk>\r\n",
      "Ein <unk> Treffen ist ein Ende ohne <unk>\r\n",
      "In dem Konflikt über die Besteuerung auf die <unk> die Regierung und die berufliche <unk> in Frankreich haben sich nach einem <unk> <unk> nach einem <unk> <unk> <unk>\r\n",
      "Präsident <unk> begrüßt den Club und <unk> <unk> <unk> <unk> Palace über <unk> in denen er ihre <unk> <unk>\r\n",
      "Er verweigert sich <unk> die <unk> aus dem geplanten <unk> zu <unk> um die <unk> von <unk> zu <unk> um zu Lasten einer Million <unk> zu <unk> die jedes Unternehmen in dem Land zahlen <unk> zwei <unk> von <unk>\r\n",
      "Die Opposition blieb auch <unk>\r\n",
      "Der <unk> am Ende November wird jetzt <unk> über die <unk> der Union <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Der zweite und <unk> 2. und 2. Dezember zwischen 29 November und 2 Dezember wird somit damit <unk>\r\n",
      "<unk> Schutz des Schutzes von Sicherheit nicht möglich\r\n",
      "Die <unk> wollen die Bewohner in der Planung seit Beginn einer Phase wie <unk> <unk> <unk> <unk> <unk> <unk> Informationen über das <unk> im <unk> im <unk>\r\n",
      "Etwa 80 Teilnehmer kamen auf die <unk> <unk> <unk> die die geplanten Maßnahmen zur Kenntnis nehmen und ihre Bedenken zur Kenntnis nehmen und <unk>\r\n",
      "Die <unk> <unk> endgültige Entscheidungen werden von den Mitgliedern der Stadt <unk>\r\n",
      "<unk> - <unk> Die <unk> die die <unk> die sich auf 15 <unk> <unk> war ein entscheidender Ereignis im <unk> um die Frage der <unk> für die <unk> zu <unk>\r\n",
      "Ein <unk> wurde in Zusammenarbeit mit dem <unk> der <unk> <unk> die jetzt die Grundlage für die <unk> im <unk> <unk>\r\n",
      "Das Ziel des Ziels ist der Schutz des Schutzes von <unk> wie viele Entwicklungsländer wie <unk> gesagt <unk>\r\n",
      "Die Grundlage für die Pläne ist die Notwendigkeit des Schutzes von <unk> <unk> die sich jedes 100 Jahre nach dem deutschen <unk> <unk>\r\n",
      "Der Klimawandel berücksichtigt in Form einer <unk> 15 pro <unk>\r\n",
      "In <unk> wird dies als <unk> <unk>\r\n",
      "Das <unk> von Wasser verursacht in <unk> Jahren eine <unk> <unk> in <unk>\r\n",
      "Das ist kein solches <unk> wie absolute <unk> aber wir können versuchen zu <unk> eine relative Krise zu <unk>\r\n",
      "Er <unk> <unk> dass Computer <unk>\r\n",
      "Er schrieb eine <unk> der <unk> und <unk> was <unk> Menschen aus dem <unk> die <unk> von der <unk>\r\n",
      "Das ist die <unk> <unk>\r\n",
      "<unk>\r\n",
      "Ein Meister der Wissenschaft ist ein Meister der Wissenschaft <unk>\r\n",
      "Ein <unk> <unk>\r\n",
      "Seine Geschichten haben Filme wie <unk> <unk> Paul <unk> und <unk> <unk> <unk>\r\n",
      "Die Geschichte ist jetzt besonders <unk>\r\n",
      "<unk> Herr <unk> Die <unk> von <unk> und <unk> die <unk> des Kalten Krieges und die <unk>\r\n",
      "Hier ist das Prinzip des <unk> d. h. etwas <unk> das jetzt mehr oder weniger offizielle Parteien innerhalb des Weißbuch <unk>\r\n",
      "In der Tat ist es <unk> dass wir ähnliche Beispiele für unsere <unk> <unk> schauen und die Polizei haben Zugang zu diesem <unk>\r\n",
      "<unk> <unk> <unk> <unk> Nein zu <unk> sagt die Regierung <unk>\r\n",
      "Sie können sie vor ihnen <unk> bevor sie ein Akt der Demokratie übernehmen <unk>\r\n",
      "Die Gesellschaft ist unsere Gesellschaft nicht <unk> Wir haben keine <unk> sondern wir haben ein <unk> voller <unk> <unk> Sie lesen Zeit <unk>\r\n",
      "Sie nehmen davon <unk> dass schlechte Dinge passieren und verhindern <unk> dass sich die <unk> Haltung in Europa <unk>\r\n",
      "Die Geschichte ist als <unk> für die Gesetze und die <unk> der <unk> der <unk>\r\n",
      "Das ist natürlich auch wie <unk> <unk> Philosophie und Praktiken <unk>\r\n",
      "Die Geschichte ist jedoch noch nicht <unk>\r\n",
      "Der <unk> <unk> dass es keine <unk> <unk> der militärischen Kontrollen geben - und was wird das <unk>\r\n",
      "Dann wird sich selbst das Problem <unk> und ist eine künftige Zukunft einer künftigen <unk>\r\n",
      "Das System ist <unk>\r\n",
      "Es ist <unk> aber es ist <unk>\r\n",
      "Das ist seine eigene <unk>\r\n",
      "Es akzeptiert nicht nur Fehler und <unk> sondern <unk> sondern sich selbst auf <unk>\r\n",
      "Das System schafft die Bedrohung der <unk>\r\n",
      "Um die <unk> von K. <unk> zu <unk> bedeutet es <unk> die Zeit der Zeit und Zeit zu <unk>\r\n",
      "Erklärungen bezüglich des <unk> von Russland aus Russland\r\n",
      "Die ehemalige amerikanischen <unk> <unk> <unk> können weitere Erklärungen bezüglich der <unk> <unk> mit <unk> <unk> Angela <unk> von seiner russischen <unk>\r\n",
      "Die deutsche Federal Reserve könnte entweder schriftlich beantwortet oder Anfragen schriftlich schriftlich schriftlich schriftlich schriftlich schriftlich über die <unk> <unk>\r\n",
      "Grüne Party ist gestern Abend gestern die erste deutsche <unk> die erste deutsche <unk> um mit dem <unk> mit <unk> zu <unk>\r\n",
      "<unk> <unk> fördert die Wettbewerbsfähigkeit der <unk>\r\n",
      "Am späten August 2006 im August ein deutscher <unk> <unk> <unk> niedrige <unk> in den USA <unk> die finanzielle Hauptstadt von <unk>\r\n",
      "Die <unk> <unk> <unk> <unk> <unk> wenn es um die Nutzung einfacher <unk> <unk> wenn auf die <unk> <unk> <unk> <unk> <unk>\r\n",
      "Die <unk> sind dann wieder <unk>\r\n",
      "Es besteht jedoch Sorge <unk> dass kleine und mittlere Unternehmen für die <unk> und <unk> <unk>\r\n",
      "In der Tat sind viele dieser Unternehmen weltweit weltweit führend in ihren besonderen <unk>\r\n",
      "Die <unk> und mittlere Unternehmen sind häufig nicht die Mitarbeiter und finanzielle Mittel zur Sicherung der Wettbewerbsfähigkeit der Unternehmen wirksam gegen <unk> <unk> die <unk> in einem <unk>\r\n",
      "Die USA haben ihre eigenen Unternehmen über wirtschaftliche <unk> durch andere <unk>\r\n",
      "Die USA haben im Februar Frankreich in Frankreich unter Russland und Israel in einem zweiten Pfeiler der <unk> die sich an die wirtschaftliche Entwicklung <unk> hinter dem <unk> nach dem Beitritt der Washington <unk>\r\n",
      "Ein Mitglied eines deutschen <unk> Unternehmen <unk> dass es sich um wirtschaftliche <unk> <unk> die französische Bevölkerung sind die <unk>\r\n",
      "Der ehemalige <unk> ehemalige <unk> des französischen <unk> wurde in einem Interview dieses Monats als <unk> <unk> <unk> <unk> dass alle <unk> gut gut <unk> dass alle <unk> auch als <unk> in der <unk> <unk>\r\n",
      "Die <unk> Freihandelsabkommen bietet die Antworten auf <unk>\r\n",
      "Die wichtigste Aufgabe ist und bleibt die wichtigste Reise der Entdeckung einer Person kann man <unk> die <unk> <unk>\r\n",
      "Was die <unk> wie die <unk> <unk> so wurde jetzt ein besonderes <unk> in der <unk> in der EU <unk>\r\n",
      "Die Hersteller aller <unk> Produkte und Dienstleistungen wurden <unk>\r\n",
      "Ein <unk> das <unk> ist wieder einmal wieder einmal <unk>\r\n",
      "Das beginnt mit dem <unk>\r\n",
      "Das Weißbuch ist ein <unk> <unk> oder in <unk>\r\n",
      "In der Zwischenzeit stehen jedoch viele <unk> und <unk> oft mit einem <unk> während sie sich an die <unk> und häufig Ende eines <unk> <unk>\r\n",
      "Die Meinungen der Kommission sind als <unk> von der <unk> <unk> <unk>\r\n",
      "Beispielsweise sind beispielsweise ein <unk> und <unk> <unk> obwohl einige Menschen es <unk> oder <unk> <unk>\r\n",
      "Das <unk> ist <unk> es war <unk>\r\n",
      "Die <unk> sind nicht <unk> Das Ambiente sollte das Ambiente <unk>\r\n",
      "In diesem Zusammenhang hat die Kommission ihre eigenen Einrichtungen in der EU auf ihre eigenen Einrichtungen <unk>\r\n",
      "Der Link hat einen Angebot für jemanden <unk> das in einem <unk> eingerichtet werden <unk>\r\n",
      "Die <unk> sind auch für die <unk> von <unk>\r\n",
      "Die Menschen waren auch auf der <unk> Ideen für <unk> <unk> und <unk> <unk>\r\n",
      "Die <unk> wird zunehmend <unk> - dass es einige Tage nach dem <unk> vor einigen Tagen nach dem <unk> in ganz oben <unk> oder die <unk> aber in voller <unk> <unk> erklärt <unk> dass sie <unk> <unk> <unk>\r\n",
      "Viele weitere Einzelheiten für eine erfolgreiche <unk> wurden in der Kommission <unk>\r\n",
      "<unk> <unk> <unk> <unk> <unk> und auch eine solche Art wie <unk> <unk> die sich mit <unk> <unk> können mit <unk> <unk>\r\n",
      "Das korrekte <unk> und <unk> sind <unk>\r\n",
      "Alles braucht Sie eine <unk> <unk>\r\n",
      "<unk> <unk>\r\n",
      "Noch einmal wurde das <unk> aus dem <unk> <unk> <unk> <unk> auf einem <unk> <unk>\r\n",
      "Die staatlichen Beihilfen wurden kürzlich aktualisiert und wurden in der Zeit der staatlichen Beihilfen <unk> mehr <unk>\r\n",
      "Der Bericht enthält auch eine Liste von typischen <unk> durch Kinder von Kindern und <unk> die sich ein <unk> <unk>\r\n",
      "Die <unk> mag sich als etwas etwas <unk> denn etwas ist mein <unk> <unk> <unk> wie es es gibt oder <unk> <unk> <unk>\r\n",
      "<unk> von <unk> <unk> <unk> <unk> <unk>\r\n",
      "Deutschland war die erste europäische Nation zur <unk> einer dritten <unk> für <unk> <unk> mit <unk> <unk>\r\n",
      "Niemand wird mehr <unk> werden und <unk> oder <unk>\r\n",
      "Das neue Gesetz erfordert Eltern zu <unk> jede Gleichstellung für solche <unk> zu <unk> wodurch Eltern dazu <unk> die <unk> zu <unk> oder <unk> zu <unk>\r\n",
      "Das Ziel des Gesetzes bestand <unk> die Eltern <unk> die sich auf die <unk> Entscheidungen über <unk> <unk> für <unk> und Bekämpfung von Diskriminierung gegen diejenigen <unk> die sich <unk>\r\n",
      "Ein <unk> <unk> zufolge hat man seit dem <unk> <unk> <unk> und kein Mann oder eine <unk>\r\n",
      "Ich werde das <unk> von <unk> <unk> und <unk> <unk>\r\n",
      "Ein Schätzungen in <unk> Kinder geboren in <unk> Kinder geboren weder Jungen noch <unk>\r\n",
      "Sie sind Teil einer Gruppe von einer Gruppe von 60 <unk> die unter der Diagnose von sexuellen <unk> <unk> <unk> ein Begriff für diejenigen mit <unk> <unk> <unk> oder <unk> oder <unk> oder <unk> <unk>\r\n",
      "Die <unk> können jedoch auch <unk>\r\n",
      "Die Gleichstellung der Geschlechter ist noch nicht gut <unk> aber die meisten Experten in den Vereinigten Staaten sagen <unk> dass <unk> besser genutzt werden <unk> um die besten verfügbaren Informationen zu <unk> sie müssen dann dann <unk> und <unk> <unk> und <unk> vor allem zu <unk>\r\n",
      "Neue New York hat <unk> Dr. Jack <unk> der in Fragen der Gleichstellung der Geschlechter in Fragen der Gleichstellung der Geschlechter wie gut ein gutes <unk> <unk>\r\n",
      "Die Kinder stellen ethischen <unk>\r\n",
      "Die Menschen haben die Bedingungen <unk> die die <unk> <unk> aber die meisten Kinder haben ihn <unk>\r\n",
      "Sie können eine Gleichstellung von Männern und Frauen <unk> ohne dass Identität wie Identität <unk>\r\n",
      "Die Wissenschaft ist <unk> wie ein Kind jedes Kind eine Gleichstellung der Geschlechter entwickeln <unk>\r\n",
      "Die Fragen können beantwortet <unk> warum diese <unk>\r\n",
      "Wie die <unk> von Warum die Menschen <unk>\r\n",
      "Ein Bericht zur Europäischen Kommission wird im Jahr 2011 als unterschiedlich bezeichnet oder als andere von <unk> oder <unk> als ihr Status ist nicht <unk> sondern vielmehr ihre biologische Vielfalt und ausschließlich die biologische Vielfalt – und ausschließlich auf ihre biologische Vielfalt - ganz klar auf die biologische Vielfalt <unk>\r\n",
      "Diese Merkmale können sich selbst in <unk> sexuellen <unk> wie <unk> <unk> <unk> <unk> und <unk> sexuelle Eigenschaften wie <unk> Organe und <unk> oder <unk> oder <unk> Strukturen sowie in <unk> Strukturen und <unk>\r\n",
      "Der Bericht enthält auch einen Überblick über die Diskriminierung von <unk> und <unk> Menschen in der <unk> wie auch auf Ebene der <unk> Gewalt und <unk>\r\n",
      "Die Gleichstellung der Geschlechter hat jetzt besondere <unk>\r\n",
      "Die Australien und Nepal ermöglichen <unk> dass Erwachsene <unk> <unk> Frauen oder eine <unk> auf ihre offiziellen <unk> <unk>\r\n",
      "In Wirklichkeit wurde ein <unk> <unk> <unk> <unk> <unk> war die erste anerkannte <unk> Person nach einem <unk> Appell an eine <unk> <unk> für <unk>\r\n",
      "Deutsche <unk> wird eine dritte Säule <unk> andere als M oder F – nach dem <unk> - nach dem <unk>\r\n",
      "In der Tat sind die Gleichstellung der Geschlechter noch immer noch nach einem Bericht über Frankreich über Frankreich 24 <unk>\r\n",
      "In <unk> <unk> von französischen <unk> aus diesem starken <unk> Land unterzeichnet <unk> eine <unk> für <unk> von <unk> <unk>\r\n",
      "Die <unk> Online Website hat auch gegen die deutsche <unk> <unk> dass die Welt die Welt in einer neuen <unk> in einer neuen <unk> in dem Gleichstellung ein <unk> <unk> aber die sexuelle Tätigkeit ist zwei weitere Säulen der <unk>\r\n",
      "Eine <unk> Mutter einer <unk> hat auch das Baby <unk> die sie lieber als <unk> <unk> die Gleichstellung von Frauen auf <unk>\r\n",
      "Wir haben Angst vor diesem <unk>\r\n",
      "Wir glauben <unk> dass ein besseres Prozess <unk> oder <unk> <unk>\r\n",
      "Aber wir haben uns als Gesetz <unk> wie das Gesetz sich tun <unk>\r\n",
      "Die <unk> dass ihre Organisation die Organisation des <unk> Gesetzes unterstützt <unk> weil sie Erwachsenen wählen können und in Drittländern anerkannt werden <unk>\r\n",
      "Die Entscheidung sollte sich in der Lage <unk> ihre Entscheidungen über rechtliche Entscheidungen zu <unk>\r\n",
      "Das deutsche Gesetz geht über <unk>\r\n",
      "Das ist kein Kampf für junge Kinder muss sich auf dieser Initiative <unk>\r\n",
      "Wenn sie <unk> Entscheidungen treffen können können Entscheidungen über ihre eigenen <unk> Entscheidungen Entscheidungen getroffen <unk>\r\n",
      "Aber Dr. <unk> <unk> eine <unk> <unk> die eine Tochter mit einer <unk> von sexuellen Entwicklung und Hilfe in einer Unterstützung von anderen Ländern in einer Unterstützung <unk> sagte <unk> dass die deutschen <unk> sowohl Eltern als auch <unk>\r\n",
      "Die Tochter der Tochter von <unk> wurde mit <unk> <unk> geboren und hat eine <unk> namens <unk> <unk> <unk>\r\n",
      "Weil ihre <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Sie hat eine <unk> aber keine <unk> oder <unk>\r\n",
      "Jetzt ist es jetzt <unk> und auf der Universität von <unk> ist ein Wohnsitz in <unk>\r\n",
      "Obwohl sie sie <unk> dann hoffen sie zu einem Kind durch Annahme oder <unk>\r\n",
      "Das Gesetz gibt es Eltern noch nicht zu <unk> dass es sich um die Entscheidungen von Entscheidungen <unk> Entscheidungen zu <unk>\r\n",
      "Sie haben die Zeit an einigen Tests und Zahlen und eine Periode Zeit bevor sie <unk> bevor sie schriftlich oder <unk> <unk>\r\n",
      "Diese <unk> Sie haben also die Liebe der Kommission der <unk>\r\n",
      "Sie haben ein schönes Kind und genießen die <unk>\r\n",
      "Wir müssen die Arbeit von <unk> in Betrieb <unk>\r\n",
      "Die Kinder gehen die Kinder in die Entscheidung und nehmen die <unk> dass Eltern Eltern wegen ihrer <unk> sie sie tun <unk> sie machen sie <unk> sie tut sie <unk>\r\n",
      "Das Kind wird das Kind morgen entscheiden und <unk> dass er sich mit dem Gefühl einer wunderbaren <unk> und <unk> <unk>\r\n",
      "Es ist <unk> Kinder zu <unk> um die Entscheidung zu <unk>\r\n",
      "<unk> <unk> Mädchen mit <unk> von Autos mit <unk>\r\n",
      "Die <unk> haben ein <unk> Mädchen in <unk> als <unk> Aufnahmen aus einem <unk>\r\n",
      "Die <unk> auf einer Gruppe von Kindern über <unk> im <unk> mit einer <unk> <unk>\r\n",
      "Das wurde vom Polizei in <unk> <unk>\r\n",
      "Das Mädchen starb am <unk> an ihren <unk>\r\n",
      "Die Arbeitnehmer nahmen das Mädchen zum Mädchen <unk>\r\n",
      "Die Aufnahmen stammen aus einem kleinen <unk> der in einer Gruppe von sechs Kindern und plötzlich plötzlich <unk>\r\n",
      "Die <unk> fanden zwei Personen in der <unk>\r\n",
      "Das <unk> zeigt auch die Aufnahmen auf einem Bus <unk>\r\n",
      "Ein <unk> Glas Glas wurde <unk>\r\n",
      "In alten Alter hat jeder ihre <unk> und <unk>\r\n",
      "Aber diese Art von <unk> wäre nicht für die <unk> sie ist mit einer Stimme <unk>\r\n",
      "<unk> nichts wie Studenten mit einem gemeinsamen Badezimmer und <unk>\r\n",
      "<unk> alte Alter Sie einfach brauchen Sie Ihr eigenes <unk> <unk> <unk>\r\n",
      "Der Verfasser darf jedoch nicht die Möglichkeit <unk> dass eine <unk> <unk> eine <unk> <unk>\r\n",
      "Zweitens muss es anders als die klassische <unk> <unk>\r\n",
      "Und manchmal wollen Sie auch Ihr Frieden und <unk> sie <unk>\r\n",
      "Mit dieser Stellungnahme ist sie zumindest nicht allein in den staatlichen <unk>\r\n",
      "Die Erfahrung des <unk> <unk> des <unk> in <unk> in <unk> <unk> ist auch <unk> dass die Mehrheit der alten Menschen in <unk> in ihren eigenen Häusern weiterhin in ihren eigenen Häusern bleiben <unk>\r\n",
      "Ihre Agentur hat die Agentur für die <unk> von <unk> <unk>\r\n",
      "Deshalb ist die Erfahrung der Stiftung der Stiftung <unk> auch <unk> dass ältere Menschen insbesondere die <unk> und Beschränkungen nur in ihrer üblichen Lage bleiben <unk>\r\n",
      "Heutzutage gibt es viele Möglichkeiten für die Gestaltung des <unk> oder in solchen Weise als <unk>\r\n",
      "Die <unk> empfiehlt <unk> dass alle diese Arbeit auf dem <unk> ihrer Häuser oder Wohnung zuerst sehr sorgfältig informiert werden und einfach nutzen lassen und einfach die erste <unk>\r\n",
      "Heutzutage gibt es Spezialisten für die Bedürfnisse der Bedürfnisse der <unk>\r\n",
      "Selbst in Fall von <unk> können einige <unk> diese Arbeit geleistet <unk> selbst wenn es nur um eine Frage der <unk> <unk> die <unk> des <unk> <unk>\r\n",
      "Es ist nicht immer der Fall der <unk> dass Ihr bestehenden Apartment in der Lage sein <unk> und daher auch wenn es so schön wie möglich wie möglich so schön wie möglich wie möglich bekannt sein <unk>\r\n",
      "Die <unk> musste durch diese Erfahrung durch diese Erfahrung <unk>\r\n",
      "Sie könnten natürlich eine <unk> <unk> innerhalb des <unk> aber die <unk> Weg nach Tür und Tor gehen auf eine Menge <unk>\r\n",
      "Sie wird bis sie das ideale Eigentum für selbst und ihre <unk> <unk>\r\n",
      "Sie ist immer noch Angst vor dem <unk> als aus dem <unk>\r\n",
      "Die USA wollen noch nicht <unk>\r\n",
      "Die USA haben ihre Haltung nicht gegen die früheren amerikanischen <unk> <unk> <unk> <unk> <unk>\r\n",
      "Er wird noch immer nicht <unk> dass sie ohne <unk> Informationen über <unk> Informationen informiert werden <unk>\r\n",
      "Er muss daher mit <unk> Verfahren in der <unk> <unk> <unk> dass die USA für die <unk> <unk> <unk> in <unk> <unk>\r\n",
      "Selbst die jüngsten Erklärungen von <unk> werden diese Situation nicht geändert <unk>\r\n",
      "Nach einem kürzlich bevorstehenden Treffen mit <unk> in <unk> <unk> <unk> <unk> <unk> <unk> <unk> an die USA darf er ihn nicht mit ihm <unk>\r\n",
      "Die <unk> betont <unk> dass die Meinungen von <unk> Kommentare der Ansichten eines <unk> und nicht nicht jene deutschen Behörden <unk>\r\n",
      "<unk> Service <unk> <unk> <unk> in <unk> bereit zu einer Diskussion mit dem deutschen <unk>\r\n",
      "Herr <unk> Zunächst möchte er seine Situation in seiner Lage <unk>\r\n",
      "Das wurde durch die früheren <unk> <unk> <unk> derzeit vom <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> und am Freitag im <unk> und am <unk> <unk>\r\n",
      "Das Schreiben war <unk> als <unk>\r\n",
      "Das kann man dann <unk>\r\n",
      "Präsident Barack Barack <unk> <unk> <unk> <unk> als Ersatz für <unk> <unk> mit <unk> Clinton über den Vertrag von <unk> <unk> gemäß dem New York <unk>\r\n",
      "Die <unk> ist die wichtigste <unk> von Mark <unk> und John <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Die Times erhielt eine Kopie des bevorstehenden Buch und <unk> Donnerstag Abend Abend <unk> dass die oberste <unk> <unk> <unk> und <unk> in späten Tagen <unk> um <unk> ob die <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Laut dem Bericht von <unk> <unk> <unk> <unk> <unk> wird das Buch eine gründliche Berücksichtigung des <unk> von Beamten innerhalb der Kampagne und das Weißbuch <unk> nämlich frühere <unk> des <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Das potenzielle System war ein enger <unk> in der Organisation der Organisation von <unk> innerhalb der Olympischen Kampagne und innerhalb des <unk>\r\n",
      "Erst halb einmal eine halbe Hälfte des <unk> <unk> <unk> - darunter auch ehemalige Premierminister <unk> <unk> <unk> und ehemalige <unk> <unk> David <unk> David <unk> und David <unk> – <unk>\r\n",
      "Die <unk> <unk> <unk> <unk> die Bemühungen zur Einführung von <unk> trotz ihrer <unk> persönlichen <unk> bevor ihre Daten zum <unk> wenn ihre Daten ihre Daten zur <unk> von <unk> <unk> verbessern <unk> verbessern <unk>\r\n",
      "In einem Interview mit <unk> <unk> bestätigt <unk> dass die Verwaltung in Wahrheit mit <unk> <unk>\r\n",
      "Das war ein <unk> <unk> in einer ganzen Reihe von <unk> und dies war eine der <unk> <unk> der <unk>\r\n",
      "Sie müssen auf diesem Punkt <unk> dass Präsident <unk> <unk> so wir uns <unk> <unk> <unk> was wir tun <unk>\r\n",
      "Während die Forschung als <unk> bezeichnet <unk> hat Martin Martin <unk> <unk> dass die Kampagne der Kampagne für eine bedeutende Investition in eine erhebliche Investition in <unk> <unk> ob die <unk> auf dem Weg zu Lasten des <unk> gezahlt werden <unk>\r\n",
      "Die heutige Situation kostet die Art von Geld auf <unk> und konzentriert sich auf Gruppen zu <unk> wenn sich die <unk> Martin Martin über <unk> <unk>\r\n",
      "<unk> Herr <unk> <unk> ob Obama seine Mannschaft <unk> war die <unk>\r\n",
      "Martin sprach <unk> dass er <unk> ob er sich <unk> ob er sich über das Potenzial <unk>\r\n",
      "Während wir heute Abend <unk> glauben <unk> dass der Präsident <unk> der potenziellen <unk> des <unk> <unk> der <unk> <unk> Obama <unk> <unk>\r\n",
      "Martin <unk> dass die <unk> <unk> nicht beantwortet <unk> ob die politischen <unk> die politische Entscheidung <unk>\r\n",
      "Die <unk> fragte Martin sei es ernst <unk> ob Obama ernsthaft über die Forschung in <unk> <unk> von der EU <unk>\r\n",
      "<unk> Martin <unk>\r\n",
      "Was geschieht mit Ihrer E-Mail in <unk>\r\n",
      "E-Mail ist kurze Zeit für elektronische <unk>\r\n",
      "Gibt es technische Maßnahmen zur Erhaltung von Privatsphäre für <unk> ähnliche <unk> wie das traditionelle <unk> in der Gestaltung dieses <unk> umgesetzt <unk>\r\n",
      "Wenn die Entwicklung des frühen Internet <unk> dann wird die Kommunikation <unk>\r\n",
      "Wenn die Entwicklung der technologischen technischen Entwicklung nicht eine besondere Grundlage geschaffen <unk> wurde eine stabile Grundlage für den Austausch von <unk> <unk>\r\n",
      "Aus diesem Grund ist eine traditionelle E-Mail mehr als ein <unk> <unk> als eine <unk>\r\n",
      "Wenn Nutzer <unk> sendet ein E-Mail an die <unk> die Computer direkt zu <unk> dann direkt <unk>\r\n",
      "<unk> E-Mail oder Browser erste sendet die Post an ihre <unk> Post <unk>\r\n",
      "Wenn sie eine <unk> <unk> dann wäre dies ein <unk>\r\n",
      "Dieser <unk> sendet den Inhalt des <unk> <unk> <unk>\r\n",
      "Mit anderen <unk> kann die Post über jede andere Server auf dem Markt <unk>\r\n",
      "Dann kann man dann den Inhalt seiner <unk> <unk>\r\n",
      "Sind traditionelle Parteien von Dritten auf ihre Reise durch die <unk>\r\n",
      "Die Mehrheit der <unk> wird mehrere Male durch Software über die <unk> <unk>\r\n",
      "Ein britischen <unk> hat die erste <unk> des <unk> <unk> - mit <unk>\r\n",
      "Die <unk> hat die Eigenschaften des <unk> der <unk> für die Entwicklung des <unk> <unk>\r\n",
      "Er kam mit dem Gedanken über eine Studie über <unk> und Senior Wissenschaftler in China gegenüber <unk> die <unk> <unk> die <unk>\r\n",
      "Das Eis an der <unk> mit dem <unk> - die <unk> auf dem <unk> und das <unk> sie hat es <unk>\r\n",
      "Chris Watson sagt <unk> wenn es sich um die <unk> <unk> wenn es mit dem <unk> <unk> das <unk> das <unk> das <unk> desto besser ist es <unk>\r\n",
      "Der Gründer des <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> ist unglaublich <unk> aber noch immer in Zeiten von <unk> wird man Ihnen über die <unk> von <unk> <unk>\r\n",
      "Das <unk> wir verwenden in <unk> mit Ihrer <unk> in <unk> <unk>\r\n",
      "Wie Ihr Mund <unk> desto wird das <unk> das <unk> und das Eis wird das Eis <unk>\r\n",
      "Wir haben sie in den letzten Monaten über den letzten Monaten und schien es <unk> ihn zu <unk> weil es <unk> <unk> <unk>\r\n",
      "Es ist wahrscheinlich die <unk> <unk> ich habe mich seit dem <unk> <unk> weil die <unk> <unk> als <unk> <unk>\r\n",
      "Also kostet jede <unk> kostet mich also <unk>\r\n",
      "Es ist sehr gute <unk>\r\n",
      "<unk> <unk> <unk> basiert auf dem <unk> für seine <unk> <unk> einschließlich <unk> Rindfleisch und <unk>\r\n",
      "Aber seine nächste Schaffung ist noch mehr <unk>\r\n",
      "Er hat jedoch wirklich eine <unk> <unk> <unk>\r\n",
      "Es ist nicht <unk> weil das Eis durch das Eis verursacht <unk> die das Eis <unk> aber ich bin <unk> dass wir eine Art <unk> tun <unk>\r\n",
      "Das Eis ist die <unk> Eigenschaften eines <unk> durch chinesische Wissenschaftler von chinesischen Wissenschaftler\r\n",
      "Nach sechs Kräften werden jedoch noch ein einziges Wort in der <unk> <unk> <unk>\r\n",
      "Und natürlich ist das Team von <unk> <unk> <unk> ein <unk> gegen <unk> <unk> <unk> die ihre ersten Sieg am vergangenen Sieg letzten Jahres <unk>\r\n",
      "Die Saison beginnt mit diesem <unk>\r\n",
      "Wir hoffen <unk> dass wir endlich unsere Staats- und Regierungschefs <unk> <unk> <unk>\r\n",
      "Aus diesem Spiel hat er endlich seine vollständige <unk> mit Ausnahme von <unk> <unk> die mit langfristigen <unk> verbunden mit langfristigen <unk> <unk>\r\n",
      "Wie <unk> ist es auch <unk> auf hoher Ebene auf hoher Ebene zu <unk>\r\n",
      "Aus diesem Grund müssen wir unsere Fehler auf eine Lösung <unk>\r\n",
      "Zweitens ist die oberste Priorität unserer <unk> die <unk> zu <unk> die kürzlich in letzter Zeit <unk>\r\n",
      "Der <unk> Thomas <unk> wird in ganz viel <unk> <unk> nach seiner <unk> ersten Sieg des <unk> gegen <unk> <unk>\r\n",
      "Das Spiel war natürlich ein Hinweis auf das <unk> was wir in der Lage <unk>\r\n",
      "Das bedeutet jedoch nicht das <unk> was wir in der Vergangenheit tun <unk>\r\n",
      "Die <unk> ist jetzt mit dem <unk> mit den Waren in <unk> und damit beginnen wir ein Gewinn <unk>\r\n",
      "Die <unk> wird nicht <unk>\r\n",
      "<unk> <unk> <unk> <unk> <unk> der aktiv für die <unk> Liga für <unk> <unk> wird sein <unk> seine Saison <unk>\r\n",
      "Wer ist nicht <unk> dass das Spiel als solches geschehen <unk>\r\n",
      "Die <unk> langsam auf Ihrer Front war wahrscheinlich von <unk> <unk> die sich <unk> Millionen von <unk> Millionen <unk> dieses <unk>\r\n",
      "Wenn wir uns mit zusätzlichen <unk> fordern und <unk> <unk> in <unk> <unk> und <unk> <unk> sich ihre <unk> zu <unk>\r\n",
      "Haus in <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Der <unk> wurde auf <unk> späten Donnerstag <unk>\r\n",
      "Ein <unk> Haus in der Hauptstadt des <unk> <unk> während des <unk>\r\n",
      "Die Arbeitnehmer haben eine <unk> des <unk> eines <unk> aus dem <unk>\r\n",
      "Während eines <unk> in <unk> <unk> in <unk> <unk> <unk> in einem <unk> <unk>\r\n",
      "Ob dieser Mensch in dem Haus lebt wie das <unk> ist ein <unk> in <unk> in <unk>\r\n",
      "Am Donnerstag wurde das Feuer des <unk> auf dem Boden des <unk> <unk>\r\n",
      "Als das <unk> die <unk> bereits <unk> waren bereits einige <unk>\r\n",
      "Die Arbeitnehmer in den Räumlichkeiten und die Einrichtung des organisierten <unk> in einem <unk>\r\n",
      "Das und ein anderes Schlafzimmer waren völlig <unk>\r\n",
      "Das ganze <unk> lebt unter <unk>\r\n",
      "Es gab keine anderen Einwohner in der <unk> während der <unk> <unk> die Polizei <unk>\r\n",
      "Für die Zeit ist das Haus nicht mehr <unk>\r\n",
      "Das genaue Anlass des <unk> war ursprünglich <unk>\r\n",
      "Die größte nationale Kirche hat eine Kampagne der <unk> <unk> die <unk>\r\n",
      "Das ist zugleich möglich und ist zugleich ein möglicher Mangel an <unk> <unk> <unk> <unk> <unk> wie die Dinge <unk> die aktuelle Zahl von <unk> <unk> wird durch <unk> <unk>\r\n",
      "Für junge Menschen ist die berufliche Arbeit sehr attraktiv und bietet gute künftige <unk> <unk> <unk> <unk> <unk> in einem Gespräch mit dem <unk> <unk> <unk>\r\n",
      "Es ist daher <unk> Ihre eigene tägliche Arbeit zu <unk>\r\n",
      "Mit <unk> hat die regionale Kirche erstmals eine Minister zur Arbeit des Parlaments <unk> um <unk> junge Menschen zu <unk> um die <unk> zu <unk>\r\n",
      "Am <unk> weniger und weniger junge Menschen entscheiden sich <unk> nach ihrer <unk> nach ihrer <unk> zu <unk>\r\n",
      "Das bedeutet dieses <unk> das Verfahren der <unk> Stimme ist <unk> die Welt ist <unk>\r\n",
      "Die Arbeit ist geprägt von großer Freiheit und <unk>\r\n",
      "Ich bin der Meister meines eigenen <unk> und kann daher auf meine Linie <unk> was wichtig ist für <unk>\r\n",
      "Wie <unk> Herr <unk> können wir die Minister nahe <unk>\r\n",
      "Sie verdienen so viel wie Lehrer und können eine gute Arbeit <unk>\r\n",
      "Natürlich sind Löhne höher innerhalb des privaten <unk> aber andererseits haben wir eine sichere <unk>\r\n",
      "Das würde die jungen Menschen von <unk> als nicht nur über Ihre <unk> sondern auch über eine sinnvolle Arbeit <unk>\r\n",
      "Laut Angaben von <unk> <unk> die drei Viertel des <unk> <unk> umfasst rund 60 <unk> <unk>\r\n",
      "Gleichzeitig beginnt etwa 40 <unk> <unk> als <unk>\r\n",
      "In Zukunft kann man schwer genug Positionen in <unk> <unk> Gebieten wie <unk> <unk> oder <unk> <unk>\r\n",
      "Ich könnte nicht davon <unk> dass sie in erster Linie in der ersten Lesung <unk>\r\n",
      "Es war <unk> ihre Arbeit in unseren <unk> zu <unk>\r\n",
      "Das <unk> sagte <unk> wenn sie zu spät und <unk> sie hätten wahrscheinlich wahrscheinlich <unk>\r\n",
      "Die <unk> waren <unk>\r\n",
      "Das war wirklich <unk> was sie <unk>\r\n",
      "Wir sind so dankbar und jeder einzelne eines Teils war absolut <unk>\r\n",
      "Herr <unk> aus <unk> <unk> <unk> waren <unk> dass sie sie möglicherweise nicht fallen <unk>\r\n",
      "Die <unk> waren <unk>\r\n",
      "Ich glaube <unk> dass sie in der Tat <unk>\r\n",
      "Aber leider sagt er nie auf <unk> <unk> wenn sie 18 18.\r\n",
      "Während eines Interview mit einem <unk> <unk> zeigt dieses <unk> das <unk> <unk> sie unterstützt <unk> für <unk> <unk> <unk> <unk>\r\n",
      "Das hatte gestern Abend mit dem <unk> <unk> und <unk> dass mich mich auf mich als <unk> <unk>\r\n",
      "Sie war jedoch schon lange Zeit und war sehr <unk>\r\n",
      "In einer Erklärung von <unk> ist ein Vertreter für <unk> <unk> sagt er <unk> dass er jemals einen Pass <unk>\r\n",
      "Das <unk> <unk> ist sie mit einer Stimme <unk> er ist mit jemand jemand <unk>\r\n",
      "Die <unk> war eines der <unk> um ein <unk> zu <unk> um die <unk> <unk>\r\n",
      "Ihr neues <unk> <unk> <unk> auf <unk> 1. dieses <unk>\r\n",
      "George <unk> Europa gibt es <unk> <unk>\r\n",
      "Ein weiterer <unk> andere Unabhängigkeit ist <unk>\r\n",
      "Diese Zeit ist <unk> dass eine unabhängige Außenpolitik in <unk> Maße erforderlich sein <unk> um die <unk> als Bedingung für die <unk> der EU als Bedingung für die EU zu <unk>\r\n",
      "<unk> Geschichten über <unk> auf <unk> und eine <unk> entlang der <unk>\r\n",
      "Allerdings weist das Dokument der Kommission auf mögliche wirtschaftliche Vorteile von <unk> mit dem Rest der <unk> <unk> obwohl - <unk> - nicht in der Vergangenheit <unk>\r\n",
      "Ebenso wenig hat niemand darauf <unk> dass die EU-Mitgliedstaaten viel ihrer Zeit <unk> ihre <unk> Regeln gegebenenfalls ihre <unk> Regeln zu <unk>\r\n",
      "Seit Schottland in <unk> <unk> in <unk> wird ein billiger <unk> für Brüssel eine billigen Entschädigung für Brüssel <unk> für Brüssel <unk> was wirklich aus dem <unk> <unk>\r\n",
      "<unk> eine <unk>\r\n",
      "Und das ist schon längst in der <unk> es ist schon <unk> ich habe die <unk> <unk> <unk> <unk> <unk> mindestens 40 Jahre lang <unk>\r\n",
      "Aber es gibt eine interessante Bemerkung in dieser <unk> einer <unk> alten <unk>\r\n",
      "Warum sollte man eine unabhängige Außenpolitik <unk> um die <unk> <unk> <unk>\r\n",
      "Warum ist der Handel mit dem <unk> für diese <unk> besonders <unk>\r\n",
      "Hier ist das eigentliche europäische <unk> der <unk> <unk> <unk> Europa endlich endlich <unk>\r\n",
      "Mit dem Euro ist Europa offiziell offiziell <unk>\r\n",
      "Die <unk> die sich gegen die <unk> <unk> die sich gegen die <unk> oder <unk> des Euro als gemeinsame <unk> gewinnen <unk> gewinnen <unk>\r\n",
      "Es wäre daher <unk> dass Schottland für Schottland nur für die Unabhängigkeit von Berlin akzeptiert werden <unk> die von Berlin und <unk> anerkannt worden <unk>\r\n",
      "<unk> <unk> ältere <unk> älteren\r\n",
      "Die <unk> und <unk> Mädchen sind zu Beginn der <unk> früher als ihre weißen <unk> <unk>\r\n",
      "Die Änderungen der <unk> bedeutet <unk>\r\n",
      "<unk> sind keine Beweise <unk> dass die <unk> oder andere Chemikalien verantwortlich <unk>\r\n",
      "Die <unk> der <unk> könnte eine Folge einer frühen Phase des frühen <unk> <unk>\r\n",
      "Die Tendenz zur frühen <unk> ist nicht als <unk> mit Jungen mit Jungen\r\n",
      "<unk> <unk> <unk> <unk> <unk> ist ein Journalisten in <unk> <unk> und <unk>\r\n",
      "Sollte eine Mutter getötet <unk> wenn ihre Tochter ihre Tochter <unk> und <unk> auf 7 oder <unk> <unk>\r\n",
      "Auf der Konferenz der amerikanischen Akademie der amerikanischen Akademie der <unk> <unk> Woche in <unk> <unk> <unk> Dr. Paul <unk> erklärt <unk> dass diese frühen <unk> Veränderungen unter amerikanischen Mädchen und Bürgern eine neue <unk> <unk>\r\n",
      "Die <unk> verbringen viele Zeit <unk> Eltern – <unk> dies bedeutet kein schnelles <unk> in voller <unk>\r\n",
      "Die Anzeichen von <unk> wie <unk> <unk> <unk> und <unk> und <unk> sind früher in <unk> <unk>\r\n",
      "Aber es gab nur eine leichte Veränderung in der <unk> in <unk> ersten vier <unk>\r\n",
      "In den Vereinigten Staaten ist das durchschnittliche Alter von <unk> <unk> aus <unk> in <unk>\r\n",
      "Die heutige Aussprache beginnt zunächst zwei bis drei Jahre vor drei bis drei <unk> auch Verfasser der <unk> <unk> im <unk> der <unk> Guide zur <unk> mit diesem Gemeinsamen <unk>\r\n",
      "Die Zeit ist die genaue Prüfung des <unk> wie <unk>\r\n",
      "Es gibt Diskussionen über die tatsächlichen <unk> aber es ist <unk> als es sich um eine <unk> mit einem Anstieg des <unk> mit einem Anstieg des <unk> mit einem Anstieg des <unk> von <unk> bis 8. August mit dem Alter von 8 % <unk>\r\n",
      "In den meisten Fällen wird der Prozess langsam oder <unk> – etwas <unk> kann man sich <unk>\r\n",
      "Eine noch schnelle schnelle Lösung kann Tests durch eine <unk> <unk> schwere Probleme wie <unk> oder <unk>\r\n",
      "Es gibt Behandlungen bei Verzögerungen bei Verzögerungen bei der Verzögerung von <unk> und <unk> eine weitere <unk> der <unk> der letztlich zur Entwicklung Wachstum und Beschäftigung kurzfristig führen <unk>\r\n",
      "Die <unk> oder <unk> Therapie basieren auf der <unk> <unk> <unk> und <unk> <unk>\r\n",
      "Die Aspekte sind jedoch <unk>\r\n",
      "Die <unk> ist mit <unk> aber <unk> <unk> <unk> kann man sich nicht <unk> Probleme und Gefühle von Menschen aus unterschiedlichen Quellen <unk>\r\n",
      "Die anderen großen großen Themen sind <unk> einfach <unk> wollen ihre jungen jungen Menschen <unk>\r\n",
      "Sorgen Sie besorgt über das Risiko des <unk> oder sogar wie sie mit ihnen mit <unk> zu <unk>\r\n",
      "Die <unk> war eine <unk> eine Frau bei ihrer Geburt während der 10. Zeit begann ihre Tochter am 10. <unk>\r\n",
      "Selbst wenn es Anzeichen gegeben und wir über die <unk> gesprochen <unk> war sie nicht <unk>\r\n",
      "Sie kam aus <unk> und <unk> an die erste <unk>\r\n",
      "Es gibt viele <unk> die Ursache für die Ursachen von <unk>\r\n",
      "Die <unk> <unk> kein <unk> Gremium von <unk> dass in Milch oder anderen <unk> Chemikalien in der Umwelt oder in den Medien in Medien verboten werden <unk>\r\n",
      "<unk> - Als Mädchen - <unk> sind <unk> <unk>\r\n",
      "Die <unk> die <unk> dass das Gewicht des <unk> das größte Gewicht der <unk>\r\n",
      "Es gibt wirklich eine Flexibilität bei der Flexibilität von Fluggesellschaften und ermöglicht sie damit zu <unk> die Dinge zu <unk> die sie glauben <unk> wie sie sie tun <unk> <unk> <unk> <unk> <unk>\r\n",
      "Sie wollen uns <unk> dass sie sie <unk> was sie <unk>\r\n",
      "Sie kennen ihre <unk> besser als jeder <unk>\r\n",
      "Für uns ist es mehr <unk> aber für Lieferanten ist es zunehmend ein Problem <unk> das sich auf die Auswirkungen beeinträchtigen <unk>\r\n",
      "Zweitens ist der Streit ein Rennen für Flüge mit mindestens 50 % der <unk> in mindestens 50 % der <unk> in Höhe von <unk> % der <unk> und europäischen <unk>\r\n",
      "Wie beispielsweise in <unk> ersten Monat ist das erste Mal genau was die Schlacht zwischen den jüngsten <unk>\r\n",
      "Sowohl Airbus als auch <unk> fordern 20 Prozent pro <unk> je mehr auf dem neuesten Stand als dem Markt als Markt des <unk> in diesem <unk>\r\n",
      "Die <unk> sind Teil des <unk> von <unk> die <unk> mit einem ursprünglichen <unk> <unk> <unk>\r\n",
      "Die Gewinne in der <unk> sind im Vergleich zu <unk> verglichen mit <unk>\r\n",
      "Deshalb unternimmt es das <unk> dass es um mehr <unk> in Bezug auf unsere <unk> mehr <unk> mit unseren <unk> <unk> <unk> <unk> <unk> <unk> auf <unk> <unk>\r\n",
      "Andererseits sagen wir <unk> dass wir in der jetzigen Zeit eine vollständige <unk> für bestehende <unk> <unk> schlagen viele Passagiere für die <unk> <unk> die Hand in Hand mit billiger Einkommen gehen <unk>\r\n",
      "Die <unk> in <unk> wäre für uns große Bedeutung für die <unk> aber die Realität ist <unk> dass aus einem <unk> des <unk> von den <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> und <unk> des <unk> <unk>\r\n",
      "Airbus und <unk> bieten keine <unk> sondern bieten einen Katalog von Lieferanten für Fluggesellschaften <unk>\r\n",
      "Die <unk> funktioniert sogar zur Durchführung von <unk> um die <unk> zu <unk>\r\n",
      "Während wir jedoch alle <unk> auch alle <unk> bieten wir mit <unk> <unk> und regionalen <unk>\r\n",
      "Airbus bietet eine <unk> <unk> aber sagt sie noch nicht <unk>\r\n",
      "Bis 2010 war Airbus Airbus <unk> dass mehr <unk> durch mehr <unk> auf einige ihrer <unk> <unk>\r\n",
      "Ohne die Unterstützung des einzigen modernen modernen modernen modernen modernen <unk> sagt ihre Forderung nach einer neuen Branche für eine neue <unk> aber könnte aus einer Welle von <unk> <unk>\r\n",
      "Neue <unk> könnte die Freude des <unk> <unk>\r\n",
      "Die <unk> haben einen <unk> <unk> <unk> dass das Rauchen eine <unk> <unk>\r\n",
      "Eine einheitliche <unk> der <unk> war in der Lage <unk> gegen <unk> gegen <unk> zu <unk>\r\n",
      "Weitere Tests müssen vor Beginn des <unk> <unk> was mehrere <unk> aber Professor <unk> <unk> <unk> <unk> <unk> in New York sagte <unk> dass <unk> <unk> <unk> <unk>\r\n",
      "Die <unk> sind sehr <unk> dass diese Art von <unk> endlich helfen <unk> die Millionen von <unk> die versucht <unk> alle Methoden zu <unk> die alle Methoden auf dem Markt <unk> aber ihre <unk> <unk> <unk> um diese derzeitigen <unk> zu <unk>\r\n",
      "Der neue <unk> enthält ein <unk> Virus <unk> das sich in der Lage <unk> die <unk> Informationen zu <unk>\r\n",
      "Das Virus ist jedoch <unk> <unk> <unk> das dann beginnen <unk> einen <unk> Strom der EU zu <unk>\r\n",
      "Die <unk> <unk> <unk> in der <unk> in <unk> <unk> sie bevor sie erreicht <unk> bevor sie die <unk> eines <unk> <unk>\r\n",
      "In Wirklichkeit wurde die <unk> <unk> die später mit ihrer normalen <unk> verbunden <unk>\r\n",
      "Aber der <unk> der nicht erwähnt worden <unk> sagt das <unk> <unk> <unk> ein Zeichen <unk> dass die <unk> ihre <unk> erreicht <unk>\r\n",
      "Die Versuche werden in der Wissenschaft <unk> <unk> <unk>\r\n",
      "<unk> <unk> weil sie sie enthalten <unk> weil sie sie enthalten <unk>\r\n",
      "Die <unk> musste so häufig an die <unk> <unk> <unk> <unk> dass sie teuer und <unk> <unk>\r\n",
      "Aber die Kosten der neuen <unk> ist wahrscheinlich viel <unk> denn es macht sich <unk> Zellen in <unk> <unk>\r\n",
      "Wenn die Kriterien der <unk> Kriterien angenommen werden <unk> könnte man über die <unk> <unk> die <unk> ist echte <unk> in denen die <unk> ein oder persönlicher Missbrauch eines Eigentümer oder Person des <unk> <unk>\r\n",
      "Außerdem sollte auch die Zahl der <unk> für die Anzahl der <unk> nach früheren Unternehmen eingeführt <unk> nachdem die Unternehmen eine kleine Anzahl von Arbeitnehmern <unk>\r\n",
      "Ein <unk> Sri <unk> Sri <unk> <unk> starb seit dem <unk> ein <unk> nach einem <unk> auf <unk> Insel dieses <unk>\r\n",
      "Der <unk> <unk> Sohn von Australien hat mit ihm und wurde seit dem Tod seiner Vater am Mittwoch über einen Erwachsenen <unk> der ebenfalls auf dem <unk> <unk>\r\n",
      "<unk> Behörden haben den Mann <unk> in <unk> wo er <unk>\r\n",
      "Eine Studie zur Erhöhung der Vorteile des <unk> von Schottland ist von der britischen Regierung des Vereinigten Königreichs veröffentlicht <unk>\r\n",
      "Die Arbeit von <unk> Ltd schlägt <unk> dass die <unk> von Schottland und der Norden England schnellstmöglich als Phase abgeschlossen werden <unk>\r\n",
      "Der <unk> Baroness <unk> sagte das Projekt <unk> das Vereinigte Königreich würde das Vereinigte Königreich <unk>\r\n",
      "<unk> <unk> Brown sagte er <unk> er war mit dem Vereinigten Königreich an der <unk> mit dem Vereinigten Königreich zu <unk>\r\n",
      "Phase einer neuen hohen Geschwindigkeit wird eine neue hohe Geschwindigkeit zwischen London und dem Westen <unk>\r\n",
      "Wenn zwei Dinge zwei Dinge <unk> dann wird es <unk>\r\n",
      "Im Juni 2008 hat die Regierung der <unk> Kosten für die <unk> zwischen London und London zwischen London und England <unk>\r\n",
      "Die Vereinigten Staaten <unk> die Gespräche mit <unk> mit <unk> <unk> hat sich <unk> dass sich die <unk> über weitere <unk> und <unk> Verbesserungen für Nordirland und <unk> <unk>\r\n",
      "Das ist auch die Möglichkeit der <unk> von <unk> aus <unk> und Edinburgh bis London von drei Stunden oder <unk>\r\n",
      "Baroness <unk> <unk> <unk> ist für eine wirklich nationale <unk> das das Vereinigte Königreich und seine Städte näher bringen <unk>\r\n",
      "Wir fahren auf die <unk> da die Vorteile sie werden <unk>\r\n",
      "Ohne sie stehen wir in einer Krise auf unserer <unk>\r\n",
      "Aber es geht auch um die <unk> in Großbritannien in Großbritannien einschließlich <unk> und Edinburgh wird besser mit dem <unk> <unk>\r\n",
      "<unk> <unk> <unk> <unk> <unk> <unk> ist gute Nachricht für <unk>\r\n",
      "Für die <unk> <unk> Brown forderte Brown <unk> <unk> <unk> in die <unk> <unk> <unk>\r\n",
      "Herr Brown <unk> <unk> Geschwindigkeit ist das Potenzial für enorme wirtschaftliche Vorteile für <unk> aber auch das Wirtschaftswachstum bedeutet das Gewicht des <unk> für höchste <unk>\r\n",
      "Wir sind also <unk> in Partnerschaft mit Großbritannien zu <unk> Möglichkeiten für eine hohe Geschwindigkeit von <unk> für <unk> zu <unk> indem die <unk> für alle und <unk> die <unk> Regierung bereits <unk>\r\n",
      "Ich freue mich auf die <unk> der Bericht mit britischen Minister im kommenden Jahr und gemeinsam über die nächste <unk>\r\n",
      "<unk> elektronische Systeme für <unk> in Australien für uns in Australien für\r\n",
      "Die <unk> Fluggesellschaft müssen weiterhin ihre <unk> und intelligente <unk> während der <unk> und <unk> <unk> während die USA in den USA die Vorschriften zur Verfügung gestellt <unk>\r\n",
      "Die Federal Reserve für die Federal Reserve hat die <unk> für amerikanische Fluggesellschaften <unk> ihre Verfahren zu <unk> damit die Passagiere so schnell wie möglich lesen <unk> Videos oder Spiele auf ihre Geräte während kritischen Phasen des <unk> von <unk> <unk>\r\n",
      "Das kann bereits während des <unk> während eines Flug von einem Flug erzielt werden <unk> viele Menschen finden sie nicht frei ihres Zugangs zu ihren <unk> während und <unk>\r\n",
      "Die <unk> Fluggesellschaften schauen auf die <unk> die die USA verpflichtet <unk> eine massive Arbeit an Arbeit zu <unk> um die <unk> zu <unk> aber sie haben keine sofortige Pläne zur Änderung ihrer <unk> <unk>\r\n",
      "Die Agentur der Agentur für <unk> <unk> wurde außerdem darauf aufmerksam <unk> dass die <unk> die Anwendung von elektronischen Geräten in kritischen Phasen des <unk> in kritischen Phasen noch im Jahr 2006 in <unk> gehalten <unk>\r\n",
      "Die derzeit geltenden Vorschriften in <unk> sind keine spezifischen Vorschriften für elektronische Geräte in <unk>\r\n",
      "Das Thema unterliegt von Verordnungen von <unk> die Flugzeuge <unk> um Sicherheit Sicherheit zu gewährleisten und auf allen Ebenen zu <unk> die durch Besatzung von Beruf und <unk> gewährt werden <unk>\r\n",
      "Die <unk> die bereits angesprochen worden <unk> über die Ausweitung ihrer <unk> <unk> <unk> <unk> <unk> war <unk> um eine Änderung zu <unk> aber sie würde seine Führung aus dem <unk> <unk>\r\n",
      "Wir dürfen nicht die Energiepolitik der EU gegenüber <unk> in Europa nicht ignorieren <unk>\r\n",
      "In der Tat wurden die <unk> die Möglichkeit mehrerer verschiedenen <unk> - sie haben jetzt bis Dienstag bis Dienstag zu <unk>\r\n",
      "Andernfalls wird das Ende der nächsten Woche ein Ende der nächsten Woche <unk>\r\n",
      "Die <unk> wird sicher <unk>\r\n",
      "Es wird interessant zu <unk> die Reaktionen im Süden zu <unk>\r\n",
      "<unk> in Singapur als Mitte der <unk> ist die <unk>\r\n",
      "In <unk> in <unk> <unk> in <unk> <unk> ist ein Gold <unk> ein Gold und zwei <unk> um ihre Schule zu <unk>\r\n",
      "<unk> Mann und ich haben gerade ein Haus <unk> das ich <unk> <unk> Frau <unk> <unk> Frau <unk> <unk>\r\n",
      "Obwohl sie <unk> <unk> ein Monat als Administrator und ihr Mann arbeitet als <unk> das <unk> <unk> ist sie <unk> sie ist sie <unk>\r\n",
      "Die Forderung nach einer solchen <unk> in Asien ist in Teilen der <unk> in denen die Schulden der Haushalte steigen - in denen sie ihre <unk> in ihrer Woche ihre Woche ihre Woche in der dritten Woche <unk>\r\n",
      "Die <unk> ist nicht nur ein schnelles Weg für <unk> - <unk> in Frau <unk> - <unk> wie <unk> <unk> als <unk> Bank <unk>\r\n",
      "Die <unk> in Singapur ist eine effektive jährliche jährliche jährliche Höhe von 17 pro <unk> vor allem vor allem vor allem pro <unk> mit einem <unk> mit einem <unk> in der gleichen <unk>\r\n",
      "Die <unk> haben die Vorteile des <unk> nicht <unk> oder Beweise für <unk> und können Kredite schneller als <unk>\r\n",
      "Daher sind Millionen Menschen in der Region in der Region <unk> da Familien sich als Familien fühlen und <unk> Haushalte und Verbraucher und Verbraucher <unk>\r\n",
      "Nach fünf Jahren des Wachstums seit dem globalen Finanz- und <unk> <unk> durch <unk> <unk> in <unk> <unk> und <unk> Familien laufen die Familien von <unk> Geschäften zu <unk> die Unterschiede zu <unk> wie ihre Volkswirtschaften ihre Volkswirtschaften <unk>\r\n",
      "Diese Woche Standard ist die <unk> <unk> die <unk> Erhöhung des <unk> vor allem aus steigenden <unk> als ein Faktor für asiatischen <unk>\r\n",
      "Es wurde <unk> Thailand und Singapur hatte die höchste <unk> für <unk> <unk> in <unk>\r\n",
      "Malaysia <unk> die Liste auf 80 Prozent des <unk> von 60 Prozent von 60 Prozent in <unk>\r\n",
      "Die Sorgen sind auch besorgt über hohe <unk> in <unk> die diese Woche aus technischen Gründen aus technischen Gründen <unk>\r\n",
      "Am <unk> haben die Daten über die <unk> und eine <unk> in den Verbraucherschutz <unk>\r\n",
      "Die Harmonisierung ist <unk> dass mit Kosten der <unk> in den mittleren <unk> die Einkommen der Einkommen nach niedrigeren Einkommen <unk> wobei sie ihr Einkommen <unk> wo sie <unk> <unk> <unk> <unk> <unk> auf <unk>\r\n",
      "Die hohen Preise für Gold in den vergangenen zwei Jahren haben in den vergangenen zwei Jahren einen Mehrwert für persönliche <unk> als Menschen die Möglichkeit <unk> ihren Wert auf ihre <unk> zu <unk>\r\n",
      "In der Tat über 70 Prozent von <unk> auf 70 % des <unk> sind 200 % der <unk>\r\n",
      "Die Menschen sprechen <unk> dass Gold <unk> <unk> <unk> <unk> <unk> und <unk> wieder nächste Woche wieder wieder <unk>\r\n",
      "In Thailand hat sich die größte <unk> <unk> <unk> in den letzten 20 Jahren eine Menge Kunden an den Tag <unk> die in den letzten Jahren in den letzten Jahren <unk>\r\n",
      "Das Wachstum des Wachstums des <unk> <unk> der <unk> von <unk> an <unk> und 15 anderen wie es in <unk> Pläne zur Ausweitung nicht nur in benachbarten Ländern - wo es vier Geschäfte gibt - <unk> sondern außerhalb von Asien - aber außerhalb von Asien - <unk> <unk> <unk>\r\n",
      "Das Unternehmen wird durch 60 Prozent 60 Prozent des <unk> von 60 Prozent dieses Jahres in einer Liste auf dem Flughafen Singapur <unk>\r\n",
      "Während einige Rabatt von <unk> aus dem <unk> für hohe Zinssätze unter <unk> <unk> sagt <unk> dass nicht nur möglich <unk> dass nicht nur die <unk> billiger Zinssätze als andere <unk> sondern auch direkt an die <unk> <unk>\r\n",
      "Die <unk> sind <unk> die sie bereits <unk> und <unk> persönliche Vermögen nicht mehr <unk> sie werden sie <unk>\r\n",
      "Eine stärkere soziale Akzeptanz der <unk> als Mittel zur Sicherung der <unk> <unk> <unk>\r\n",
      "Ebenso wenig sind die Arten von <unk> die nur die finanzielle Arbeit verwendet <unk>\r\n",
      "Die Menschen in Singapur verwenden auch die <unk> <unk> <unk> <unk> <unk> oder <unk> die an 60 Prozent ihres <unk> in <unk> <unk>\r\n",
      "Syrien hat seine chemischen Waffen <unk> die die <unk> <unk>\r\n",
      "Syrien hat kritische Geräte für chemische Waffen und <unk> <unk> die globale chemische Waffen <unk> wie <unk> <unk> <unk> in der <unk> <unk> <unk> während der <unk> <unk> <unk> in denen <unk> <unk> <unk> an den Tag gelegt <unk>\r\n",
      "Auch wenn wir eine Entschließung <unk> hat eine Gruppe von <unk> über mehr als 40 Menschen getötet worden seit dem Beginn des <unk> des <unk> fast drei Jahre lang <unk>\r\n",
      "Die Ankündigung der Organisation für die <unk> von <unk> <unk> wurde vor einem Tag vor dem Ende des Jahres <unk>\r\n",
      "1. Termin für die Organisation von <unk> für <unk> die Förderung oder <unk> aller chemischen Waffen und <unk> für <unk> Stoffe sowie Maschinen für <unk> Stoffe in <unk> und <unk>\r\n",
      "Die Vollendung des <unk> ist ein wichtiger <unk> in einer ehrgeizigen <unk> in einem ehrgeizigen <unk> dass Ziele zur Zerstörung aller chemischen Waffen durch <unk> ersetzt werden <unk>\r\n",
      "Die Ausstattung des <unk> bedeutet <unk> dass Syrien nicht mehr produzieren <unk>\r\n",
      "Die <unk> muss noch immer begonnen <unk> und <unk> Waffen und <unk>\r\n",
      "Das Land ist immer mehr <unk> etwa 1000 Tonnen Chemikalien und Waffen einschließlich <unk> Gas und <unk>\r\n",
      "Die Ankündigung kam als Kampf gegen <unk> am <unk> in der <unk> <unk> dass Experten aus chemischen Waffen sowie <unk> über die <unk> <unk> <unk> für Menschenrechte <unk>\r\n",
      "Die <unk> die die Todesstrafe durch ein Netz von <unk> in <unk> <unk> sagte <unk> dass <unk> Menschen <unk> Menschen <unk>\r\n",
      "Natürlich sagte es <unk> dass es auch <unk> darunter <unk> <unk>\r\n",
      "Auf der Regierung <unk> es hat <unk> dass Mitglieder Präsident Präsident <unk> <unk> <unk> <unk> <unk> <unk> <unk> und <unk> sind <unk>\r\n",
      "Auch unter den Toten wurde es <unk> Armee <unk> und einige <unk> Opposition <unk> viele von ihnen viele davon <unk>\r\n",
      "Am Juli 2006 haben die <unk> Schätzungen zufolge im Konflikt seit März 2008 <unk>\r\n",
      "Es hat nicht aktualisiert <unk> dass die Zahl der Zahl der Zahl der Zahl der Menschen nicht aktualisiert worden <unk>\r\n",
      "Der Konflikt musste einige Millionen Menschen <unk> um die <unk> zu <unk>\r\n",
      "Die Truppen wurden in <unk> <unk> viele von ihnen mit <unk> <unk> in <unk> in <unk>\r\n",
      "Die <unk> gab es <unk> dass beide Seiten am Donnerstag nicht auf beiden Seiten <unk>\r\n",
      "Die Bekämpfung des <unk> die Gefahren der chemischen <unk> vor Gericht stellen sich als Beobachter gegen enge Fristen in ihrer Mission <unk> Syrien mitten in einer laufenden Zivilgesellschaft <unk>\r\n",
      "Eine Erklärung der <unk> die eng mit dem Vereinigten <unk> <unk> wurde ihr Team <unk> <unk> dass sie - und festgestellt <unk> dass sie - und <unk> - kritisch kritisiert worden <unk> die kritische Produktion und <unk>\r\n",
      "Es wird jedoch noch weitere <unk> <unk> weitere Kontrollen <unk>\r\n",
      "Leider hatten diese <unk> die <unk> sie hatten ihre erste Runde der Überprüfung des 23. <unk> vom 23. Oktober vom 23. Oktober <unk>\r\n",
      "Sie konnten zwei Standorte nicht besuchen zwei Standorte wegen der Sicherheit der <unk>\r\n",
      "Am <unk> sagte <unk> dass zwei Standorte gemäß dem <unk> <unk> und ... - <unk> die chemische Waffen wurden angeblich anderen <unk> <unk> <unk> die <unk> <unk>\r\n",
      "Es war nicht sofort klar und wenn die Anlage in <unk> eine der beiden Standorte <unk> die sich nicht in der Lage <unk>\r\n",
      "Syrien hat einen Plan für die vollständige Zerstörung seiner chemischen Waffen <unk> die im nächsten Monat vom Rat angenommen werden <unk>\r\n",
      "Die <unk> und Mut des <unk> alle beweisen alle bewiesen <unk> dass die Mission jemals durch dieses <unk> <unk> <unk> <unk> <unk> sagte in Kommentare über die <unk> <unk>\r\n",
      "Jetzt in seiner dritten <unk> die Zivilgesellschaft hat die Zivilgesellschaft vor allem die <unk> <unk> gegen <unk> Regierung und seine Sicherheit <unk> die mit Mitgliedern seines <unk> <unk> <unk> eine <unk> von <unk> <unk>\r\n",
      "Anders <unk> Die <unk> des <unk> <unk> hat es einen starken <unk> innerhalb einer <unk> in <unk> in <unk> <unk>\r\n",
      "Die Ursache für die <unk> war nicht <unk>\r\n",
      "<unk> über Bali über <unk> <unk>\r\n",
      "Die <unk> und <unk> waren unter dem <unk> die bereits eingereicht worden <unk>\r\n",
      "Die Voraussetzung für die Bedingung für die Abschaffung der elektronischen Geräte könnten wir mit dem <unk> von elektronischen Geräten sehr <unk> <unk>\r\n",
      "Die Passagiere müssen jedoch ihre <unk> <unk> und andere Geräte wieder einmal einmal einmal einmal einmal eine <unk> Tür <unk>\r\n",
      "Die <unk> dürfen sie nicht länger als Flugzeug erreicht und die <unk> die <unk>\r\n",
      "Die <unk> sollen ihre Geräte wieder als Flugzeug <unk> und nicht <unk> sie dürfen bis zum Flugzeug bis zum Flugzeug <unk>\r\n",
      "Unter dem neuen <unk> deren Flugzeuge unabhängig von elektronischen <unk> die von elektronischen Einmischung durch elektronische Einmischung in <unk> <unk> ermöglichen <unk> die Geräte während des <unk> zu <unk> und <unk>\r\n",
      "Die meisten neuen <unk> und andere Flugzeuge wurden so geändert <unk> dass Passagiere in höheren <unk> mehr Geld nutzen <unk> um die <unk> zu <unk>\r\n",
      "<unk> Herr <unk> Präsident des <unk> <unk> <unk> begrüßt die <unk>\r\n",
      "Die neue Politik ist sicher - und <unk> wird eng mit dem Flugzeug eng mit dem Flugzeug verbunden <unk> - ein <unk> <unk>\r\n",
      "<unk> <unk> <unk> Gefühl des <unk> als <unk> wenn es um diese Frage <unk>\r\n",
      "Aber mit dem Internet zum Internet zum Internet oder dem Herunterladen von Daten werden noch immer noch unter 10.000 Euro <unk> die Agentur <unk>\r\n",
      "Die <unk> wird sich <unk> ihre <unk> zu <unk> und andere Geräte zu <unk>\r\n",
      "Noch kein <unk> mit dem <unk> das Online <unk> das <unk> <unk> <unk> <unk> in seiner <unk> während er <unk> <unk> <unk> für <unk> <unk> um das Gerät zu <unk> während die <unk> <unk> während die <unk> auf dem Markt <unk>\r\n",
      "Und <unk> Geräte wie <unk> werden weiterhin sein <unk> weil sie sich möglicherweise auch auf die <unk> <unk> wenn sie sich über die <unk> verlassen <unk>\r\n",
      "Auch deshalb wird auch weiterhin auch weiterhin <unk>\r\n",
      "Die Registrierung von <unk> gehört zu den <unk> gehört zu den <unk> nicht der <unk>\r\n",
      "Das Verbot könnte das Verbot einiger elektronischen Geräte während der <unk> und <unk>\r\n",
      "Am vergangenen Wochenende hat die nationale <unk> die Sicherheit des <unk> Mark <unk> <unk> eine <unk> Nachricht <unk> <unk> dass die <unk> noch als eine <unk> angesehen werden <unk>\r\n",
      "Das ist jedoch ein <unk> nicht nur weil es eine <unk> <unk> weil es <unk> <unk> mit <unk> <unk> <unk> aber wir haben gemäß dem <unk> dass es sich um die <unk> <unk> wenn <unk> in <unk> <unk> in <unk> <unk>\r\n",
      "Ein <unk> Ausschuss für <unk> hat durch die Kommission im vergangenen Monat das Thema <unk> das in letzter Zeit mehr Verwendung von persönlichen elektronischen elektronischen elektronischen elektronischen elektronischen elektronischen elektronischen elektronischen elektronischen elektronischen Zwecken <unk>\r\n",
      "Die <unk> wurde auf den letzten Jahren in den letzten Jahren zur Erleichterung Beschränkungen Beschränkungen für ihre Bürger <unk>\r\n",
      "Die <unk> wie <unk> <unk> <unk> <unk> gibt es keine gültige Sicherheit für die <unk>\r\n",
      "Die Beschränkungen haben auch immer schwieriger zu <unk> wie Verwendung von Geräten zu <unk>\r\n",
      "Einige Studien deuten darauf <unk> wie viele Drittel der <unk> oder ignorieren sich nicht auf ihre <unk>\r\n",
      "Die <unk> begann <unk> dass elektronische Geräte in <unk> in <unk> in <unk> und <unk> bei <unk> mit <unk> und <unk> begonnen <unk> wenn die <unk> ihre <unk> <unk>\r\n",
      "Neue <unk> sind weitaus mehr <unk> auf <unk> als frühere Generationen von <unk> aber sie sind auch von der Kommission und vom Parlament <unk>\r\n",
      "Fluggesellschaften erhalten Wi-Fi über <unk> <unk> für mehrere <unk>\r\n",
      "Die geänderten Regelungen für Telekommunikation sind auch mehr gegen die <unk>\r\n",
      "Die große Mehrheit der <unk> sollte für mehr elektronische Geräte verwendet <unk> unter dem neuen <unk>\r\n",
      "Die elektronische elektronische Geräte allgemein ist allgemein <unk> <unk> als frühere Generationen von <unk>\r\n",
      "Die <unk> beispielsweise nur <unk> wenn man einen <unk> <unk>\r\n",
      "Aber es ist jedoch stärkere <unk> wenn Geräte heruntergeladen oder <unk>\r\n",
      "Der Beginn des Bau des <unk> in Bulgarien wird die Einführung eines <unk> größten <unk> <unk> <unk> <unk>\r\n",
      "<unk> <unk> <unk> hat <unk> <unk> <unk> über den <unk> Abschnitt des <unk> <unk> das wichtigste Projekt im <unk> <unk> <unk> <unk> <unk> <unk> sagte in einer Erklärung <unk>\r\n",
      "Dieses Projekt ist ein wichtiger Bestandteil der Sicherheit der gesamten Europäischen <unk>\r\n",
      "Südafrika sollte dazu <unk> dass die Vielfalt der <unk> durch <unk> <unk>\r\n",
      "Ein <unk> Streit zwischen <unk> und seinen <unk> in <unk> die am meisten <unk> Gas für <unk> Gas für <unk> <unk> <unk> <unk> <unk>\r\n",
      "Die direkte Verbindung zwischen den <unk> eines Mitgliedstaates des Europäischen Parlaments bedeutet <unk> Risiken mit <unk> mit <unk> zu <unk>\r\n",
      "Die Verbraucher werden Gas Gas Gas Gas Gas pro <unk> pro Tag in <unk> <unk>\r\n",
      "Die Errichtung des Bau sollte zunächst einmal in anderen Ländern von Ländern <unk>\r\n",
      "Die <unk> soll für eine jährliche Kapazität von <unk> <unk> <unk> <unk>\r\n",
      "Kein <unk> Deutschland als ein Eigentum für nationale und internationale <unk>\r\n",
      "Die wirtschaftliche Lage ist <unk> und die Finanzierung sind <unk>\r\n",
      "Das war die Botschaft des 9. <unk> <unk> <unk> organisierte <unk> <unk> <unk> <unk>\r\n",
      "Die deutschen <unk> sind von der wirtschaftlichen Stärke und allgemeinen Bedingungen im Vergleich zu dem Rest der übrigen <unk> verglichen mit dem Rest der <unk>\r\n",
      "Das wurde darauf <unk> dass Russland <unk> <unk> <unk> CEO für <unk> und <unk> am 9. <unk> im 9. <unk> <unk> organisiert <unk> organisiert <unk> organisiert <unk>\r\n",
      "Das Ausmaß des deutschen <unk> in der sich die deutschen kommerziellen Immobilien <unk> ist <unk>\r\n",
      "In erster Linie dieser <unk> gab es eine Erhöhung des <unk> verglichen mit dem gleichen Zeitraum im Vergleich zum Zeitraum <unk>\r\n",
      "In Großbritannien steht das Wachstum nur auf dem <unk> und in Frankreich steht in <unk>\r\n",
      "Die Investitionen bieten eine attraktive Menge von <unk> <unk>\r\n",
      "Die Lücke zwischen Eigenschaften und <unk> <unk> ist auf hohem Niveau <unk>\r\n",
      "Die <unk> ist <unk> Beschränkungen für Anwendung elektronischer <unk> auf <unk> - wenn es um <unk> <unk> wird noch immer noch nicht <unk>\r\n",
      "<unk> Angriff auf einen Hinweis auf russische <unk> in der Stadt <unk> eine offizielle <unk>\r\n",
      "Eine deutliche Fortsetzung der Kampagne zur Bekämpfung von Waffen an <unk> in der EU ist <unk>\r\n",
      "Ein <unk> Gericht <unk> ein <unk> Urteil mit einer <unk> <unk> die sich gegen die <unk> <unk> <unk> gegen <unk> <unk>\r\n",
      "<unk> 100 afrikanischen Migranten hoffen auf israelische <unk> nach ihren zwei <unk> nach ihren zwei <unk> im <unk>\r\n",
      "Die Gewalt heißt <unk> Gewalt und sieben Kinder sterben nichts mehr als <unk> <unk> nicht mehr als ein Zeichen der zunehmenden Gewalt in <unk>\r\n",
      "Anstatt die amerikanische Regierung zu <unk> die Investoren ihre Aufmerksamkeit auf ihre Aufmerksamkeit auf sich konzentrieren <unk> was wahrscheinlich die <unk> <unk>\r\n",
      "Die <unk> die sich in der Lage sein <unk> welche Situation man vielleicht dann <unk> <unk> kann die <unk> <unk>\r\n",
      "Die Polizei sagt sie ein Video <unk> das anscheinend <unk> <unk> Ford <unk> <unk> <unk>\r\n",
      "Selbst enge Verbündeten lassen sich noch etwas anderes machen - und alle <unk> um die <unk> zu <unk>\r\n",
      "Die <unk> will gern <unk> wie <unk> <unk> über die <unk> Probleme wie <unk> <unk> und <unk> <unk>\r\n",
      "Zwei <unk> Arbeitnehmer zahlen mit <unk> vor <unk> gegen <unk> <unk> Royal Commission <unk>\r\n",
      "Zwei <unk> Arbeitnehmer mussten mit Kindern <unk> bevor sie gegen <unk> <unk> vor Gericht gestellt <unk> gegen <unk> <unk> Lord <unk> Lord <unk> hat die sexuelle Unterstützung Royal <unk>\r\n",
      "Sie waren gegen alle <unk> aber die beiden ihnen haben mit dem <unk> und <unk>\r\n",
      "Es war nur die zweite Zeit war mit <unk> und wir waren alle <unk> wenn er ihn <unk>\r\n",
      "Die <unk> in der Arena waren daher so <unk> er war so <unk> sie wollten Fotos mit <unk> <unk>\r\n",
      "Die vom Dorf <unk> Stadt <unk> in <unk> <unk> <unk> wird nach seiner <unk> Sharon <unk> <unk> die seit zehn Jahren für mehr als zehn Jahre lang <unk>\r\n",
      "Frau <unk> <unk> <unk> <unk> war ein kleiner und jeder <unk> und <unk>\r\n",
      "Er ging auf Sand in Sand und obwohl er er als er so wenig wie er er <unk> <unk> er hatte eine <unk> <unk>\r\n",
      "Der <unk> ist <unk> - er <unk> <unk> <unk> und Betriebe und haben zwei <unk> die er <unk>\r\n",
      "Die Art und Weise hat sich <unk> dass das Jahr 2009 vor langer Zeit vor langer Zeit und <unk> <unk>\r\n",
      "Ein <unk> für den jährlichen Pferd <unk> <unk> ist nur drei <unk> aber er weiß <unk> wie er mit seinem <unk> umgehen <unk>\r\n",
      "Sie sind ein großes Team <unk>\r\n",
      "Die Richter haben und <unk> wie gut sie sich und wie gut sie im Bericht <unk> und wie sie sie im Bericht enthalten <unk>\r\n",
      "Sie schauen gute <unk> zwischen dem <unk> und dem <unk> - und die <unk> - waren die besten am besten am besten in der <unk>\r\n",
      "<unk> Herr <unk> dass sich die <unk> von seiner <unk> <unk> wirklich als Berichterstatter erwiesen <unk>\r\n",
      "China ist jedoch ein <unk> <unk>\r\n",
      "Eine chinesische Zeitung <unk> die eine <unk> Forderung nach einer <unk> <unk> <unk> ist eine Presse <unk> um eine Presse zu <unk>\r\n",
      "Das <unk> neue Express hat eine selten <unk> öffentliche <unk> für die Freilassung von Journalisten <unk>\r\n",
      "Aber Herr <unk> später wurde das Fernsehen über Fernsehen <unk> die sich auf <unk> Geschichten über einen Teil <unk>\r\n",
      "Jetzt ist das neue Express <unk> <unk> <unk> die <unk> <unk>\r\n",
      "Die <unk> wurde aus der Verwaltung von Mitteilungen und <unk> <unk> Film und <unk> Film und <unk> <unk>\r\n",
      "Eine Untersuchung Untersuchung zeigte <unk> dass <unk> News <unk> News <unk> neue <unk> Berichte über <unk> veröffentlicht <unk> im Zeitraum September 2012 bis August 2008 <unk>\r\n",
      "Die <unk> <unk> <unk> war die <unk> in einem <unk>\r\n",
      "Er hatte es <unk> eine administrative Strafe zu <unk> indem er seine <unk> <unk> durch <unk> <unk> <unk>\r\n",
      "Es wurde auch <unk> <unk> News <unk> eine vollständige <unk> von New <unk> und empfohlen sie untersuchen sie die zuständigen <unk> Personen auf New Express und sofort neue <unk> <unk> <unk>\r\n",
      "Herr <unk> schrieb mehrere Artikel für das neue Express <unk> <unk> in einem <unk> Unternehmen namens <unk> <unk>\r\n",
      "Nach seiner Veröffentlichung wurde seine Zeitung zwei <unk> <unk> für seine <unk> <unk> er hat seine <unk> <unk>\r\n",
      "Aber Herr <unk> erschien dann auf staatliche Fernsehen <unk> er hatte falsche Geschichten für <unk>\r\n",
      "Leider hat dieser Fall Schaden für die Schäden von <unk> und auch die gesamte Nachricht der Branche und ihre Fähigkeit zur Rettung der <unk> <unk> er sagte <unk> <unk>\r\n",
      "Ich habe dieses hauptsächlich seit Geld und <unk> <unk>\r\n",
      "<unk> <unk> meine <unk>\r\n",
      "Nach Herrn <unk> <unk> New Express erhielt ein <unk> <unk> <unk> er hatte es nicht richtig <unk> seine <unk> zu <unk>\r\n",
      "Mehrere <unk> haben jedoch <unk> <unk> <unk>\r\n",
      "Die <unk> sagen noch immer noch <unk> obwohl es trotz einer Änderung in dem Gesetz früher das Jahr dieses Jahres <unk> die Behörden von <unk> <unk>\r\n",
      "Zunächst einmal ist ein Thema der <unk>\r\n",
      "Die <unk> wollen Tiere für Tiere <unk> um zu <unk> dass die <unk> von <unk> die für alle ihre Verbraucher für alle ihre Verbraucher <unk>\r\n",
      "Anstatt nicht als fehlende <unk> oder <unk> <unk> die <unk> hat schnell neue Produkte <unk> die wirklich <unk> <unk>\r\n",
      "Die <unk> ist ein doppelten <unk> <unk> <unk> <unk> <unk> ist nicht Sache der <unk> sondern nicht über <unk> sondern vielmehr eine <unk> hinsichtlich der Annahme Ihrer <unk> wenn Sie Ihre Ernährung Ihrer Ernährung Ihrer Ernährung <unk> um Ihre Wahl zu <unk>\r\n",
      "Und genau dies ist genau diese <unk> die in vielen Ländern ein <unk> Versuch <unk>\r\n",
      "Der Kampf gegen den Terrorismus ist ein entscheidender Faktor für viele <unk> damit viele Länder schnell mit <unk> ähnlichen Mitteln ausgestattet <unk>\r\n",
      "Und er ist jedoch nicht mit dem <unk> <unk>\r\n",
      "Oft ist es die <unk> oder die Art der Vorbereitung der <unk>\r\n",
      "Die <unk> <unk> schafft die gleiche Wirkung in anderen <unk> die die EU <unk>\r\n",
      "Beispielsweise wird beispielsweise bei einer <unk> <unk> <unk> <unk> und auch einige wenige <unk>\r\n",
      "Er garantiert eine <unk> verschiedene <unk> <unk> <unk> was auch gut sein <unk>\r\n",
      "Natürlich wollen Sie etwas mit einem bisschen <unk> <unk>\r\n",
      "Die <unk> sollte jedoch <unk> aber diese <unk> bedeutet <unk> dass sie <unk> <unk> gesagt <unk>\r\n",
      "Er hat keinen Schaden gegen seine Gesundheit oder <unk> - ein weiterer <unk> <unk>\r\n",
      "Die <unk> hat eine positive Wirkung für die <unk>\r\n",
      "Ich habe keine ausländische <unk> und ich habe mich <unk> dass mein <unk> <unk>\r\n",
      "Es gibt noch eine <unk> die auch eine ausschließlich <unk> <unk>\r\n",
      "Die <unk> sind hervorragende <unk> ich habe mich auf eine regelmäßige Untersuchung <unk> <unk> <unk>\r\n",
      "Viele Kritiker der <unk> <unk> insbesondere der fehlenden <unk>\r\n",
      "Die Tiere werden auf <unk> <unk> statt sie sich <unk> ob die <unk> Inhalte in Fleisch verkauft <unk> in <unk> <unk> <unk> <unk>\r\n",
      "So sieht beispielsweise auch die Option der <unk> in Form von <unk>\r\n",
      "Die Werte von <unk> Werten sind <unk>\r\n",
      "Die <unk> reicht nicht viel zu <unk>\r\n",
      "Es gibt grundlegende <unk> und jede <unk> hat jetzt <unk> Milch und andere <unk>\r\n",
      "Ich kann alles <unk> was ich <unk>\r\n",
      "Ich möchte nur spezielle Punkte und <unk> <unk>\r\n",
      "Die Menschen sind jedoch auch <unk> dass auch wenn auch wenn auch wenn man auch die Produkte von Produkten <unk> Produkte bekannt ist und dass dies auch für die <unk> <unk>\r\n",
      "In jedem Fall ist die Vorbereitung von <unk> Gerichte viel billiger und weniger Zeit als gewöhnlich <unk>\r\n",
      "Aber es gibt viele <unk> Es gibt viele <unk> - mit einigen kleinen <unk> Sie können nicht nur etwas besser <unk> wenn nicht manchmal besser <unk> gesagt <unk>\r\n",
      "Der <unk> in <unk> ein bisschen mehr <unk> und <unk> % der <unk> - <unk> in <unk> - hat sogar seine <unk> mit seinem <unk> <unk> <unk>\r\n",
      "Das <unk> fügt neue <unk> für die Familie <unk>\r\n",
      "Wenn Sie <unk> gemeinsam eine bestimmte Dynamik - die <unk> wird neue <unk> <unk>\r\n",
      "Erstens haben die amerikanischen <unk> die <unk> <unk> <unk> <unk> auf die Optionen für die Anpassung an die Märkte zu <unk>\r\n",
      "Als <unk> der <unk> brauchen fast ein ganzes Tag für einen ganzen Tag bis hin zu <unk>\r\n",
      "Zwei Tage vor zwei Tagen haben alle <unk> die in den USA auf einem <unk> für mehrere Jahre hinweg wegen eines <unk> in der EU zurückzuführen <unk>\r\n",
      "Leider hat das letzte Jahr 2008 die Liste Facebook über den <unk> <unk>\r\n",
      "Die Systeme der <unk> könnten nicht mit dem <unk> und <unk> der Exchange <unk> eingeführt werden und die Börse auf einem späteren Zeitpunkt eine Strafe von 10 Millionen Dollar auf dem Markt <unk>\r\n",
      "<unk> <unk> <unk> über <unk>\r\n",
      "Nach dem <unk> wurde der Unfall am Donnerstag über 30 Jahre lang <unk> wenn ein Mann ein Mann <unk> <unk> auf dem linken <unk> der <unk> in Richtung einer sehr wichtigen <unk>\r\n",
      "Nach dem Bericht von <unk> wenn ein Mann plötzlich plötzlich plötzlich auf dem <unk> <unk> dann konnte man nicht in die Lage <unk> in <unk>\r\n",
      "Während der nachfolgenden Aussprache wurde die Mauer der Mauer gegen die Mauer des <unk> und danach auf die <unk> Leiden des <unk> <unk> das am 15. Oktober in <unk> <unk>\r\n",
      "Ein <unk> Team hat den <unk> Mann für medizinische Zwecke <unk>\r\n",
      "Die britischen Polizei dienen <unk> mit <unk>\r\n",
      "Die Polizei hat heute eine <unk> Warnung heute über <unk> <unk> <unk> <unk> der in <unk> <unk> in London und schriftlich gefordert <unk>\r\n",
      "Schottland sagte sie <unk> sie hatten einen <unk> <unk> auf dem <unk> <unk> <unk> er scheint sich auf eine Polizei zu <unk> damit er damit weiter mehr Haftung für die <unk> übernehmen <unk>\r\n",
      "Die <unk> ist jedoch <unk> dass Schweden über <unk> <unk> <unk> seine Optionen unter britischen <unk> wenn die <unk> <unk> seiner Forderung gegen frühere <unk> frühere <unk> <unk>\r\n",
      "Der Gipfel Stockholm würde ihm auf dem Gipfel <unk> er wollte auf <unk> <unk> in London <unk> <unk> in London <unk> das Vereinigte Königreich für politische <unk>\r\n",
      "Schottland hat eine <unk> Warnung auf einen <unk> <unk> der er an einen <unk> <unk> an dem er aufgefordert <unk> einen <unk> auf Datum und Zeit unserer <unk> zu <unk>\r\n",
      "Er bleibt gegen seine <unk> <unk>\r\n",
      "Die <unk> <unk> zu den <unk> des <unk> zu <unk>\r\n",
      "Die jüngsten Befürchtungen werden von Schweden aus Schweden <unk> sich mit möglichen <unk> <unk> <unk> nach <unk> mehr als <unk> US-Dollar nach <unk> <unk> zu <unk>\r\n",
      "<unk> <unk> auf <unk> Getränke zwischen <unk> <unk> <unk>\r\n",
      "Ein <unk> wurde wegen des <unk> auf <unk> <unk> mit einem heißen <unk> zwischen seinen <unk> <unk>\r\n",
      "Andrew <unk> <unk> von <unk> <unk> <unk> <unk> seine <unk> auf dem <unk> auf 27 <unk> auf 27 <unk>\r\n",
      "Als Polizei ihn entdeckt <unk> hat er den <unk> zwischen seiner <unk> <unk>\r\n",
      "Derzeit hat <unk> Court <unk> eine Gebühr für <unk> ohne Sorgfalt und <unk> <unk>\r\n",
      "In sieben Punkten wird er seine Lizenz zur Genehmigung seines <unk> <unk>\r\n",
      "Die Verbraucher erhielten auch die Kosten für <unk> und ein Opfer von <unk>\r\n",
      "<unk> auf ausländische <unk> <unk> <unk> <unk>\r\n",
      "Die <unk> haben die <unk> <unk> die Maßnahme auf <unk> aber warten auf eine endgültige Entscheidung von Herrn <unk> <unk> in <unk> <unk> eine <unk> von <unk> für <unk> mehr als <unk> und <unk> Gebühren für Käufer zu <unk> die sich in einem Unternehmen als <unk> und als <unk> für die <unk>\r\n",
      "Bereits die Pflicht der <unk> in der <unk> von <unk> und <unk> <unk> <unk> <unk> <unk> <unk> <unk> in <unk> <unk> <unk> die <unk> für Nordirland und <unk> sowie die <unk> <unk> <unk> <unk> <unk>\r\n",
      "Herr <unk> Herr <unk> Die Erhöhung der Wettbewerbsfähigkeit von hoher <unk> und die Einführung solcher <unk> ist sehr schwer zu <unk> es ist sehr schwer zu <unk> dass hohe <unk> unabhängig von der Wirkung des <unk> <unk> unabhängig von der Wirkung des <unk> <unk>\r\n",
      "Aber diese Schritt könnte es <unk> dass es einige ausländische Investoren <unk> Eigentum in London oder in aktuellen <unk> zu <unk>\r\n",
      "Ministerpräsident <unk> - die oberste <unk> des <unk> durch <unk> - in <unk> London <unk> <unk> die aus <unk> bis hin zu <unk> % bis zu einem <unk> über die Vergangenheit gestiegen <unk>\r\n",
      "Alle Tickets bleiben für diese <unk>\r\n",
      "Wir möchten alle Tickets für alle Tickets für alle <unk> für alle <unk>\r\n",
      "Bitte kontaktieren Sie Kontakt mit dem Kunden über <unk> Sie zahlen Ihre Tickets aus weiteren <unk>\r\n",
      "<unk> <unk> Glückwunsch an den Namen des ersten <unk>\r\n",
      "Die <unk> wird neue <unk> der <unk> Kirche für seine erste Zeit für seine erste Zeit am Februar <unk> die <unk> veröffentlicht <unk>\r\n",
      "Die <unk> sind die <unk> in der <unk> Kirche unterhalb der <unk> und <unk> die <unk> die gewählt werden <unk> wird seine erste Gruppe von Männern <unk> die letztlich helfen <unk> seine erste Gruppe von Männern zu <unk>\r\n",
      "Es gibt jetzt <unk> <unk>\r\n",
      "Wenn ein <unk> erreicht <unk> ist es nicht mehr <unk> dass sich die Wahl einer <unk> <unk> – dies fällt eine Gruppe 120 <unk> <unk>\r\n",
      "In einer Erklärung der Erklärung des <unk> <unk> <unk> <unk> ein <unk> <unk> eine Sitzung aller bestehenden <unk> wäre vor dem <unk> der neuen <unk> bekannt <unk> als eine <unk>\r\n",
      "Die Entscheidung des Parlaments hat sich <unk> seine Entscheidung zu <unk> um <unk> <unk> in <unk> zu <unk> um die Planung anderer Treffen mit den Beteiligung von <unk> aus verschiedenen Teilen des <unk> <unk>\r\n",
      "Jack <unk> of <unk> <unk> sagte <unk> dass die Zahl der <unk> wahrscheinlich wahrscheinlich schon angesprochen worden <unk>\r\n",
      "Er sagte normalerweise eine <unk> würde als viele <unk> als notwendig <unk> um die Zahl der <unk> zu 120 und ebenso viele <unk> 40 000 Euro über 80 und so viele <unk>\r\n",
      "Als nächstes wäre es <unk> denn es wäre das erste denn es wäre das erste seit <unk> <unk> <unk> <unk> <unk>\r\n",
      "Derzeit gibt es eine Art <unk> gegenüber Europa und vor allem gegenüber <unk>\r\n",
      "Die Zukunft wird interessant <unk> ob die neuen <unk> die neue Welt <unk> die Welt der Welt wieder wieder zu <unk>\r\n",
      "Die <unk> Prozent des <unk> sind in Südafrika in <unk> aber sie haben eine kleine Anzahl von <unk>\r\n",
      "Die <unk> wird auch die erste Wahl gewählt <unk> da es den Rat der <unk> eine Gruppe von acht Jahren von rund 20 % von rund 20 % der Welt zur Reform der Reformen führen <unk>\r\n",
      "In der Vergangenheit hat sich alles auf seiner <unk> <unk>\r\n",
      "Die <unk> hat diese acht <unk> <unk> um die <unk> <unk> <unk> <unk>\r\n",
      "Er sagte <unk> dass es <unk> <unk> dass die <unk> für die <unk> für die <unk> verantwortlich <unk>\r\n",
      "Aber nicht zuletzt war es in dieser Situation vor allem völlig <unk>\r\n",
      "Die <unk> hat <unk> dass sich die Lage von großer Mehrheit aus großen Teilen des <unk> aber dieses <unk> war natürlich <unk> dass wir <unk> <unk> wer <unk> <unk>\r\n",
      "genetisch veränderte <unk> in Großbritannien sind in Großbritannien <unk>\r\n",
      "General Motors ist <unk> fast <unk> seiner <unk> 2014 <unk> und <unk> Sierra Leone für <unk> ein Problem mit dem <unk> <unk> <unk> nach einer Warnung von amerikanischen <unk> auf <unk>\r\n",
      "Auf einigen der <unk> können die <unk> einen Mangel an <unk> in der EU <unk>\r\n",
      "Als <unk> betrachtet sich die <unk> nicht mit <unk> <unk> auf <unk>\r\n",
      "Zweitens ist das Fahrzeug aus <unk> die <unk> des <unk> kann nicht ordnungsgemäß geschützt werden und je nach Angaben der <unk> auf die nationalen <unk> <unk> <unk> <unk>\r\n",
      "Die Modelle der <unk> wurden zwischen August 1 und September 2000 errichtet <unk>\r\n",
      "<unk> <unk> begann im Juni und repräsentiert die wichtigste <unk> für die <unk> 1 <unk> da sich 2009 <unk> <unk> <unk>\r\n",
      "genetisch veränderte <unk> würden die Eigentümer des <unk> in erster Hälfte <unk>\r\n",
      "Die <unk> könnte nicht die <unk> wegen des <unk> <unk> <unk> die <unk> im Jahr 2007 <unk>\r\n",
      "Der Verkauf von <unk> und Sierra <unk> die seit zwanzig Monaten für das Modell des <unk> <unk> wurden 20 Prozent des <unk> <unk> über 20 Monate lang über <unk> <unk>\r\n",
      "<unk> <unk> <unk> ein <unk> <unk> als die Opposition und <unk> wie die <unk> Partei wie die <unk> <unk> werden unsere öffentlichen <unk> <unk>\r\n",
      "Die Beispiele aller Beispiele habe ich <unk> sie scheinen weitgehend aus dem eigenen <unk> <unk>\r\n",
      "Das ist mir <unk>\r\n",
      "Ich habe für Obama erneut in <unk> <unk> aber nicht weil ich mich von seiner <unk> <unk>\r\n",
      "Die heutige Vorlage hat einen <unk> und <unk> alternativen <unk> der sich nicht hinter seine Politik oder seine <unk> <unk>\r\n",
      "Ich habe <unk> dass ein zweiter Begriff für die Freizügigkeit von <unk> aus dem Druck des künftigen Wettbewerbs die Hoffnung <unk> dass wir so gut wie möglich gehört <unk>\r\n",
      "Wie beispielsweise die Annahme von <unk> unter <unk> <unk> unter <unk> <unk> wird dieses Jahr bis 2008 durch dieses Buch viel <unk>\r\n",
      "Ich finde es für viele Versprechen für die vielen <unk>\r\n",
      "Diese Woche war ich der Teil des <unk> des <unk> wie Obama einen riesigen Verlust an Clinton in der <unk> <unk>\r\n",
      "In einer Kampagne wurde er <unk> er sagte seine Mitarbeiter <unk> dass sie auf <unk> warten und <unk> um das Ziel ihrer <unk> zu <unk>\r\n",
      "Wir wollen uns unsere <unk> <unk> <unk>\r\n",
      "Die <unk> müssen wir nicht daran <unk> wer wir <unk>\r\n",
      "<unk> fünf Jahre später sind Sie und ich stimme Ihnen mit Ihnen <unk>\r\n",
      "Die Meinungen in diesem Bericht sind ausschließlich diejenigen von <unk> <unk>\r\n",
      "Die <unk> <unk> <unk> Tony Blair hat sich gegen <unk> <unk> das System des <unk>\r\n",
      "Der <unk> <unk> <unk> sagt Premierminister Tony Blair <unk> ein Konflikt über seine <unk> denn seine <unk> könnte sich als <unk> und Nutzen von <unk> Nutzen <unk>\r\n",
      "Die <unk> die in einem Streit über eine <unk> Millionen <unk> <unk> <unk> hat die Behauptung als Versuch <unk> die Forderungen von Fragen zu <unk> ob er eine <unk> <unk>\r\n",
      "Die <unk> Partei könnte auf vier Abstimmungen in der <unk> <unk> dass man in der Entscheidungsfindung entscheidende Worte treffen und <unk> <unk>\r\n",
      "Aber Herr <unk> wurde nur Minister <unk> die einen Konflikt des Interesse des Interesse des Interesse von Interesse haben und Herr <unk> <unk> von <unk> profitieren <unk>\r\n",
      "Es hat einen großen Konflikt des Interesse des Interesse des <unk> wenn es um <unk> <unk> weil jede dieser <unk> <unk> <unk> ein direkter Interesse <unk> ob sie oder Herr <unk> Herr <unk> <unk> <unk>\r\n",
      "Zwei Monate nach dem <unk> haben die <unk> offiziell den Gewinner des <unk> <unk> von 53 <unk> von 53 bis 53 <unk> nach 53 Jahren <unk>\r\n",
      "Herr <unk> forderte die Wahl von Wahlen auf die <unk> die <unk> zu <unk>\r\n",
      "Tony <unk> <unk> <unk> und <unk>\r\n",
      "Sollte diese Wahl zwei Monate nach unserer Wahl beschlossen <unk>\r\n",
      "Die Notwendigkeit muss besser <unk> er muss eine bessere Rechtsetzung <unk>\r\n",
      "Warum haben wir ein System <unk> in dem Sie sich nur dann erreichen <unk> Sie haben Ihre Details in einer <unk> Abstimmung sofort und haben einen Ausgang <unk>\r\n",
      "Herr <unk> auch kritisiert die Verwendung von <unk> um die Verwendung von <unk> zu <unk>\r\n",
      "Ist es <unk> weil sie das Ergebnis <unk> wenn jemand jemand <unk> wie <unk>\r\n",
      "In diesem Tag scheint es ein <unk> Gefühl zu <unk>\r\n",
      "Die Kommission hat die Optionen für elektronische <unk> und kürzlich veröffentlichte gemeinsame Diskussion mit New <unk> mit New <unk>\r\n",
      "Herr <unk> Herr <unk> sagte seine Politik für eine internationale <unk> für die <unk> Küste und würde er <unk> seine neue <unk> <unk>\r\n",
      "Öffentliche Büro ist über öffentliche <unk>\r\n",
      "Es ist jedoch zu <unk> sich selbst als Stadt nach dem <unk> zu <unk> indem er eine Erklärung der <unk> <unk> eine Erklärung der <unk>\r\n",
      "Wir haben jetzt <unk> dass die öffentliche Erklärung von den <unk> auch eine Chance <unk>\r\n",
      "In der Sitzung des <unk> hat er <unk> dass er für das Ergebnis des <unk> des <unk> gegen die Pläne für die Pläne für eine <unk> und <unk> auf dem Schweizer Markt <unk>\r\n",
      "Einige scheinen jedoch von <unk> anderer <unk> wie es ein <unk> Versuch <unk> die <unk> weiter zu <unk> die Presse vom <unk> <unk>\r\n",
      "Die Initiative der Kommission ist die Initiative der <unk> die die Kennzeichnung und all jene <unk> die eine <unk>\r\n",
      "Die <unk> für <unk> ist kein <unk>\r\n",
      "Wie <unk> <unk> ist mit dem derzeitigen <unk> der österreichischen Präsidentschaft mit dem aktuellen <unk> <unk> <unk> <unk> <unk> des <unk> des <unk> der Kommission Ausdruck des <unk>\r\n",
      "Die heutige Aussprache ist derzeit ein gefährlicher <unk> mit dem Alan <unk> und Alan <unk> wie sie bereits gesagt <unk> in einer Konferenz von <unk> im Hinblick auf die Verteidigung der beiden <unk> <unk>\r\n",
      "Die jüngsten Ursachen für die Kritik war die <unk> Polizei für <unk> auf <unk> vor <unk> vor <unk> wo die <unk> <unk> <unk> <unk> <unk> - <unk> das war nicht <unk> wie durch Fernsehen <unk>\r\n",
      "Die falsche Aussage ist jedoch falsch <unk> <unk> <unk> die sich als <unk> aus seinem <unk> <unk>\r\n",
      "Auch spielte auch die <unk> <unk> in der <unk> zwischen Salzburg und <unk> <unk> <unk> <unk> nach dem <unk> <unk> nach dem <unk>\r\n",
      "Er hat seine deutsche <unk> <unk> jede einzelne Situation hätte meiner Meinung nach dieselbe Art wie <unk>\r\n",
      "Die <unk> selbst wollten keinen Kontakt mit seinen Kollegen nach dem <unk> mit dem Parlament <unk>\r\n",
      "Ich weiß <unk>\r\n",
      "<unk> Herr <unk> ich war der <unk> der sich mit der Berichterstatterin betont <unk>\r\n",
      "Was die <unk> <unk> so ist seine <unk> <unk> <unk> <unk>\r\n",
      "Die Worte sind nur zwei Worte für <unk> <unk> <unk> er <unk>\r\n",
      "Es gibt keine Menge Ihnen <unk>\r\n",
      "Die meisten von <unk> wie das Team funktioniert und spielt die <unk>\r\n",
      "Wir müssen uns weiterhin und bleiben sie <unk>\r\n",
      "Es wird kaum eine Änderung des <unk> in der <unk> <unk>\r\n",
      "Es gibt keinen großen Grund für Veränderungen der <unk>\r\n",
      "Der Spieler wird einen Spieler und einen Sieg <unk> den Wunsch nach dem <unk> <unk>\r\n",
      "<unk> Gerichtshof <unk> <unk> <unk>\r\n",
      "In einem großen Sieg für den <unk> den USA <unk> heute Barack <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Durch eine <unk> <unk> die <unk> des <unk> und <unk> <unk> <unk> <unk> <unk> <unk> das Bürger verpflichtet <unk> die Gesundheit von <unk> bis 2014 zu <unk> wurde eine Strafe unter Dach oder <unk> - der <unk>\r\n",
      "<unk> John <unk> hat mit vier weiteren liberalen Mitgliedern des <unk> <unk> während <unk> <unk> <unk> und <unk> <unk>\r\n",
      "Der Gerichtshof lehnt auch die verbleibenden Teile des <unk> <unk> und weitere Treffen <unk> dass die <unk> die Forderung nach <unk> dass die <unk> <unk> oder sonstige <unk> nicht <unk> finanziert werden <unk>\r\n",
      "Das <unk> das Gesetz wurde vom 26. Staaten und der Nationalen Föderation unabhängiger Staaten <unk>\r\n",
      "Das Gesetz war <unk> gegen jeden der großen <unk> während des <unk> <unk> während der <unk> <unk> einschließlich <unk> <unk> <unk>\r\n",
      "<unk> <unk> <unk> sich mit enormen <unk>\r\n",
      "Durch riesige <unk> die Bewohner eines <unk> Dorf haben sich Licht auf ihre <unk> <unk>\r\n",
      "Der <unk> des österreichischen <unk> der Industrie und der Handel ist davon <unk> dass dies eine gute Arbeit <unk>\r\n",
      "Die Option des <unk> außerhalb ihres Unternehmen ist <unk> Vorteile für kleinere <unk> die nicht aus dem Land sein <unk>\r\n",
      "Die <unk> Deutschland <unk> <unk> ist der Meinung <unk> dass eine Erhöhung nach zwei Jahrzehnten <unk> und tatsächlich lange Zeit <unk>\r\n",
      "Der Zugang der lokalen öffentlichen Verkehrsmittel wird ebenfalls mehr <unk>\r\n",
      "Die <unk> sind jedoch von <unk>\r\n",
      "Mit einer <unk> <unk> <unk> die <unk> <unk> <unk> möchte ich zunächst einmal <unk> in die Schule <unk> in <unk> <unk> in <unk> <unk> um die <unk> <unk> <unk> <unk>\r\n",
      "Die <unk> Männer standen über andere Seite des <unk> mit etwas <unk> <unk>\r\n",
      "Allerdings wurde es bald <unk> dass sie sich aufgrund ihrer <unk> nicht wirklich mit dem schnellen Tempo des <unk> <unk>\r\n",
      "Die schwierige Lage ist schwer zu bewältigen und <unk> <unk> <unk>\r\n",
      "Sie haben wiederholt die <unk> und Angriffe auf die <unk> von Simon <unk> und <unk> Schulz und ihre <unk> Schulz und ihre <unk> nicht <unk>\r\n",
      "Die <unk> in zwei zwei Richtungen zeigt deutlich die <unk> des <unk> in allen <unk>\r\n",
      "Mit dieser <unk> und <unk> <unk> wurde das dritte Paket nach einem etwas <unk> und <unk> <unk> <unk> für eine endgültige Bemerkung <unk> <unk> <unk> <unk> <unk>\r\n",
      "Am 2. <unk> wenn sie die Medien spielen <unk> die einen klaren Sieg in Europa <unk> wird sie auf dem Gerichtshof einen viel stärkeren Einfluss <unk>\r\n",
      "<unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> Stefan <unk> <unk> Stefan <unk> und <unk> <unk>\r\n",
      "In der B <unk> zwei Teams aus <unk> und <unk> vor Gericht stehen in <unk>\r\n",
      "Sie erzeugen eine <unk> <unk>\r\n",
      "Die <unk> insbesondere wenn die <unk> vor allem bei der <unk> und <unk> Fehler verursacht worden <unk> gab es sogar noch fehlende <unk> und einige kritische Momente haben sich <unk> dass potenzielle Punkte <unk>\r\n",
      "In diesem Bericht wird die große <unk> Anstrengungen der <unk> <unk> <unk> <unk> <unk> <unk> <unk> trotz seiner enormen Verpflichtung sowohl von den <unk> als auch von enormen Engagement seitens beider <unk>\r\n",
      "<unk> Tage am kleinen <unk>\r\n",
      "Was war dann das <unk> <unk> in dem <unk> in <unk> für das Projekt <unk> in <unk> eine Gruppe von <unk> Teilnehmer an kleinen <unk> die in <unk> <unk>\r\n",
      "Nach Vorschlägen des <unk> im Bereich des <unk> wurde das <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Nach Ansicht des Parlaments beziehen viele <unk> auf diesem Gebiet als die <unk> des <unk> wo die Landschaft der ideale Rahmen für <unk> <unk> <unk>\r\n",
      "Er hat diese heutige Bereitschaft für ihre Bereitschaft zur Zusammenarbeit und betont <unk> dass die Aufrechterhaltung des täglichen Dialogs zwischen Menschen und <unk> gefördert werden <unk>\r\n",
      "Er bietet jedem Bürger alle Bürger die <unk> sich auf Natur zu <unk>\r\n",
      "Gleichzeitig sollte auch die <unk> Aspekte auch berücksichtigt <unk>\r\n",
      "Dieser Aspekt wurde von der <unk> von <unk> <unk> der <unk> der <unk> der Region <unk> nach dem <unk> von regionalen <unk> <unk> nach dem sich die Rolle von <unk> und die Kampagne aller <unk> <unk>\r\n",
      "Laut <unk> des <unk> des <unk> mit dem Ziel des <unk> das jetzt extrem alte alte <unk> <unk> <unk> mit seiner speziellen geschützten <unk> durch seine <unk> und Verbindung mit dem <unk> zu <unk>\r\n",
      "Die <unk> wie selten oder <unk> dürfen nicht in Form von <unk> in Form von <unk> in Form von <unk> <unk>\r\n",
      "Sie erfordern diese klare <unk> um ihre <unk> zu <unk>\r\n",
      "Die <unk> dass sie nicht daran nutzen <unk> diese Gelegenheit nicht zu <unk> möchte ich ein Wort in Verteidigung der geplanten <unk> <unk>\r\n",
      "Die aktuellen Maßnahmen integrieren nicht in diese <unk>\r\n",
      "Ein <unk> Gebiet bietet die Chance für nachhaltige wirtschaftliche und ökologische Entwicklung auf Grundlage der international anerkannten <unk> und somit bietet somit eine Verlängerung zur <unk> was bisher erreicht worden <unk> und die vorherige <unk>\r\n",
      "Später wurde <unk> in <unk> wo er seine <unk> <unk> in denen er seine <unk> <unk>\r\n",
      "Er wurde eine offizielle Initiative durch eine Armee <unk> die die nationalen <unk> als er sich als <unk> erwiesen <unk>\r\n",
      "Die militärische <unk> <unk> <unk> <unk> wurde in <unk> <unk>\r\n",
      "Seine Ankunft war mit <unk> <unk> <unk> Armee und die Menschen sind ein <unk> aus dem <unk> <unk> der in den wichtigsten <unk> <unk> <unk>\r\n",
      "In <unk> als <unk> of <unk> <unk> Universität wurde später eine <unk> von <unk> Studenten in der <unk> <unk>\r\n",
      "Die <unk> fand ein <unk> <unk> auf Freitag in <unk> <unk> <unk> der <unk> <unk> dass <unk> <unk> Rechtsstaatlichkeit letzte Woche und <unk> <unk> von seinem Amt durch den <unk> <unk> <unk> von seinem Amt durch die militärischen <unk> <unk>\r\n",
      "Doch bis zum <unk> sollte man die offizielle Regierung vor dem Parlament vor dem Parlament nicht als <unk> <unk> Er wird <unk> dass der Wettbewerb für die Macht der Macht in einem Anzeichen <unk> dass der Wettbewerb für Macht <unk>\r\n",
      "<unk> Rede in <unk> <unk> wurde mit dramatischen <unk> <unk>\r\n",
      "Der Club Club macht zwei wunderbare <unk>\r\n",
      "Die neue Saison in der <unk> <unk> <unk> <unk> hat <unk>\r\n",
      "Dieses Freitag wird das <unk> dieses <unk> Ereignis wird während eines Tages einen Tag für Samstag <unk> während ein Tag am Samstag mit einer <unk> <unk>\r\n",
      "Die <unk> und <unk> Sounds sind natürlich vom <unk> auf beiden Seiten <unk>\r\n",
      "Das Problem ist aus <unk> ernsthaft <unk>\r\n",
      "Am <unk> wurde ein <unk> Arbeitnehmer in <unk> <unk> während ein <unk> <unk> <unk> ein <unk> <unk> und ernsthaft <unk>\r\n",
      "Der Mann stammt von <unk> <unk> auf dem externen <unk> eines <unk> <unk>\r\n",
      "Wie er <unk> war das <unk> das auf dem Dach des <unk> <unk> und der Mann fiel auf die konkrete <unk>\r\n",
      "Er leidet schweren <unk> und wurde vom <unk> <unk> <unk> <unk> um die <unk> <unk> zu <unk>\r\n",
      "In Südafrika in Südafrika zwei <unk>\r\n",
      "Die <unk> Monate nach dem <unk> <unk> und <unk> eines <unk> Mädchen in <unk> wurde zum Tode verurteilt und in <unk>\r\n",
      "Das wurde von <unk> <unk> <unk>\r\n",
      "Opfer Opfer verlieren Opfer des schweren <unk>\r\n",
      "Johannes <unk> hatte bereits wegen des <unk> des <unk> des <unk> <unk>\r\n",
      "Das Verbrechen hatte <unk> <unk>\r\n",
      "Das erste Mal hatte die <unk> <unk> im Februar in <unk> in <unk> in <unk> Nähe in <unk>\r\n",
      "Seit 14 Jahren haben Ärzte die Rettung des Lebens des Lebens des Lebens in <unk>\r\n",
      "Das Gefühl der jungen Mädchen war so <unk> dass die <unk> und <unk> Personal erforderlich <unk>\r\n",
      "Während der <unk> wurde in einer Bar mit <unk> Uhr mit <unk> Uhr <unk>\r\n",
      "Er hat auch <unk> und <unk> <unk> wie er ihm verantwortlich <unk> für die Todesstrafe der Todesstrafe verantwortlich zu <unk>\r\n",
      "Die Polizei hatte ursprünglich <unk> dass es mehrere <unk> <unk> sie wurden zwei Jahre lang von <unk> als Beweis gegen sie <unk>\r\n",
      "Während des Verfahrens wurde auch darauf <unk> dass sie sich davon überzeugt <unk> dass sie sich auf Zeiten des <unk> <unk>\r\n",
      "Die <unk> sind fast Teil des täglichen Lebens in <unk> Es gibt ca. <unk> Berichte von sexuellen <unk>\r\n",
      "Dies ist fast zehn Mal als in <unk> obwohl es mit einer Bevölkerung 82 Millionen Euro pro Einwohner pro Einwohner pro Einwohner pro Einwohner pro Einwohner pro Einwohner <unk>\r\n",
      "Das <unk> erwartet jetzt das Jahr 2010 <unk> bevor es <unk> dass Millionen Euro bis zum <unk> Millionen Euro und <unk> verglichen mit dem Euro Millionen Euro für Millionen Euro bereitgestellt <unk>\r\n",
      "Wenn die aktuellen Leitlinien erreicht werden <unk> wird es ein 12 bis 17 Prozent des <unk> auf dem <unk> Millionen Euro erreicht und sie erreicht in <unk>\r\n",
      "Der Direktor des <unk> hat <unk> <unk> <unk> über 8 Prozent des ersten halben plus halben Jahres in der ersten Hälfte des ersten Jahres 2006 in <unk> und britischen <unk> <unk>\r\n",
      "Unsere zehn Länder sind <unk> und mehrere sind auf dem <unk> <unk> bevor Zinsen vor Zinsen und <unk> <unk>\r\n",
      "Dazu gehören Australien und die Vereinigten <unk> die sich in unseren größten <unk> <unk>\r\n",
      "In Australien hat sich die <unk> während der zweiten Hälfte der zweiten Hälfte der <unk> die einen etwas <unk> <unk> <unk>\r\n",
      "Ebenso wie in der <unk> <unk> <unk> <unk> <unk> während der <unk> wurden die <unk> gut <unk>\r\n",
      "Seine amerikanischen <unk> hatte ihre Verluste während seiner <unk> <unk> ersten und wurde voraussichtlich voraussichtlich ihre dritte <unk> vollständig <unk>\r\n",
      "Die <unk> des Zentrums von <unk> wurde auf <unk> <unk>\r\n",
      "Die <unk> ermutigt sich stärker auf die <unk> und <unk>\r\n",
      "Englisch wird Kurse für Schüler mindestens eine Minute <unk> mindestens ein <unk> Jahrhundert <unk> ein 19. Jahrhundert <unk> <unk> und moderne britische britische <unk>\r\n",
      "Die <unk> wird auch <unk> dass es auch um eine stärkere <unk> <unk>\r\n",
      "Eine gemeinsame englische Literatur und Sprache wird natürlich auch <unk>\r\n",
      "Ab <unk> werden Schüler eine <unk> <unk> um eine <unk> <unk> in <unk> mit starken Anreize für englische Literatur als getrennte <unk> zu <unk>\r\n",
      "Das Department for Education ist aufgrund des neuen <unk> in Englisch und <unk> morgen - und morgen - die erste Themen auf <unk> ein <unk> <unk>\r\n",
      "Es wird Veränderungen in anderen Bereichen in anderen Bereichen <unk>\r\n",
      "In einer getrennte <unk> wird die <unk> <unk> die <unk> eine Struktur der Struktur mit einem neuen System und weniger <unk> <unk>\r\n",
      "In dem Bericht Michael <unk> hat Michael <unk> die Bildung des <unk> <unk> dass wir unsere Prüfung zur Wiederherstellung öffentlicher <unk> <unk> <unk> <unk> <unk> <unk> und mehr <unk> und mehr <unk>\r\n",
      "Studien zeigen <unk> dass Englisch weniger Zeit an <unk> - <unk> Stunden pro Stunden pro Stunden oder drei Stunden pro Stunden dauern - als in den meisten <unk>\r\n",
      "Bis zum Jahr 2010 bieten <unk> Schulen ein durchschnittlich <unk> Stunden pro Jahr und Schüler rund um <unk> Stunden in <unk>\r\n",
      "Während es keine offizielle Forderung <unk> mehr als <unk> des <unk> zu <unk> sagte <unk> dass die umfangreichen <unk> - zusammen mit mehr <unk> - mit mehr Mitteln ausgestattet werden - auch die Schulen in <unk> <unk>\r\n",
      "Die <unk> wird einen größeren Schwerpunkt auf die Welt <unk> einschließlich finanzieller <unk>\r\n",
      "<unk> Tiere und <unk> <unk>\r\n",
      "Die schönsten <unk> von verschiedenen <unk> und <unk> werden im <unk> dieses Wochenende in der Gemeinschaft <unk>\r\n",
      "Die <unk> wurden bereits auf <unk>\r\n",
      "Sobald die <unk> lokale Assoziierungsabkommen organisiert <unk> sind diese große <unk>\r\n",
      "Hier wird hier von den Clubs im <unk> <unk> ihre besten <unk> ihre besten <unk> während junge Menschen aus <unk> auch ihre <unk>\r\n",
      "Am <unk> sechs <unk> bewertet die zahlreichen <unk> und waren in den <unk> <unk> <unk>\r\n",
      "Die Besucher werden die <unk> mit dem <unk> aller Tiere <unk> mit dem <unk> aller Tiere über ihre <unk>\r\n",
      "Der <unk> <unk> wird offiziell offiziell die Ausstellung auf der Ausstellung von <unk> <unk>\r\n",
      "Die <unk> zeigen <unk> dass sich alle Besucher aus <unk> Uhr offen aus <unk> Uhr über <unk> Uhr und vom <unk> bis zum <unk> Uhr folgen <unk>\r\n",
      "Auch die Gäste sind auch in einem <unk> mit beeindruckenden Preisen und <unk> <unk> Lebensmittel Wein aus dem <unk>\r\n",
      "Zwei <unk> junge Mädchen waren auch im Beginn des <unk> für <unk> <unk> aus Bad <unk> und <unk> aus <unk> <unk> aus dem <unk> die Empfehlung zur Empfehlung von <unk> <unk>\r\n",
      "Das Paar gelang es <unk> sich aus dem Bereich der <unk> zu <unk>\r\n",
      "Wie war der Fall der Fall <unk> <unk> <unk> <unk> sich auf einem kleinen Weg zu <unk> das Ende und verteidigt sein Titel als <unk> des <unk> <unk> <unk>\r\n",
      "Noch einmal war das zweite <unk> <unk>\r\n",
      "In der <unk> war es <unk> dass das Team von Team <unk> von Team <unk> an erster Stelle teilnehmen <unk>\r\n",
      "In zweiter und dritten <unk> wurden <unk> aus <unk> und <unk> aus <unk> <unk>\r\n",
      "Je mehr die Zahl der <unk> die leben oder arbeiten <unk> ist ein <unk> <unk>\r\n",
      "Und es war nicht nur über die ausgezeichnete Leistung - die ganze Palette von <unk>\r\n",
      "Die <unk> waren auch mit dem <unk> <unk> in zehn Jahren alte alte <unk> bis zum ältesten <unk>\r\n",
      "Diese <unk> gab es noch mehr <unk> und gleichzeitig ist es noch mehr <unk>\r\n",
      "Vier <unk> gelang es <unk> aus dem obersten regionalen <unk>\r\n",
      "Diese beinhalten jedoch eine <unk> <unk> eines <unk> aus dem <unk> <unk> <unk>\r\n",
      "Gemeinsam mit einem Team mit einem Team ist bereits zweimal <unk> im <unk> <unk>\r\n",
      "Dieses Jahr wurde in diesem speziellen Prozess in diesem Bereich <unk>\r\n",
      "Auch Wettbewerb war <unk> <unk> der bereits zwei deutsche <unk> <unk>\r\n",
      "Nach 45 km und einem Anstieg 900 <unk> waren die führenden <unk> die führende <unk> und auf dem endgültigen <unk>\r\n",
      "<unk> <unk> über die Linie in erster Lesung\r\n",
      "Nur ein zweiter <unk> der <unk> <unk> gelang es <unk> zweite <unk> im gesamten Raum zu <unk>\r\n",
      "Die <unk> und <unk> haben anschließend die Linie der gemeinsamen dritten Säule in der gesamten EU <unk>\r\n",
      "In der Zwischenzeit hat jedoch die <unk> Zeit in der <unk> Zeit am wichtigsten <unk>\r\n",
      "Die zweite Lesung war aus <unk> <unk> vom <unk> Werner von <unk> Werner <unk>\r\n",
      "Die <unk> und <unk> schien sehr zufrieden mit dem <unk> und <unk> <unk>\r\n",
      "Durch die <unk> von <unk> und <unk> zur Verfügung stellen freie medizinische medizinische Betreuung\r\n",
      "Dr. <unk> <unk> wird die kostenlose Gesundheitsversorgung in der ländlichen Gebiete in <unk> <unk>\r\n",
      "<unk> und sein Team verbringen fast jedes Wochenende fast jedes Wochenende <unk>\r\n",
      "Es gibt viele Ärzte in der <unk> <unk> und nur für jedes Jahr für jedes 5000 Menschen in <unk>\r\n",
      "<unk> Ihre Abstimmung hier oder über Ihr Handy\r\n",
      "Dr. <unk> ist eines der obersten zehn <unk> der <unk>\r\n",
      "Sie können für die <unk> oder jede der anderen zehn zehn Minuten <unk> um die <unk> des <unk> zu <unk>\r\n",
      "Diese Person erhält <unk> dass sie ihre <unk> <unk> <unk>\r\n",
      "Für 21 <unk> <unk> <unk> <unk> <unk> Vater und <unk> von <unk> <unk> <unk> <unk> <unk> die für die Unterstützung von <unk> ausgestattet <unk>\r\n",
      "<unk> <unk> wurde in einem 1981 <unk> <unk> in einem Viertel des <unk> <unk>\r\n",
      "Die <unk> sind gewöhnlich in einer <unk> Stadt oder <unk> nachdem die Patienten nach dem <unk> Patienten und zur Erholung des <unk> zur Verfügung gestellt werden <unk>\r\n",
      "Mit dem <unk> <unk> und <unk> <unk> und <unk> <unk> und seiner <unk> in die frühen Stunden des <unk>\r\n",
      "Ein <unk> <unk> aber <unk> <unk> wird normalerweise die Mannschaft <unk>\r\n",
      "Die <unk> sind <unk> alle Nacht bis <unk> uns wieder zu <unk> und unsere <unk> <unk>\r\n",
      "Am <unk> haben wir an den <unk> wieder auf die <unk> <unk> aber stolz auf ihre <unk>\r\n",
      "Die Fraktion – eine Mischung von <unk> Ärzte und ausländischen medizinischen Schulen hat 700 freie <unk> in den vergangenen Jahren <unk> und sie wissen <unk> dass ihre Hilfe eine Welt der Welt finden <unk>\r\n",
      "Ein Mann erklärte <unk> dass die <unk> Operation <unk> <unk> er wird ihm <unk>\r\n",
      "Die Zukunft wird meine Zukunft mit meinem <unk> der Mann <unk>\r\n",
      "Neben dem Treffen mit <unk> und <unk> als Krankenhaus ist es auch <unk> dass sich die Nächte in privaten medizinischen medizinischen <unk> rund um <unk> Uhr <unk>\r\n",
      "Zweitens hat dieser zweite <unk> er <unk> dass Mittel über <unk> von <unk> die übrigen <unk> von privaten <unk> abgedeckt <unk>\r\n",
      "Nicht sicher ist <unk> wenn er <unk> <unk> <unk> eine <unk> medizinische Ausbildung aus <unk> Universität in <unk> und <unk> mit <unk> <unk>\r\n",
      "Er ist immer wieder auf dem Krankenhaus oder versucht Geld für die Organisation für die Organisation zu <unk> damit sie diese Probleme weiter gehen <unk>\r\n",
      "Für medizinische und <unk> Studenten wie <unk> die aus den Vereinigten Staaten und Europa aus den Vereinigten Staaten beitreten <unk> dann werden sie sich auf seine <unk> <unk> eine Chance <unk>\r\n",
      "Es ist in der Lage <unk> in der Lage zu <unk> wo wir uns <unk> dass wir uns bei der <unk> von <unk> oder <unk> Tools für Dr. <unk> <unk>\r\n",
      "Nicht zuletzt etwas wird es in Amerika als <unk> medizinische Versorgung <unk>\r\n",
      "Die Studenten zahlen normalerweise ihre eigenen <unk> häufig zu <unk> häufig mit <unk> medizinischen <unk>\r\n",
      "Aber sobald sie in <unk> ihre <unk> <unk> und <unk> unterliegen sie von <unk>\r\n",
      "Eine Lösung ohne eine <unk> ohne eine <unk>\r\n",
      "Er macht seine <unk> dieses Leben zu diesem <unk> und seinem Wunsch zu <unk> dass die Menschen die Menschen <unk>\r\n",
      "So beispielsweise beispielsweise ist die <unk> <unk>\r\n",
      "Aber andere leben <unk> <unk> die Erfüllung seiner <unk> ist etwas <unk> was er ihm sehr groß <unk>\r\n",
      "Ich bin daher zufrieden mit diesem <unk> wenn ich diese <unk> <unk>\r\n",
      "Und ich denke über meine <unk>\r\n",
      "Ich <unk> er sehe <unk> was ich gesagt <unk>\r\n",
      "Um die Menschen zu <unk> um die <unk> zu <unk> warum die <unk> <unk>\r\n",
      "Schauen Sie sich auf die Website von <unk> Webseiten und siehe <unk> wie man sich um die <unk>\r\n",
      "<unk> Der Kampf gegen die <unk>\r\n",
      "Die Rolle der <unk> der alten Mann in <unk> Roman <unk> alte Mann und die <unk> ist vollkommen geeignet für <unk>\r\n",
      "Die Realität ist selbst ein alter <unk> wenn er seine Kunst <unk>\r\n",
      "Die alte <unk> ist die beste <unk> wenn es um die <unk> <unk>\r\n",
      "Wie möglich ist das Paar ein weiterer <unk>\r\n",
      "Sie glauben fast davon <unk> dass Sie die Lage in alten <unk> <unk> <unk> <unk> <unk> <unk>\r\n",
      "Sobald er die wichtigsten Informationen des <unk> <unk> führt er die Fraktion eine <unk> zugänglich <unk>\r\n",
      "Die Kommission befindet sich jetzt in der <unk> ein <unk> jüdischen <unk>\r\n",
      "Das jüdischen <unk> baute ihr <unk> tief in das <unk> um die wesentlichen Voraussetzungen für die <unk> zu <unk>\r\n",
      "In diesem Tag wird das Ausmaß des <unk> durch den unterschiedlichen Grad des <unk> auf dem unteren Ende des <unk> gelesen werden <unk> die Herkunft von <unk> die wieder auf die <unk> <unk>\r\n",
      "Die <unk> ist Teil eines <unk> <unk> auf dem <unk> auf dem die Arbeit zur Erstellung von Arbeiten eingeleitet werden <unk>\r\n",
      "Es wird jedoch einige Jahre vor wenigen Jahren <unk>\r\n",
      "<unk> fast <unk> <unk> <unk> <unk>\r\n",
      "Ein <unk> Angriff auf eine <unk> in der Szene ist nach mehr als vier <unk>\r\n",
      "Die <unk> für Versuche <unk> <unk> <unk> Schäden und Material gegen zwei Jahre haben gegen zwei Jahre vor dem Frankfurter <unk> begonnen <unk>\r\n",
      "Sie werden mit strengen Sicherheit <unk>\r\n",
      "Das <unk> war nicht <unk>\r\n",
      "Sie haben sich in der <unk> aktiv an der Szene und an der Zeit <unk> um die <unk> zu <unk>\r\n",
      "Die Öffentlichkeit hat sie von ihnen <unk> sie haben sie von einem Auto in <unk> und <unk> drei Männer in <unk> zusammen mit <unk> <unk>\r\n",
      "Alle Opfer waren ernsthaft mit einem Mann zu einem Mann zu einem Mann <unk>\r\n",
      "Die Opfer wurden dazu <unk> die <unk> zu <unk> die <unk> <unk>\r\n",
      "Eines ist zu einem <unk> Mitglied der <unk>\r\n",
      "Es scheint sich der Angriff auf einen <unk> mit einem Auto zu <unk> mit mehreren <unk>\r\n",
      "Nach Ansicht des Parlaments war dies Teil eines <unk> Krieges und vertreten eine Demonstration der Demonstration\r\n",
      "Die beiden <unk> waren in einem ersten Prozess des ersten Prozesses <unk>\r\n",
      "Zum <unk> eines Redner für Gericht sagte <unk> dass es nicht nachgewiesen werden <unk> dass die Männer in der <unk> eigentlich auch in der EU einbezogen werden <unk>\r\n",
      "Die <unk> musste <unk> und wurde nicht <unk>\r\n",
      "Der <unk> Gerichtshof hat nach einem Aufruf des <unk> nach einem Aufruf des <unk> und wurde das Gericht zum <unk> für einen <unk> <unk>\r\n",
      "Eines der <unk> ist derzeit Zeit an einem offenen Gefängnis auf einem anderen <unk>\r\n",
      "Vor allem zuletzt nahm hauptsächlich die Region der Reihe von Ereignissen auf der Nacht des <unk>\r\n",
      "Die Polizei wurde auf lange Zeit als <unk> <unk>\r\n",
      "Der zentrale Punkt war auf dem <unk> zwischen dem <unk> und dritten <unk> die die Polizei <unk>\r\n",
      "Was macht es <unk> dass es fast immer immer darum <unk> dass sie sich vor dem Gericht <unk> bevor sie das Gericht - sie sagen absolut <unk>\r\n",
      "Das gilt auch im Fall des <unk>\r\n",
      "In erster Lesung nur eines der Opfer sprach zu <unk>\r\n",
      "Wenn die öffentliche Entscheidung Stefan <unk> Stefan <unk> <unk> <unk> <unk> sagte <unk> dass neue Beweise seit dem früheren Bericht des früheren <unk> gekommen <unk>\r\n",
      "Ein weiterer <unk> Tage wurden seit dem Verfahren eine weitere Frist <unk>\r\n",
      "Die Gesellschaft ist nicht der <unk>\r\n",
      "Die Regierung in Jerusalem wird nicht auf einen Angriff auf die <unk> <unk> <unk>\r\n",
      "Am <unk> eine amerikanische Regierung <unk> die sich weiterhin in einer Erklärung <unk> die eine Erklärung zur amerikanischen Nachricht <unk> <unk> <unk> dass israelische <unk> Flugzeuge eine <unk> Basis in der Stadt von <unk> <unk> die <unk> <unk>\r\n",
      "Das Ziel war <unk> und mit <unk> <unk> die die israelische Regierung für die <unk> <unk> nach dem <unk> <unk>\r\n",
      "Die <unk> und <unk> <unk> wie auch <unk> <unk> hatten zuvor vorher mitgeteilt <unk> dass die Grundlage in <unk> im <unk> vom Mittwoch bis zum Mittwoch als <unk> und die Israelis identifiziert worden <unk>\r\n",
      "israelische <unk> Sender hat zwei <unk> Bilder der Grundlage in <unk> in dem russische <unk> <unk> Verteidigung und eine <unk> von <unk> <unk> könnte möglich <unk> was gemäß Kanal 2 km von 35 km entfernt werden <unk> und können auf 70 000 Euro <unk>\r\n",
      "Die Regierung in Jerusalem hat nicht offiziell die Regierung <unk>\r\n",
      "Die <unk> hat auch eine <unk> Regierung <unk> die offizielle Regierung offiziell als Ausdruck <unk> dass Israel davon <unk> dass Israel die <unk> aber nicht <unk>\r\n",
      "In jedem Fall ist eine <unk> für die israelische <unk> für <unk> <unk> nicht auf diese <unk>\r\n",
      "Die <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> dass das Regime bereits früher zuvor in einigen Fällen <unk> <unk> um die <unk> zu <unk> um die <unk> zu <unk>\r\n",
      "Die israelische Regierung hatte wiederholt wiederholt <unk> dass jede Versuche von Syrien bis zu <unk> oder anderen gefährlichen Waffen ersetzt werden <unk> ein <unk> <unk> das wiederum einen militärischen <unk> führen <unk>\r\n",
      "John <unk> sagt <unk> dass die USA in nie so wenig <unk> <unk>\r\n",
      "John <unk> hat eine <unk> des <unk> <unk> die Haltung ihrer <unk> mit einer nie <unk> <unk> <unk> die wiederholt ihre <unk> zu weit gebracht <unk>\r\n",
      "Der Generalsekretär des <unk> wurde auch <unk> dass sich die <unk> von Präsident <unk> in <unk> <unk> wie <unk> <unk> von <unk> <unk> über die <unk> Aktivitäten von <unk> Aktivitäten <unk>\r\n",
      "Die <unk> haben die Regierung der USA auf dem Zentrum eines diplomatischen <unk> mit ihren <unk> <unk>\r\n",
      "Die <unk> einer offenen Regierung in London über <unk> <unk> Herr <unk> ist keine Frage <unk> dass der Präsident und ich und andere in der Regierung etwas gelernt haben - was die Fähigkeit zu einem automatischen <unk> seit einem automatischen <unk> seit einem automatischen <unk> seit einem automatischen <unk> seit Jahren in Angriff genommen worden <unk> weil die Fähigkeit des Kalten Krieges auf zwei Jahre hinweg geführt worden\r\n",
      "Dann wurde er zuerst den ersten Mitglied der Regierung <unk> <unk> dass die USA die USA <unk> die <unk> aber betont <unk> dass keine Rechte verletzt worden <unk>\r\n",
      "Er hat jedoch einige <unk> es hat es zu weit <unk>\r\n",
      "Und der Präsident ist entschlossen <unk> um Klarheit und Klarheit zu <unk> und jetzt macht es eine gründliche Überprüfung in Ordnung <unk>\r\n",
      "Ich kann Ihnen <unk> Menschen nicht in dieser Frage <unk>\r\n",
      "Herr <unk> Herr <unk> Herr <unk> Das war eine Kraft für gute und <unk> <unk> dass ihre <unk> viele Jahre lang eingesetzt werden <unk>\r\n",
      "Er hat sich jedoch in einer neuen Welt <unk> in der sich Menschen bereit <unk> sich selbst selbst zu <unk>\r\n",
      "Es gibt <unk> <unk> in der Welt ist <unk> und entschlossen um Menschen zu töten und gegen Menschen und <unk> zu <unk>\r\n",
      "Was Sie selbst haben <unk> dann sollten Sie sich vor Augen <unk> und bevor sie sich vor Gericht <unk>\r\n",
      "Wir haben tatsächlich nicht <unk> von <unk> Gebäuden aus <unk> <unk> und Menschen aus dem <unk> weil es sich um <unk> Zeit nach Zeit nach Zeit lernen <unk>\r\n",
      "Die USA werden in Europa <unk> um sich an Europa zu <unk> um ausländische <unk> zu <unk> und überzeugen davon <unk> dass die Europäer die Notwendigkeit gemeinsamer Anstrengungen im Hinblick auf die <unk> des <unk> der Europäischen Union über die <unk> des <unk> der Europäischen Union\r\n",
      "Der Bericht Chris <unk> hat von <unk> <unk> sprach mit europäischen Mitgliedern und anderen diese Woche und andere diese <unk> um die <unk> Teilnahme an Organisationen zu <unk> weil die nationalen <unk> durch die nationalen <unk> durch die nationalen <unk>\r\n",
      "Die europäische Sicherheit für die europäischen <unk> für Europäer ist wirklich für die Einhaltung unserer gegenseitigen <unk> mit unseren gegenseitigen <unk> <unk> <unk> und Vorsitzender des <unk> <unk> <unk> über europäische <unk> über europäische <unk> sagte in einem Interview vom <unk>\r\n",
      "Und schließlich wird Europa Europa klar darauf <unk> dass wir weiterhin gemeinsam zusammenarbeiten <unk> um in <unk> <unk> ihre <unk> zu <unk>\r\n",
      "Die Berichte von <unk> die die <unk> <unk> Millionen <unk> in Europa haben <unk> Beziehungen mit einigen amerikanischen <unk> obwohl die <unk> des <unk> diese Woche diese Woche abgelehnt und spiegelt sich eine <unk> von <unk> <unk> dass die <unk> Verbündeten und gemeinsame Beziehungen mit den Vereinigten Staaten\r\n",
      "Andere <unk> Dokumente werden von <unk> <unk> dass die <unk> Kontrolle von deutschen <unk> Angela Merkel und diejenigen von 34 anderer Welt <unk>\r\n",
      "Die nationalen <unk> James <unk> James <unk> verteidigt auf Verbündeten wie notwendig und <unk> <unk> auf beiden Seiten <unk>\r\n",
      "Die <unk> des <unk> <unk> hat seine Büro <unk> die <unk> <unk> <unk> und Hoffnungen auf diese <unk> und Hoffnungen werden die Delegation beider Parteien sowohl Parteien als auch beide Parteien <unk>\r\n"
     ]
    }
   ],
   "source": [
    "! cat ./text/nmt_translation_sample.txt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## generating CoVe\n",
    "the CoVE vector of the input English corpus 'newstest2014'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "# Job id 0\r\n",
      "# Devices visible to TensorFlow: [_DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 268435456), _DeviceAttributes(/job:localhost/replica:0/task:0/device:GPU:0, GPU, 11270098125)]\r\n",
      "# Loading hparams from /home/ecbm4040/cove_first_try/nmt_attention_model/hparams\r\n",
      "# Vocab file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en exists\r\n",
      "# Vocab file /home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de exists\r\n",
      "  saving hparams to /home/ecbm4040/cove_first_try/nmt_attention_model/hparams\r\n",
      "  saving hparams to /home/ecbm4040/nmt/nmt_attention_model/best_bleu/hparams\r\n",
      "  attention=luong\r\n",
      "  attention_architecture=standard\r\n",
      "  avg_ckpts=False\r\n",
      "  batch_size=128\r\n",
      "  beam_width=0\r\n",
      "  best_bleu=4.114320473174836\r\n",
      "  best_bleu_dir=/home/ecbm4040/nmt/nmt_attention_model/best_bleu\r\n",
      "  check_special_token=True\r\n",
      "  colocate_gradients_with_ops=True\r\n",
      "  decay_scheme=\r\n",
      "  dev_prefix=/home/ecbm4040/nmt/nmt_data/newstest2014\r\n",
      "  dropout=0.2\r\n",
      "  embed_prefix=None\r\n",
      "  encoder_type=uni\r\n",
      "  eos=</s>\r\n",
      "  epoch_step=7832\r\n",
      "  forget_bias=1.0\r\n",
      "  infer_batch_size=32\r\n",
      "  infer_mode=greedy\r\n",
      "  init_op=uniform\r\n",
      "  init_weight=0.1\r\n",
      "  language_model=False\r\n",
      "  learning_rate=1.0\r\n",
      "  length_penalty_weight=0.0\r\n",
      "  log_device_placement=False\r\n",
      "  max_gradient_norm=5.0\r\n",
      "  max_train=0\r\n",
      "  metrics=['bleu']\r\n",
      "  num_buckets=5\r\n",
      "  num_dec_emb_partitions=0\r\n",
      "  num_decoder_layers=2\r\n",
      "  num_decoder_residual_layers=0\r\n",
      "  num_embeddings_partitions=0\r\n",
      "  num_enc_emb_partitions=0\r\n",
      "  num_encoder_layers=2\r\n",
      "  num_encoder_residual_layers=0\r\n",
      "  num_gpus=1\r\n",
      "  num_inter_threads=0\r\n",
      "  num_intra_threads=0\r\n",
      "  num_keep_ckpts=5\r\n",
      "  num_sampled_softmax=0\r\n",
      "  num_train_steps=150000\r\n",
      "  num_translations_per_input=1\r\n",
      "  num_units=128\r\n",
      "  optimizer=sgd\r\n",
      "  out_dir=/home/ecbm4040/nmt/nmt_attention_model\r\n",
      "  output_attention=True\r\n",
      "  override_loaded_hparams=False\r\n",
      "  pass_hidden_state=True\r\n",
      "  random_seed=None\r\n",
      "  residual=False\r\n",
      "  sampling_temperature=0.0\r\n",
      "  share_vocab=False\r\n",
      "  sos=<s>\r\n",
      "  src=en\r\n",
      "  src_embed_file=\r\n",
      "  src_max_len=50\r\n",
      "  src_max_len_infer=None\r\n",
      "  src_vocab_file=/home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.en\r\n",
      "  src_vocab_size=36549\r\n",
      "  steps_per_external_eval=None\r\n",
      "  steps_per_stats=100\r\n",
      "  subword_option=\r\n",
      "  test_prefix=/home/ecbm4040/nmt/nmt_data/newstest2013\r\n",
      "  tgt=de\r\n",
      "  tgt_embed_file=\r\n",
      "  tgt_max_len=50\r\n",
      "  tgt_max_len_infer=None\r\n",
      "  tgt_vocab_file=/home/ecbm4040/nmt/nmt_data/vocab.bpe.32000.de\r\n",
      "  tgt_vocab_size=36549\r\n",
      "  time_major=True\r\n",
      "  train_prefix=/home/ecbm4040/nmt/nmt_data/train\r\n",
      "  unit_type=lstm\r\n",
      "  use_char_encode=False\r\n",
      "  vocab_prefix=/home/ecbm4040/nmt/nmt_data/vocab.bpe.32000\r\n",
      "  warmup_scheme=t2t\r\n",
      "  warmup_steps=0\r\n",
      "# Creating infer graph ...\r\n",
      "# Build a basic encoder\r\n",
      "  num_layers = 2, num_residual_layers=0\r\n",
      "  cell 0  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  cell 1  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  cell 0  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  cell 1  LSTM, forget_bias=1  DeviceWrapper, device=/gpu:0\r\n",
      "  decoder: infer_mode=greedybeam_width=0, length_penalty=0.000000\r\n",
      "Tensor(\"dynamic_seq2seq/encoder/rnn/TensorArrayStack/TensorArrayGatherV3:0\", shape=(?, ?, 128), dtype=float32)\r\n",
      "# Trainable variables\r\n",
      "Format: <name>, <shape>, <(soft) device placement>\r\n",
      "  embeddings/encoder/embedding_encoder:0, (36549, 128), /device:GPU:0\r\n",
      "  embeddings/decoder/embedding_decoder:0, (36549, 128), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_0/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_0/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_1/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/encoder/rnn/multi_rnn_cell/cell_1/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/memory_layer/kernel:0, (128, 128), \r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/kernel:0, (384, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_0/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/kernel:0, (256, 512), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/multi_rnn_cell/cell_1/basic_lstm_cell/bias:0, (512,), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/attention/attention_layer/kernel:0, (256, 128), /device:GPU:0\r\n",
      "  dynamic_seq2seq/decoder/output_projection/kernel:0, (128, 36549), \r\n",
      "----------------------------------\r\n",
      "Tensor(\"dynamic_seq2seq/encoder/rnn/TensorArrayStack/TensorArrayGatherV3:0\", shape=(?, ?, 128), dtype=float32)\r\n",
      "----------------------------------\r\n",
      "  loaded infer model parameters from /home/ecbm4040/nmt/nmt_attention_model/translate.ckpt-150000, time 0.20s\r\n",
      "# Start decoding\r\n",
      "  decoding to output /home/ecbm4040/cove_first_try/result.out\r\n",
      "[(LSTMStateTuple(c=array([[-5.13788795e+00,  1.12776220e-01, -1.29888028e-01, ...,\r\n",
      "         1.30568773e-01,  2.59959456e-02,  5.75276092e-02],\r\n",
      "       [-4.30697060e+00,  8.56397152e-02, -1.14471406e-01, ...,\r\n",
      "         1.27576023e-01,  1.12998914e-02,  8.39304104e-02],\r\n",
      "       [-3.86769891e+00,  1.28104031e-01, -1.09883405e-01, ...,\r\n",
      "         1.91330716e-01,  6.34229109e-02, -3.65802288e-01],\r\n",
      "       ...,\r\n",
      "       [-2.17634177e+00,  1.37766749e-01, -7.24014416e-02, ...,\r\n",
      "         1.91717356e-01,  3.64524275e-02,  1.36110783e-01],\r\n",
      "       [-1.02609291e+01,  6.66209906e-02, -1.85807854e-01, ...,\r\n",
      "         1.89956188e-01,  1.72514543e-02,  9.01194103e-03],\r\n",
      "       [-5.08274841e+00,  1.12715110e-01, -2.14693576e-01, ...,\r\n",
      "         1.74639553e-01,  1.19953901e-02,  4.05253470e-02]], dtype=float32), h=array([[-0.00407831,  0.0323838 , -0.12136432, ...,  0.00222729,\r\n",
      "         0.01137704,  0.01312605],\r\n",
      "       [-0.01073517,  0.02781973, -0.10875841, ...,  0.00152798,\r\n",
      "         0.00488672,  0.01542496],\r\n",
      "       [-0.05133305,  0.03657737, -0.10714366, ...,  0.0016505 ,\r\n",
      "         0.02980071, -0.04692924],\r\n",
      "       ...,\r\n",
      "       [-0.01669459,  0.03536455, -0.0709247 , ...,  0.00225021,\r\n",
      "         0.01756202,  0.02073594],\r\n",
      "       [-0.01940423,  0.02240382, -0.169154  , ...,  0.0031872 ,\r\n",
      "         0.00871577,  0.00264935],\r\n",
      "       [-0.02221127,  0.03388178, -0.20526154, ...,  0.00121155,\r\n",
      "         0.00593942,  0.00814001]], dtype=float32)), LSTMStateTuple(c=array([[ 2.3563047e-01, -1.9565666e-01,  7.9966458e-03, ...,\r\n",
      "         1.1122293e+01,  1.8610787e-02, -1.7898425e-01],\r\n",
      "       [ 2.2383805e-01, -1.4020617e-01,  1.2912187e-02, ...,\r\n",
      "         1.0514378e+01, -3.0869633e-02, -8.1055671e-01],\r\n",
      "       [ 9.3026511e-02, -1.7021319e-01,  1.7825123e-02, ...,\r\n",
      "         1.1364399e+01, -1.8160192e-02, -6.8329650e-01],\r\n",
      "       ...,\r\n",
      "       [ 1.6302334e-01, -1.6286848e-01,  2.1139473e-02, ...,\r\n",
      "         6.1232047e+00, -5.4597214e-02, -1.7848912e-01],\r\n",
      "       [ 3.2720605e-01, -1.2044964e-01,  2.4281435e-02, ...,\r\n",
      "         1.3865800e+01,  2.6660150e-01, -6.6017580e-01],\r\n",
      "       [ 2.3992705e-01, -1.1371857e-01,  1.4599873e-02, ...,\r\n",
      "         1.2389453e+01,  6.3393965e-02, -2.9186562e-01]], dtype=float32), h=array([[ 0.00104711, -0.00039178,  0.00649327, ...,  0.00095082,\r\n",
      "         0.01816814, -0.00027341],\r\n",
      "       [ 0.00080307, -0.00059635,  0.00864236, ...,  0.00132026,\r\n",
      "        -0.03062977, -0.00059822],\r\n",
      "       [ 0.00045444, -0.00241471,  0.01088105, ...,  0.00085018,\r\n",
      "        -0.01780883, -0.00086986],\r\n",
      "       ...,\r\n",
      "       [ 0.00215728, -0.00199293,  0.01654471, ...,  0.00119684,\r\n",
      "        -0.05430083, -0.00018722],\r\n",
      "       [ 0.00471301, -0.00265094,  0.01444757, ...,  0.00435176,\r\n",
      "         0.05166062, -0.00063554],\r\n",
      "       [ 0.00074301, -0.0009803 ,  0.00937539, ...,  0.00100291,\r\n",
      "         0.0564641 , -0.00030994]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[ -6.128077  ,   0.17992124,  -0.137279  , ...,   0.16986889,\r\n",
      "          0.01450529,   0.11977586],\r\n",
      "       [-11.866798  ,   0.12182003,  -0.31989276, ...,   0.13727675,\r\n",
      "          0.0213751 ,   0.01191818],\r\n",
      "       [ -6.2990127 ,   0.11468916,  -0.17402919, ...,   0.17028901,\r\n",
      "          0.02717414,   0.2883857 ],\r\n",
      "       ...,\r\n",
      "       [ -5.640008  ,   0.14097539,  -0.15985262, ...,   0.17459595,\r\n",
      "         -0.0582666 ,  -0.10520347],\r\n",
      "       [ -6.5841393 ,   0.11909857,  -0.21422355, ...,   0.14456068,\r\n",
      "          0.02182157,   0.05382397],\r\n",
      "       [ -3.882255  ,   0.16430834,  -0.21623647, ...,   0.14874184,\r\n",
      "          0.01942652,  -0.11573265]], dtype=float32), h=array([[-0.00039383,  0.04900713, -0.13481775, ...,  0.00198411,\r\n",
      "         0.00766578,  0.0196044 ],\r\n",
      "       [-0.00741652,  0.04169543, -0.2987396 , ...,  0.00161546,\r\n",
      "         0.00998415,  0.00243888],\r\n",
      "       [-0.04701015,  0.0345907 , -0.16454299, ...,  0.00119317,\r\n",
      "         0.01511115,  0.03824184],\r\n",
      "       ...,\r\n",
      "       [-0.01305216,  0.0455349 , -0.15290853, ...,  0.0020232 ,\r\n",
      "        -0.02821557, -0.01682341],\r\n",
      "       [-0.00785892,  0.03676605, -0.19573925, ...,  0.00174907,\r\n",
      "         0.00945001,  0.00903395],\r\n",
      "       [-0.00581881,  0.05029191, -0.19704631, ...,  0.00199331,\r\n",
      "         0.00856254, -0.02744548]], dtype=float32)), LSTMStateTuple(c=array([[ 2.39347875e-01, -9.28015113e-02, -1.30928867e-03, ...,\r\n",
      "         1.25564222e+01,  3.16175222e-02, -6.17713034e-01],\r\n",
      "       [ 4.33480889e-01, -1.80046767e-01,  2.03704759e-02, ...,\r\n",
      "         1.13437939e+01,  3.90485048e-01, -6.31003022e-01],\r\n",
      "       [ 2.75770336e-01, -1.22577645e-01,  1.26599828e-02, ...,\r\n",
      "         1.22182770e+01,  2.58498341e-02, -1.82420850e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.59702408e-01, -1.39582172e-01,  1.93601083e-02, ...,\r\n",
      "         1.37804699e+01,  9.82542261e-02, -1.04066908e+00],\r\n",
      "       [ 2.98112035e-01, -2.15959936e-01, -1.00033069e-02, ...,\r\n",
      "         1.39918747e+01,  1.99300617e-01, -9.45625722e-01],\r\n",
      "       [ 2.64166683e-01, -2.56228775e-01,  6.38493057e-03, ...,\r\n",
      "         1.33546495e+01,  1.98759705e-01, -1.16405748e-01]], dtype=float32), h=array([[ 5.41461911e-03, -2.97064451e-03, -8.05592455e-04, ...,\r\n",
      "         2.11078934e-02,  2.89456509e-02, -1.03477179e-03],\r\n",
      "       [ 2.06126506e-03, -2.15361291e-03,  1.20536275e-02, ...,\r\n",
      "         2.12801993e-03,  1.94245037e-02, -4.67893697e-04],\r\n",
      "       [ 1.18739717e-03, -1.64899789e-03,  7.72193354e-03, ...,\r\n",
      "         1.58575841e-03,  2.35085636e-02, -3.72928371e-05],\r\n",
      "       ...,\r\n",
      "       [ 1.38483511e-03, -1.96393789e-03,  9.80418362e-03, ...,\r\n",
      "         1.18176709e-03,  6.02113307e-02, -8.10617290e-04],\r\n",
      "       [ 1.62502856e-03, -6.57816476e-04, -7.57798553e-03, ...,\r\n",
      "         8.33235856e-04,  7.06458464e-02, -9.51733848e-04],\r\n",
      "       [ 1.74027297e-03, -8.86928174e-04,  5.25464769e-03, ...,\r\n",
      "         8.98317143e-04,  9.17577520e-02, -1.16285300e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-7.9204884e+00,  9.9010997e-02, -2.7781621e-01, ...,\r\n",
      "         1.8123549e-01,  4.5834225e-02,  6.2111765e-05],\r\n",
      "       [-1.0735983e+00, -6.0815006e-01, -1.2522072e-01, ...,\r\n",
      "         1.6771783e-01, -6.6090152e-02, -2.4983823e-01],\r\n",
      "       [-3.3979964e+00,  1.6426371e-01, -1.7868978e-01, ...,\r\n",
      "         1.6366139e-01, -5.3634692e-02, -1.4795746e-01],\r\n",
      "       ...,\r\n",
      "       [-2.5731347e+00,  1.0868257e-01, -7.4643701e-02, ...,\r\n",
      "         1.8302274e-01,  1.7789543e-02,  1.4785342e-03],\r\n",
      "       [-5.9133816e+00,  2.3777620e-01, -1.5376061e-01, ...,\r\n",
      "         1.2565498e-01,  7.0044935e-02,  4.0271476e-02],\r\n",
      "       [-2.5514240e+00,  1.6787948e-01, -5.4860231e-02, ...,\r\n",
      "         2.1243347e-01,  2.6999570e-02,  8.7737203e-02]], dtype=float32), h=array([[-2.32272223e-03,  3.28405872e-02, -2.66129404e-01, ...,\r\n",
      "         1.68766105e-03,  2.11056061e-02,  1.14715385e-05],\r\n",
      "       [-1.24670550e-01, -9.04051885e-02, -1.74217930e-04, ...,\r\n",
      "         1.12479995e-03, -2.10469980e-02, -2.83054747e-02],\r\n",
      "       [-2.27543879e-02,  4.65292521e-02, -1.70990676e-01, ...,\r\n",
      "         1.65135902e-03, -2.46591028e-02, -1.99681744e-02],\r\n",
      "       ...,\r\n",
      "       [-1.76844969e-02,  3.52298170e-02, -7.07862079e-02, ...,\r\n",
      "         1.53936131e-03,  7.85085559e-03,  2.95446429e-04],\r\n",
      "       [-2.91852150e-02,  5.55467419e-02, -1.47898361e-01, ...,\r\n",
      "         2.15390767e-03,  3.19267288e-02,  4.73995274e-03],\r\n",
      "       [-1.76142529e-02,  5.27093932e-02, -5.12376726e-02, ...,\r\n",
      "         2.56294361e-03,  1.25814332e-02,  1.20585822e-02]], dtype=float32)), LSTMStateTuple(c=array([[ 2.9506922e-01, -1.5849318e-01,  1.6041279e-02, ...,\r\n",
      "         1.3572535e+01,  1.4714892e-01, -2.0083749e-01],\r\n",
      "       [-2.7972683e-01,  5.3900647e-01,  2.5447411e-02, ...,\r\n",
      "         5.3374224e+00, -2.8100913e-02, -9.3712181e-02],\r\n",
      "       [ 2.1634229e-01, -1.6877334e-01,  2.0981254e-03, ...,\r\n",
      "         1.3232553e+01,  5.9368387e-02, -1.7382449e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.6778784e-01, -1.6084075e-01,  1.1574882e-02, ...,\r\n",
      "         8.8705235e+00, -1.4593385e-02, -7.6173760e-02],\r\n",
      "       [ 3.7797758e-01, -6.4417325e-02,  9.2988750e-03, ...,\r\n",
      "         1.3453774e+01,  1.5007047e-01, -5.4456377e-01],\r\n",
      "       [ 2.6548371e-01, -8.0088608e-02, -3.4674287e-01, ...,\r\n",
      "         8.4491634e+00, -6.7507133e-02, -5.9705305e-01]], dtype=float32), h=array([[ 5.2085466e-04, -9.7132870e-04,  7.0411563e-03, ...,\r\n",
      "         2.4510499e-03,  4.8392996e-02, -2.8093997e-04],\r\n",
      "       [-1.4156407e-01,  5.4775026e-02,  1.7180534e-02, ...,\r\n",
      "         1.3805318e-02, -2.7926316e-02, -2.1622800e-04],\r\n",
      "       [ 3.1243879e-03, -2.8813537e-03,  1.5262990e-03, ...,\r\n",
      "         1.4818585e-03,  5.5557959e-02, -2.5076550e-04],\r\n",
      "       ...,\r\n",
      "       [ 6.9558593e-03, -2.9058116e-03,  7.1083279e-03, ...,\r\n",
      "         5.2133254e-03, -1.4325162e-02, -3.8421018e-05],\r\n",
      "       [ 1.9166321e-03, -1.3174887e-03,  6.7003286e-03, ...,\r\n",
      "         1.6785365e-03,  8.3442159e-02, -2.9165044e-03],\r\n",
      "       [ 4.1643830e-04, -5.3314085e-04, -2.9530933e-02, ...,\r\n",
      "         1.2885553e-03, -6.6728368e-02, -2.5217250e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.3001137 ,  0.10775186, -0.139242  , ...,  0.21411763,\r\n",
      "        -0.12924059, -0.03065803],\r\n",
      "       [-4.272987  ,  0.12292673, -0.22055109, ...,  0.15655011,\r\n",
      "         0.00875892,  0.03071167],\r\n",
      "       [-7.5500927 ,  0.18178074, -0.15038997, ...,  0.15209475,\r\n",
      "        -0.02994854,  0.21126951],\r\n",
      "       ...,\r\n",
      "       [-3.6519685 ,  0.08765038, -0.08851019, ...,  0.16206667,\r\n",
      "         0.02465408,  0.05327111],\r\n",
      "       [-4.1572127 ,  0.1100859 , -0.0930194 , ...,  0.17783405,\r\n",
      "         0.01946874,  0.01237433],\r\n",
      "       [-2.9119651 ,  0.17042196, -0.07666878, ...,  0.18315548,\r\n",
      "         0.03221511,  0.07611411]], dtype=float32), h=array([[-0.01191575,  0.03481352, -0.13490297, ...,  0.00313486,\r\n",
      "        -0.06719135, -0.00588262],\r\n",
      "       [-0.01514803,  0.0400977 , -0.20533937, ...,  0.00224656,\r\n",
      "         0.0042616 ,  0.00446193],\r\n",
      "       [-0.01652084,  0.05442096, -0.14437748, ...,  0.00193866,\r\n",
      "        -0.01496383,  0.03168359],\r\n",
      "       ...,\r\n",
      "       [-0.00763266,  0.02801564, -0.08108445, ...,  0.00228402,\r\n",
      "         0.01036413,  0.01052477],\r\n",
      "       [-0.01982293,  0.0337811 , -0.08832782, ...,  0.00241776,\r\n",
      "         0.00790922,  0.00206691],\r\n",
      "       [-0.01721713,  0.05044816, -0.07243896, ...,  0.00275989,\r\n",
      "         0.01486134,  0.00883771]], dtype=float32)), LSTMStateTuple(c=array([[ 2.2727053e-01, -1.1932379e-01, -1.0417831e-01, ...,\r\n",
      "         1.0242633e+01, -4.7922343e-02, -4.8881906e-01],\r\n",
      "       [ 3.4875816e-01, -8.8043459e-02, -2.1533330e-01, ...,\r\n",
      "         1.3801460e+01,  5.9349019e-02, -6.3847888e-01],\r\n",
      "       [ 4.9940652e-01, -8.8206507e-02, -4.1454349e-02, ...,\r\n",
      "         1.4483619e+01,  9.7677276e-02, -8.8477737e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.5742757e-01, -1.5296826e-01,  6.6871629e-03, ...,\r\n",
      "         9.6100769e+00,  9.6411118e-04, -5.0360602e-01],\r\n",
      "       [ 2.1060342e-01, -1.9178832e-01,  1.3726997e-02, ...,\r\n",
      "         9.6195612e+00, -5.1710699e-02, -2.3116985e-01],\r\n",
      "       [ 2.7628896e-01, -9.3817115e-02, -3.3669516e-01, ...,\r\n",
      "         8.0681019e+00, -2.7380057e-02, -5.6203932e-01]], dtype=float32), h=array([[ 0.00074018, -0.00142959, -0.06567566, ...,  0.00142443,\r\n",
      "        -0.0475244 , -0.0020408 ],\r\n",
      "       [ 0.00064098, -0.00106462, -0.0282309 , ...,  0.0027263 ,\r\n",
      "         0.04866348, -0.00127205],\r\n",
      "       [ 0.00096638, -0.00089863, -0.02463628, ...,  0.00235132,\r\n",
      "         0.05498995, -0.00048589],\r\n",
      "       ...,\r\n",
      "       [ 0.00181557, -0.00049892,  0.00569294, ...,  0.00170681,\r\n",
      "         0.0009533 , -0.00058068],\r\n",
      "       [ 0.00123507, -0.00082773,  0.00883465, ...,  0.00123485,\r\n",
      "        -0.05123461, -0.00015994],\r\n",
      "       [ 0.00043254, -0.00088296, -0.03911614, ...,  0.0015419 ,\r\n",
      "        -0.02705306, -0.00039089]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-3.0399501 ,  0.11149344, -0.13072011, ...,  0.17478172,\r\n",
      "         0.06798142, -0.41840568],\r\n",
      "       [-7.526968  ,  0.17629015, -0.26909196, ...,  0.1552479 ,\r\n",
      "         0.03098637,  0.0257723 ],\r\n",
      "       [-5.319968  ,  0.03232593, -0.23718286, ...,  0.20921056,\r\n",
      "        -0.01390257,  0.20039499],\r\n",
      "       ...,\r\n",
      "       [-6.5729437 ,  0.21939309, -0.18773948, ...,  0.21579966,\r\n",
      "         0.06364144, -0.18919425],\r\n",
      "       [-3.8334005 ,  0.10163343, -0.11109816, ...,  0.17581603,\r\n",
      "         0.08598582, -0.09134512],\r\n",
      "       [-7.1090455 ,  0.13247558, -0.21801673, ...,  0.19054748,\r\n",
      "        -0.06237573, -0.08035979]], dtype=float32), h=array([[-0.01316188,  0.0319765 , -0.12653376, ...,  0.0013492 ,\r\n",
      "         0.03066481, -0.05605626],\r\n",
      "       [-0.01087606,  0.0550493 , -0.24096443, ...,  0.00247172,\r\n",
      "         0.01414605,  0.00343969],\r\n",
      "       [-0.00502585,  0.01317191, -0.22560629, ...,  0.00198433,\r\n",
      "        -0.00623378,  0.04208778],\r\n",
      "       ...,\r\n",
      "       [-0.01739594,  0.0519913 , -0.17722562, ...,  0.00255489,\r\n",
      "         0.02716668, -0.02489406],\r\n",
      "       [-0.00755036,  0.02899474, -0.10474233, ...,  0.00154131,\r\n",
      "         0.04219433, -0.01401805],\r\n",
      "       [-0.00794262,  0.03796894, -0.2034749 , ...,  0.00226387,\r\n",
      "        -0.03167469, -0.00991259]], dtype=float32)), LSTMStateTuple(c=array([[ 2.3534334e-01, -8.9131489e-02, -6.0908761e-02, ...,\r\n",
      "         9.2008820e+00, -1.0580238e-02, -3.0094880e-01],\r\n",
      "       [ 3.6567062e-01, -1.1136912e-01, -3.1457970e-01, ...,\r\n",
      "         1.0956515e+01,  5.1220798e-01, -8.8416868e-01],\r\n",
      "       [ 2.8793570e-01, -1.5845245e-01,  9.7594559e-03, ...,\r\n",
      "         1.3607189e+01,  1.5483338e-01, -6.3481373e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.5292438e-01, -3.9984051e-02,  2.0013325e-02, ...,\r\n",
      "         1.2515385e+01,  6.3550368e-02, -2.1461332e-01],\r\n",
      "       [ 2.1295990e-01, -3.3104111e-02,  1.8008102e-02, ...,\r\n",
      "         1.1069273e+01, -2.1895848e-02, -5.8807796e-01],\r\n",
      "       [ 3.2408309e-01, -9.8336503e-02,  1.1019836e-02, ...,\r\n",
      "         1.1619591e+01,  1.6539589e-01, -2.8635281e-01]], dtype=float32), h=array([[ 0.00342312, -0.00386421, -0.0432184 , ...,  0.00258069,\r\n",
      "        -0.01048585, -0.0045623 ],\r\n",
      "       [ 0.00108502, -0.00118445, -0.04111621, ...,  0.00298155,\r\n",
      "         0.02371101, -0.00063107],\r\n",
      "       [ 0.00190267, -0.00222988,  0.0066473 , ...,  0.00140593,\r\n",
      "         0.05744456, -0.00048045],\r\n",
      "       ...,\r\n",
      "       [ 0.00093315, -0.000501  ,  0.00668948, ...,  0.00112275,\r\n",
      "         0.04443941, -0.00079146],\r\n",
      "       [ 0.00252699, -0.00125938,  0.012896  , ...,  0.00200892,\r\n",
      "        -0.02148428, -0.00285024],\r\n",
      "       [ 0.00320422, -0.0027357 ,  0.00733262, ...,  0.00189736,\r\n",
      "         0.05237652, -0.00027496]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-5.3817306 ,  0.10520346, -0.1657666 , ...,  0.19396394,\r\n",
      "         0.0386196 ,  0.16436525],\r\n",
      "       [-4.3749905 ,  0.13109607, -0.12041515, ...,  0.16783828,\r\n",
      "         0.06570016,  0.03502631],\r\n",
      "       [-4.946628  ,  0.180021  , -0.20299117, ...,  0.15758754,\r\n",
      "         0.01006065,  0.17930207],\r\n",
      "       ...,\r\n",
      "       [-6.573846  ,  0.09128927, -0.25119305, ...,  0.13157518,\r\n",
      "         0.01980931,  0.07183613],\r\n",
      "       [-0.920169  ,  0.12440332, -0.12789732, ...,  0.13147107,\r\n",
      "         0.04362629, -0.01450077],\r\n",
      "       [-7.2689595 ,  0.05911754, -0.19139878, ...,  0.14305888,\r\n",
      "         0.04363395,  0.24038489]], dtype=float32), h=array([[-0.00832826,  0.02934015, -0.15850617, ...,  0.00156265,\r\n",
      "         0.01679668,  0.02200849],\r\n",
      "       [-0.04454493,  0.03801684, -0.11776712, ...,  0.00240853,\r\n",
      "         0.02897992,  0.00484102],\r\n",
      "       [-0.01599355,  0.04916216, -0.19363146, ...,  0.0016109 ,\r\n",
      "         0.00458969,  0.03012767],\r\n",
      "       ...,\r\n",
      "       [-0.00778752,  0.0295263 , -0.22943877, ...,  0.0018388 ,\r\n",
      "         0.00914302,  0.01403766],\r\n",
      "       [-0.0583691 ,  0.03692235, -0.12299459, ...,  0.00155155,\r\n",
      "         0.01948757, -0.00241049],\r\n",
      "       [-0.05280018,  0.02091959, -0.18318217, ...,  0.00166628,\r\n",
      "         0.02311181,  0.04368379]], dtype=float32)), LSTMStateTuple(c=array([[ 2.66119510e-01, -8.43990073e-02,  4.74494025e-02, ...,\r\n",
      "         1.27848730e+01,  1.04601175e-01, -2.73616403e-01],\r\n",
      "       [ 2.88142383e-01, -8.70671421e-02,  1.56126665e-02, ...,\r\n",
      "         1.07470703e+01, -1.78629309e-02, -2.16541573e-01],\r\n",
      "       [ 4.13959146e-01, -2.06875145e-01,  2.81068087e-02, ...,\r\n",
      "         1.31946478e+01,  4.32903245e-02, -4.96139765e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.64491647e-01, -2.25192770e-01,  6.93019945e-03, ...,\r\n",
      "         1.32734175e+01,  3.14870507e-01, -4.82067823e-01],\r\n",
      "       [ 1.65013462e-01, -1.60264045e-01,  7.12671829e-03, ...,\r\n",
      "         7.59483385e+00, -6.43542558e-02, -1.05359487e-01],\r\n",
      "       [ 2.03559637e-01,  1.72578804e-02,  1.66397262e-02, ...,\r\n",
      "         1.42944031e+01,  1.74438000e-01, -1.81165054e-01]], dtype=float32), h=array([[ 0.00089529, -0.00132265,  0.020376  , ...,  0.00278815,\r\n",
      "         0.05483438, -0.00102379],\r\n",
      "       [ 0.00138556, -0.00062736,  0.00963843, ...,  0.00163119,\r\n",
      "        -0.0176004 , -0.00085031],\r\n",
      "       [ 0.00076972, -0.00171195,  0.01440699, ...,  0.00100475,\r\n",
      "         0.03662609, -0.00012614],\r\n",
      "       ...,\r\n",
      "       [ 0.00177274, -0.00077616,  0.00572275, ...,  0.00107394,\r\n",
      "         0.06653463, -0.00049943],\r\n",
      "       [ 0.00333637, -0.0018709 ,  0.00499133, ...,  0.00159715,\r\n",
      "        -0.06404477, -0.00014762],\r\n",
      "       [ 0.00062662,  0.00011835,  0.00863049, ...,  0.00171387,\r\n",
      "         0.04693416, -0.00048501]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-2.85400701e+00,  9.29439738e-02, -1.11717902e-01, ...,\r\n",
      "         1.68306962e-01, -4.81644161e-02,  4.08242643e-02],\r\n",
      "       [-5.19476414e+00,  1.50987610e-01, -1.79720864e-01, ...,\r\n",
      "         1.79608241e-01,  2.57255547e-02,  1.90893356e-02],\r\n",
      "       [-1.69092369e+00,  1.16306365e-01, -9.76801366e-02, ...,\r\n",
      "         2.33355269e-01, -5.76986410e-02, -1.14715345e-01],\r\n",
      "       ...,\r\n",
      "       [-5.76573849e+00,  1.09685078e-01, -1.66327491e-01, ...,\r\n",
      "         1.32965416e-01,  2.51535084e-02, -4.34406959e-02],\r\n",
      "       [-5.53379440e+00,  1.12039685e-01, -1.68440506e-01, ...,\r\n",
      "         1.26347676e-01, -1.74273252e-01,  7.16031902e-03],\r\n",
      "       [-4.94902945e+00,  6.82003945e-02, -2.00242519e-01, ...,\r\n",
      "         1.76989049e-01,  1.80769973e-02, -3.53116915e-03]], dtype=float32), h=array([[-0.05888431,  0.03189111, -0.10427184, ...,  0.00345966,\r\n",
      "        -0.02137334,  0.00965974],\r\n",
      "       [-0.00836702,  0.04647953, -0.16386634, ...,  0.0025089 ,\r\n",
      "         0.01026167,  0.0039406 ],\r\n",
      "       [-0.01850355,  0.03838899, -0.09414532, ...,  0.00243151,\r\n",
      "        -0.02610001, -0.01584363],\r\n",
      "       ...,\r\n",
      "       [-0.00318733,  0.03108101, -0.1556548 , ...,  0.00214422,\r\n",
      "         0.01041174, -0.00855464],\r\n",
      "       [-0.00556427,  0.03047057, -0.15695894, ...,  0.00164661,\r\n",
      "        -0.07242521,  0.00103177],\r\n",
      "       [-0.02724646,  0.02083217, -0.1857168 , ...,  0.00156203,\r\n",
      "         0.00853907, -0.00077737]], dtype=float32)), LSTMStateTuple(c=array([[ 2.2401901e-01, -2.5499564e-02,  1.4631728e-02, ...,\r\n",
      "         1.0666493e+01, -9.8355664e-03, -1.0487402e-01],\r\n",
      "       [ 2.3912616e-01, -1.4924279e-01, -9.5678382e-03, ...,\r\n",
      "         1.4339832e+01,  1.5541618e-01, -1.4968793e-01],\r\n",
      "       [ 1.9657974e-01, -4.7294557e-02,  9.6594952e-03, ...,\r\n",
      "         6.6257186e+00, -4.8582513e-02, -7.1379948e-01],\r\n",
      "       ...,\r\n",
      "       [ 1.7129403e-01, -2.0308156e-01,  7.0715835e-03, ...,\r\n",
      "         1.1634655e+01,  3.6893517e-02, -4.3652070e-01],\r\n",
      "       [ 2.4037376e-01, -4.2850170e-02,  1.6712701e-02, ...,\r\n",
      "         1.2849506e+01,  1.5442125e-01, -2.8604120e-01],\r\n",
      "       [ 3.2454237e-01, -1.4490210e-01,  6.3959761e-03, ...,\r\n",
      "         1.0641283e+01, -2.1795776e-02, -4.3100226e-01]], dtype=float32), h=array([[ 4.1015269e-03, -2.9469849e-04,  8.7857600e-03, ...,\r\n",
      "         2.3680956e-03, -9.5937112e-03, -1.0390882e-04],\r\n",
      "       [ 1.4041625e-03, -2.9607076e-04, -7.0500500e-03, ...,\r\n",
      "         6.1026390e-04,  7.0797764e-02, -1.7513479e-04],\r\n",
      "       [ 6.0387701e-04, -6.3435838e-04,  6.6552414e-03, ...,\r\n",
      "         2.3105198e-03, -4.8176497e-02, -2.9890449e-03],\r\n",
      "       ...,\r\n",
      "       [ 4.4641187e-04, -3.0519057e-04,  5.5562048e-03, ...,\r\n",
      "         6.4290204e-04,  3.6005355e-02, -1.7630706e-04],\r\n",
      "       [ 1.3699544e-03, -4.3577090e-04,  1.2959772e-02, ...,\r\n",
      "         3.5158236e-04,  7.2641902e-02, -4.8430851e-03],\r\n",
      "       [ 5.4898602e-04, -8.2090776e-04,  3.5321745e-03, ...,\r\n",
      "         2.5262104e-03, -2.1365277e-02, -8.9188463e-05]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.3150563 ,  0.06840248, -0.18009943, ...,  0.16851342,\r\n",
      "        -0.01277506, -0.25637046],\r\n",
      "       [-8.823319  ,  0.11649974, -0.22888227, ...,  0.15363851,\r\n",
      "        -0.03263266,  0.08715861],\r\n",
      "       [-6.434869  ,  0.0862816 , -0.19281286, ...,  0.14056638,\r\n",
      "         0.02280461,  0.06326611],\r\n",
      "       ...,\r\n",
      "       [-5.5331926 ,  0.14075488, -0.2358267 , ...,  0.16382296,\r\n",
      "         0.05484455, -0.11774196],\r\n",
      "       [-5.165075  ,  0.12734568, -0.2936413 , ...,  0.16714638,\r\n",
      "        -0.06740309,  0.26201105],\r\n",
      "       [-3.1816974 ,  0.06322659, -0.31722096, ...,  0.1371342 ,\r\n",
      "         0.015263  , -0.01161529]], dtype=float32), h=array([[-0.05520237,  0.02136591, -0.16649783, ...,  0.00232189,\r\n",
      "        -0.00563543, -0.03817296],\r\n",
      "       [-0.01968242,  0.03758398, -0.2211135 , ...,  0.00128441,\r\n",
      "        -0.01561809,  0.01229662],\r\n",
      "       [-0.00458115,  0.02644681, -0.18098591, ...,  0.00238085,\r\n",
      "         0.0097241 ,  0.01347238],\r\n",
      "       ...,\r\n",
      "       [-0.0440464 ,  0.04412061, -0.22603823, ...,  0.0017562 ,\r\n",
      "         0.02800062, -0.0181751 ],\r\n",
      "       [-0.02070475,  0.03915444, -0.26967326, ...,  0.00162666,\r\n",
      "        -0.03237762,  0.03932563],\r\n",
      "       [-0.01094156,  0.02197381, -0.27793106, ...,  0.00145131,\r\n",
      "         0.00781699, -0.00252855]], dtype=float32)), LSTMStateTuple(c=array([[ 9.92521271e-02,  4.25360426e-02,  1.02417460e-02, ...,\r\n",
      "         1.21697140e+01,  5.53215407e-02, -1.50783166e-01],\r\n",
      "       [ 4.13352907e-01, -2.09404305e-01,  2.03108080e-02, ...,\r\n",
      "         1.18013277e+01,  2.08554223e-01, -6.59377992e-01],\r\n",
      "       [ 2.45321870e-01, -2.17198253e-01,  9.44518764e-03, ...,\r\n",
      "         1.40784597e+01,  9.78260785e-02, -7.14510560e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.03407967e-01,  3.61186676e-02,  1.37674958e-02, ...,\r\n",
      "         1.29084530e+01,  3.20854068e-01, -8.65448296e-01],\r\n",
      "       [ 2.00720936e-01, -1.20509334e-01,  1.49623547e-02, ...,\r\n",
      "         1.39614649e+01,  2.40282893e-01, -5.81367016e-01],\r\n",
      "       [ 3.67889583e-01, -1.05106868e-01,  7.77607597e-03, ...,\r\n",
      "         1.17476654e+01,  3.26619774e-01, -7.18596697e-01]], dtype=float32), h=array([[ 0.0010917 ,  0.00062365,  0.00825767, ...,  0.00063724,\r\n",
      "         0.05265675, -0.00056543],\r\n",
      "       [ 0.00076874, -0.00121752,  0.01500722, ...,  0.00144908,\r\n",
      "         0.04739117, -0.00106984],\r\n",
      "       [ 0.00079394, -0.00042791,  0.00735849, ...,  0.0009019 ,\r\n",
      "         0.0794986 , -0.00040714],\r\n",
      "       ...,\r\n",
      "       [ 0.00132738,  0.00049214,  0.00792258, ...,  0.0013291 ,\r\n",
      "         0.04613242, -0.00234163],\r\n",
      "       [ 0.00180205, -0.001632  ,  0.00891687, ...,  0.00126882,\r\n",
      "         0.055691  , -0.00216714],\r\n",
      "       [ 0.00130988, -0.00062372,  0.0038892 , ...,  0.0033731 ,\r\n",
      "         0.04369888, -0.00035466]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-3.7031150e+00,  1.3220532e-01, -1.2437173e-01, ...,\r\n",
      "         1.5121341e-01,  2.6782611e-02,  1.1041603e-02],\r\n",
      "       [-4.2378187e+00,  8.0550894e-02, -1.4156118e-01, ...,\r\n",
      "         2.1930930e-01,  2.1508637e-01, -1.7708261e-01],\r\n",
      "       [-4.3670006e+00,  8.2237162e-02, -1.7108400e-01, ...,\r\n",
      "         1.8315387e-01, -1.4843920e-02, -1.5406273e-03],\r\n",
      "       ...,\r\n",
      "       [-4.4266362e+00,  3.6279995e-02, -1.3320109e-01, ...,\r\n",
      "         2.0572899e-01, -2.0506749e-01, -1.0067870e-01],\r\n",
      "       [-3.8263853e+00,  1.2529905e-01, -1.0516254e-01, ...,\r\n",
      "         1.5190950e-01, -5.1581834e-02,  1.3770016e-01],\r\n",
      "       [-3.4670153e+00,  1.6002056e-01, -1.3999490e-01, ...,\r\n",
      "         2.1051665e-01,  2.6620708e-02,  3.2536551e-02]], dtype=float32), h=array([[-0.0212486 ,  0.03877501, -0.11447281, ...,  0.00202039,\r\n",
      "         0.01054904,  0.00206068],\r\n",
      "       [-0.0082242 ,  0.02736575, -0.13333559, ...,  0.00406836,\r\n",
      "         0.09602296, -0.03866227],\r\n",
      "       [-0.01909523,  0.02591909, -0.1639217 , ...,  0.00154038,\r\n",
      "        -0.00582861, -0.00026351],\r\n",
      "       ...,\r\n",
      "       [-0.01356741,  0.01276748, -0.12744494, ...,  0.00249799,\r\n",
      "        -0.10217077, -0.01858388],\r\n",
      "       [-0.01559348,  0.03701812, -0.10114467, ...,  0.00129307,\r\n",
      "        -0.0258627 ,  0.02271874],\r\n",
      "       [-0.01118039,  0.04842246, -0.13087884, ...,  0.00294109,\r\n",
      "         0.01305631,  0.00470805]], dtype=float32)), LSTMStateTuple(c=array([[ 2.15264007e-01, -1.71549544e-01,  7.75296148e-03, ...,\r\n",
      "         1.27912407e+01,  1.88760348e-02, -6.49642587e-01],\r\n",
      "       [ 2.36206308e-01, -4.31723297e-01,  3.73996422e-02, ...,\r\n",
      "         1.34452410e+01,  6.50222152e-02, -2.82691479e-01],\r\n",
      "       [ 2.87682742e-01, -1.81811988e-01,  2.66112685e-02, ...,\r\n",
      "         1.42538958e+01,  1.06409416e-01, -1.35975927e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.75312752e-01, -1.73802406e-01,  1.96159575e-02, ...,\r\n",
      "         1.21044054e+01,  2.47306954e-02, -9.53447595e-02],\r\n",
      "       [ 1.49327666e-01, -1.55993223e-01, -9.77747589e-02, ...,\r\n",
      "         9.46228027e+00, -2.34810226e-02, -6.86445296e-01],\r\n",
      "       [ 3.35410357e-01, -9.35737491e-02, -4.95082140e-01, ...,\r\n",
      "         1.31370306e+01,  5.46692349e-02, -4.00030732e-01]], dtype=float32), h=array([[ 0.00144154, -0.00052097,  0.00618466, ...,  0.00082153,\r\n",
      "         0.0185603 , -0.00041905],\r\n",
      "       [ 0.0009728 , -0.0057526 ,  0.02227917, ...,  0.00119633,\r\n",
      "         0.05207478, -0.00192596],\r\n",
      "       [ 0.00095334, -0.00172202,  0.01689847, ...,  0.00064829,\r\n",
      "         0.05852266, -0.00152967],\r\n",
      "       ...,\r\n",
      "       [ 0.00490807, -0.00523868,  0.01241402, ...,  0.00238033,\r\n",
      "         0.02412368, -0.0004256 ],\r\n",
      "       [ 0.00070686, -0.00417219, -0.05173925, ...,  0.00125733,\r\n",
      "        -0.02314569, -0.00090828],\r\n",
      "       [ 0.00036109, -0.00081694, -0.03519722, ...,  0.0015083 ,\r\n",
      "         0.04431162, -0.00034154]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.404963  ,  0.17095147, -0.07174637, ...,  0.20953524,\r\n",
      "         0.02584761,  0.02473905],\r\n",
      "       [-4.818203  ,  0.14825952, -0.1183309 , ...,  0.19091786,\r\n",
      "         0.03461704,  0.0259631 ],\r\n",
      "       [-3.3934422 ,  0.1207255 , -0.16904713, ...,  0.15627536,\r\n",
      "         0.00668521,  0.14204554],\r\n",
      "       ...,\r\n",
      "       [-3.1179185 ,  0.1291917 , -0.10840443, ...,  0.17550793,\r\n",
      "        -0.04604118, -0.1657616 ],\r\n",
      "       [-2.5887446 ,  0.13781118, -0.17666566, ...,  0.20722458,\r\n",
      "         0.09303224, -0.16836295],\r\n",
      "       [-6.31093   ,  0.09348534, -0.32628888, ...,  0.16447397,\r\n",
      "        -0.03792721,  0.08185923]], dtype=float32), h=array([[-0.00936487,  0.05112629, -0.06621323, ...,  0.00222973,\r\n",
      "         0.01290457,  0.00313424],\r\n",
      "       [-0.01691723,  0.04939304, -0.10866267, ...,  0.00293268,\r\n",
      "         0.01430111,  0.00378646],\r\n",
      "       [-0.0194976 ,  0.03672699, -0.16319053, ...,  0.00197589,\r\n",
      "         0.00285252,  0.02277355],\r\n",
      "       ...,\r\n",
      "       [-0.00660306,  0.03807482, -0.10275192, ...,  0.00218664,\r\n",
      "        -0.02009653, -0.02831162],\r\n",
      "       [-0.06449622,  0.03028802, -0.16861574, ...,  0.00262447,\r\n",
      "         0.04333256, -0.01950892],\r\n",
      "       [-0.02193076,  0.02785395, -0.3068439 , ...,  0.00223694,\r\n",
      "        -0.02015609,  0.01375924]], dtype=float32)), LSTMStateTuple(c=array([[ 2.3775333e-01, -3.6921084e-02, -3.2502109e-01, ...,\r\n",
      "         1.0027135e+01, -3.6915470e-02, -9.1929352e-01],\r\n",
      "       [ 3.1335810e-01, -3.9756168e-02, -3.9037982e-01, ...,\r\n",
      "         1.3741382e+01,  3.1344086e-02, -6.0899341e-01],\r\n",
      "       [ 2.0478354e-01, -1.0471493e-01,  4.1771457e-03, ...,\r\n",
      "         1.0395215e+01,  2.2803709e-02, -2.3377044e-01],\r\n",
      "       ...,\r\n",
      "       [ 1.8166365e-01, -4.9540799e-02, -6.7866899e-02, ...,\r\n",
      "         9.6582966e+00, -2.7265413e-02, -1.7885375e-01],\r\n",
      "       [ 2.2291499e-01, -9.8221585e-02,  5.4454538e-03, ...,\r\n",
      "         1.0746818e+01, -1.3121802e-02, -4.3881851e-01],\r\n",
      "       [ 2.7648529e-01, -1.2503716e-01,  5.8746897e-05, ...,\r\n",
      "         1.2885087e+01,  3.7377575e-01, -5.2299547e-01]], dtype=float32), h=array([[ 1.2087460e-03, -4.1486640e-04, -4.6516944e-02, ...,\r\n",
      "         1.7601219e-03, -3.6385275e-02, -4.2103918e-04],\r\n",
      "       [ 5.7474244e-04, -2.5392143e-04, -3.9873920e-02, ...,\r\n",
      "         1.4648526e-03,  2.8002217e-02, -4.2834738e-04],\r\n",
      "       [ 1.6284010e-03, -9.4631704e-04,  2.5380468e-03, ...,\r\n",
      "         2.0377047e-03,  2.0963263e-02, -4.0244326e-04],\r\n",
      "       ...,\r\n",
      "       [ 2.3317472e-03, -9.4216521e-04, -4.1658703e-02, ...,\r\n",
      "         2.4514336e-03, -2.6990594e-02, -1.5132201e-03],\r\n",
      "       [ 5.3108595e-03, -2.8716912e-03,  4.2732134e-03, ...,\r\n",
      "         1.1539569e-03, -1.3023496e-02, -1.9522684e-03],\r\n",
      "       [ 1.4085150e-03, -1.0776786e-03,  4.0715662e-05, ...,\r\n",
      "         1.4166920e-03,  4.4743914e-02, -5.2823103e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-5.943214  ,  0.13087937, -0.15025745, ...,  0.13258792,\r\n",
      "         0.13844047,  0.06660925],\r\n",
      "       [-3.1287289 ,  0.1398173 , -0.1558063 , ...,  0.15932162,\r\n",
      "         0.02647009,  0.07135485],\r\n",
      "       [-3.6915994 ,  0.1653277 , -0.17498708, ...,  0.17505622,\r\n",
      "        -0.02545108,  0.03334733],\r\n",
      "       ...,\r\n",
      "       [-1.0091219 ,  0.7451604 , -0.08899902, ...,  0.11694555,\r\n",
      "         0.26240307, -0.09243715],\r\n",
      "       [-3.846213  ,  0.1164607 , -0.14022884, ...,  0.18759668,\r\n",
      "         0.01003509,  0.08720878],\r\n",
      "       [-2.530312  ,  0.18998097, -0.10241054, ...,  0.15640461,\r\n",
      "        -0.01485045,  0.05735283]], dtype=float32), h=array([[-0.01228528,  0.04098191, -0.14402637, ...,  0.00144961,\r\n",
      "         0.05931974,  0.01076563],\r\n",
      "       [-0.02519174,  0.0388832 , -0.15050212, ...,  0.00191529,\r\n",
      "         0.0107398 ,  0.00937405],\r\n",
      "       [-0.00385018,  0.05274929, -0.16823485, ...,  0.00221803,\r\n",
      "        -0.0109205 ,  0.00416119],\r\n",
      "       ...,\r\n",
      "       [-0.04429347,  0.04456953, -0.01643183, ...,  0.01459818,\r\n",
      "         0.12605478, -0.01880633],\r\n",
      "       [-0.01702845,  0.03573892, -0.13711198, ...,  0.00160335,\r\n",
      "         0.00388935,  0.01739193],\r\n",
      "       [-0.00304748,  0.05863873, -0.09944012, ...,  0.00217403,\r\n",
      "        -0.00605338,  0.00724089]], dtype=float32)), LSTMStateTuple(c=array([[ 3.0980065e-01, -1.9887385e-01, -9.4512075e-02, ...,\r\n",
      "         1.2985297e+01,  4.4286825e-02, -8.6542588e-01],\r\n",
      "       [ 2.3282510e-01, -6.9659531e-02, -2.1158213e-02, ...,\r\n",
      "         1.1251283e+01, -4.8216660e-02, -6.1976063e-01],\r\n",
      "       [ 1.8888196e-01, -1.5445155e-01,  2.4270704e-02, ...,\r\n",
      "         1.0453557e+01, -3.1610537e-02, -1.2090559e-01],\r\n",
      "       ...,\r\n",
      "       [-1.6466209e-01,  5.3940338e-01,  4.0475093e-02, ...,\r\n",
      "         5.4042025e+00, -4.9112454e-02, -2.8283846e-01],\r\n",
      "       [ 2.6786339e-01, -1.3341446e-01,  1.2246637e-02, ...,\r\n",
      "         8.9714098e+00,  4.7887457e-03, -4.6715546e-02],\r\n",
      "       [ 1.3510998e-01, -1.5567499e-01,  1.8783513e-02, ...,\r\n",
      "         6.2539711e+00, -4.9465701e-02, -8.9678779e-02]], dtype=float32), h=array([[ 2.1052361e-03, -5.1446217e-03, -5.2154947e-02, ...,\r\n",
      "         2.4715883e-03,  3.7352175e-02, -6.7416200e-04],\r\n",
      "       [ 2.6865834e-03, -1.7588953e-03, -7.6463055e-03, ...,\r\n",
      "         3.3550668e-03, -4.7590498e-02, -1.9344931e-03],\r\n",
      "       [ 2.8894055e-03, -3.8018762e-03,  1.0605623e-02, ...,\r\n",
      "         2.1189901e-03, -3.1108717e-02, -1.4686740e-04],\r\n",
      "       ...,\r\n",
      "       [-1.9960199e-02,  1.2385004e-02,  3.1944808e-02, ...,\r\n",
      "         1.0525555e-03, -4.8787829e-02, -2.2498849e-03],\r\n",
      "       [ 4.3972072e-04, -5.3951255e-04,  5.1252893e-03, ...,\r\n",
      "         1.5071305e-03,  4.6825730e-03, -1.6387317e-05],\r\n",
      "       [ 1.8767386e-03, -3.7188882e-03,  8.5925143e-03, ...,\r\n",
      "         2.5659397e-03, -4.9017455e-02, -9.8228564e-05]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-2.3462281 ,  0.11706965, -0.13201827, ...,  0.16432217,\r\n",
      "         0.06886982, -0.36291453],\r\n",
      "       [-5.329718  ,  0.11719465, -0.26842257, ...,  0.15257467,\r\n",
      "         0.04324338, -0.28866723],\r\n",
      "       [-2.9333258 ,  0.06130281, -0.14502017, ...,  0.1613396 ,\r\n",
      "         0.0331948 ,  0.00974554],\r\n",
      "       ...,\r\n",
      "       [-3.2177427 ,  0.04879982, -0.116565  , ...,  0.22338162,\r\n",
      "        -0.00880359,  0.02453873],\r\n",
      "       [-2.9259295 ,  0.12818438, -0.11846577, ...,  0.1475918 ,\r\n",
      "         0.0173322 ,  0.07329517],\r\n",
      "       [ 0.18753277,  0.74888957, -0.03746298, ...,  0.068855  ,\r\n",
      "         0.5541004 , -0.4669049 ]], dtype=float32), h=array([[-0.03926864,  0.03296015, -0.12837112, ...,  0.00129051,\r\n",
      "         0.03368137, -0.04956289],\r\n",
      "       [-0.0291457 ,  0.03448183, -0.25393203, ...,  0.00153752,\r\n",
      "         0.02110193, -0.03095818],\r\n",
      "       [-0.0312266 ,  0.02224816, -0.13715638, ...,  0.00177951,\r\n",
      "         0.0164358 ,  0.0023293 ],\r\n",
      "       ...,\r\n",
      "       [-0.01204386,  0.0162137 , -0.11148827, ...,  0.00222941,\r\n",
      "        -0.00444936,  0.00433265],\r\n",
      "       [-0.01337616,  0.03328354, -0.11104909, ...,  0.00170275,\r\n",
      "         0.007664  ,  0.01440988],\r\n",
      "       [ 0.04842509,  0.0517922 , -0.00058598, ...,  0.0237548 ,\r\n",
      "         0.02548683, -0.03240181]], dtype=float32)), LSTMStateTuple(c=array([[ 0.2311631 , -0.20613882, -0.01678012, ..., 12.779376  ,\r\n",
      "        -0.02507751, -0.6439616 ],\r\n",
      "       [ 0.44737288, -0.18561432,  0.01573578, ..., 14.9135895 ,\r\n",
      "         0.161087  , -0.45270628],\r\n",
      "       [ 0.32216862, -0.16816427,  0.01505048, ..., 13.456483  ,\r\n",
      "         0.02164726, -0.8054624 ],\r\n",
      "       ...,\r\n",
      "       [ 0.2935156 , -0.21631354,  0.03348531, ...,  8.932797  ,\r\n",
      "        -0.03541935, -0.09561931],\r\n",
      "       [ 0.28596786, -0.08831137,  0.01617444, ...,  9.061921  ,\r\n",
      "        -0.0340354 , -0.6119803 ],\r\n",
      "       [-0.29651558, -0.07592042,  0.08915435, ...,  1.8892971 ,\r\n",
      "         0.01589455, -0.25679475]], dtype=float32), h=array([[ 0.00104826, -0.00341602, -0.012131  , ...,  0.00117722,\r\n",
      "        -0.02472119, -0.00066468],\r\n",
      "       [ 0.00097455, -0.00355535,  0.01145756, ...,  0.00260715,\r\n",
      "         0.0516079 , -0.00079493],\r\n",
      "       [ 0.00302042, -0.00137234,  0.00920394, ...,  0.00447614,\r\n",
      "         0.02006529, -0.00081598],\r\n",
      "       ...,\r\n",
      "       [ 0.00036355, -0.00225334,  0.01176053, ...,  0.00209521,\r\n",
      "        -0.03502234, -0.00016988],\r\n",
      "       [ 0.00298034, -0.00144344,  0.01251334, ...,  0.00386988,\r\n",
      "        -0.03373411, -0.0012661 ],\r\n",
      "       [-0.13764416, -0.00573887,  0.05509182, ...,  0.0032694 ,\r\n",
      "         0.01567377, -0.00474506]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[ -3.5700688 ,   0.13628708,  -0.18440117, ...,   0.17785604,\r\n",
      "          0.05099321,   0.14989513],\r\n",
      "       [ -5.7433515 ,   0.07634459,  -0.24599558, ...,   0.15092304,\r\n",
      "          0.03359893,   0.02871771],\r\n",
      "       [ -5.3672867 ,   0.10698947,  -0.19473058, ...,   0.15230876,\r\n",
      "          0.03600391,  -0.13076408],\r\n",
      "       ...,\r\n",
      "       [ -2.9777064 ,   0.09204679,  -0.10441863, ...,   0.15896887,\r\n",
      "          0.01692346,   0.25926   ],\r\n",
      "       [ -3.3866756 ,   0.0525971 ,  -0.09480181, ...,   0.16899976,\r\n",
      "          0.02259151,  -0.1645715 ],\r\n",
      "       [-13.543797  ,   0.11099245,  -0.24698026, ...,   0.19024514,\r\n",
      "          0.04165512,   0.0564721 ]], dtype=float32), h=array([[-0.01167743,  0.03720381, -0.16996811, ...,  0.00230459,\r\n",
      "         0.02388291,  0.01943877],\r\n",
      "       [-0.01831406,  0.02383651, -0.22630504, ...,  0.00215191,\r\n",
      "         0.0157135 ,  0.00423979],\r\n",
      "       [-0.0279761 ,  0.03279088, -0.18142208, ...,  0.00120413,\r\n",
      "         0.01899302, -0.02496631],\r\n",
      "       ...,\r\n",
      "       [-0.02182001,  0.03006225, -0.0983888 , ...,  0.00177307,\r\n",
      "         0.00767419,  0.04694371],\r\n",
      "       [-0.01010002,  0.01819416, -0.09147754, ...,  0.00169784,\r\n",
      "         0.01067814, -0.04666411],\r\n",
      "       [-0.00458198,  0.03055134, -0.232968  , ...,  0.00159613,\r\n",
      "         0.01791109,  0.0071389 ]], dtype=float32)), LSTMStateTuple(c=array([[ 2.57429361e-01, -4.05685864e-02,  2.20284201e-02, ...,\r\n",
      "         1.23172779e+01,  4.18162942e-02, -2.12744862e-01],\r\n",
      "       [ 9.46438685e-02, -9.00855437e-02, -4.55571003e-02, ...,\r\n",
      "         1.17310505e+01,  1.77068353e-01, -1.93616852e-01],\r\n",
      "       [ 1.70433998e-01, -8.61281231e-02,  8.74109194e-03, ...,\r\n",
      "         1.31538248e+01,  7.12176114e-02, -2.58298874e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.06678405e-01, -1.67953357e-01,  9.67968628e-03, ...,\r\n",
      "         9.86272907e+00, -3.39392163e-02, -4.44675475e-01],\r\n",
      "       [ 2.74542928e-01, -1.93613410e-01,  1.34550715e-02, ...,\r\n",
      "         8.83996296e+00, -3.73403169e-02, -1.54096976e-01],\r\n",
      "       [ 2.75738060e-01, -7.93744698e-02,  3.18232626e-02, ...,\r\n",
      "         1.18248167e+01,  3.02212507e-01, -1.31677732e-01]], dtype=float32), h=array([[ 1.36022002e-03, -6.93812966e-04,  1.24721546e-02, ...,\r\n",
      "         1.26006443e-03,  3.94121110e-02, -1.06297911e-03],\r\n",
      "       [ 1.53114717e-03, -1.92050764e-03, -1.82377044e-02, ...,\r\n",
      "         2.22528959e-03,  3.80257145e-02, -3.94252420e-04],\r\n",
      "       [ 1.72225584e-03, -1.00981060e-03,  6.42062444e-03, ...,\r\n",
      "         1.84772757e-03,  6.14265651e-02, -1.16446325e-04],\r\n",
      "       ...,\r\n",
      "       [ 1.71077705e-03, -7.98947003e-04,  7.46022956e-03, ...,\r\n",
      "         1.30440341e-03, -3.37158814e-02, -5.33385610e-04],\r\n",
      "       [ 6.73301111e-04, -1.03942549e-03,  7.82461651e-03, ...,\r\n",
      "         1.51023932e-03, -3.68083194e-02, -4.29357169e-05],\r\n",
      "       [ 1.16058078e-03, -1.18721824e-03,  1.36194434e-02, ...,\r\n",
      "         2.34772358e-03,  1.84946209e-02, -5.23408584e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-2.13931894e+00,  1.72554582e-01, -7.26965070e-02, ...,\r\n",
      "         1.73917383e-01,  1.00554135e-02,  4.78766039e-02],\r\n",
      "       [-4.11022782e-01,  8.91674042e-01, -3.16463634e-02, ...,\r\n",
      "         1.65349931e-01,  8.53703380e-01, -2.16065258e-01],\r\n",
      "       [-5.18439341e+00,  8.69012177e-02, -1.80397391e-01, ...,\r\n",
      "         1.53556168e-01,  2.59736385e-02,  7.74621367e-02],\r\n",
      "       ...,\r\n",
      "       [-7.18656182e-01,  1.84586719e-01, -5.06834649e-02, ...,\r\n",
      "         1.34869441e-01,  3.38874385e-02, -5.07211797e-02],\r\n",
      "       [-3.22315598e+00,  1.34124950e-01, -2.91587949e-01, ...,\r\n",
      "         1.41946688e-01,  8.68212804e-02, -1.66107625e-01],\r\n",
      "       [-4.65514565e+00,  1.32807538e-01, -1.40677661e-01, ...,\r\n",
      "         1.50988340e-01,  2.57220697e-02, -1.75307132e-03]], dtype=float32), h=array([[-6.8762508e-04,  4.6455614e-02, -7.1922190e-02, ...,\r\n",
      "         1.5151860e-03,  5.3105704e-03,  7.3320926e-03],\r\n",
      "       [-4.1572131e-02,  2.3551315e-01, -8.1879101e-05, ...,\r\n",
      "         9.4053885e-03,  1.2398856e-01, -3.5931204e-02],\r\n",
      "       [-4.1992642e-02,  2.6779179e-02, -1.7031676e-01, ...,\r\n",
      "         2.5246528e-03,  1.2038934e-02,  1.4508564e-02],\r\n",
      "       ...,\r\n",
      "       [-1.3353697e-02,  5.7305835e-02, -4.7038212e-02, ...,\r\n",
      "         2.4826108e-03,  1.4882284e-02, -7.1051642e-03],\r\n",
      "       [-2.2112008e-02,  4.0405836e-02, -2.7192074e-01, ...,\r\n",
      "         1.3570943e-03,  4.2580396e-02, -2.1435959e-02],\r\n",
      "       [-2.2176482e-02,  4.0703639e-02, -1.3173518e-01, ...,\r\n",
      "         1.7053272e-03,  1.0642016e-02, -3.2182180e-04]], dtype=float32)), LSTMStateTuple(c=array([[ 1.90037072e-01, -5.05630895e-02,  1.61231533e-02, ...,\r\n",
      "         6.07598639e+00, -6.10663518e-02, -3.02899569e-01],\r\n",
      "       [-5.75579464e-01,  4.47825491e-01, -1.13454886e-01, ...,\r\n",
      "         5.40801716e+00, -3.95706147e-02, -7.65383780e-01],\r\n",
      "       [ 2.45359868e-01,  8.24170709e-02,  1.55112185e-02, ...,\r\n",
      "         1.25587673e+01,  7.29447976e-02, -2.17945427e-01],\r\n",
      "       ...,\r\n",
      "       [ 1.89889118e-01, -3.27359661e-02, -3.30731988e-01, ...,\r\n",
      "         4.59109974e+00, -3.90629657e-02, -5.89059517e-02],\r\n",
      "       [ 3.40858459e-01, -1.27733216e-01, -1.79078393e-02, ...,\r\n",
      "         1.15876770e+01,  3.45334798e-01, -8.00170422e-01],\r\n",
      "       [ 2.29538247e-01, -1.76053226e-01,  8.05198774e-03, ...,\r\n",
      "         1.39178324e+01,  7.84381330e-02, -5.81105351e-01]], dtype=float32), h=array([[ 3.1555255e-03, -1.7759498e-03,  8.7198270e-03, ...,\r\n",
      "         1.4803690e-02, -6.0537174e-02, -8.5703784e-04],\r\n",
      "       [-7.6728791e-02,  2.0743003e-01, -5.1771682e-02, ...,\r\n",
      "         8.6735953e-03, -3.9067142e-02, -8.6465050e-03],\r\n",
      "       [ 1.8346483e-03,  9.9276972e-04,  7.9999240e-03, ...,\r\n",
      "         1.7804794e-03,  6.1486136e-02, -1.3324592e-04],\r\n",
      "       ...,\r\n",
      "       [ 7.4320909e-04, -2.5010403e-04, -3.3818718e-02, ...,\r\n",
      "         1.3743528e-03, -3.8636547e-02, -2.7644397e-05],\r\n",
      "       [ 3.6705737e-03, -3.1996693e-03, -1.2340028e-02, ...,\r\n",
      "         2.6288982e-03,  3.1952545e-02, -2.2023926e-03],\r\n",
      "       [ 1.9279033e-03, -4.1476858e-04,  6.4283367e-03, ...,\r\n",
      "         8.9868659e-04,  7.0638008e-02, -6.7266065e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-3.5227845e+00,  1.2700407e-01, -1.6220927e-01, ...,\r\n",
      "         1.3667914e-01,  2.9835470e-02, -1.6273305e-01],\r\n",
      "       [-3.5189290e+00,  9.4006822e-02, -1.4914873e-01, ...,\r\n",
      "         2.2946356e-01, -3.7259899e-02,  1.6625971e-03],\r\n",
      "       [-2.3695989e+00,  8.5201108e-01, -1.4494181e-01, ...,\r\n",
      "         8.0660969e-02,  5.2989710e-02, -2.3902096e-01],\r\n",
      "       ...,\r\n",
      "       [-4.1388273e+00,  6.3939899e-02, -1.9748273e-01, ...,\r\n",
      "         1.3155919e-01,  1.7878933e-02,  6.9516613e-03],\r\n",
      "       [-7.1288047e+00,  1.7588350e-01, -1.5361844e-01, ...,\r\n",
      "         1.7095807e-01,  2.7676493e-02,  6.4115524e-02],\r\n",
      "       [-6.2890511e+00,  2.6371652e-01, -7.9502821e-02, ...,\r\n",
      "         2.2484520e-01,  4.1556615e-02,  2.4649279e-02]], dtype=float32), h=array([[-0.04678534,  0.03877202, -0.15487449, ...,  0.00123295,\r\n",
      "         0.01434836, -0.02464909],\r\n",
      "       [-0.01691023,  0.0283433 , -0.14073248, ...,  0.00238171,\r\n",
      "        -0.01565113,  0.00022744],\r\n",
      "       [-0.12953779,  0.048605  , -0.00975811, ...,  0.00605968,\r\n",
      "         0.01832994, -0.07275055],\r\n",
      "       ...,\r\n",
      "       [-0.01725719,  0.02252363, -0.17582531, ...,  0.0016032 ,\r\n",
      "         0.00924947,  0.00157408],\r\n",
      "       [-0.01774775,  0.05118381, -0.14216864, ...,  0.00293329,\r\n",
      "         0.01188404,  0.0078491 ],\r\n",
      "       [-0.00972105,  0.05480536, -0.07778008, ...,  0.00178545,\r\n",
      "         0.01625232,  0.00414529]], dtype=float32)), LSTMStateTuple(c=array([[ 2.71123290e-01, -1.17230892e-01, -3.90722118e-02, ...,\r\n",
      "         1.12130337e+01,  2.65594888e-02, -9.21590924e-01],\r\n",
      "       [ 2.74312079e-01, -1.33517832e-01,  2.69344747e-02, ...,\r\n",
      "         1.11883316e+01, -2.02966537e-02, -6.35601699e-01],\r\n",
      "       [-1.17747024e-01,  6.79174483e-01,  4.86504659e-02, ...,\r\n",
      "         1.09887066e+01,  2.54054964e-02, -3.54683965e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.36222112e-01, -1.14780605e-01,  2.52355402e-03, ...,\r\n",
      "         1.24246626e+01,  1.45204768e-01, -1.43465713e-01],\r\n",
      "       [ 4.52566177e-01, -1.26043513e-01, -3.54425430e-01, ...,\r\n",
      "         1.45915546e+01,  8.09777007e-02, -6.87277138e-01],\r\n",
      "       [ 2.59508461e-01, -1.23944037e-01,  5.81445917e-03, ...,\r\n",
      "         1.28126640e+01,  2.76364712e-03, -2.22937986e-01]], dtype=float32), h=array([[ 6.2531861e-04, -4.7123519e-04, -1.9104555e-02, ...,\r\n",
      "         1.5068803e-03,  2.4794960e-02, -1.4086402e-04],\r\n",
      "       [ 8.3916390e-04, -1.1931929e-03,  4.8121391e-03, ...,\r\n",
      "         1.3107986e-03, -1.8489704e-02, -1.2719947e-03],\r\n",
      "       [-1.2033638e-02,  1.7227404e-02,  3.6009189e-02, ...,\r\n",
      "         5.6658487e-04,  2.4828572e-02, -1.9123625e-03],\r\n",
      "       ...,\r\n",
      "       [ 1.1103612e-03, -6.2182563e-04,  1.4031990e-03, ...,\r\n",
      "         4.2833039e-03,  8.9738950e-02, -6.4031170e-05],\r\n",
      "       [ 5.1547086e-04, -1.2253872e-03, -5.0650086e-02, ...,\r\n",
      "         2.0558557e-03,  5.3695332e-02, -4.7647386e-04],\r\n",
      "       [ 2.5405050e-03, -3.8137510e-03,  2.9054361e-03, ...,\r\n",
      "         1.2786972e-03,  2.6501461e-03, -2.8668332e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-3.7045772 ,  0.08380983, -0.18289587, ...,  0.12479524,\r\n",
      "        -0.0176254 , -0.2970534 ],\r\n",
      "       [-2.0085864 ,  0.07533908, -0.10527278, ...,  0.15204076,\r\n",
      "        -0.05099808,  0.07316509],\r\n",
      "       [-3.07733   ,  0.1354878 , -0.18495136, ...,  0.16147472,\r\n",
      "         0.07543169, -0.11514982],\r\n",
      "       ...,\r\n",
      "       [-4.952669  ,  0.09793672, -0.04299666, ...,  0.22198324,\r\n",
      "        -0.01116915,  0.04476553],\r\n",
      "       [-7.601794  ,  0.18251354, -0.20578364, ...,  0.20360966,\r\n",
      "         0.02485032,  0.06690462],\r\n",
      "       [-3.6454704 ,  0.09571674, -0.09226094, ...,  0.21950635,\r\n",
      "        -0.06983403,  0.16945672]], dtype=float32), h=array([[-0.04446901,  0.02063914, -0.17033851, ...,  0.00070928,\r\n",
      "        -0.00852868, -0.04178397],\r\n",
      "       [-0.03229693,  0.02204643, -0.09997762, ...,  0.00157027,\r\n",
      "        -0.02471172,  0.01256994],\r\n",
      "       [-0.02602633,  0.02995987, -0.17518613, ...,  0.00187897,\r\n",
      "         0.03326502, -0.0191691 ],\r\n",
      "       ...,\r\n",
      "       [-0.01265321,  0.02931918, -0.04160829, ...,  0.00199347,\r\n",
      "        -0.00534089,  0.00881061],\r\n",
      "       [-0.00177721,  0.04673589, -0.19796473, ...,  0.00188746,\r\n",
      "         0.01155137,  0.00945439],\r\n",
      "       [-0.03138132,  0.02951686, -0.08946799, ...,  0.00175749,\r\n",
      "        -0.03410359,  0.03337796]], dtype=float32)), LSTMStateTuple(c=array([[ 2.23351404e-01, -5.46964779e-02,  1.83997080e-02, ...,\r\n",
      "         1.08482189e+01,  3.40139717e-02, -9.24995601e-01],\r\n",
      "       [ 2.62855560e-01, -1.16304360e-01,  1.24351447e-03, ...,\r\n",
      "         9.46350765e+00, -2.66777277e-02, -1.19585872e-01],\r\n",
      "       [ 1.20154962e-01, -1.55178040e-01,  6.22379873e-03, ...,\r\n",
      "         1.05055408e+01,  2.44494490e-02, -1.26834750e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.98017621e-01, -1.09081291e-01, -1.12327486e-02, ...,\r\n",
      "         1.04619923e+01, -2.07682531e-02, -3.93421769e-01],\r\n",
      "       [ 3.69551897e-01, -1.40447527e-01,  1.56735778e-02, ...,\r\n",
      "         1.37132416e+01,  1.41208246e-01, -8.62973332e-01],\r\n",
      "       [ 2.53603816e-01, -1.13438554e-01,  3.09360051e-03, ...,\r\n",
      "         8.75662422e+00, -3.79528403e-02, -1.26779571e-01]], dtype=float32), h=array([[ 0.0031285 , -0.00184127,  0.01451627, ...,  0.00048503,\r\n",
      "         0.03212062, -0.00653493],\r\n",
      "       [ 0.00345157, -0.00270945,  0.00086859, ...,  0.00444184,\r\n",
      "        -0.0265201 , -0.0001862 ],\r\n",
      "       [ 0.00373942, -0.00234947,  0.00510777, ...,  0.00126457,\r\n",
      "         0.0241211 , -0.00068505],\r\n",
      "       ...,\r\n",
      "       [ 0.00071686, -0.00132742, -0.00630751, ...,  0.00099814,\r\n",
      "        -0.02063103, -0.00079791],\r\n",
      "       [ 0.00948404, -0.00621854,  0.00969661, ...,  0.00225107,\r\n",
      "         0.03896612, -0.00065612],\r\n",
      "       [ 0.00056237, -0.00120985,  0.00207464, ...,  0.00199653,\r\n",
      "        -0.03744527, -0.0002027 ]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-1.2735016 ,  0.0826643 , -0.063868  , ...,  0.18220478,\r\n",
      "         0.01950104,  0.05053508],\r\n",
      "       [-3.4282093 ,  0.80491734, -0.10657243, ...,  0.18239109,\r\n",
      "        -0.27009007, -0.5694105 ],\r\n",
      "       [-3.5606525 ,  0.07475363, -0.21030296, ...,  0.13883449,\r\n",
      "         0.02265043,  0.04102225],\r\n",
      "       ...,\r\n",
      "       [-2.1279738 ,  0.13018927, -0.05700236, ...,  0.2076651 ,\r\n",
      "         0.02934397,  0.02172945],\r\n",
      "       [-4.3265247 ,  0.11660776, -0.09357481, ...,  0.15685861,\r\n",
      "         0.01087212,  0.2461959 ],\r\n",
      "       [-0.46753126,  0.16149583, -0.03159649, ...,  0.15403426,\r\n",
      "         0.03101241, -0.04184257]], dtype=float32), h=array([[-0.02014648,  0.0262713 , -0.06121793, ...,  0.00187133,\r\n",
      "         0.0085968 ,  0.00928045],\r\n",
      "       [-0.00675614,  0.05284072, -0.00767496, ...,  0.00029986,\r\n",
      "        -0.05302237, -0.18518855],\r\n",
      "       [-0.00481265,  0.0246705 , -0.18993112, ...,  0.00188933,\r\n",
      "         0.00966603,  0.00920821],\r\n",
      "       ...,\r\n",
      "       [-0.01459585,  0.04198286, -0.05333458, ...,  0.00312101,\r\n",
      "         0.01350995,  0.00297426],\r\n",
      "       [-0.00197135,  0.03413443, -0.08998848, ...,  0.00122925,\r\n",
      "         0.00520974,  0.03349299],\r\n",
      "       [-0.01072869,  0.04896639, -0.0299022 , ...,  0.00251865,\r\n",
      "         0.0133902 , -0.00605376]], dtype=float32)), LSTMStateTuple(c=array([[ 2.4515459e-01, -1.6676418e-01,  1.4640721e-02, ...,\r\n",
      "         5.4270563e+00, -2.8732188e-02, -1.2021010e+00],\r\n",
      "       [-9.6265525e-02, -3.4994140e-01,  2.3299828e-02, ...,\r\n",
      "         8.6880341e+00, -4.4355251e-02, -7.9645969e-02],\r\n",
      "       [ 2.9320094e-01, -2.1927610e-01,  1.1140903e-02, ...,\r\n",
      "         1.3414091e+01,  6.4649142e-02, -6.6619736e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.0916596e-01, -4.4781584e-02, -2.7763790e-01, ...,\r\n",
      "         7.0411196e+00, -4.0825807e-02, -2.6998451e-01],\r\n",
      "       [ 1.8813816e-01, -1.1522302e-01,  1.7716646e-02, ...,\r\n",
      "         8.3805361e+00, -5.3441007e-02, -7.8375703e-01],\r\n",
      "       [ 2.7802604e-01, -8.9312671e-03, -2.2789669e-01, ...,\r\n",
      "         3.7544789e+00, -3.9371107e-02, -7.1001965e-01]], dtype=float32), h=array([[ 1.62373390e-03, -1.11996243e-03,  1.11907311e-02, ...,\r\n",
      "         1.36983092e-03, -2.84989607e-02, -2.17855209e-03],\r\n",
      "       [-6.24814034e-02, -6.55356273e-02,  1.37091214e-02, ...,\r\n",
      "         9.36960801e-03, -4.37228568e-02, -9.73466376e-05],\r\n",
      "       [ 1.16598234e-03, -4.67633217e-04,  8.43321253e-03, ...,\r\n",
      "         1.30438688e-03,  5.53890504e-02, -5.49806049e-04],\r\n",
      "       ...,\r\n",
      "       [ 4.01938509e-04, -2.47929507e-04, -2.69669164e-02, ...,\r\n",
      "         1.16316031e-03, -4.04637083e-02, -1.08312575e-04],\r\n",
      "       [ 4.24837181e-03, -5.57911815e-03,  6.37457473e-03, ...,\r\n",
      "         3.68069182e-03, -5.29679060e-02, -1.19876454e-03],\r\n",
      "       [ 5.46983851e-04, -6.42134546e-05, -2.49049775e-02, ...,\r\n",
      "         1.70384627e-03, -3.84309813e-02, -3.97350785e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.95836735e+00,  1.29877031e-01, -1.96113944e-01, ...,\r\n",
      "         1.32249296e-01, -2.18221605e-01,  1.03950985e-01],\r\n",
      "       [-7.11430264e+00,  2.22747669e-01, -6.28708079e-02, ...,\r\n",
      "         2.12027326e-01,  2.10382845e-02,  3.18015814e-01],\r\n",
      "       [-3.84118080e+00,  1.51377022e-01, -1.42806038e-01, ...,\r\n",
      "         1.90250844e-01,  5.46201272e-03, -2.81481706e-02],\r\n",
      "       ...,\r\n",
      "       [-5.88947392e+00,  2.58014888e-01, -2.17953339e-01, ...,\r\n",
      "         1.65996194e-01,  2.15929057e-02,  1.65438861e-01],\r\n",
      "       [-5.72307587e+00,  1.10748537e-01, -1.61385268e-01, ...,\r\n",
      "         1.96293756e-01,  3.22498232e-02,  2.94343412e-01],\r\n",
      "       [-4.19828606e+00,  2.08585933e-01, -7.87877366e-02, ...,\r\n",
      "         2.06943557e-01,  4.67528030e-02, -2.43126750e-01]], dtype=float32), h=array([[-0.00520283,  0.03473253, -0.19035378, ...,  0.00443518,\r\n",
      "        -0.09666368,  0.01642904],\r\n",
      "       [-0.00488798,  0.0591616 , -0.05814706, ...,  0.00260281,\r\n",
      "         0.00829968,  0.05458903],\r\n",
      "       [-0.01928503,  0.04157003, -0.13653737, ...,  0.00213819,\r\n",
      "         0.00266485, -0.00340155],\r\n",
      "       ...,\r\n",
      "       [-0.00917855,  0.06583244, -0.21013553, ...,  0.0014624 ,\r\n",
      "         0.01005624,  0.02318953],\r\n",
      "       [-0.01954687,  0.0319338 , -0.15812963, ...,  0.00151084,\r\n",
      "         0.01513023,  0.0439677 ],\r\n",
      "       [-0.0224657 ,  0.04967516, -0.07545178, ...,  0.00233195,\r\n",
      "         0.02103749, -0.03123048]], dtype=float32)), LSTMStateTuple(c=array([[ 3.8094276e-01, -1.3563737e-01,  8.7735914e-03, ...,\r\n",
      "         1.4030287e+01,  1.0408797e-01, -1.0903008e+00],\r\n",
      "       [ 2.4730666e-01, -1.5943016e-01,  7.8124860e-03, ...,\r\n",
      "         1.0769668e+01, -3.3706427e-04, -7.6515384e-02],\r\n",
      "       [ 2.2944023e-01, -5.5399023e-02,  3.0963473e-02, ...,\r\n",
      "         1.1257580e+01, -5.9253875e-02, -8.2938343e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.7503794e-01,  1.4336422e-02,  2.3826465e-02, ...,\r\n",
      "         1.2247096e+01,  9.7866237e-02, -1.5963586e-01],\r\n",
      "       [ 2.2506303e-01, -9.7333990e-02,  8.8712471e-03, ...,\r\n",
      "         1.1097832e+01,  7.6827221e-02, -1.6966173e-01],\r\n",
      "       [ 2.0922764e-01, -4.6186872e-02,  1.1987921e-02, ...,\r\n",
      "         8.7066317e+00, -4.2691533e-02, -5.1198542e-01]], dtype=float32), h=array([[ 9.0977206e-04, -1.5718562e-03,  5.6652767e-03, ...,\r\n",
      "         5.2171750e-03,  6.7138903e-02, -9.7691556e-03],\r\n",
      "       [ 2.3479045e-03, -4.5419298e-03,  4.7120145e-03, ...,\r\n",
      "         2.7795394e-03, -3.2288203e-04, -4.9271530e-05],\r\n",
      "       [ 2.8969052e-03, -1.3999557e-03,  1.0345940e-02, ...,\r\n",
      "         1.4637364e-03, -5.8683626e-02, -3.7031951e-03],\r\n",
      "       ...,\r\n",
      "       [ 2.7362034e-03,  2.9690401e-04,  1.2294715e-02, ...,\r\n",
      "         1.1726437e-03,  5.9718598e-02, -2.2268323e-04],\r\n",
      "       [ 5.2106875e-04, -3.7608951e-04,  5.7056327e-03, ...,\r\n",
      "         5.4075918e-04,  5.3059187e-02, -5.9031321e-05],\r\n",
      "       [ 1.6967165e-03, -7.6045498e-04,  4.5825434e-03, ...,\r\n",
      "         1.0306941e-03, -4.2078033e-02, -1.6888927e-03]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-1.0229346e+01,  6.1971895e-02, -2.3045973e-01, ...,\r\n",
      "         2.0066071e-01, -4.6287499e-02,  7.4179225e-02],\r\n",
      "       [-6.8082471e+00,  5.4628409e-02, -2.1313611e-01, ...,\r\n",
      "         1.4606327e-01,  1.6100449e-02,  1.5677259e-03],\r\n",
      "       [-5.6888194e+00,  1.0558674e-01, -4.1227958e-01, ...,\r\n",
      "         1.9884463e-01,  1.0422990e-03,  1.8796760e-01],\r\n",
      "       ...,\r\n",
      "       [-5.7526321e+00,  1.1521844e-01, -1.3860570e-01, ...,\r\n",
      "         2.0577128e-01,  2.3488374e-02,  1.1449993e-02],\r\n",
      "       [-7.8714027e+00,  1.6844244e-01, -2.1554497e-01, ...,\r\n",
      "         1.4557020e-01,  2.2289643e-02, -8.7584965e-03],\r\n",
      "       [-6.4558864e+00,  6.4219370e-02, -1.6611950e-01, ...,\r\n",
      "         1.8490757e-01,  1.1433327e-02,  2.6661720e-02]], dtype=float32), h=array([[-1.5030196e-03,  1.6818950e-02, -2.1569371e-01, ...,\r\n",
      "         2.1363923e-03, -1.8380966e-02,  1.2009044e-02],\r\n",
      "       [-9.3224719e-03,  1.9919340e-02, -1.9179928e-01, ...,\r\n",
      "         1.4145909e-03,  8.3980700e-03,  3.3774597e-04],\r\n",
      "       [-2.1759968e-02,  3.5468899e-02, -3.7807471e-01, ...,\r\n",
      "         2.3063372e-03,  5.2340142e-04,  3.8974199e-02],\r\n",
      "       ...,\r\n",
      "       [-1.2292100e-02,  3.6055524e-02, -1.2805621e-01, ...,\r\n",
      "         1.7205089e-03,  1.0105572e-02,  1.9028151e-03],\r\n",
      "       [-5.8619818e-03,  4.8204586e-02, -1.9417228e-01, ...,\r\n",
      "         2.0782906e-03,  1.0832637e-02, -1.3202637e-03],\r\n",
      "       [-2.0140871e-02,  2.3357477e-02, -1.5944475e-01, ...,\r\n",
      "         1.3511499e-03,  6.0934117e-03,  5.1932288e-03]], dtype=float32)), LSTMStateTuple(c=array([[ 3.81877154e-01, -1.88700840e-01,  1.35449255e-02, ...,\r\n",
      "         1.38559093e+01,  2.86244571e-01, -1.16127634e+00],\r\n",
      "       [ 4.25435394e-01, -1.44302219e-01,  8.08868464e-03, ...,\r\n",
      "         1.42723761e+01,  2.39558741e-01, -2.95623481e-01],\r\n",
      "       [ 3.43629032e-01, -2.43419781e-01,  5.59061021e-03, ...,\r\n",
      "         1.28077183e+01,  3.42787206e-01, -3.56387377e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.91055948e-01, -1.11611061e-01,  1.99445710e-02, ...,\r\n",
      "         1.31003761e+01,  7.37295896e-02, -1.99566558e-01],\r\n",
      "       [ 3.53309423e-01, -6.49965256e-02, -5.14237106e-01, ...,\r\n",
      "         1.32874479e+01,  2.72282332e-01, -7.79528737e-01],\r\n",
      "       [ 2.95667171e-01, -2.45392531e-01,  3.04142255e-02, ...,\r\n",
      "         1.47945232e+01,  1.95357531e-01, -1.29301876e-01]], dtype=float32), h=array([[ 0.00361899, -0.00348359,  0.00892083, ...,  0.00339686,\r\n",
      "         0.03355682, -0.00137198],\r\n",
      "       [ 0.00135912, -0.00127829,  0.00440176, ...,  0.00622088,\r\n",
      "         0.05756545, -0.00015039],\r\n",
      "       [ 0.00090388, -0.00238264,  0.0029315 , ...,  0.00137568,\r\n",
      "         0.01832697, -0.0002459 ],\r\n",
      "       ...,\r\n",
      "       [ 0.00111477, -0.00095077,  0.00860048, ...,  0.00168443,\r\n",
      "         0.05256454, -0.00010926],\r\n",
      "       [ 0.00088904, -0.00055389, -0.04966654, ...,  0.00140216,\r\n",
      "         0.0258316 , -0.00042582],\r\n",
      "       [ 0.00073952, -0.00210352,  0.01277198, ...,  0.00138204,\r\n",
      "         0.01833942, -0.00012927]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-6.6525254 ,  0.08790044, -0.26871902, ...,  0.15114006,\r\n",
      "         0.02914029, -0.22638485],\r\n",
      "       [-4.459374  ,  0.18156639, -0.14804491, ...,  0.17858657,\r\n",
      "         0.02989814,  0.04577596],\r\n",
      "       [-3.251199  , -0.6531601 , -0.18586227, ...,  0.18203667,\r\n",
      "         0.59514654,  0.27298078],\r\n",
      "       ...,\r\n",
      "       [-4.6074166 ,  0.12719983, -0.18075925, ...,  0.16908267,\r\n",
      "        -0.04605918, -0.01125765],\r\n",
      "       [-7.8296537 ,  0.08626918, -0.19562455, ...,  0.14061838,\r\n",
      "         0.01656706, -0.06396978],\r\n",
      "       [-3.4197488 ,  0.09840351, -0.14115244, ...,  0.15755726,\r\n",
      "         0.01530836,  0.04862564]], dtype=float32), h=array([[-0.02368041,  0.02385192, -0.24895209, ...,  0.00202913,\r\n",
      "         0.01327987, -0.04186566],\r\n",
      "       [-0.01399731,  0.05334549, -0.13551167, ...,  0.00275701,\r\n",
      "         0.01344709,  0.0056779 ],\r\n",
      "       [-0.00678554, -0.05857694, -0.00093717, ...,  0.00458774,\r\n",
      "         0.16170788,  0.03533131],\r\n",
      "       ...,\r\n",
      "       [-0.00136549,  0.03068846, -0.16947322, ...,  0.00166584,\r\n",
      "        -0.01948777, -0.00194346],\r\n",
      "       [-0.01913443,  0.02625477, -0.18562305, ...,  0.00188071,\r\n",
      "         0.0080624 , -0.01190308],\r\n",
      "       [-0.01054997,  0.03059704, -0.13449538, ...,  0.00196782,\r\n",
      "         0.00681233,  0.01106614]], dtype=float32)), LSTMStateTuple(c=array([[ 3.2484716e-01, -1.8683966e-01,  8.6024376e-03, ...,\r\n",
      "         1.3115765e+01,  3.5884264e-01, -1.8875828e-01],\r\n",
      "       [ 2.8982526e-01, -1.6524435e-03, -4.1114059e-01, ...,\r\n",
      "         1.2314753e+01,  3.6561202e-02, -7.2863400e-01],\r\n",
      "       [ 4.0047511e-01,  5.3696507e-01,  1.8855313e-02, ...,\r\n",
      "         9.5784569e+00, -3.7292786e-02, -2.9660395e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.4414256e-01, -2.3249960e-01,  1.5647793e-02, ...,\r\n",
      "         1.1249661e+01,  5.8617927e-03, -2.3127228e-01],\r\n",
      "       [ 2.7954936e-01, -1.6473804e-01,  2.7306445e-02, ...,\r\n",
      "         1.3763444e+01,  2.5886253e-01, -1.7712429e-01],\r\n",
      "       [ 3.4193981e-01, -2.1483913e-01,  1.3909910e-02, ...,\r\n",
      "         1.2591410e+01,  1.1699789e-01, -6.0122412e-01]], dtype=float32), h=array([[ 3.2752089e-03, -3.3028920e-03,  7.3763863e-03, ...,\r\n",
      "         6.9411425e-04,  2.5928423e-02, -1.5835024e-03],\r\n",
      "       [ 9.5975905e-04, -1.6416425e-05, -5.5116516e-02, ...,\r\n",
      "         1.5804057e-03,  3.3323623e-02, -7.1908499e-04],\r\n",
      "       [ 5.7214297e-02,  2.6018152e-01,  1.4228917e-02, ...,\r\n",
      "         4.3552904e-03, -3.7019756e-02, -4.9628469e-04],\r\n",
      "       ...,\r\n",
      "       [ 3.4551059e-03, -3.9594406e-03,  9.6777678e-03, ...,\r\n",
      "         2.7322865e-03,  5.7340441e-03, -3.3149886e-04],\r\n",
      "       [ 1.9936704e-03, -3.7211641e-03,  1.8257651e-02, ...,\r\n",
      "         4.5600384e-03,  3.4621418e-02, -2.8016703e-04],\r\n",
      "       [ 1.8849496e-03, -1.4904405e-03,  1.0509944e-02, ...,\r\n",
      "         1.6435761e-03,  6.9808505e-02, -9.6903567e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-7.8291154 ,  0.11577129, -0.16529599, ...,  0.14725552,\r\n",
      "         0.02058854,  0.0310629 ],\r\n",
      "       [-1.4572079 ,  0.08319565, -0.12496442, ...,  0.19158743,\r\n",
      "        -0.04257914,  0.06837494],\r\n",
      "       [-5.753759  ,  0.08973007, -0.2007232 , ...,  0.19867434,\r\n",
      "         0.00814207,  0.09631138],\r\n",
      "       ...,\r\n",
      "       [-7.7433286 ,  0.13376966, -0.17194039, ...,  0.21254885,\r\n",
      "         0.01562035,  0.07644527],\r\n",
      "       [-5.390944  ,  0.08938714, -0.17614718, ...,  0.15535884,\r\n",
      "        -0.02831518,  0.04177763],\r\n",
      "       [-7.6645513 ,  0.12562348, -0.20704196, ...,  0.17892516,\r\n",
      "        -0.02588358, -0.01207365]], dtype=float32), h=array([[-0.00761043,  0.03212943, -0.15752825, ...,  0.00232068,\r\n",
      "         0.00823871,  0.00525642],\r\n",
      "       [-0.00144515,  0.02107619, -0.12006115, ...,  0.00176187,\r\n",
      "        -0.02025769,  0.01004275],\r\n",
      "       [-0.02083885,  0.03003988, -0.19087133, ...,  0.00167125,\r\n",
      "         0.00377327,  0.0168794 ],\r\n",
      "       ...,\r\n",
      "       [-0.01070825,  0.04231442, -0.16205281, ...,  0.00267789,\r\n",
      "         0.00686264,  0.01247122],\r\n",
      "       [-0.00157586,  0.02349013, -0.16300958, ...,  0.00156418,\r\n",
      "        -0.01183354,  0.00722732],\r\n",
      "       [-0.00559509,  0.0387003 , -0.19238532, ...,  0.00200241,\r\n",
      "        -0.01141385, -0.00156992]], dtype=float32)), LSTMStateTuple(c=array([[ 2.36692518e-01, -1.17568754e-01, -5.77018317e-03, ...,\r\n",
      "         1.36808548e+01,  1.79011330e-01, -9.32979733e-02],\r\n",
      "       [ 2.53677607e-01, -1.84974030e-01,  2.17577964e-02, ...,\r\n",
      "         4.53661394e+00, -7.21132457e-02, -3.50800216e-01],\r\n",
      "       [ 4.11383539e-01, -1.00493371e-01,  1.79054122e-02, ...,\r\n",
      "         1.22544546e+01,  1.22566178e-01, -9.04650167e-02],\r\n",
      "       ...,\r\n",
      "       [ 3.05378437e-01, -5.76162972e-02,  9.42351203e-03, ...,\r\n",
      "         1.17914257e+01,  6.65343404e-02, -8.84072840e-01],\r\n",
      "       [ 3.41425061e-01, -1.65705115e-01,  2.04542372e-02, ...,\r\n",
      "         1.22320328e+01,  4.92164493e-02, -6.34454012e-01],\r\n",
      "       [ 1.10870115e-01, -1.20928876e-01,  9.14633647e-03, ...,\r\n",
      "         1.37655993e+01,  2.31015593e-01, -8.81363273e-01]], dtype=float32), h=array([[ 5.6527479e-04, -1.6076468e-04, -3.2318775e-03, ...,\r\n",
      "         7.1130152e-04,  6.8670422e-02, -4.5095330e-05],\r\n",
      "       [ 2.5213175e-03, -4.6013435e-03,  1.0714794e-02, ...,\r\n",
      "         3.7228141e-03, -7.0592433e-02, -3.9505103e-04],\r\n",
      "       [ 2.7262089e-03, -1.2884090e-03,  1.3615849e-02, ...,\r\n",
      "         1.1851240e-03,  5.7094876e-02, -6.0633046e-04],\r\n",
      "       ...,\r\n",
      "       [ 1.6577054e-03, -1.0760059e-03,  4.2589610e-03, ...,\r\n",
      "         1.7883113e-03,  5.2587725e-02, -1.3419610e-03],\r\n",
      "       [ 8.8007040e-03, -5.0385925e-03,  1.2953034e-02, ...,\r\n",
      "         4.7776070e-03,  4.0435672e-02, -5.0906319e-04],\r\n",
      "       [ 2.1723765e-03, -2.9487133e-03,  3.6547892e-03, ...,\r\n",
      "         3.2484375e-03,  3.8740445e-02, -1.5677430e-03]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[ -0.5707113 ,   0.06937131,  -0.03538989, ...,   0.14506684,\r\n",
      "          0.02284533,  -0.10096416],\r\n",
      "       [ -3.713256  ,   0.05488767,  -0.07671065, ...,   0.1543088 ,\r\n",
      "          0.03785326,   0.06709694],\r\n",
      "       [ -4.3433223 ,   0.09829369,  -0.14743116, ...,   0.15544236,\r\n",
      "          0.01087846,   0.04356269],\r\n",
      "       ...,\r\n",
      "       [-10.482311  ,   0.03821595,  -0.15077882, ...,   0.2621953 ,\r\n",
      "          0.01186795,  -0.10225859],\r\n",
      "       [ -7.40137   ,   0.10381562,  -0.23117298, ...,   0.1710184 ,\r\n",
      "          0.03209562,  -0.14935414],\r\n",
      "       [ -4.9577427 ,   0.05691037,  -0.17029095, ...,   0.17591457,\r\n",
      "         -0.04678956,   0.04427691]], dtype=float32), h=array([[-0.01908921,  0.02341685, -0.03429277, ...,  0.00215152,\r\n",
      "         0.00905049, -0.01793756],\r\n",
      "       [-0.0427481 ,  0.02120926, -0.072658  , ...,  0.00220332,\r\n",
      "         0.01836361,  0.01554815],\r\n",
      "       [-0.00723316,  0.02919517, -0.1414162 , ...,  0.00200346,\r\n",
      "         0.00463988,  0.00713375],\r\n",
      "       ...,\r\n",
      "       [-0.00181329,  0.01234252, -0.14113666, ...,  0.00229638,\r\n",
      "         0.00604942, -0.02580121],\r\n",
      "       [-0.00832885,  0.03275182, -0.22170198, ...,  0.00188825,\r\n",
      "         0.01478481, -0.03167824],\r\n",
      "       [-0.01595061,  0.01971194, -0.16367479, ...,  0.00112843,\r\n",
      "        -0.0236406 ,  0.01022168]], dtype=float32)), LSTMStateTuple(c=array([[ 1.96359843e-01, -1.50574431e-01,  4.98966780e-03, ...,\r\n",
      "         3.77422428e+00, -4.42835093e-02, -5.17262280e-01],\r\n",
      "       [ 1.93109125e-01, -4.05327640e-02,  6.16499782e-03, ...,\r\n",
      "         9.87987709e+00, -2.40479223e-02, -1.13538802e-01],\r\n",
      "       [ 2.34930068e-01, -1.83987752e-01,  1.17630595e-02, ...,\r\n",
      "         1.04471025e+01, -5.16908839e-02, -7.18211412e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.25688183e-01, -1.09063305e-01,  1.16043920e-02, ...,\r\n",
      "         1.48880901e+01,  9.68577862e-02, -4.04092908e-01],\r\n",
      "       [ 3.49122465e-01, -1.95338666e-01,  2.24571154e-02, ...,\r\n",
      "         1.33882380e+01,  2.37481251e-01, -3.07456583e-01],\r\n",
      "       [ 3.24143618e-01, -1.01645954e-01,  1.57934334e-02, ...,\r\n",
      "         1.08247776e+01,  1.05513576e-02, -4.13676113e-01]], dtype=float32), h=array([[ 2.6612799e-03, -1.2840087e-03,  3.6034142e-03, ...,\r\n",
      "         1.4249531e-03, -4.3930978e-02, -7.3809898e-04],\r\n",
      "       [ 1.0023253e-03, -1.9919719e-04,  3.9221970e-03, ...,\r\n",
      "         1.6836973e-03, -2.3815222e-02, -6.6555120e-05],\r\n",
      "       [ 9.0619375e-04, -7.8236515e-04,  8.3027463e-03, ...,\r\n",
      "         1.8709181e-03, -5.1378600e-02, -8.0896553e-04],\r\n",
      "       ...,\r\n",
      "       [ 1.4283357e-03, -7.5935532e-04,  4.0301173e-03, ...,\r\n",
      "         3.5641210e-03,  4.4639442e-02, -8.1411199e-05],\r\n",
      "       [ 1.0213800e-03, -1.4208730e-03,  1.1722594e-02, ...,\r\n",
      "         1.2785333e-03,  2.7249295e-02, -1.6093804e-04],\r\n",
      "       [ 1.2330743e-03, -1.0746809e-03,  9.2384815e-03, ...,\r\n",
      "         1.5663742e-03,  1.0134256e-02, -3.5854717e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-3.815812  ,  0.10824373, -0.05581086, ...,  0.18456216,\r\n",
      "        -0.02500221,  0.073565  ],\r\n",
      "       [-2.7522697 ,  0.08401641, -0.19226313, ...,  0.15814973,\r\n",
      "         0.02173126,  0.04631951],\r\n",
      "       [-5.9710555 ,  0.11534837, -0.20101467, ...,  0.17707777,\r\n",
      "         0.01157325,  0.01552362],\r\n",
      "       ...,\r\n",
      "       [-2.7398963 ,  0.14744085, -0.06385479, ...,  0.1639122 ,\r\n",
      "         0.02289281, -0.00764933],\r\n",
      "       [-5.1427326 ,  0.18931466, -0.17303823, ...,  0.18958606,\r\n",
      "         0.26695293, -0.15793182],\r\n",
      "       [-2.968504  ,  0.43646422, -0.1318683 , ...,  0.13869047,\r\n",
      "         0.17210154, -0.68567073]], dtype=float32), h=array([[-0.0190108 ,  0.03858822, -0.05484073, ...,  0.00140042,\r\n",
      "        -0.01215263,  0.01559686],\r\n",
      "       [-0.00399861,  0.02747406, -0.16872509, ...,  0.00213913,\r\n",
      "         0.00988049,  0.01017996],\r\n",
      "       [-0.00425384,  0.02924144, -0.18852013, ...,  0.00222034,\r\n",
      "         0.00618666,  0.00353955],\r\n",
      "       ...,\r\n",
      "       [-0.00868344,  0.0447569 , -0.0590865 , ...,  0.00215418,\r\n",
      "         0.01098561, -0.00095821],\r\n",
      "       [-0.00446796,  0.0428891 , -0.16462684, ...,  0.00264245,\r\n",
      "         0.10871749, -0.02691716],\r\n",
      "       [-0.05021917,  0.07353191, -0.00028685, ...,  0.00148837,\r\n",
      "         0.03212839, -0.07728169]], dtype=float32)), LSTMStateTuple(c=array([[ 2.7916399e-01, -1.5717216e-01,  1.2392728e-02, ...,\r\n",
      "         1.0346665e+01, -1.0356289e-02, -5.4131126e-01],\r\n",
      "       [ 2.5020814e-01, -2.4071404e-01,  8.2215415e-03, ...,\r\n",
      "         1.2695688e+01,  1.8952714e-01, -7.2805864e-01],\r\n",
      "       [ 3.1373000e-01, -9.8528840e-02,  2.4545392e-02, ...,\r\n",
      "         1.2303034e+01,  8.4011599e-02, -9.8293287e-01],\r\n",
      "       ...,\r\n",
      "       [ 1.8585841e-01, -1.0794073e-01, -4.0974417e-01, ...,\r\n",
      "         7.6461449e+00, -5.8336131e-02, -1.2926620e-01],\r\n",
      "       [ 2.1590686e-01, -1.7914720e-01, -7.2702833e-02, ...,\r\n",
      "         1.0740845e+01, -3.5954338e-02, -6.3993949e-01],\r\n",
      "       [-5.2470368e-01,  5.5601943e-01,  3.8238131e-02, ...,\r\n",
      "         7.5083952e+00, -4.5246407e-02, -7.5825399e-01]], dtype=float32), h=array([[ 5.96417405e-04, -1.05779548e-03,  7.47350371e-03, ...,\r\n",
      "         5.86258131e-04, -1.02117788e-02, -3.19494808e-04],\r\n",
      "       [ 1.35311845e-03, -6.51462993e-04,  6.60427334e-03, ...,\r\n",
      "         9.35844088e-04,  6.31321520e-02, -4.00381308e-04],\r\n",
      "       [ 3.47028626e-03, -2.44710245e-03,  1.32142063e-02, ...,\r\n",
      "         3.95540567e-03,  6.57489374e-02, -6.68112654e-04],\r\n",
      "       ...,\r\n",
      "       [ 7.65054836e-04, -7.72736385e-04, -4.13594469e-02, ...,\r\n",
      "         7.14518072e-04, -5.75141683e-02, -8.60323416e-05],\r\n",
      "       [ 8.89888615e-04, -2.08763336e-03, -4.26622666e-02, ...,\r\n",
      "         1.17023243e-03, -3.51935700e-02, -4.62096091e-03],\r\n",
      "       [-1.19524755e-01,  1.50467739e-01,  3.00149433e-02, ...,\r\n",
      "         2.73467079e-02, -4.50074933e-02, -8.92976299e-03]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.9493484e+00,  9.0770841e-02, -6.7672238e-02, ...,\r\n",
      "         1.7002252e-01,  2.6823252e-02,  2.2443013e-02],\r\n",
      "       [-2.7921028e+00,  8.3116591e-02, -7.5053409e-02, ...,\r\n",
      "         2.1676792e-01,  2.0272572e-02,  2.9743787e-02],\r\n",
      "       [-7.2521496e+00,  7.0212446e-02, -6.9460005e-02, ...,\r\n",
      "         1.6165031e-01,  4.4958126e-02, -2.0032838e-02],\r\n",
      "       ...,\r\n",
      "       [-3.1064739e+00,  2.1649560e-01, -7.5185061e-02, ...,\r\n",
      "         1.7711167e-01,  5.4057151e-02, -2.9015443e-01],\r\n",
      "       [-3.6900122e+00,  7.9613589e-02, -6.2969871e-02, ...,\r\n",
      "         2.3774497e-01,  1.7319992e-04,  1.3494296e-01],\r\n",
      "       [-4.9891067e-01,  1.1499736e-01, -5.9897419e-02, ...,\r\n",
      "         1.4211628e-01,  2.2864724e-02,  1.6084021e-01]], dtype=float32), h=array([[-6.6691339e-02,  2.7974153e-02, -6.3093647e-02, ...,\r\n",
      "         2.8736647e-03,  1.3594443e-02,  3.8397477e-03],\r\n",
      "       [-5.7811644e-02,  2.8011251e-02, -7.2621725e-02, ...,\r\n",
      "         2.8549863e-03,  9.1744950e-03,  5.2047083e-03],\r\n",
      "       [-3.3978552e-02,  2.1787696e-02, -6.7070156e-02, ...,\r\n",
      "         1.4195236e-03,  1.9957321e-02, -3.5206201e-03],\r\n",
      "       ...,\r\n",
      "       [-2.8186131e-02,  5.0151747e-02, -7.2051845e-02, ...,\r\n",
      "         1.9386016e-03,  2.4195774e-02, -3.3601802e-02],\r\n",
      "       [-4.7665074e-02,  2.2286143e-02, -6.1814733e-02, ...,\r\n",
      "         1.9829515e-03,  7.2628813e-05,  1.8840095e-02],\r\n",
      "       [-2.8993608e-02,  3.7929345e-02, -5.8669824e-02, ...,\r\n",
      "         1.1690330e-03,  1.1216226e-02,  2.5775868e-02]], dtype=float32)), LSTMStateTuple(c=array([[ 2.5473720e-01, -4.1818034e-02,  2.0436283e-02, ...,\r\n",
      "         1.1939916e+01,  6.1101303e-02, -1.2802362e-01],\r\n",
      "       [ 1.6702062e-01, -1.7004152e-01, -4.8106939e-02, ...,\r\n",
      "         8.9445553e+00, -2.8629752e-02, -8.4298301e-01],\r\n",
      "       [ 3.7191913e-01, -2.0634761e-01,  8.7594343e-03, ...,\r\n",
      "         1.3363123e+01,  3.2627702e-02, -7.3911792e-01],\r\n",
      "       ...,\r\n",
      "       [ 1.6865396e-01, -2.4001516e-02,  2.4305932e-02, ...,\r\n",
      "         7.6750412e+00, -4.3381691e-02, -2.4207982e-01],\r\n",
      "       [ 2.0774108e-01, -5.1576756e-02,  1.5438208e-02, ...,\r\n",
      "         9.4000187e+00, -4.6796799e-02, -3.3091268e-01],\r\n",
      "       [ 2.5945440e-01, -9.0002380e-02,  1.6452057e-02, ...,\r\n",
      "         4.5573835e+00, -4.8410457e-02, -1.0160639e+00]], dtype=float32), h=array([[ 3.8682127e-03, -6.6072040e-04,  7.1597085e-03, ...,\r\n",
      "         1.9843813e-03,  5.5242281e-02, -6.4716136e-05],\r\n",
      "       [ 6.7231036e-04, -1.0104451e-03, -2.9624768e-02, ...,\r\n",
      "         1.2471396e-03, -2.8491756e-02, -2.6089311e-04],\r\n",
      "       [ 1.0913728e-03, -9.3362911e-04,  7.2441553e-03, ...,\r\n",
      "         8.9936965e-04,  2.5417995e-02, -4.7558948e-04],\r\n",
      "       ...,\r\n",
      "       [ 1.2058900e-03, -3.9678573e-04,  7.5780861e-03, ...,\r\n",
      "         1.0073320e-03, -4.2986900e-02, -1.3507790e-03],\r\n",
      "       [ 4.7729062e-04, -3.9034255e-04,  7.7041346e-03, ...,\r\n",
      "         1.5644790e-03, -4.6521515e-02, -2.1910768e-04],\r\n",
      "       [ 1.9890538e-03, -1.0102476e-03,  1.1236937e-02, ...,\r\n",
      "         1.5284945e-03, -4.8128255e-02, -1.0193364e-03]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-0.23179395,  0.19082844, -0.05025951, ...,  0.18236107,\r\n",
      "         0.04175215,  0.03118421],\r\n",
      "       [-2.4665613 ,  0.058498  , -0.05240218, ...,  0.15251401,\r\n",
      "         0.03680989,  0.19985318],\r\n",
      "       [-6.56416   ,  0.14340417, -0.13595027, ...,  0.16817631,\r\n",
      "         0.02750172,  0.02515435],\r\n",
      "       ...,\r\n",
      "       [-6.8806796 ,  0.09413011, -0.23072141, ...,  0.13859776,\r\n",
      "         0.02736953,  0.28284764],\r\n",
      "       [-5.348939  ,  0.0722405 , -0.16440149, ...,  0.1485348 ,\r\n",
      "         0.0135262 , -0.01544381],\r\n",
      "       [-2.8269007 ,  0.11218324, -0.12986109, ...,  0.17091008,\r\n",
      "         0.01987115, -0.02097147]], dtype=float32), h=array([[-0.00481926,  0.05852408, -0.04719788, ...,  0.00297225,\r\n",
      "         0.01737234,  0.00371824],\r\n",
      "       [-0.01118067,  0.02055229, -0.05144597, ...,  0.00164187,\r\n",
      "         0.01684093,  0.02261436],\r\n",
      "       [-0.00999232,  0.04590127, -0.12550142, ...,  0.00233543,\r\n",
      "         0.01316181,  0.0036543 ],\r\n",
      "       ...,\r\n",
      "       [-0.01104785,  0.03039076, -0.21961401, ...,  0.00115626,\r\n",
      "         0.01292233,  0.04413089],\r\n",
      "       [-0.00776732,  0.02507836, -0.15358332, ...,  0.00150493,\r\n",
      "         0.00712379, -0.00381402],\r\n",
      "       [-0.00639208,  0.0347896 , -0.12050609, ...,  0.0021357 ,\r\n",
      "         0.00884304, -0.00448411]], dtype=float32)), LSTMStateTuple(c=array([[ 2.0817213e-01, -1.9683237e-03, -4.0998933e-01, ...,\r\n",
      "         4.6097317e+00, -4.1329660e-02, -1.4453606e-01],\r\n",
      "       [ 2.1025717e-01,  4.7607370e-02,  1.4080508e-02, ...,\r\n",
      "         6.2899933e+00, -6.9190741e-02, -7.9646140e-01],\r\n",
      "       [ 2.9075542e-01, -5.6411274e-02, -5.4036391e-01, ...,\r\n",
      "         1.2517532e+01,  1.7695811e-02, -3.6266837e-01],\r\n",
      "       ...,\r\n",
      "       [ 4.1457653e-01,  3.1876195e-02,  7.8410851e-03, ...,\r\n",
      "         1.4365795e+01,  2.4387309e-01, -6.8434238e-02],\r\n",
      "       [ 3.6370820e-01, -5.2109882e-02,  1.0621331e-02, ...,\r\n",
      "         1.5371839e+01,  1.3293606e-01, -2.0050591e-01],\r\n",
      "       [ 2.4148092e-01, -1.7841309e-01,  5.6270892e-03, ...,\r\n",
      "         1.1108439e+01,  7.9442738e-03, -4.7912753e-01]], dtype=float32), h=array([[ 7.63197080e-04, -1.82699823e-05, -4.32586111e-02, ...,\r\n",
      "         1.48049719e-03, -4.05021980e-02, -1.85875149e-04],\r\n",
      "       [ 1.39324996e-03,  9.38892306e-04,  7.01490371e-03, ...,\r\n",
      "         7.86122226e-04, -6.87337816e-02, -8.66356655e-04],\r\n",
      "       [ 1.34403119e-03, -5.65039518e-04, -4.59266081e-02, ...,\r\n",
      "         1.63223245e-03,  1.65537745e-02, -3.55806609e-04],\r\n",
      "       ...,\r\n",
      "       [ 2.02451460e-03,  4.63013857e-04,  3.20717716e-03, ...,\r\n",
      "         9.89724067e-04,  3.59209031e-02, -7.24883866e-05],\r\n",
      "       [ 2.49751215e-03, -4.57746995e-04,  5.05027501e-03, ...,\r\n",
      "         5.32836514e-03,  6.33210763e-02, -1.14162416e-04],\r\n",
      "       [ 1.10791635e-03, -4.87422483e-04,  4.18968080e-03, ...,\r\n",
      "         8.53981357e-04,  7.82076363e-03, -5.87101094e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-1.66819346e+00,  6.88579157e-02, -2.35691994e-01, ...,\r\n",
      "         1.62178814e-01,  2.93608867e-02,  1.64445154e-02],\r\n",
      "       [-1.10801399e+00,  7.48930871e-02, -7.94139877e-02, ...,\r\n",
      "         1.49917379e-01, -1.65126279e-01, -7.56374002e-02],\r\n",
      "       [-3.13645697e+00,  1.25902951e-01, -8.76448452e-02, ...,\r\n",
      "         1.74878821e-01,  2.06471886e-02,  2.29003653e-02],\r\n",
      "       ...,\r\n",
      "       [-6.57727575e+00,  5.23243882e-02, -8.26303437e-02, ...,\r\n",
      "         1.96960300e-01, -5.48565481e-03,  1.12063676e-01],\r\n",
      "       [-7.12764120e+00,  8.42513442e-02, -1.02709278e-01, ...,\r\n",
      "         1.54660195e-01, -3.14303711e-02,  2.95251533e-02],\r\n",
      "       [-2.82706738e+00,  8.21117759e-02, -1.94953725e-01, ...,\r\n",
      "         1.57733530e-01,  2.72745341e-02,  2.52989799e-01]], dtype=float32), h=array([[-0.03509446,  0.02317517, -0.2193595 , ...,  0.00159538,\r\n",
      "         0.01321016,  0.00348345],\r\n",
      "       [-0.0145502 ,  0.02635986, -0.07782254, ...,  0.00199095,\r\n",
      "        -0.07881823, -0.01547468],\r\n",
      "       [-0.01152236,  0.03527389, -0.08343079, ...,  0.00267568,\r\n",
      "         0.00864074,  0.00334144],\r\n",
      "       ...,\r\n",
      "       [-0.00076145,  0.0163726 , -0.08055937, ...,  0.00342972,\r\n",
      "        -0.00273317,  0.02243996],\r\n",
      "       [-0.0016735 ,  0.02288722, -0.09784322, ...,  0.0015021 ,\r\n",
      "        -0.01297445,  0.0048869 ],\r\n",
      "       [-0.00482609,  0.02628514, -0.18804409, ...,  0.00166723,\r\n",
      "         0.01372872,  0.03310282]], dtype=float32)), LSTMStateTuple(c=array([[ 2.3137337e-01, -5.0238140e-02,  7.7746324e-03, ...,\r\n",
      "         1.2150175e+01,  6.9382414e-02, -4.9365509e-01],\r\n",
      "       [ 1.5821047e-01, -1.9177063e-01,  9.6301651e-03, ...,\r\n",
      "         4.5436025e+00, -3.6689889e-02, -3.4669735e-02],\r\n",
      "       [ 1.6178213e-01, -1.6321024e-01,  9.1585107e-03, ...,\r\n",
      "         8.2474194e+00, -5.0314892e-02, -5.3418714e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.6749461e-01, -1.3188457e-01,  2.9944614e-02, ...,\r\n",
      "         1.0573572e+01, -6.0865220e-02, -3.6681706e-01],\r\n",
      "       [ 3.6933583e-01, -4.2579122e-02,  2.2144970e-02, ...,\r\n",
      "         1.2365966e+01,  7.2089985e-02, -1.2653378e-01],\r\n",
      "       [ 2.9147184e-01, -1.7943366e-03,  1.5785757e-02, ...,\r\n",
      "         9.3019695e+00, -4.5170553e-02, -1.0993236e-01]], dtype=float32), h=array([[ 2.16403254e-03, -3.68187204e-04,  4.14978480e-03, ...,\r\n",
      "         8.47246731e-04,  5.25231101e-02, -2.13649531e-04],\r\n",
      "       [ 1.07921881e-03, -4.44384525e-03,  6.86773099e-03, ...,\r\n",
      "         7.01337878e-04, -3.62679660e-02, -1.12519978e-04],\r\n",
      "       [ 7.38943461e-04, -4.48440667e-04,  6.45125518e-03, ...,\r\n",
      "         9.17460129e-04, -5.00159524e-02, -3.19555606e-04],\r\n",
      "       ...,\r\n",
      "       [ 1.40000938e-03, -2.12932937e-03,  1.71692893e-02, ...,\r\n",
      "         2.11644755e-03, -5.97905442e-02, -3.58519057e-04],\r\n",
      "       [ 6.72147796e-03, -1.22661982e-03,  1.37492325e-02, ...,\r\n",
      "         4.14788211e-03,  5.97207919e-02, -2.21482391e-04],\r\n",
      "       [ 2.07386585e-03, -3.57243807e-05,  7.84902647e-03, ...,\r\n",
      "         1.24618446e-03, -4.47381437e-02, -1.19049073e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-7.9222116 ,  0.19596192, -0.2782781 , ...,  0.16084379,\r\n",
      "         0.03211387,  0.03458647],\r\n",
      "       [-4.030237  ,  0.1252243 , -0.12311499, ...,  0.23402104,\r\n",
      "         0.03122858,  0.10408361],\r\n",
      "       [-4.233401  ,  0.11298177, -0.11884663, ...,  0.1879337 ,\r\n",
      "         0.02467338,  0.00894429],\r\n",
      "       ...,\r\n",
      "       [-3.3521392 ,  0.18901756, -0.1523294 , ...,  0.19662482,\r\n",
      "         0.02669902,  0.1257484 ],\r\n",
      "       [-3.1099734 ,  0.08749801, -0.14993468, ...,  0.17736164,\r\n",
      "        -0.09855577, -0.01272291],\r\n",
      "       [-7.159418  ,  0.10286329, -0.26302695, ...,  0.16521193,\r\n",
      "         0.03015952,  0.08567321]], dtype=float32), h=array([[-0.00588344,  0.05680983, -0.24549629, ...,  0.0026659 ,\r\n",
      "         0.01504733,  0.00566283],\r\n",
      "       [-0.02970474,  0.03932794, -0.11785775, ...,  0.00212403,\r\n",
      "         0.01553302,  0.01689224],\r\n",
      "       [-0.00889301,  0.03364438, -0.11149429, ...,  0.00142549,\r\n",
      "         0.01026017,  0.00162524],\r\n",
      "       ...,\r\n",
      "       [-0.01697846,  0.05510781, -0.14180282, ...,  0.002723  ,\r\n",
      "         0.01231836,  0.0128454 ],\r\n",
      "       [-0.01486345,  0.02569712, -0.14417107, ...,  0.00145955,\r\n",
      "        -0.05192879, -0.00213907],\r\n",
      "       [-0.04888181,  0.03527027, -0.24664803, ...,  0.00233104,\r\n",
      "         0.01467429,  0.01192152]], dtype=float32)), LSTMStateTuple(c=array([[ 3.90251517e-01, -3.56743261e-02, -3.64434659e-01, ...,\r\n",
      "         1.25752344e+01,  3.76075476e-01, -4.58450586e-01],\r\n",
      "       [ 2.50162482e-01, -1.77820519e-01,  1.05920481e-02, ...,\r\n",
      "         9.91177082e+00, -1.82236079e-02, -7.36587405e-01],\r\n",
      "       [ 1.80395439e-01,  3.48856039e-02,  1.34153757e-02, ...,\r\n",
      "         7.41602087e+00, -6.84559792e-02, -1.05206156e+00],\r\n",
      "       ...,\r\n",
      "       [ 2.89851874e-01, -9.13402252e-03, -4.13831145e-01, ...,\r\n",
      "         1.04433622e+01, -1.06623862e-04, -3.51436138e-01],\r\n",
      "       [ 2.31390521e-01, -1.02147125e-01,  4.17318344e-02, ...,\r\n",
      "         8.61648369e+00, -4.92478460e-02, -9.83887970e-01],\r\n",
      "       [ 2.49523029e-01, -1.77168235e-01,  2.01495774e-02, ...,\r\n",
      "         1.15373602e+01,  5.25200486e-01, -1.25372991e-01]], dtype=float32), h=array([[ 0.00121192, -0.00043826, -0.05574261, ...,  0.0029385 ,\r\n",
      "         0.03079876, -0.00043177],\r\n",
      "       [ 0.00176112, -0.00239962,  0.00766898, ...,  0.001896  ,\r\n",
      "        -0.01790311, -0.00036929],\r\n",
      "       [ 0.00039906,  0.00021153,  0.00630328, ...,  0.00170053,\r\n",
      "        -0.0676528 , -0.00011922],\r\n",
      "       ...,\r\n",
      "       [ 0.00085829, -0.00013018, -0.04816975, ...,  0.00379652,\r\n",
      "        -0.0001048 , -0.00030951],\r\n",
      "       [ 0.00393116, -0.00497881,  0.02027619, ...,  0.00328515,\r\n",
      "        -0.04874995, -0.00128969],\r\n",
      "       [ 0.0019164 , -0.00200356,  0.01085982, ...,  0.00267125,\r\n",
      "         0.03716362, -0.00015081]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-3.8819623 ,  0.14400366, -0.19093733, ...,  0.15436636,\r\n",
      "         0.06191265,  0.16567744],\r\n",
      "       [-3.2205663 ,  0.08173212, -0.11306559, ...,  0.09481759,\r\n",
      "         0.0177766 , -0.30920047],\r\n",
      "       [-2.642704  ,  0.07880218, -0.15980877, ...,  0.20953444,\r\n",
      "         0.05856003,  0.03093625],\r\n",
      "       ...,\r\n",
      "       [-3.5435011 ,  0.1484397 , -0.17538548, ...,  0.22396924,\r\n",
      "        -0.1918407 ,  0.10064765],\r\n",
      "       [-7.5552287 ,  0.08798976, -0.13447887, ...,  0.17485578,\r\n",
      "        -0.02990041,  0.0340769 ],\r\n",
      "       [-5.335677  ,  0.14871   , -0.11580434, ...,  0.17885883,\r\n",
      "         0.01631057,  0.02475373]], dtype=float32), h=array([[-0.02739253,  0.03399701, -0.18122436, ...,  0.00154848,\r\n",
      "         0.02946719,  0.03061684],\r\n",
      "       [-0.01486326,  0.0289963 , -0.10884828, ...,  0.00081309,\r\n",
      "         0.00910364, -0.06122639],\r\n",
      "       [-0.03202296,  0.02362242, -0.15351622, ...,  0.00208873,\r\n",
      "         0.02688952,  0.00531081],\r\n",
      "       ...,\r\n",
      "       [-0.00580712,  0.03828172, -0.16989532, ...,  0.00687636,\r\n",
      "        -0.08386297,  0.01803268],\r\n",
      "       [-0.00131624,  0.02419027, -0.12654233, ...,  0.0015743 ,\r\n",
      "        -0.01239034,  0.00617946],\r\n",
      "       [-0.01457405,  0.04449591, -0.10845122, ...,  0.00186184,\r\n",
      "         0.00695201,  0.00396193]], dtype=float32)), LSTMStateTuple(c=array([[ 3.0411702e-01, -2.1138823e-01, -2.6036017e-03, ...,\r\n",
      "         1.2564531e+01,  7.2121434e-04, -6.9878840e-01],\r\n",
      "       [ 1.0913858e-01, -7.0686653e-02,  3.0682201e-03, ...,\r\n",
      "         9.4762459e+00, -4.4976495e-02, -4.3662140e-01],\r\n",
      "       [ 3.6047211e-01, -5.7492696e-02,  1.4665084e-02, ...,\r\n",
      "         1.1043885e+01,  3.0710986e-03, -6.6245365e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.9196978e-01, -1.7966825e-01,  3.9062297e-03, ...,\r\n",
      "         1.2078868e+01,  4.3852635e-02, -2.3937581e-01],\r\n",
      "       [ 3.7050050e-01, -2.3996596e-01,  2.1573436e-02, ...,\r\n",
      "         1.2581722e+01,  1.8654394e-01, -1.3541318e-01],\r\n",
      "       [ 2.6310816e-01, -1.5998198e-01,  1.9216934e-02, ...,\r\n",
      "         1.0569145e+01,  9.8446198e-03, -4.2846960e-01]], dtype=float32), h=array([[ 0.00148606, -0.00309218, -0.00172282, ...,  0.00251332,\r\n",
      "         0.00068687, -0.00035355],\r\n",
      "       [ 0.00017414, -0.0003649 ,  0.00174001, ...,  0.00102362,\r\n",
      "        -0.04450505, -0.00030263],\r\n",
      "       [ 0.00125715, -0.00060006,  0.00715005, ...,  0.00174153,\r\n",
      "         0.00292634, -0.00167859],\r\n",
      "       ...,\r\n",
      "       [ 0.00051441, -0.0014864 ,  0.00233881, ...,  0.00310666,\r\n",
      "         0.03979295, -0.00280445],\r\n",
      "       [ 0.00580387, -0.00709567,  0.01233751, ...,  0.00449355,\r\n",
      "         0.04490246, -0.00014069],\r\n",
      "       [ 0.00120889, -0.00157935,  0.00643756, ...,  0.00165135,\r\n",
      "         0.00948296, -0.00033701]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-10.6470785 ,   0.08631422,  -0.2340386 , ...,   0.11097146,\r\n",
      "          0.01642843,   0.0387231 ],\r\n",
      "       [ -3.6705093 ,   0.09700293,  -0.05885024, ...,   0.24297184,\r\n",
      "          0.01327936,   0.01791005],\r\n",
      "       [ -7.8624773 ,   0.06784841,  -0.15533334, ...,   0.14608178,\r\n",
      "          0.03298947,   0.08374514],\r\n",
      "       ...,\r\n",
      "       [ -4.08677   ,   0.15711778,  -0.18125854, ...,   0.14696208,\r\n",
      "          0.0113508 ,   0.09821486],\r\n",
      "       [ -2.3312836 ,   0.1303572 ,  -0.11278579, ...,   0.16582128,\r\n",
      "          0.05629764,  -0.31468123],\r\n",
      "       [ -7.8966346 ,   0.05813983,  -0.17237528, ...,   0.16000251,\r\n",
      "          0.01673498,  -0.03941066]], dtype=float32), h=array([[-0.01098381,  0.03022455, -0.21399772, ...,  0.00137598,\r\n",
      "         0.00747333,  0.00834419],\r\n",
      "       [-0.01479759,  0.02927236, -0.05553515, ...,  0.00338002,\r\n",
      "         0.00627448,  0.00438452],\r\n",
      "       [-0.0249677 ,  0.02157292, -0.14488494, ...,  0.00202653,\r\n",
      "         0.01571444,  0.01313267],\r\n",
      "       ...,\r\n",
      "       [-0.00727029,  0.04580135, -0.17416579, ...,  0.00134742,\r\n",
      "         0.00519686,  0.01447158],\r\n",
      "       [-0.04365413,  0.02927635, -0.10232514, ...,  0.00117017,\r\n",
      "         0.02689163, -0.05450169],\r\n",
      "       [-0.0091918 ,  0.02298979, -0.16510426, ...,  0.00157963,\r\n",
      "         0.00954948, -0.00829748]], dtype=float32)), LSTMStateTuple(c=array([[ 3.10890615e-01, -1.98001608e-01,  1.04952548e-02, ...,\r\n",
      "         1.38826475e+01,  2.24322796e-01, -2.14962631e-01],\r\n",
      "       [ 2.42847964e-01, -1.03978932e-01,  1.97816268e-02, ...,\r\n",
      "         8.97554779e+00, -6.92901686e-02, -6.07109845e-01],\r\n",
      "       [-6.97577000e-02, -1.26331240e-01, -4.24327888e-02, ...,\r\n",
      "         1.47004881e+01,  2.84490108e-01, -1.59485877e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.74383813e-01, -1.09458968e-01,  1.99441966e-02, ...,\r\n",
      "         1.35583467e+01,  1.61291659e-01, -4.52527344e-01],\r\n",
      "       [ 2.77765617e-02, -1.30026773e-01,  9.50505771e-03, ...,\r\n",
      "         1.09955282e+01, -1.00119198e-02, -1.16435580e-01],\r\n",
      "       [ 2.84329414e-01, -2.26454556e-01,  2.80727558e-02, ...,\r\n",
      "         1.27765589e+01,  1.71682417e-01, -1.79194018e-01]], dtype=float32), h=array([[ 0.00174975, -0.00086238,  0.00781363, ...,  0.00177189,\r\n",
      "         0.03923608, -0.00013651],\r\n",
      "       [ 0.00475739, -0.0018729 ,  0.01243076, ...,  0.00241067,\r\n",
      "        -0.06882909, -0.00071909],\r\n",
      "       [-0.00135913, -0.00318782, -0.01885151, ...,  0.00252052,\r\n",
      "         0.02764833, -0.0004593 ],\r\n",
      "       ...,\r\n",
      "       [ 0.00330284, -0.00241851,  0.01008878, ...,  0.00205409,\r\n",
      "         0.04339104, -0.00078873],\r\n",
      "       [ 0.00061033, -0.00213835,  0.00709982, ...,  0.00049632,\r\n",
      "        -0.00993408, -0.00052316],\r\n",
      "       [ 0.00724424, -0.00176113,  0.01636291, ...,  0.00313108,\r\n",
      "         0.06562372, -0.00027793]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-8.413773  ,  0.10461664, -0.20585987, ...,  0.13188092,\r\n",
      "         0.0183982 ,  0.02737021],\r\n",
      "       [-2.8295887 ,  0.09529978, -0.06089425, ...,  0.18378401,\r\n",
      "         0.01975668, -0.1040277 ],\r\n",
      "       [-6.480952  ,  0.09494824, -0.15726766, ...,  0.17690098,\r\n",
      "        -0.01242968,  0.1832515 ],\r\n",
      "       ...,\r\n",
      "       [-3.5006728 ,  0.05758351, -0.15517144, ...,  0.11909938,\r\n",
      "         0.0143843 , -0.02963605],\r\n",
      "       [-4.9325037 ,  0.1001014 , -0.15783271, ...,  0.16916996,\r\n",
      "         0.02357648, -0.0120105 ],\r\n",
      "       [-2.110971  ,  0.05888043, -0.04901623, ...,  0.1392548 ,\r\n",
      "         0.03360589,  0.05208325]], dtype=float32), h=array([[-0.01348042,  0.03031186, -0.19317594, ...,  0.00170221,\r\n",
      "         0.00816945,  0.00435985],\r\n",
      "       [-0.0099043 ,  0.02703107, -0.05748621, ...,  0.00370932,\r\n",
      "         0.0106276 , -0.0297596 ],\r\n",
      "       [-0.01972247,  0.03411852, -0.15092686, ...,  0.00234439,\r\n",
      "        -0.0052719 ,  0.02103032],\r\n",
      "       ...,\r\n",
      "       [-0.02139363,  0.01926639, -0.14259121, ...,  0.00116998,\r\n",
      "         0.00757146, -0.00594827],\r\n",
      "       [-0.01518497,  0.03188398, -0.14634593, ...,  0.00227476,\r\n",
      "         0.01038295, -0.00220247],\r\n",
      "       [-0.05383406,  0.01841532, -0.04697213, ...,  0.00221543,\r\n",
      "         0.01488954,  0.00790769]], dtype=float32)), LSTMStateTuple(c=array([[ 2.4057396e-01, -1.4418826e-01,  7.5173266e-03, ...,\r\n",
      "         1.3651816e+01,  3.9356086e-01, -2.0040855e-01],\r\n",
      "       [ 2.0218135e-01, -1.7094055e-01,  2.5074286e-02, ...,\r\n",
      "         9.1175871e+00, -3.5863291e-02, -3.8535196e-01],\r\n",
      "       [ 2.0312679e-01, -1.6290653e-01, -1.7224943e-02, ...,\r\n",
      "         1.3444155e+01,  2.0661753e-01, -2.7753100e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.8146425e-01, -9.1287166e-02,  1.1466314e-02, ...,\r\n",
      "         1.2878810e+01,  8.1034832e-02, -1.0108639e-01],\r\n",
      "       [ 2.2856252e-01, -1.7814070e-01,  1.4301984e-02, ...,\r\n",
      "         1.1603033e+01,  1.4535851e-02, -1.0740451e+00],\r\n",
      "       [ 5.1131155e-02, -2.4112400e-02, -3.7457921e-02, ...,\r\n",
      "         5.3882232e+00, -3.9592572e-02, -2.4615324e-01]], dtype=float32), h=array([[ 1.19694660e-03, -4.35278402e-04,  5.27346367e-03, ...,\r\n",
      "         1.06013124e-03,  3.94049659e-02, -7.20888929e-05],\r\n",
      "       [ 1.20413571e-03, -1.84895168e-03,  1.37047535e-02, ...,\r\n",
      "         2.86569609e-03, -3.56094912e-02, -2.72850157e-04],\r\n",
      "       [ 3.17589263e-03, -4.66326671e-03, -8.28890875e-03, ...,\r\n",
      "         4.13860008e-03,  4.10947204e-02, -5.32365055e-04],\r\n",
      "       ...,\r\n",
      "       [ 1.47553638e-03, -7.16923736e-04,  6.45225123e-03, ...,\r\n",
      "         3.12959054e-03,  6.70380071e-02, -5.95687015e-05],\r\n",
      "       [ 1.28418382e-03, -5.79645101e-04,  1.02378447e-02, ...,\r\n",
      "         1.12973503e-03,  1.42428214e-02, -6.05485810e-04],\r\n",
      "       [ 1.18642044e-03, -4.89722821e-04, -1.88956521e-02, ...,\r\n",
      "         1.77480618e-03, -3.93027328e-02, -4.60474315e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-2.4950283 ,  0.08134723, -0.11063567, ...,  0.18968669,\r\n",
      "         0.02044693,  0.07495693],\r\n",
      "       [-7.34476   ,  0.1716408 , -0.20469801, ...,  0.14889863,\r\n",
      "        -0.03712163, -0.22675338],\r\n",
      "       [-3.1715138 ,  0.12069889, -0.04873864, ...,  0.20990345,\r\n",
      "        -0.22727622,  0.13434649],\r\n",
      "       ...,\r\n",
      "       [-6.8665075 ,  0.08036244, -0.18838872, ...,  0.13861117,\r\n",
      "         0.01953077,  0.00931563],\r\n",
      "       [-2.9654956 ,  0.16629735, -0.11327884, ...,  0.1496707 ,\r\n",
      "         0.02237544,  0.04663124],\r\n",
      "       [-4.1955285 ,  0.12448072, -0.1342754 , ...,  0.14783107,\r\n",
      "         0.02129849,  0.03025929]], dtype=float32), h=array([[-0.01737098,  0.02594683, -0.10595147, ...,  0.00253149,\r\n",
      "         0.00878711,  0.01586451],\r\n",
      "       [-0.01822586,  0.04615829, -0.18405163, ...,  0.00193116,\r\n",
      "        -0.01677564, -0.02800413],\r\n",
      "       [-0.00570305,  0.03890891, -0.0471649 , ...,  0.00271608,\r\n",
      "        -0.10201486,  0.02164082],\r\n",
      "       ...,\r\n",
      "       [-0.01969096,  0.02676052, -0.1716256 , ...,  0.0028066 ,\r\n",
      "         0.00959964,  0.00283802],\r\n",
      "       [-0.00779142,  0.05038222, -0.10415155, ...,  0.00206743,\r\n",
      "         0.01123931,  0.00615412],\r\n",
      "       [-0.01290289,  0.03804205, -0.12654676, ...,  0.00184347,\r\n",
      "         0.00963658,  0.00596168]], dtype=float32)), LSTMStateTuple(c=array([[ 2.7238643e-01, -1.5327643e-01,  1.7254455e-02, ...,\r\n",
      "         6.9695683e+00, -5.0867606e-02, -4.8878101e-01],\r\n",
      "       [ 1.8632056e-01, -3.4479026e-02,  6.8033133e-03, ...,\r\n",
      "         1.4315002e+01,  1.8853027e-01, -2.0989464e-01],\r\n",
      "       [ 2.2398250e-01, -1.5320937e-01,  1.6129758e-02, ...,\r\n",
      "         7.0690603e+00, -5.9162725e-02, -9.1772312e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.1517947e-01, -9.5514558e-02,  2.3965817e-02, ...,\r\n",
      "         1.2788705e+01,  9.5914349e-02, -7.3098630e-01],\r\n",
      "       [ 2.9639637e-01, -3.7363417e-02, -5.1362026e-01, ...,\r\n",
      "         9.8917027e+00, -5.3153042e-02, -2.7319619e-01],\r\n",
      "       [ 2.2226049e-01, -1.6966900e-01,  1.2342921e-02, ...,\r\n",
      "         1.0890723e+01, -1.1747745e-02, -1.6619262e-01]], dtype=float32), h=array([[ 0.00079426, -0.00152718,  0.01081633, ...,  0.00266154,\r\n",
      "        -0.05046908, -0.00140807],\r\n",
      "       [ 0.00080116, -0.00036102,  0.003785  , ...,  0.00104185,\r\n",
      "         0.02972398, -0.00097635],\r\n",
      "       [ 0.00068828, -0.00208372,  0.00776249, ...,  0.00161805,\r\n",
      "        -0.05857595, -0.00248354],\r\n",
      "       ...,\r\n",
      "       [ 0.00368743, -0.00157698,  0.01462958, ...,  0.00422618,\r\n",
      "         0.06668695, -0.00067491],\r\n",
      "       [ 0.00182622, -0.00047668, -0.05867865, ...,  0.00205276,\r\n",
      "        -0.05181175, -0.00025378],\r\n",
      "       [ 0.00136264, -0.00052326,  0.00879526, ...,  0.00105007,\r\n",
      "        -0.01159824, -0.00013568]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-9.234229  ,  0.09983751, -0.18535557, ...,  0.09722328,\r\n",
      "         0.01883014,  0.02300352],\r\n",
      "       [-7.905099  ,  0.16004899, -0.22578457, ...,  0.16389854,\r\n",
      "         0.02555213,  0.02745546],\r\n",
      "       [-3.264749  ,  0.11629093, -0.07636984, ...,  0.23416252,\r\n",
      "         0.07633946, -0.025806  ],\r\n",
      "       ...,\r\n",
      "       [-3.4464767 ,  0.14999303, -0.1337694 , ...,  0.1452623 ,\r\n",
      "        -0.02249155, -0.09173843],\r\n",
      "       [-7.313404  ,  0.12485752, -0.21679905, ...,  0.17700411,\r\n",
      "        -0.02935483, -0.14580435],\r\n",
      "       [-2.264927  ,  0.08985961, -0.13190171, ...,  0.18078823,\r\n",
      "         0.03146381,  0.02448942]], dtype=float32), h=array([[-0.0055234 ,  0.02996808, -0.1709921 , ...,  0.00113826,\r\n",
      "         0.00830144,  0.00397459],\r\n",
      "       [-0.01576833,  0.05135583, -0.20524955, ...,  0.00351973,\r\n",
      "         0.01130727,  0.00435873],\r\n",
      "       [-0.00957549,  0.03676344, -0.07339752, ...,  0.00415295,\r\n",
      "         0.03649171, -0.00537697],\r\n",
      "       ...,\r\n",
      "       [-0.04426575,  0.04130089, -0.12674205, ...,  0.00140944,\r\n",
      "        -0.01106191, -0.0149542 ],\r\n",
      "       [-0.00431227,  0.03766277, -0.20026726, ...,  0.00220895,\r\n",
      "        -0.01307994, -0.02508158],\r\n",
      "       [-0.01265012,  0.02816418, -0.12659445, ...,  0.00291939,\r\n",
      "         0.01671082,  0.00676387]], dtype=float32)), LSTMStateTuple(c=array([[ 2.7337709e-01, -1.7428175e-01,  1.2982344e-02, ...,\r\n",
      "         1.2564963e+01,  4.0590981e-01, -9.6147150e-02],\r\n",
      "       [ 3.3004469e-01, -1.0855887e-01, -2.2271673e-01, ...,\r\n",
      "         1.2971146e+01,  1.9083726e-01, -2.4634632e-01],\r\n",
      "       [ 2.0215440e-01, -2.7366343e-01,  1.2506781e-02, ...,\r\n",
      "         8.4029903e+00, -8.0779918e-02, -5.9853405e-01],\r\n",
      "       ...,\r\n",
      "       [ 1.6424856e-01, -2.6810974e-02,  1.5689839e-02, ...,\r\n",
      "         1.1628786e+01,  3.7974279e-02, -7.7207631e-01],\r\n",
      "       [ 1.9695216e-01, -9.6092038e-02, -6.4367414e-02, ...,\r\n",
      "         1.3164715e+01,  3.5378402e-01, -1.9012041e-01],\r\n",
      "       [ 2.1577771e-01, -1.8299764e-01,  5.5483426e-03, ...,\r\n",
      "         1.1486473e+01,  6.9370940e-02, -2.9946572e-01]], dtype=float32), h=array([[ 1.3722287e-03, -6.1503408e-04,  8.7154116e-03, ...,\r\n",
      "         1.7062016e-03,  2.6176423e-02, -4.5434073e-05],\r\n",
      "       [ 1.1277302e-03, -8.8469300e-04, -3.6881264e-02, ...,\r\n",
      "         1.8802565e-03,  4.0237080e-02, -1.3451323e-04],\r\n",
      "       [ 3.6537265e-03, -3.1661468e-03,  8.0901068e-03, ...,\r\n",
      "         2.1963404e-03, -8.0103181e-02, -4.7057134e-04],\r\n",
      "       ...,\r\n",
      "       [ 8.4741751e-04, -2.2718543e-04,  1.0223200e-02, ...,\r\n",
      "         1.2214198e-03,  3.6156569e-02, -1.5218374e-04],\r\n",
      "       [ 1.3676320e-03, -1.2881263e-03, -3.9319687e-02, ...,\r\n",
      "         2.0511381e-03,  2.4915064e-02, -8.5254112e-04],\r\n",
      "       [ 6.5776653e-04, -5.9784425e-04,  3.7839222e-03, ...,\r\n",
      "         2.5363292e-03,  6.2169347e-02, -3.0669878e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-5.3059435 ,  0.26209968, -0.09293008, ...,  0.18976317,\r\n",
      "         0.02352882,  0.35800365],\r\n",
      "       [-5.1770973 ,  0.04022947, -0.17327736, ...,  0.15545653,\r\n",
      "        -0.03981107,  0.07151455],\r\n",
      "       [-5.423666  ,  0.16159424, -0.09277489, ...,  0.21093819,\r\n",
      "         0.0701789 ,  0.00926619],\r\n",
      "       ...,\r\n",
      "       [-5.2523932 ,  0.10922036, -0.20472182, ...,  0.21181464,\r\n",
      "        -0.01283226,  0.0578711 ],\r\n",
      "       [-6.2178164 ,  0.12141017, -0.31473646, ...,  0.16283475,\r\n",
      "         0.07488672,  0.04912355],\r\n",
      "       [-2.4689329 , -0.8046399 , -0.15245683, ...,  0.16499239,\r\n",
      "        -0.5237281 ,  0.4563285 ]], dtype=float32), h=array([[-0.0135783 ,  0.06846032, -0.09071195, ...,  0.00187014,\r\n",
      "         0.0105812 ,  0.04615853],\r\n",
      "       [-0.028596  ,  0.01337434, -0.16707696, ...,  0.00150527,\r\n",
      "        -0.01857734,  0.01412551],\r\n",
      "       [-0.01020946,  0.04478483, -0.08848489, ...,  0.00205629,\r\n",
      "         0.02908695,  0.00195835],\r\n",
      "       ...,\r\n",
      "       [-0.01527144,  0.03732763, -0.19457239, ...,  0.00226023,\r\n",
      "        -0.00672003,  0.01081846],\r\n",
      "       [-0.01721891,  0.04150556, -0.28926316, ...,  0.00162841,\r\n",
      "         0.03729263,  0.0103031 ],\r\n",
      "       [-0.01416083, -0.04937106, -0.00191474, ...,  0.00588854,\r\n",
      "        -0.07252596,  0.06323378]], dtype=float32)), LSTMStateTuple(c=array([[ 3.55806649e-01, -8.88244063e-02,  1.11618685e-02, ...,\r\n",
      "         1.07784395e+01, -3.26640606e-02, -7.19582260e-01],\r\n",
      "       [ 3.57935190e-01, -7.65658841e-02,  1.36758238e-02, ...,\r\n",
      "         1.31664257e+01,  1.32738948e-01, -5.74127972e-01],\r\n",
      "       [ 2.27202460e-01, -2.00275555e-01,  9.94955748e-03, ...,\r\n",
      "         1.04415131e+01,  2.31609419e-02, -2.41476163e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.93083692e-01, -2.31115714e-01,  1.80213824e-02, ...,\r\n",
      "         1.31669073e+01,  7.93827325e-02, -6.49922013e-01],\r\n",
      "       [ 3.38121444e-01, -2.09335521e-01,  1.74783524e-02, ...,\r\n",
      "         1.24364414e+01,  3.40653807e-01, -2.08395407e-01],\r\n",
      "       [ 4.03643221e-01,  3.31822008e-01,  3.87805775e-02, ...,\r\n",
      "         8.53413391e+00, -2.70776544e-02, -9.18817222e-02]], dtype=float32), h=array([[ 3.1374483e-03, -2.1879503e-03,  6.4266329e-03, ...,\r\n",
      "         7.9519965e-04, -3.2277104e-02, -1.0027204e-03],\r\n",
      "       [ 2.2463177e-03, -1.4180434e-03,  8.2689170e-03, ...,\r\n",
      "         9.8705443e-04,  5.5911761e-02, -4.7762296e-04],\r\n",
      "       [ 9.9406927e-04, -2.6275737e-03,  7.1148891e-03, ...,\r\n",
      "         2.0953703e-03,  2.1363780e-02, -2.5128026e-04],\r\n",
      "       ...,\r\n",
      "       [ 2.3198186e-03, -4.1861739e-03,  1.3410519e-02, ...,\r\n",
      "         2.9776220e-03,  5.0728269e-02, -3.5541184e-04],\r\n",
      "       [ 2.6697190e-03, -2.6915800e-03,  1.4136713e-02, ...,\r\n",
      "         2.2798455e-03,  3.4385517e-02, -1.8363880e-04],\r\n",
      "       [ 1.1585507e-01,  1.4485794e-01,  3.0423252e-02, ...,\r\n",
      "         8.9479228e-03, -2.6818952e-02, -1.2072085e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-9.20479012e+00,  6.71985820e-02, -1.59792572e-01, ...,\r\n",
      "         2.05989212e-01,  3.17426696e-02,  1.61161780e-01],\r\n",
      "       [-5.84087515e+00,  5.10218702e-02, -3.38171005e-01, ...,\r\n",
      "         1.95388332e-01,  1.20783579e-02,  6.38750661e-03],\r\n",
      "       [-4.32109404e+00,  1.01022206e-01, -1.71183571e-01, ...,\r\n",
      "         1.85165271e-01,  1.06223136e-01, -3.03297311e-01],\r\n",
      "       ...,\r\n",
      "       [-3.96441340e+00,  6.84044957e-02, -6.92189410e-02, ...,\r\n",
      "         2.06109613e-01, -2.99704745e-02,  4.70874831e-04],\r\n",
      "       [-3.77050400e+00,  1.56971991e-01, -1.63295135e-01, ...,\r\n",
      "         1.38678193e-01,  5.67056835e-02,  8.04799795e-02],\r\n",
      "       [-3.54362249e+00,  1.28571942e-01, -1.58743992e-01, ...,\r\n",
      "         2.12423772e-01, -4.43336479e-02,  6.20481186e-02]], dtype=float32), h=array([[-3.3697595e-03,  2.2315079e-02, -1.5402153e-01, ...,\r\n",
      "         1.7577995e-03,  1.5228106e-02,  1.8509768e-02],\r\n",
      "       [-6.8264650e-03,  1.8304288e-02, -3.0389857e-01, ...,\r\n",
      "         1.7479728e-03,  6.6539175e-03,  1.4111527e-03],\r\n",
      "       [-6.5668272e-03,  3.4931194e-02, -1.5798303e-01, ...,\r\n",
      "         1.6891636e-03,  4.0764324e-02, -4.8296083e-02],\r\n",
      "       ...,\r\n",
      "       [-2.9596214e-03,  1.8140551e-02, -6.7104198e-02, ...,\r\n",
      "         1.9773180e-03, -1.2066159e-02,  7.5007876e-05],\r\n",
      "       [-4.1501310e-02,  4.0659945e-02, -1.5867151e-01, ...,\r\n",
      "         1.3554244e-03,  2.8053600e-02,  1.1016298e-02],\r\n",
      "       [-2.3533594e-02,  3.9422590e-02, -1.5261336e-01, ...,\r\n",
      "         1.9436656e-03, -2.0459240e-02,  9.9603897e-03]], dtype=float32)), LSTMStateTuple(c=array([[ 2.9612881e-01, -4.6245132e-02,  1.4688237e-02, ...,\r\n",
      "         1.3025211e+01,  9.7655043e-02, -4.4709495e-01],\r\n",
      "       [ 4.2352697e-01, -1.6232622e-01,  1.4308030e-02, ...,\r\n",
      "         1.1656532e+01,  3.2290420e-01, -1.0434172e-01],\r\n",
      "       [ 2.5596938e-01, -1.4787756e-01, -5.5461098e-02, ...,\r\n",
      "         1.4419943e+01,  8.7394625e-02, -9.8834194e-02],\r\n",
      "       ...,\r\n",
      "       [ 2.3986363e-01, -1.6883843e-01,  3.0259117e-02, ...,\r\n",
      "         8.2877951e+00, -4.2635143e-02, -7.3631877e-01],\r\n",
      "       [ 1.2589133e-01, -8.1014216e-02,  1.0143956e-02, ...,\r\n",
      "         1.3391362e+01,  3.8449772e-02, -1.5052502e-01],\r\n",
      "       [ 2.6481327e-01, -1.2026349e-01,  1.1725874e-02, ...,\r\n",
      "         9.4359903e+00, -5.8832034e-02, -2.3490494e-01]], dtype=float32), h=array([[ 2.5843591e-03, -1.2381648e-03,  6.6337027e-03, ...,\r\n",
      "         1.1549213e-03,  6.7368746e-02, -3.4598194e-04],\r\n",
      "       [ 1.1141060e-03, -1.2793080e-03,  5.6904592e-03, ...,\r\n",
      "         4.0059416e-03,  3.2352168e-02, -6.3659543e-05],\r\n",
      "       [ 7.1867794e-04, -1.0897042e-03, -2.4748221e-02, ...,\r\n",
      "         1.5230725e-03,  4.8278298e-02, -2.7596363e-04],\r\n",
      "       ...,\r\n",
      "       [ 1.7088071e-03, -3.2726442e-03,  1.4763772e-02, ...,\r\n",
      "         2.4951722e-03, -4.2141221e-02, -4.7177612e-04],\r\n",
      "       [ 6.1813323e-04, -1.4946786e-03,  6.1367196e-03, ...,\r\n",
      "         1.3209028e-03,  3.6125276e-02, -7.5414835e-04],\r\n",
      "       [ 8.8837987e-04, -1.2492213e-03,  8.0619678e-03, ...,\r\n",
      "         1.5119821e-03, -5.7588868e-02, -1.0869144e-03]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-2.8763142 , -0.7784893 , -0.0882188 , ...,  0.20076069,\r\n",
      "        -0.41744542,  0.37646663],\r\n",
      "       [-7.378543  ,  0.1922835 , -0.24281137, ...,  0.24145822,\r\n",
      "         0.01869273,  0.1632971 ],\r\n",
      "       [-5.4389668 ,  0.1258643 , -0.17429794, ...,  0.15291382,\r\n",
      "        -0.07564333,  0.12271868],\r\n",
      "       ...,\r\n",
      "       [-2.0583823 ,  0.08591496, -0.09610167, ...,  0.19012593,\r\n",
      "        -0.01711512, -0.25287995],\r\n",
      "       [-2.671491  ,  0.07742225, -0.1909023 , ...,  0.1687406 ,\r\n",
      "         0.04519967, -0.10297921],\r\n",
      "       [-4.1817384 ,  0.10777013, -0.15546247, ...,  0.19011283,\r\n",
      "         0.02006931,  0.01872092]], dtype=float32), h=array([[-0.00930484, -0.04527897, -0.00218864, ...,  0.01567327,\r\n",
      "        -0.04897332,  0.03064547],\r\n",
      "       [-0.0101478 ,  0.05451113, -0.23149571, ...,  0.00174988,\r\n",
      "         0.00907197,  0.02656365],\r\n",
      "       [-0.01998245,  0.03751023, -0.16520227, ...,  0.00136803,\r\n",
      "        -0.03592366,  0.01483319],\r\n",
      "       ...,\r\n",
      "       [-0.00807192,  0.02750402, -0.09454173, ...,  0.00210693,\r\n",
      "        -0.00841444, -0.04414129],\r\n",
      "       [-0.01738142,  0.02409121, -0.18140796, ...,  0.00150842,\r\n",
      "         0.02059992, -0.01736816],\r\n",
      "       [-0.00942666,  0.03701862, -0.15033463, ...,  0.001717  ,\r\n",
      "         0.00910313,  0.00377904]], dtype=float32)), LSTMStateTuple(c=array([[ 2.0676044e-01,  5.3599072e-01,  3.4479373e-03, ...,\r\n",
      "         6.5948877e+00, -3.4064386e-02, -1.4826441e-01],\r\n",
      "       [ 3.4969145e-01, -1.7733847e-01,  1.2177637e-02, ...,\r\n",
      "         1.3542354e+01,  8.9577302e-02, -7.0358044e-01],\r\n",
      "       [ 2.2924571e-01, -8.4893629e-02,  1.1807837e-02, ...,\r\n",
      "         1.2165063e+01,  8.4570654e-02, -4.4830552e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.8500456e-01,  1.1880175e-02,  1.1468847e-02, ...,\r\n",
      "         1.0494941e+01, -4.4223767e-02, -1.3756751e+00],\r\n",
      "       [ 4.5983857e-01, -1.4849082e-01,  3.5780668e-02, ...,\r\n",
      "         1.3917290e+01,  1.2424272e-01, -7.6276481e-01],\r\n",
      "       [ 2.7920553e-01, -1.7633897e-01,  1.4460990e-02, ...,\r\n",
      "         1.0846033e+01, -4.1246243e-02, -5.9366047e-01]], dtype=float32), h=array([[ 0.05894105,  0.08068348,  0.0031105 , ...,  0.0049823 ,\r\n",
      "        -0.03380217, -0.00104918],\r\n",
      "       [ 0.00197696, -0.00223312,  0.00889372, ...,  0.00158098,\r\n",
      "         0.05568657, -0.00049928],\r\n",
      "       [ 0.00097587, -0.00128521,  0.00594642, ...,  0.00272401,\r\n",
      "         0.06208921, -0.00086175],\r\n",
      "       ...,\r\n",
      "       [ 0.00140775,  0.00014365,  0.00525633, ...,  0.00067162,\r\n",
      "        -0.04374435, -0.0004537 ],\r\n",
      "       [ 0.00104581, -0.00260159,  0.01877843, ...,  0.00211294,\r\n",
      "         0.06578209, -0.00272599],\r\n",
      "       [ 0.00055457, -0.0012435 ,  0.00817115, ...,  0.00141254,\r\n",
      "        -0.04031217, -0.00039959]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.731174  ,  0.09590615, -0.07737464, ...,  0.14918545,\r\n",
      "         0.10252272,  0.03001361],\r\n",
      "       [-2.71204   ,  0.05780609, -0.0390711 , ...,  0.18586133,\r\n",
      "         0.02884412, -0.0093053 ],\r\n",
      "       [-2.9204323 ,  0.09764946, -0.04994126, ...,  0.21197395,\r\n",
      "         0.04330077,  0.08526437],\r\n",
      "       ...,\r\n",
      "       [-6.011668  ,  0.1250836 , -0.1534823 , ...,  0.11398406,\r\n",
      "         0.04675207,  0.04551211],\r\n",
      "       [-3.2008505 ,  0.1851481 , -0.08668139, ...,  0.19064704,\r\n",
      "         0.03771593, -0.07198867],\r\n",
      "       [-2.3661048 ,  0.12346128, -0.11973702, ...,  0.1920491 ,\r\n",
      "         0.01746839,  0.02571915]], dtype=float32), h=array([[-0.02385382,  0.03015681, -0.07483356, ...,  0.00129775,\r\n",
      "         0.04686939,  0.00551014],\r\n",
      "       [-0.0138263 ,  0.0194307 , -0.03788599, ...,  0.00118027,\r\n",
      "         0.01299718, -0.00236388],\r\n",
      "       [-0.01451929,  0.0292388 , -0.04901329, ...,  0.00243157,\r\n",
      "         0.01801287,  0.01778702],\r\n",
      "       ...,\r\n",
      "       [-0.01594297,  0.03885958, -0.14683487, ...,  0.00073482,\r\n",
      "         0.02264417,  0.00930003],\r\n",
      "       [-0.02547677,  0.05031644, -0.08249943, ...,  0.00185831,\r\n",
      "         0.01692802, -0.01370846],\r\n",
      "       [-0.01930462,  0.03725227, -0.11494663, ...,  0.00170043,\r\n",
      "         0.00760396,  0.00448277]], dtype=float32)), LSTMStateTuple(c=array([[ 2.5719881e-01, -5.4664020e-03,  9.4646867e-03, ...,\r\n",
      "         1.0247913e+01, -6.9641592e-03, -2.7197582e-01],\r\n",
      "       [ 2.8476277e-01, -1.0223181e-01,  7.8724073e-03, ...,\r\n",
      "         6.9351273e+00, -6.5356664e-02, -4.8266211e-01],\r\n",
      "       [ 3.1856212e-01, -6.8725213e-02,  1.3817389e-02, ...,\r\n",
      "         7.0425625e+00, -6.3750215e-02, -3.6464417e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.8235242e-01, -2.2102405e-01,  8.5038571e-03, ...,\r\n",
      "         1.2938752e+01,  4.1897092e-02, -3.4072417e-01],\r\n",
      "       [ 2.8323209e-01, -2.3724283e-01,  2.6127856e-02, ...,\r\n",
      "         1.2497764e+01,  3.8514792e-03, -8.3865499e-01],\r\n",
      "       [ 2.0583771e-01, -5.8559492e-02,  1.5383353e-02, ...,\r\n",
      "         9.5337696e+00, -3.3662055e-02, -9.2114294e-01]], dtype=float32), h=array([[ 0.0024788 , -0.00011008,  0.00606925, ...,  0.00184759,\r\n",
      "        -0.00685086, -0.00022117],\r\n",
      "       [ 0.00325519, -0.00130346,  0.00474909, ...,  0.00104791,\r\n",
      "        -0.06462795, -0.00042626],\r\n",
      "       [ 0.0010865 , -0.00107536,  0.00813239, ...,  0.00355082,\r\n",
      "        -0.06322441, -0.00065271],\r\n",
      "       ...,\r\n",
      "       [ 0.001173  , -0.00180801,  0.00639895, ...,  0.00035202,\r\n",
      "         0.04034796, -0.00027879],\r\n",
      "       [ 0.00131727, -0.00200645,  0.01593426, ...,  0.00089698,\r\n",
      "         0.00372977, -0.00062908],\r\n",
      "       [ 0.00130379, -0.00067272,  0.01125345, ...,  0.00131731,\r\n",
      "        -0.03337884, -0.00239453]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.65416002e+00,  5.63364848e-02, -3.74754488e-01, ...,\r\n",
      "         1.56135440e-01,  1.96137987e-02,  1.27964541e-02],\r\n",
      "       [-5.69801331e+00,  1.72675475e-01, -1.09787583e-01, ...,\r\n",
      "         1.97301403e-01,  5.46411844e-03,  9.00575519e-03],\r\n",
      "       [-8.08586693e+00,  1.14117615e-01, -1.99937671e-01, ...,\r\n",
      "         1.46276727e-01,  1.81258190e-02,  3.79147828e-02],\r\n",
      "       ...,\r\n",
      "       [-4.42391968e+00,  6.65312037e-02, -2.43754297e-01, ...,\r\n",
      "         1.15595512e-01,  7.21068606e-02, -1.83844537e-01],\r\n",
      "       [-5.33374310e+00,  7.49349445e-02, -7.99598917e-02, ...,\r\n",
      "         1.66083321e-01,  1.17521491e-02,  4.55379672e-02],\r\n",
      "       [-4.65963984e+00, -7.85964191e-01, -1.74957141e-01, ...,\r\n",
      "         1.11149177e-01,  4.17018801e-01, -9.91591692e-01]], dtype=float32), h=array([[-4.1966732e-03,  1.8294560e-02, -3.4557164e-01, ...,\r\n",
      "         2.3905458e-03,  1.0392642e-02,  3.3248840e-03],\r\n",
      "       [-1.7216513e-02,  4.7529411e-02, -1.0501964e-01, ...,\r\n",
      "         2.0485357e-03,  2.7016378e-03,  1.1794355e-03],\r\n",
      "       [-1.1362794e-02,  3.1656645e-02, -1.8918794e-01, ...,\r\n",
      "         2.1357010e-03,  7.7517973e-03,  5.7902285e-03],\r\n",
      "       ...,\r\n",
      "       [-5.2593235e-02,  2.1429887e-02, -2.2778642e-01, ...,\r\n",
      "         1.0619746e-03,  3.0942619e-02, -2.7232114e-02],\r\n",
      "       [-2.4080208e-02,  2.2499459e-02, -7.7035695e-02, ...,\r\n",
      "         2.1337448e-03,  5.4981136e-03,  8.3365226e-03],\r\n",
      "       [-3.1141865e-01, -7.4807726e-02, -3.8546935e-04, ...,\r\n",
      "         2.4741745e-04,  3.6468752e-02, -7.3636979e-02]], dtype=float32)), LSTMStateTuple(c=array([[ 2.58534282e-01, -1.00998856e-01,  4.56202915e-03, ...,\r\n",
      "         1.31374121e+01,  4.33264077e-01, -1.77671149e-01],\r\n",
      "       [ 2.26732895e-01, -1.03349291e-01,  4.86580804e-02, ...,\r\n",
      "         1.11333647e+01,  9.71065089e-03, -1.99926168e-01],\r\n",
      "       [ 2.47431293e-01, -1.46875352e-01,  7.69888004e-03, ...,\r\n",
      "         1.40096436e+01,  2.38863170e-01, -1.60036400e-01],\r\n",
      "       ...,\r\n",
      "       [ 1.53328449e-01,  1.55984974e-02,  4.04306240e-02, ...,\r\n",
      "         1.36597691e+01,  4.27609801e-01, -7.94089198e-01],\r\n",
      "       [ 2.31178641e-01, -1.07244141e-02,  3.41281518e-02, ...,\r\n",
      "         1.05830507e+01, -1.20646367e-02, -1.03572406e-01],\r\n",
      "       [ 2.62602001e-01,  5.97261488e-01,  5.02537973e-02, ...,\r\n",
      "         1.41406078e+01,  8.51108059e-02, -1.33376345e-01]], dtype=float32), h=array([[ 1.2430954e-03, -5.9690472e-04,  3.3474464e-03, ...,\r\n",
      "         4.1693356e-03,  4.0270284e-02, -2.1740180e-04],\r\n",
      "       [ 1.3171708e-03, -1.8902289e-03,  1.1541492e-02, ...,\r\n",
      "         1.5998153e-03,  9.3084648e-03, -5.0440995e-04],\r\n",
      "       [ 8.7383261e-04, -3.4653835e-04,  5.4993415e-03, ...,\r\n",
      "         1.0044039e-03,  5.8817722e-02, -8.4658495e-05],\r\n",
      "       ...,\r\n",
      "       [ 2.0245041e-03,  2.6257741e-04,  2.8879521e-02, ...,\r\n",
      "         2.0425454e-04,  3.8125213e-02, -1.5928393e-03],\r\n",
      "       [ 2.7072409e-03, -2.5039754e-04,  1.3045926e-02, ...,\r\n",
      "         4.2511867e-03, -1.1740706e-02, -5.6284000e-05],\r\n",
      "       [ 1.3111906e-01,  1.1593901e-02,  4.0711693e-02, ...,\r\n",
      "         5.3820899e-04,  7.3963135e-02, -5.3891813e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-2.9167771 ,  0.10599467, -0.13849509, ...,  0.17558555,\r\n",
      "         0.01483208,  0.08289699],\r\n",
      "       [-0.9010687 ,  0.0975353 , -0.18383107, ...,  0.174649  ,\r\n",
      "         0.04067211, -0.29326105],\r\n",
      "       [-1.2420863 ,  0.08068507, -0.0960023 , ...,  0.16267212,\r\n",
      "         0.02010453,  0.08899596],\r\n",
      "       ...,\r\n",
      "       [-4.121916  ,  0.04568752, -0.15021567, ...,  0.17303236,\r\n",
      "         0.01521395, -0.04727629],\r\n",
      "       [-4.3409963 ,  0.02088043, -0.05708672, ...,  0.16421288,\r\n",
      "         0.01009492,  0.14365835],\r\n",
      "       [-4.687558  ,  0.10460669, -0.14966165, ...,  0.21276161,\r\n",
      "         0.01812191,  0.05775017]], dtype=float32), h=array([[-0.01048165,  0.03337597, -0.1282397 , ...,  0.0022085 ,\r\n",
      "         0.00661849,  0.01378816],\r\n",
      "       [-0.03042165,  0.02827873, -0.17646441, ...,  0.00161006,\r\n",
      "         0.01955163, -0.04640143],\r\n",
      "       [-0.01200921,  0.02393021, -0.08940012, ...,  0.00155731,\r\n",
      "         0.00882635,  0.01665417],\r\n",
      "       ...,\r\n",
      "       [-0.00404326,  0.01457667, -0.13883922, ...,  0.00161924,\r\n",
      "         0.00756863, -0.01114334],\r\n",
      "       [-0.00659301,  0.00861011, -0.05586807, ...,  0.00138373,\r\n",
      "         0.00540137,  0.02589782],\r\n",
      "       [-0.02130179,  0.03430849, -0.13960655, ...,  0.00248714,\r\n",
      "         0.00841851,  0.0112179 ]], dtype=float32)), LSTMStateTuple(c=array([[ 2.7191013e-01, -1.6575493e-01,  8.5731540e-03, ...,\r\n",
      "         8.7649364e+00, -2.5997609e-02, -8.0443943e-01],\r\n",
      "       [ 1.9968106e-01, -1.7514123e-01,  9.2835212e-03, ...,\r\n",
      "         1.1106017e+01, -1.7242786e-04, -2.6766253e-01],\r\n",
      "       [ 2.5254890e-01, -2.4902536e-02,  1.8968573e-02, ...,\r\n",
      "         5.3443303e+00, -7.5872079e-02, -7.0749748e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.7922323e-01, -9.7933605e-02,  5.7812855e-03, ...,\r\n",
      "         1.3566914e+01,  1.3316855e-01, -7.1963185e-01],\r\n",
      "       [ 2.5751883e-01, -2.5683569e-02,  3.2346454e-02, ...,\r\n",
      "         8.8654966e+00, -8.2132384e-02, -3.7249020e-01],\r\n",
      "       [ 2.7899200e-01, -2.1584420e-01,  9.1460887e-03, ...,\r\n",
      "         1.2699277e+01,  1.0409298e-01, -1.0928807e+00]], dtype=float32), h=array([[ 0.00183134, -0.00127306,  0.00712208, ...,  0.00158479,\r\n",
      "        -0.02581999, -0.00071467],\r\n",
      "       [ 0.00107018, -0.00175178,  0.00624675, ...,  0.00037387,\r\n",
      "        -0.0001701 , -0.0005951 ],\r\n",
      "       [ 0.00352386, -0.00045322,  0.01359123, ...,  0.00470194,\r\n",
      "        -0.07529158, -0.00100851],\r\n",
      "       ...,\r\n",
      "       [ 0.00302867, -0.00060434,  0.00299059, ...,  0.00201999,\r\n",
      "         0.0846936 , -0.00022997],\r\n",
      "       [ 0.00181511, -0.00081512,  0.01081419, ...,  0.00059108,\r\n",
      "        -0.08117825, -0.00028918],\r\n",
      "       [ 0.00220441, -0.00137719,  0.00640644, ...,  0.00191738,\r\n",
      "         0.08211002, -0.00058944]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.0832634e+00,  6.9484286e-02, -1.7433767e-01, ...,\r\n",
      "         1.6623150e-01,  3.2902237e-02, -4.3072678e-02],\r\n",
      "       [-1.2296376e+00, -8.0332959e-01, -8.6646378e-02, ...,\r\n",
      "         1.5047672e-01,  4.3767035e-01, -2.4319936e-01],\r\n",
      "       [-8.7408857e+00,  7.9528309e-02, -2.8260836e-01, ...,\r\n",
      "         1.9032139e-01, -1.2360606e-04, -8.7163568e-02],\r\n",
      "       ...,\r\n",
      "       [-3.9541831e+00,  1.3292073e-01, -9.2530213e-02, ...,\r\n",
      "         1.3343866e-01,  2.4547979e-02, -2.5092293e-02],\r\n",
      "       [-3.0429308e+00,  1.3649745e-01, -1.8187368e-01, ...,\r\n",
      "         1.3351208e-01,  6.2669083e-02,  2.1789728e-01],\r\n",
      "       [-6.9181843e+00,  9.5200248e-02, -2.2963966e-01, ...,\r\n",
      "         1.6664687e-01,  7.1167938e-02, -1.8868449e-01]], dtype=float32), h=array([[-2.2645302e-02,  2.1615105e-02, -1.6390809e-01, ...,\r\n",
      "         2.3374506e-03,  1.5040416e-02, -6.6599869e-03],\r\n",
      "       [-1.8758150e-02, -4.7435101e-02, -2.1732206e-04, ...,\r\n",
      "         3.7966575e-04,  3.4937449e-02, -5.4663811e-02],\r\n",
      "       [-1.3948768e-02,  2.7646525e-02, -2.6415810e-01, ...,\r\n",
      "         2.1952407e-03, -5.9465365e-05, -1.8277671e-02],\r\n",
      "       ...,\r\n",
      "       [-1.2884926e-02,  4.0185835e-02, -8.6016156e-02, ...,\r\n",
      "         2.1294046e-03,  1.0286025e-02, -4.7011413e-03],\r\n",
      "       [-3.0172955e-02,  3.4263745e-02, -1.7656749e-01, ...,\r\n",
      "         1.3233854e-03,  3.2663990e-02,  2.9046668e-02],\r\n",
      "       [-1.7717334e-02,  2.8888863e-02, -2.1270187e-01, ...,\r\n",
      "         1.7629733e-03,  3.3757932e-02, -2.8156454e-02]], dtype=float32)), LSTMStateTuple(c=array([[-7.87431840e-03, -1.04593031e-01, -4.52107005e-02, ...,\r\n",
      "         1.23042698e+01,  7.41979405e-02, -2.66463846e-01],\r\n",
      "       [ 6.41606376e-02,  7.35086426e-02,  6.32251725e-02, ...,\r\n",
      "         4.48332214e+00, -4.63203490e-02, -2.69576669e-01],\r\n",
      "       [ 2.60506064e-01, -1.20037593e-01,  9.56676528e-03, ...,\r\n",
      "         1.18391037e+01,  3.37546766e-01, -3.81534576e-01],\r\n",
      "       ...,\r\n",
      "       [ 1.61788076e-01, -1.25856280e-01,  1.06480932e-02, ...,\r\n",
      "         9.33561802e+00, -2.12834664e-02, -3.57567370e-01],\r\n",
      "       [ 2.56408572e-01, -1.41243935e-01,  8.28381162e-03, ...,\r\n",
      "         1.33198185e+01,  2.33569331e-02, -4.33232486e-01],\r\n",
      "       [ 3.02971035e-01, -8.68698582e-02, -7.11539090e-02, ...,\r\n",
      "         1.26627407e+01,  2.92411149e-01, -4.94545490e-01]], dtype=float32), h=array([[-0.00010668, -0.00215645, -0.01822341, ...,  0.00191424,\r\n",
      "         0.0571755 , -0.00062347],\r\n",
      "       [ 0.0169172 ,  0.00430406,  0.04555315, ...,  0.01260967,\r\n",
      "        -0.04592345, -0.00768641],\r\n",
      "       [ 0.00070251, -0.00075505,  0.00502167, ...,  0.00232181,\r\n",
      "         0.0278303 , -0.00023504],\r\n",
      "       ...,\r\n",
      "       [ 0.00092687, -0.0003154 ,  0.00761428, ...,  0.00095682,\r\n",
      "        -0.02116463, -0.00021244],\r\n",
      "       [ 0.00100136, -0.00230066,  0.00538609, ...,  0.00146337,\r\n",
      "         0.02142372, -0.00067428],\r\n",
      "       [ 0.00252387, -0.00218864, -0.03752001, ...,  0.00104101,\r\n",
      "         0.03536047, -0.00324839]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.4874945e+00,  7.7220902e-02, -1.5837973e-01, ...,\r\n",
      "         1.4442666e-01,  5.3787250e-02, -7.8343682e-02],\r\n",
      "       [-3.1052208e+00,  6.0359072e-02, -1.7224421e-01, ...,\r\n",
      "         1.6740952e-01,  2.7712692e-02,  3.5360558e-03],\r\n",
      "       [-1.8743743e+00,  1.4302024e-01, -1.3408470e-01, ...,\r\n",
      "         1.2647840e-01,  2.6882634e-02,  3.0817319e-02],\r\n",
      "       ...,\r\n",
      "       [-3.8631170e+00,  1.3853794e-01, -9.9787556e-02, ...,\r\n",
      "         1.9290924e-01, -2.1199684e-01,  1.1322851e-01],\r\n",
      "       [-5.7391081e+00,  1.3092853e-01, -1.7594787e-01, ...,\r\n",
      "         1.3359478e-01, -5.2455194e-02, -2.4248621e-01],\r\n",
      "       [-2.1261294e+00,  4.3791305e-02, -8.4605098e-02, ...,\r\n",
      "         1.9881374e-01,  1.7689880e-02, -8.6965505e-04]], dtype=float32), h=array([[-1.91453360e-02,  2.69413106e-02, -1.52509928e-01, ...,\r\n",
      "         1.73999043e-03,  2.78721973e-02, -1.71000715e-02],\r\n",
      "       [-2.98431702e-02,  2.14048512e-02, -1.63726330e-01, ...,\r\n",
      "         2.08024750e-03,  1.36283906e-02,  6.97494892e-04],\r\n",
      "       [-1.18069807e-02,  4.37132418e-02, -1.25335038e-01, ...,\r\n",
      "         1.66252954e-03,  1.12875076e-02,  6.18336583e-03],\r\n",
      "       ...,\r\n",
      "       [-1.46035915e-02,  3.76283377e-02, -9.75499302e-02, ...,\r\n",
      "         6.00259099e-03, -8.92373845e-02,  1.98919475e-02],\r\n",
      "       [-4.84933518e-03,  3.17634754e-02, -1.66872934e-01, ...,\r\n",
      "         9.63079277e-04, -2.42855381e-02, -3.94687839e-02],\r\n",
      "       [-3.43320034e-02,  1.56539548e-02, -7.96689540e-02, ...,\r\n",
      "         1.97629211e-03,  9.08858608e-03, -1.61749718e-04]], dtype=float32)), LSTMStateTuple(c=array([[ 3.7614357e-01, -1.8409565e-01, -2.1947736e-02, ...,\r\n",
      "         1.3153487e+01,  6.9063738e-02, -3.5211444e-01],\r\n",
      "       [ 2.5064722e-01, -9.0017274e-02,  7.3985332e-03, ...,\r\n",
      "         1.0177282e+01,  3.2593268e-03, -8.6994827e-01],\r\n",
      "       [ 2.1566625e-01, -2.0908971e-01,  1.0817170e-02, ...,\r\n",
      "         9.6359119e+00, -3.6430314e-02, -4.4099864e-02],\r\n",
      "       ...,\r\n",
      "       [ 3.2127085e-01, -1.4429902e-01,  7.6301973e-03, ...,\r\n",
      "         1.0723763e+01, -4.3124337e-02, -4.5189041e-01],\r\n",
      "       [ 4.4826853e-01, -1.7298402e-01,  3.3747390e-02, ...,\r\n",
      "         1.4714439e+01,  2.2916235e-01, -3.4604114e-01],\r\n",
      "       [ 2.2223951e-01, -1.5598978e-01,  2.3822528e-03, ...,\r\n",
      "         8.8785934e+00, -3.2504302e-02, -2.5917611e-01]], dtype=float32), h=array([[ 3.7043397e-03, -3.0935493e-03, -1.4234830e-02, ...,\r\n",
      "         3.4622583e-03,  5.7502925e-02, -7.9650420e-04],\r\n",
      "       [ 5.4604869e-04, -4.7637720e-04,  4.4943499e-03, ...,\r\n",
      "         2.2652617e-03,  3.1958781e-03, -4.4199606e-04],\r\n",
      "       [ 1.6124035e-03, -7.0642011e-04,  8.4593585e-03, ...,\r\n",
      "         1.1554463e-03, -3.6118463e-02, -4.2900720e-05],\r\n",
      "       ...,\r\n",
      "       [ 8.6845772e-04, -2.1335694e-03,  4.8274677e-03, ...,\r\n",
      "         3.3976017e-03, -4.2634510e-02, -4.6753599e-03],\r\n",
      "       [ 1.7125699e-03, -4.9156700e-03,  1.9262947e-02, ...,\r\n",
      "         5.9710344e-04,  3.8999584e-02, -5.8998144e-03],\r\n",
      "       [ 4.9833691e-04, -9.2131231e-04,  9.4794616e-04, ...,\r\n",
      "         2.7473411e-03, -3.2258622e-02, -1.0087631e-04]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.3007150e+00,  4.9898233e-02, -2.0439902e-01, ...,\r\n",
      "         1.5655042e-01,  1.4372448e-02, -7.6198697e-02],\r\n",
      "       [-5.7413697e+00,  9.4252124e-02, -8.3029203e-02, ...,\r\n",
      "         2.0753208e-01,  2.9506266e-02,  4.5261718e-03],\r\n",
      "       [-5.3626304e+00,  1.6241491e-01, -1.6046312e-01, ...,\r\n",
      "         2.3932917e-01,  2.2146348e-02,  2.1775503e-01],\r\n",
      "       ...,\r\n",
      "       [-6.9756255e+00,  6.8737745e-02, -3.2925358e-01, ...,\r\n",
      "         1.8186849e-01, -2.5950829e-02, -1.5449148e-01],\r\n",
      "       [-8.9067974e+00,  9.0666950e-02, -2.9036087e-01, ...,\r\n",
      "         1.2385385e-01,  6.1394334e-02,  5.4027017e-02],\r\n",
      "       [-6.9310865e+00,  9.3174323e-02, -3.2665265e-01, ...,\r\n",
      "         1.5164700e-01,  1.7201649e-02,  4.6822149e-02]], dtype=float32), h=array([[-0.00457977,  0.0153198 , -0.1859233 , ...,  0.00150377,\r\n",
      "         0.00724621, -0.02017493],\r\n",
      "       [-0.00055607,  0.03117211, -0.08194561, ...,  0.0025194 ,\r\n",
      "         0.01502986,  0.00062847],\r\n",
      "       [-0.0285451 ,  0.05278238, -0.15658602, ...,  0.00183136,\r\n",
      "         0.01007717,  0.04377588],\r\n",
      "       ...,\r\n",
      "       [-0.01456147,  0.01980474, -0.31005436, ...,  0.00129687,\r\n",
      "        -0.01314736, -0.02269132],\r\n",
      "       [-0.01255023,  0.03060759, -0.26070333, ...,  0.00093619,\r\n",
      "         0.02911815,  0.00945132],\r\n",
      "       [-0.00796044,  0.02697714, -0.28877708, ...,  0.00160606,\r\n",
      "         0.00768576,  0.00974496]], dtype=float32)), LSTMStateTuple(c=array([[ 2.6055565e-01, -5.5232093e-02,  1.1599804e-02, ...,\r\n",
      "         1.1461024e+01,  2.1522207e-02, -6.5752006e-01],\r\n",
      "       [ 2.5686872e-01, -1.9426811e-01,  5.2123696e-02, ...,\r\n",
      "         1.2127708e+01,  2.2382690e-02, -2.5261512e-01],\r\n",
      "       [ 3.3862463e-01, -9.4993144e-02,  1.2403565e-02, ...,\r\n",
      "         1.2037318e+01,  3.2346949e-02, -5.6435519e-01],\r\n",
      "       ...,\r\n",
      "       [ 4.0935856e-01, -3.2797727e-01,  2.5364524e-02, ...,\r\n",
      "         1.1962867e+01,  3.4766996e-01, -8.1410295e-01],\r\n",
      "       [ 3.5168529e-01, -1.9638211e-01, -1.6403344e-02, ...,\r\n",
      "         1.1267194e+01,  4.0383437e-01, -7.8357571e-01],\r\n",
      "       [ 3.8583684e-01, -1.8626440e-01,  2.1471541e-02, ...,\r\n",
      "         1.2893677e+01,  3.1379923e-01, -3.9758453e-01]], dtype=float32), h=array([[ 0.00346136, -0.0004137 ,  0.00549545, ...,  0.00296195,\r\n",
      "         0.02007805, -0.00019326],\r\n",
      "       [ 0.00780781, -0.00779199,  0.02334177, ...,  0.00722923,\r\n",
      "         0.02171492, -0.00123924],\r\n",
      "       [ 0.00114858, -0.00075695,  0.0092016 , ...,  0.00106119,\r\n",
      "         0.02965593, -0.00066027],\r\n",
      "       ...,\r\n",
      "       [ 0.0012274 , -0.00544869,  0.01464938, ...,  0.00125802,\r\n",
      "         0.02169361, -0.00315536],\r\n",
      "       [ 0.00191323, -0.0023905 , -0.00957358, ...,  0.00258034,\r\n",
      "         0.02480257, -0.00099243],\r\n",
      "       [ 0.00258066, -0.00175938,  0.01532216, ...,  0.0028472 ,\r\n",
      "         0.03351892, -0.00045291]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.30241251e+00,  1.06789306e-01, -1.54761419e-01, ...,\r\n",
      "         1.68557182e-01,  4.98135611e-02, -5.10613155e-03],\r\n",
      "       [-1.66664338e+00,  7.71169484e-01, -1.06094867e-01, ...,\r\n",
      "         1.62678555e-01,  1.94912702e-01,  3.99230838e-01],\r\n",
      "       [-3.21493101e+00,  5.12443073e-02, -1.99246585e-01, ...,\r\n",
      "         1.57804623e-01,  3.02061196e-02, -1.18783109e-01],\r\n",
      "       ...,\r\n",
      "       [-2.84134769e+00,  1.48984298e-01, -8.63210186e-02, ...,\r\n",
      "         1.59237221e-01,  2.73255371e-02,  4.67429608e-02],\r\n",
      "       [-2.49292898e+00,  1.77674040e-01, -5.38593382e-02, ...,\r\n",
      "         1.53208166e-01,  2.56366804e-02,  5.91710210e-02],\r\n",
      "       [-5.80574799e+00,  1.28722355e-01, -1.94172472e-01, ...,\r\n",
      "         2.01844499e-01, -1.06618106e-01,  3.50530334e-02]], dtype=float32), h=array([[-0.00402989,  0.03919348, -0.14896022, ...,  0.00142751,\r\n",
      "         0.02236683, -0.00104589],\r\n",
      "       [-0.01552906,  0.06951921, -0.03810015, ...,  0.01023062,\r\n",
      "         0.05372204,  0.0664493 ],\r\n",
      "       [-0.02219506,  0.01540405, -0.19079879, ...,  0.00179118,\r\n",
      "         0.01215285, -0.0222002 ],\r\n",
      "       ...,\r\n",
      "       [-0.01785738,  0.0434279 , -0.08064718, ...,  0.0023833 ,\r\n",
      "         0.01229824,  0.00623492],\r\n",
      "       [-0.00908339,  0.0523588 , -0.05044728, ...,  0.0022086 ,\r\n",
      "         0.0124434 ,  0.00713246],\r\n",
      "       [-0.00925956,  0.04270855, -0.177014  , ...,  0.00154724,\r\n",
      "        -0.04773558,  0.00385065]], dtype=float32)), LSTMStateTuple(c=array([[ 2.9058525e-01, -6.4190120e-02,  2.1099538e-02, ...,\r\n",
      "         1.2917065e+01,  6.1692320e-02, -6.4636521e-02],\r\n",
      "       [-3.3665809e-01, -1.1567263e-01,  3.8904645e-02, ...,\r\n",
      "         6.6408529e+00, -2.3135290e-02, -3.5169488e-01],\r\n",
      "       [ 3.2099167e-01, -1.8768570e-01,  2.2576351e-02, ...,\r\n",
      "         1.2399168e+01,  2.5797585e-02, -4.9715883e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.5413406e-01, -4.5039717e-02, -3.8073051e-01, ...,\r\n",
      "         1.0442576e+01, -1.9545466e-02, -5.3751908e-02],\r\n",
      "       [ 2.2613154e-01, -6.2149521e-03, -4.6815678e-01, ...,\r\n",
      "         7.1405358e+00, -3.8160015e-02, -1.0567267e-01],\r\n",
      "       [ 4.9433175e-01, -1.0913692e-01, -1.4194666e-01, ...,\r\n",
      "         1.2835937e+01,  5.4240726e-02, -4.0823939e-01]], dtype=float32), h=array([[ 9.1877376e-04, -6.5127801e-04,  9.3012378e-03, ...,\r\n",
      "         3.0710367e-03,  5.1245820e-02, -5.9938622e-05],\r\n",
      "       [-5.9095554e-02, -1.5325262e-02,  3.1024350e-02, ...,\r\n",
      "         6.1813057e-03, -2.2990741e-02, -4.2425813e-03],\r\n",
      "       [ 2.1639159e-03, -2.1520955e-03,  1.3216776e-02, ...,\r\n",
      "         1.2509753e-03,  2.4902750e-02, -3.3644159e-04],\r\n",
      "       ...,\r\n",
      "       [ 3.0402339e-04, -2.7736404e-04, -3.0263826e-02, ...,\r\n",
      "         7.9018029e-04, -1.9317046e-02, -3.5713492e-05],\r\n",
      "       [ 9.5482683e-04, -6.3116189e-05, -4.9663339e-02, ...,\r\n",
      "         1.8329824e-03, -3.7777197e-02, -7.3853545e-05],\r\n",
      "       [ 1.6646580e-03, -1.4055251e-03, -9.3119711e-02, ...,\r\n",
      "         2.1966230e-03,  4.5987777e-02, -1.2360094e-03]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-2.2571309 ,  0.14156343, -0.20458454, ...,  0.15973616,\r\n",
      "         0.0197358 , -0.04883317],\r\n",
      "       [-2.9045615 ,  0.05264744, -0.15374228, ...,  0.22459957,\r\n",
      "         0.03702722,  0.14166334],\r\n",
      "       [-3.1006145 ,  0.11001108, -0.13462813, ...,  0.18813217,\r\n",
      "        -0.01097973, -0.18092735],\r\n",
      "       ...,\r\n",
      "       [-4.4947257 ,  0.16496223, -0.16213839, ...,  0.12712282,\r\n",
      "         0.02003948,  0.00598   ],\r\n",
      "       [-2.277853  ,  0.07661234, -0.11252682, ...,  0.15512742,\r\n",
      "         0.03728062, -0.18827793],\r\n",
      "       [-5.7533154 ,  0.16641366, -0.22430629, ...,  0.1833865 ,\r\n",
      "         0.02908097, -0.08733615]], dtype=float32), h=array([[-0.00826125,  0.04112143, -0.19326141, ...,  0.00195057,\r\n",
      "         0.00862106, -0.00962443],\r\n",
      "       [-0.00433708,  0.02019211, -0.14976138, ...,  0.00151373,\r\n",
      "         0.01721298,  0.02813544],\r\n",
      "       [-0.00588596,  0.03101622, -0.12793367, ...,  0.00233068,\r\n",
      "        -0.00472097, -0.03245386],\r\n",
      "       ...,\r\n",
      "       [-0.01002719,  0.04791834, -0.15154983, ...,  0.00198789,\r\n",
      "         0.00931903,  0.00080631],\r\n",
      "       [-0.03232105,  0.02179853, -0.10883672, ...,  0.00156511,\r\n",
      "         0.01827517, -0.02410188],\r\n",
      "       [-0.00537055,  0.04545021, -0.20917471, ...,  0.00269804,\r\n",
      "         0.01180537, -0.01577429]], dtype=float32)), LSTMStateTuple(c=array([[ 1.88568264e-01, -1.61726817e-01,  9.17715114e-03, ...,\r\n",
      "         9.41281033e+00, -3.68572250e-02, -1.23419404e-01],\r\n",
      "       [ 2.51696229e-01, -2.09329352e-01,  1.40860006e-02, ...,\r\n",
      "         1.04908791e+01,  1.23183113e-02, -1.00475870e-01],\r\n",
      "       [ 1.86272815e-01, -6.96259886e-02,  2.56798752e-02, ...,\r\n",
      "         9.98415470e+00, -1.82537101e-02, -1.06451184e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.81579787e-01, -4.68494631e-02, -4.02165711e-01, ...,\r\n",
      "         1.23318386e+01,  6.11876929e-03, -8.69125009e-01],\r\n",
      "       [ 1.36482030e-01, -1.86429933e-01,  7.27821048e-03, ...,\r\n",
      "         9.53204918e+00, -4.28196900e-02, -6.94378257e-01],\r\n",
      "       [ 2.56424665e-01, -1.62035212e-01,  7.12383864e-03, ...,\r\n",
      "         1.33061266e+01,  2.08032697e-01, -7.62898624e-01]], dtype=float32), h=array([[ 1.0844996e-03, -5.8832188e-04,  7.0535815e-03, ...,\r\n",
      "         1.4071012e-03, -3.6480580e-02, -2.1696769e-04],\r\n",
      "       [ 6.4749888e-04, -2.1887259e-03,  6.7929891e-03, ...,\r\n",
      "         1.5224898e-03,  1.2102366e-02, -6.4659427e-05],\r\n",
      "       [ 1.2842510e-03, -1.5010146e-03,  1.7115984e-02, ...,\r\n",
      "         2.5764497e-03, -1.7908936e-02, -7.7031419e-04],\r\n",
      "       ...,\r\n",
      "       [ 1.2791305e-03, -6.1734387e-04, -4.2800430e-02, ...,\r\n",
      "         2.5886032e-03,  5.6919288e-03, -6.8026461e-04],\r\n",
      "       [ 1.8259938e-03, -3.0092255e-03,  5.8772694e-03, ...,\r\n",
      "         1.3787223e-03, -4.2556323e-02, -7.5790111e-04],\r\n",
      "       [ 1.0703225e-03, -4.2844488e-04,  5.3575998e-03, ...,\r\n",
      "         1.0218566e-03,  6.4196534e-02, -1.3132937e-03]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-6.0513344 ,  0.20087086, -0.24353354, ...,  0.16579525,\r\n",
      "         0.05774089, -0.25946552],\r\n",
      "       [-2.408445  ,  0.09126196, -0.07071589, ...,  0.16463642,\r\n",
      "         0.02755272,  0.04202308],\r\n",
      "       [-3.6779096 ,  0.15447319, -0.07442424, ...,  0.17871948,\r\n",
      "         0.02440743,  0.09421079],\r\n",
      "       ...,\r\n",
      "       [-4.483579  ,  0.10424481, -0.13596334, ...,  0.17196345,\r\n",
      "         0.0271981 ,  0.1805135 ],\r\n",
      "       [-4.192303  ,  0.07884549, -0.1938375 , ...,  0.17254375,\r\n",
      "         0.0171215 ,  0.017362  ],\r\n",
      "       [-1.9054621 ,  0.14659178, -0.11591732, ...,  0.2681956 ,\r\n",
      "         0.04302943, -0.00994206]], dtype=float32), h=array([[-0.02207631,  0.04889024, -0.22800547, ...,  0.00178941,\r\n",
      "         0.02580598, -0.03332325],\r\n",
      "       [-0.00624166,  0.02683407, -0.06753933, ...,  0.00297736,\r\n",
      "         0.01125627,  0.00776805],\r\n",
      "       [-0.01399145,  0.04573444, -0.069828  , ...,  0.00191504,\r\n",
      "         0.01193295,  0.01090856],\r\n",
      "       ...,\r\n",
      "       [-0.03803223,  0.0319632 , -0.12790431, ...,  0.00290801,\r\n",
      "         0.01237683,  0.03530195],\r\n",
      "       [-0.01033928,  0.02683518, -0.18429622, ...,  0.00192684,\r\n",
      "         0.00746596,  0.00328144],\r\n",
      "       [-0.01010625,  0.03945972, -0.10983364, ...,  0.00464285,\r\n",
      "         0.01917908, -0.00162351]], dtype=float32)), LSTMStateTuple(c=array([[ 2.7568707e-01, -8.3095089e-02,  5.2434348e-02, ...,\r\n",
      "         1.3372929e+01,  1.7388768e-01, -4.3415207e-01],\r\n",
      "       [ 1.8426584e-01, -1.6848926e-01,  8.3805686e-03, ...,\r\n",
      "         7.6957245e+00, -4.5572218e-02, -1.5857866e-01],\r\n",
      "       [ 2.6078647e-01, -9.5935892e-03, -4.2018348e-01, ...,\r\n",
      "         1.0243207e+01, -7.3682666e-02, -4.5538169e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.6162153e-01, -1.0912167e-01,  9.6975137e-03, ...,\r\n",
      "         1.0280060e+01, -2.1919690e-02, -8.7953645e-01],\r\n",
      "       [ 3.8822591e-01, -2.1598364e-01,  1.2524243e-02, ...,\r\n",
      "         1.4469744e+01,  2.4610583e-01, -5.1800030e-01],\r\n",
      "       [ 1.7923743e-01, -4.5222457e-02,  2.0995371e-02, ...,\r\n",
      "         9.4215202e+00, -2.2626702e-02, -1.0281122e+00]], dtype=float32), h=array([[ 9.6507114e-04, -1.0789329e-03,  1.4039260e-02, ...,\r\n",
      "         1.2073439e-03,  2.6122911e-02, -4.1136243e-03],\r\n",
      "       [ 9.2068239e-04, -3.3549336e-04,  6.7502549e-03, ...,\r\n",
      "         1.0024656e-03, -4.5343835e-02, -1.1109364e-04],\r\n",
      "       [ 7.7579619e-04, -8.6565567e-05, -4.0786821e-02, ...,\r\n",
      "         1.4335206e-03, -7.2897382e-02, -3.3277430e-04],\r\n",
      "       ...,\r\n",
      "       [ 3.8222529e-03, -1.4913251e-03,  7.6302513e-03, ...,\r\n",
      "         1.2115258e-03, -2.1372728e-02, -6.1619090e-04],\r\n",
      "       [ 2.4342663e-03, -1.6491889e-03,  8.5968059e-03, ...,\r\n",
      "         2.7908008e-03,  5.4694280e-02, -6.8242318e-04],\r\n",
      "       [ 2.3385196e-03, -8.2147919e-04,  1.3942174e-02, ...,\r\n",
      "         1.7867320e-03, -2.2467246e-02, -3.1062036e-03]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.91303730e+00,  6.76224679e-02, -1.42618299e-01, ...,\r\n",
      "         1.66908130e-01,  1.56771541e-02, -4.06087097e-03],\r\n",
      "       [-2.56763101e+00,  8.45045894e-02, -1.34339169e-01, ...,\r\n",
      "         1.93496257e-01,  3.18120122e-02,  1.11389510e-01],\r\n",
      "       [-8.97230625e+00,  8.88757482e-02, -2.99588412e-01, ...,\r\n",
      "         1.52360976e-01, -1.65745877e-02,  4.16212119e-02],\r\n",
      "       ...,\r\n",
      "       [-8.26091170e-01,  9.69861746e-02, -2.13421658e-01, ...,\r\n",
      "         1.75293162e-01,  1.44073125e-02,  3.84746213e-03],\r\n",
      "       [-4.85173035e+00,  1.86714634e-01, -1.80443004e-01, ...,\r\n",
      "         1.20215856e-01,  1.71293672e-02, -1.33009627e-02],\r\n",
      "       [-1.24682868e+00,  1.87398404e-01, -3.16036306e-02, ...,\r\n",
      "         1.72867507e-01,  2.04626936e-02,  3.65209207e-02]], dtype=float32), h=array([[-0.01786268,  0.02273994, -0.133736  , ...,  0.00284442,\r\n",
      "         0.00783731, -0.00121829],\r\n",
      "       [-0.04054965,  0.0256567 , -0.12895744, ...,  0.0015122 ,\r\n",
      "         0.01611872,  0.01893855],\r\n",
      "       [-0.00806451,  0.02746337, -0.27574673, ...,  0.00153835,\r\n",
      "        -0.00842651,  0.00723242],\r\n",
      "       ...,\r\n",
      "       [-0.02550634,  0.02751749, -0.20195885, ...,  0.00193231,\r\n",
      "         0.00740519,  0.00084463],\r\n",
      "       [-0.00548009,  0.05597994, -0.16137049, ...,  0.00150419,\r\n",
      "         0.00891468, -0.00170031],\r\n",
      "       [-0.01202034,  0.04165725, -0.03058243, ...,  0.00200052,\r\n",
      "         0.00908914,  0.00403573]], dtype=float32)), LSTMStateTuple(c=array([[ 2.4658027e-01, -5.9594870e-02,  2.1170871e-02, ...,\r\n",
      "         1.1950881e+01,  1.3403498e-02, -8.2381243e-01],\r\n",
      "       [ 2.2732602e-01, -6.5652773e-02,  1.2155451e-02, ...,\r\n",
      "         1.1756282e+01,  1.9644104e-02, -1.0135527e+00],\r\n",
      "       [ 2.6954785e-01, -1.8482003e-01,  1.1613952e-02, ...,\r\n",
      "         1.2838938e+01,  1.9071054e-01, -1.7950650e-01],\r\n",
      "       ...,\r\n",
      "       [ 2.9602480e-01, -1.5158831e-01,  7.1269120e-03, ...,\r\n",
      "         1.1358835e+01,  2.3576962e-02, -8.5210466e-01],\r\n",
      "       [ 2.5081202e-01, -6.5307908e-02, -3.7914735e-01, ...,\r\n",
      "         1.2947463e+01,  8.1595242e-02, -6.9735223e-01],\r\n",
      "       [ 1.8945736e-01, -7.0261724e-02,  8.6723976e-03, ...,\r\n",
      "         4.6261954e+00, -4.9631089e-02, -1.0262907e-01]], dtype=float32), h=array([[ 0.00232611, -0.00098586,  0.01285651, ...,  0.00396618,\r\n",
      "         0.01314008, -0.00068557],\r\n",
      "       [ 0.00140582, -0.00094492,  0.00648594, ...,  0.00142572,\r\n",
      "         0.01820467, -0.00110098],\r\n",
      "       [ 0.00143571, -0.00321191,  0.00577882, ...,  0.00084715,\r\n",
      "         0.01804988, -0.00075556],\r\n",
      "       ...,\r\n",
      "       [ 0.00040624, -0.00069804,  0.00434555, ...,  0.00309315,\r\n",
      "         0.02298103, -0.0010006 ],\r\n",
      "       [ 0.0011929 , -0.00064242, -0.04595691, ...,  0.00198479,\r\n",
      "         0.05126642, -0.0002474 ],\r\n",
      "       [ 0.00108464, -0.00116115,  0.00530121, ...,  0.00198695,\r\n",
      "        -0.04903879, -0.00027755]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.42104435e+00,  8.39923695e-02, -1.45407096e-01, ...,\r\n",
      "         1.21544614e-01, -4.61533852e-03, -4.50238325e-02],\r\n",
      "       [-4.09395885e+00,  7.55387098e-02, -1.27608746e-01, ...,\r\n",
      "         1.69857830e-01, -1.71494484e-03, -9.01257992e-03],\r\n",
      "       [-2.90056968e+00,  1.46812469e-01, -8.11290219e-02, ...,\r\n",
      "         1.74915597e-01,  3.44105102e-02,  2.57897615e-01],\r\n",
      "       ...,\r\n",
      "       [-2.68437314e+00,  8.43088478e-02, -7.91626647e-02, ...,\r\n",
      "         2.57070810e-01, -2.23136079e-02,  1.48622692e-01],\r\n",
      "       [-8.41299534e+00,  6.94899857e-02, -2.74832994e-01, ...,\r\n",
      "         1.82520345e-01,  1.56759284e-02,  1.53607293e-03],\r\n",
      "       [-8.18614006e+00,  8.99932235e-02, -2.10733220e-01, ...,\r\n",
      "         1.68073118e-01, -2.03534402e-03,  1.24214843e-01]], dtype=float32), h=array([[-0.00810627,  0.03181997, -0.14190367, ...,  0.00153068,\r\n",
      "        -0.00200258, -0.00951638],\r\n",
      "       [-0.01674758,  0.02215734, -0.12268761, ...,  0.00103166,\r\n",
      "        -0.00086839, -0.00170791],\r\n",
      "       [-0.03452778,  0.0392707 , -0.07780287, ...,  0.00257955,\r\n",
      "         0.01506347,  0.04802841],\r\n",
      "       ...,\r\n",
      "       [-0.02124365,  0.02645015, -0.07657465, ...,  0.0015565 ,\r\n",
      "        -0.01089272,  0.02033125],\r\n",
      "       [-0.00916697,  0.02479246, -0.24672638, ...,  0.00184831,\r\n",
      "         0.00827491,  0.00037861],\r\n",
      "       [-0.00733392,  0.02250445, -0.20009276, ...,  0.00145762,\r\n",
      "        -0.00085894,  0.02200083]], dtype=float32)), LSTMStateTuple(c=array([[ 3.96177769e-01, -1.43832877e-01,  1.21477554e-02, ...,\r\n",
      "         1.32885923e+01,  5.41843474e-02, -1.17204845e-01],\r\n",
      "       [ 2.85339504e-01, -1.18854687e-01,  1.43996663e-02, ...,\r\n",
      "         9.80507851e+00, -1.98712721e-02, -5.31109095e-01],\r\n",
      "       [ 3.61777157e-01, -1.72440544e-01,  1.40656941e-02, ...,\r\n",
      "         1.04588938e+01, -9.25421435e-03, -7.80972481e-01],\r\n",
      "       ...,\r\n",
      "       [ 8.66759717e-02, -1.28672332e-01,  2.53162906e-02, ...,\r\n",
      "         7.02874660e+00, -6.23732880e-02, -5.94571471e-01],\r\n",
      "       [ 3.97723436e-01, -1.41453579e-01,  1.33648198e-02, ...,\r\n",
      "         1.42870865e+01,  3.84279460e-01, -5.14329135e-01],\r\n",
      "       [ 3.18700135e-01, -1.42046049e-01,  4.89151664e-03, ...,\r\n",
      "         1.38711348e+01,  3.43287647e-01, -7.26378202e-01]], dtype=float32), h=array([[ 2.8747713e-04, -5.8260042e-04,  5.1078438e-03, ...,\r\n",
      "         9.9457405e-04,  4.3712609e-02, -2.6284604e-05],\r\n",
      "       [ 1.4321450e-03, -1.3453842e-03,  1.1834127e-02, ...,\r\n",
      "         1.2655172e-03, -1.9682618e-02, -3.1794247e-04],\r\n",
      "       [ 2.8235407e-03, -2.1436571e-03,  1.0955960e-02, ...,\r\n",
      "         1.7588633e-03, -9.1324635e-03, -1.4330490e-03],\r\n",
      "       ...,\r\n",
      "       [ 4.5724105e-04, -1.6257325e-03,  1.0752182e-02, ...,\r\n",
      "         2.1795405e-03, -6.1816499e-02, -3.4708844e-04],\r\n",
      "       [ 1.4293304e-03, -9.6921826e-04,  6.0661384e-03, ...,\r\n",
      "         4.3414440e-03,  4.1013442e-02, -2.0727434e-04],\r\n",
      "       [ 1.2390647e-03, -2.4614634e-03,  3.4022187e-03, ...,\r\n",
      "         2.1487132e-03,  3.5062928e-02, -1.3032848e-03]], dtype=float32)))]\r\n",
      "[(LSTMStateTuple(c=array([[-4.00079489e+00,  8.89672413e-02, -6.96624443e-02, ...,\r\n",
      "         2.02618048e-01, -4.85673994e-02, -4.81143594e-02],\r\n",
      "       [-3.29359627e+00,  5.08516766e-02, -7.01327920e-02, ...,\r\n",
      "         1.43201262e-01,  2.13907696e-02,  2.96931323e-02],\r\n",
      "       [-8.55691147e+00,  1.83746427e-01, -1.17055856e-01, ...,\r\n",
      "         1.44310266e-01,  7.97405746e-03,  5.21145463e-02],\r\n",
      "       ...,\r\n",
      "       [-3.60827208e+00,  9.25220773e-02, -1.29996866e-01, ...,\r\n",
      "         1.45899177e-01, -2.43817177e-03, -1.26892298e-01],\r\n",
      "       [-6.97042704e+00,  9.91622806e-02, -2.04232022e-01, ...,\r\n",
      "         2.14042023e-01, -1.96183100e-04,  1.10671282e-01],\r\n",
      "       [-7.78237772e+00,  1.51110619e-01, -1.97940797e-01, ...,\r\n",
      "         1.40674248e-01,  1.65185612e-02,  1.51489237e-02]], dtype=float32), h=array([[-1.7706765e-02,  3.0306263e-02, -6.7750111e-02, ...,\r\n",
      "         2.2088005e-03, -2.2511290e-02, -8.8293888e-03],\r\n",
      "       [-3.2197207e-02,  1.5629761e-02, -6.7108862e-02, ...,\r\n",
      "         1.1241772e-03,  1.0228287e-02,  5.3129932e-03],\r\n",
      "       [-3.0078597e-03,  4.9369901e-02, -1.1394320e-01, ...,\r\n",
      "         1.5079704e-03,  3.4081030e-03,  6.4262571e-03],\r\n",
      "       ...,\r\n",
      "       [-4.3134686e-02,  2.6995745e-02, -1.2615404e-01, ...,\r\n",
      "         1.0831413e-03, -1.1788202e-03, -1.7359706e-02],\r\n",
      "       [-1.2440524e-02,  3.0639498e-02, -1.9258386e-01, ...,\r\n",
      "         2.3534212e-03, -8.6915548e-05,  1.9288348e-02],\r\n",
      "       [-7.6164771e-03,  4.2623952e-02, -1.8083806e-01, ...,\r\n",
      "         1.4549817e-03,  7.5392118e-03,  2.4282308e-03]], dtype=float32)), LSTMStateTuple(c=array([[ 2.4936080e-01, -1.0408009e-01,  1.2670923e-02, ...,\r\n",
      "         9.3845520e+00, -2.4230795e-02, -2.4551272e-01],\r\n",
      "       [ 1.1091745e-01, -4.6092931e-02,  1.0609088e-02, ...,\r\n",
      "         7.7984676e+00, -5.0511986e-02, -6.4296371e-01],\r\n",
      "       [ 2.5933054e-01, -1.0603077e-01,  2.5221201e-02, ...,\r\n",
      "         1.3517083e+01,  7.6616824e-02, -5.7276016e-01],\r\n",
      "       ...,\r\n",
      "       [ 3.6179981e-01, -8.0855168e-02,  2.0800609e-02, ...,\r\n",
      "         1.2400982e+01,  2.4455233e-02, -5.4725802e-01],\r\n",
      "       [ 3.4363469e-01, -1.4238828e-01,  3.3879871e-03, ...,\r\n",
      "         1.3097784e+01,  3.6885503e-01, -1.9339344e-01],\r\n",
      "       [ 2.9705185e-01, -7.0113704e-02,  1.1886755e-02, ...,\r\n",
      "         1.2506489e+01,  1.8081462e-01, -9.0763003e-01]], dtype=float32), h=array([[ 0.00085376, -0.00106712,  0.00884264, ...,  0.00092498,\r\n",
      "        -0.02405488, -0.00060924],\r\n",
      "       [ 0.00071507, -0.00039505,  0.00548481, ...,  0.00062684,\r\n",
      "        -0.05018334, -0.00025344],\r\n",
      "       [ 0.00410604, -0.00288392,  0.01329303, ...,  0.00223167,\r\n",
      "         0.05480387, -0.00042055],\r\n",
      "       ...,\r\n",
      "       [ 0.00195959, -0.00138157,  0.01650753, ...,  0.00148694,\r\n",
      "         0.02391478, -0.001041  ],\r\n",
      "       [ 0.00065207, -0.00088319,  0.00234654, ...,  0.00143424,\r\n",
      "         0.02412597, -0.00022717],\r\n",
      "       [ 0.00327406, -0.00114247,  0.00585495, ...,  0.00223146,\r\n",
      "         0.05320157, -0.00038982]], dtype=float32)))]\r\n",
      "  done, num sentences 1504, num translations per input 1, time 15s, Fri Dec 14 11:34:00 2018.\r\n"
     ]
    }
   ],
   "source": [
    "! cat ./text/cove_output.txt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Classification (Compare CoVe and GloVe)\n",
    "\n",
    "training loss:\n",
    "<img src=\"./images/bcn_loss.png\" alt=\"Alt text that describes the graphic\" title=\"training loss\" />\n",
    "\n",
    "accuracy:\n",
    "<img src=\"./images/bcn_accuracy.png\" alt=\"Alt text that describes the graphic\" title=\"training loss\" />\n",
    "\n",
    "F1-score:\n",
    "<img src=\"./images/bcn_f1.png\" alt=\"Alt text that describes the graphic\" title=\"training loss\" />\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Question Answering (Compare GloVe and CoVe)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "training loss: Development set loss on our GloVe (light blue) and GloVe+CoVe model (dark blue) at SQuAd dataset \n",
    "<img src=\"./images/dcn_loss.png\" alt=\"Alt text that describes the graphic\" title=\"training loss\" />\n",
    "\n",
    "F1-score of our best model:\n",
    "<img src=\"./images/dcn_f1.png\" alt=\"Alt text that describes the graphic\" title=\"training loss\" />"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}