RNN

Recurrent Neural Networls (RNNs) sind eine leistungsfähige und weit verbreitete Klasse neuronaler Netzwerkarchitekturen zur Modellierung von Sequenzdaten. Die Grundidee hinter RNN-Modellen ist, dass jedes neue Element in der Sequenz neue Informationen liefert, die den aktuellen Zustand des Modells aktualisieren.


Die Bedeutung von Sequenzdaten

Ein immens wichtiger und nützlicher Strukturtyp ist die sequentielle Struktur.

Diese fundamentale Struktur wird in vielen Datensätzen und in allen Bereichen verwendet.
  • In der Computer Vision ist Video eine Folge von visuellen Inhalten, die sich im Laufe der Zeit entwickeln
  • In der Sprache haben wir Audio-Signale
  • in genomischen Gensequenzen
  • In der Krankenpflege haben wir longitudinale Aufzeichnungen
  • in Aktien-Märkten Finanzdaten

Anwendungsfälle

NLP

Eine interessante Anwendung ist National-Languange-Processing (NLP). Es gibt viele Beispiele im Internet, bei denen RNNs für die Sprachmodellierung verwendet werden. Diese Sprachmodelle können beispielsweise eine große Menge von Shakespeare-Gedichten aufnehmen und nach dem Training dieser Modelle können sie ihre eigenen Shakespeare-Gedichte erzeugen, die sehr schwer von Originalen zu unterscheiden sind!

PANDARUS:
Alas, I think he shall be come approached and the day
When little srain would be attain'd into being never fed,
And who is but a chain and subjects of his death,
I should not sleep.

Second Senator:
They are away this miseries, produced upon my soul,
Breaking and strongly should be buried, when I perish
The earth and thoughts of many states.

DUKE VINCENTIO:
Well, your wit is in the care of side and that.

Second Lord:
They would be ruled after this chamber, and
my fair nues begun out of the fact, to be conveyed,
Whose noble souls I'll have the heart of the wars.

Clown:
Come, sir, I will make did behold your worship.

VIOLA:
I'll drink it.
 

Maschinenübersetzungen

Eine weitere erstaunliche Anwendung von RNNs ist die maschinelle Übersetzung. Zwei gleichzeitig trainierte RNNs werden verwendet. Im Netzwerk sind der Input Paare von Sätzen in verschiedenen Sprachen. Man kann das Netz mit einem englischen Satz gepaart mit der französischen Übersetzung trainieren. Mit einer ausreichend großen Menge an Trainingsdaten kann man dem Netzwerk einen englischen Satz geben und er wird ins Französische übersetzt. Dieses Modell wird "Sequence-2-Sequence Modell" oder "Encoder-Decoder Modell" genannt.