Hartung-Gorre Verlag
Inh.: Dr.
Renate Gorre D-78465
Konstanz Fon:
+49 (0)7533 97227 Fax: +49 (0)7533 97228 www.hartung-gorre.de
|
S
|
Series in Signal and Information Processing, Vol. 28
edited by Hans-Andrea Loeliger
Sarah
Neff
A New Approach to Information Processing with Filters
and Pulses
1. Auflage/1st edition 2016. XIV, 148 Seiten/pages,
€ 64,00.
ISBN
978-3-86628-575-0
This thesis presents a hierarchical network for the analysis of
structured, complex time signals.
This network can be viewed as a new kind of artificial neural network working with
time signals, without extra synchronization. It consists of multiple layers of
feature-detection filters. We focus on pulse-domain processing, where we define
an inner-product filter, looking for some pulse pattern in its input signal.
The filters work by projecting the input into a one-dimensional subspace, and
producing a pulse if the projection exceeds some threshold. They can be
implemented efficiently using simple, forward only recursions. Among other
models, the filters can be built with biologically plausible neurons. We
demonstrate that inner-product filters work well with pulse-domain signals, by
implementing two examples of networks for Morse code parsing. We also show how
learning can be done in such networks. We first propose algorithms for
supervised learning. Their main ingredient is a new type of backpropagation,
where starting on the highest layer, “good” pulse positions for the
intermediate layers are recursively defined and used in the cost function. We
evaluate the performance of the algorithm with examples of 3 and 4-layer
networks, which can distinguish 20 piano tunes. We conclude the topic with
proposals for unsupervised learning.
Finally, we broaden the framework by introducing loops, and emphasize the
potential of such a recurrent network.
Keywords: State-space model; factor graph; Artificial Neural Network; hierarchical
feature-detection filters; pulse-domain signal processing; inner-product
filter; gradient descent; Expectation Maximization.
Kurzfassung in Deutsch (das Buch ist in Englisch geschrieben)
Diese Dissertation
beschreibt ein hierarchisches Netzwerk für die Analyse strukturierter,
komplexer Zeitsignalen.
Das Netzwerk kann als ein
neues künstliches neuronales Netzwerk betrachtet werden, das ohne externe
Synchronisation mit Zeitsignalen umgehen kann. Es besteht aus mehreren
Schichten von “Feature-Detection-Filtern” (Filter, die Features aus einem
Signal erkennen). Da ausschliesslich die Verarbeitung
von Pulssignalen betrachtet wird, dient das Innenprodukt-Filter, das nach einem
bestimmten Pulsmuster in seinem Einganssignal sucht, als Feature-Detection-Filter.
Das Filter beruht auf der Projektion des Einganssignals
auf einen eindimensionalen Unterraum: Falls die Projektion grösser
als eine Schwelle ist, wird ein Puls erzeugt. Ein solches Filter kann durch
einfache Vorwärtsrekursionen effizient implementiert und unter anderem mit
biologisch plausiblen Neuronen gebaut werden. Zwei Netzwerke, die von Hand
aufgebaut wurden um Morse Code zu parsen, dienen als
Beispiel dafür, dass die Verarbeitung von Pulssignalen mit Innenprodukt-Filtern
gut funktioniert. Es wird auch aufgezeigt, wie die Parameter solcher Netzwerke
gelernt werden können. Zuerst werden Algorithmen für Supervised Learning
vorgeschlagen, die hauptsächlich auf einer neuen Backpropagation-Regel beruhen.
Bei dieser Regel werden, ausgehend vom höchsten Layer, gute Positionen für
Pulse in den unteren Layers definiert und in der Kostenfunktion eingebaut. Die
Algorithmen werden anhand von Netzwerken untersucht, die 20 unterschiedliche
Klaviermelodien erkennen können. Das Thema wird mit Vorschlägen für Unsupervised Learning
abgeschlossen.
Letztendlich wird das Framework erweitert, indem Schleifen eingeführt werden. Das
Potential solcher rekurrenten Netzwerke wird
unterstrichen
Stichworte: Zustandsraummodell;
Faktorgraf; Künstliches Neuronales Netzwerk; hierarchisches Feature-Detection-Filter;
Signalverarbeitung mit Pulsen; Innenprodukt-Filter; Gradientenverfahren;
Expectation Maximization.
Series / Reihe "Series in Signal and Information Processing" im Hartung-Gorre Verlag
Direkt bestellen bei / to order directly from