Advertisement

Assoziativspeicherung in Neuronalen Netzen

  • Jürgen Faißt
Chapter
  • 30 Downloads
Part of the Schriften zur Quantitativen Betriebswirtschaftslehre book series (QUANTITATIVE, volume 6)

Zusammenfassung

In Kapitel 1 wurde untersucht, wie hierarchisch strukturierte Entscheidungssysteme aufgebaut sind. Es wurde gezeigt, daß man hierarchische Systeme in einzelne Entscheidungsstufen zerlegen kann, vorausgesetzt jede Entscheidungsstufe besitzt Informationen über die Konsequenzen ihrer Entscheidungen auf Folgestufen.

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  1. 1.
    Vgl. die Ausführungen zur Erklärungsaufgabe einer empirischen Wissenschaft in SCHNEEWEISS, Planung Bd.2, a.a.O., S.239ff.Google Scholar
  2. 2.
    Ebenda, S.232.Google Scholar
  3. 3.
    Ebenda, S.241.Google Scholar
  4. 4.
    Vgl. WERNER/SCHABACK, Praktische Mathematik II, Methoden der Analysis, Berlin et al. 1972, S.87ff.Google Scholar
  5. 5.
    Vgl. WERNER/SCHABACK, Praktische Mathematik II, Methoden der Analysis, a.a.O., S.121ff.Google Scholar
  6. 6.
    Ebenda, S.155ff.Google Scholar
  7. 7.
    Als Beispiel seien die sog. B-Splines genannt. Vgl. DE BOOR, A Practical Guide to Splines, New York 1978.CrossRefGoogle Scholar
  8. 8.
    Einen umfassenden Überblick über statistische Verfahren zur Behandlung fehlerbehafteter Daten vermittelt SCHNEEWEISS/MITTAG, Lineare Modelle mit fehlerbehafteten Daten, Heidelberg, Wien 1986.Google Scholar
  9. 9.
    Diese Vorgehensweise zur sog. Mustererkennung bezeichnet man als überwachtes Lernen, Lernen mit Lehrer oder Lernen mit Unterweisung. Google Scholar
  10. 10.
    Eine umfassende Darstellung der Theorie Neuronaler Netze findet man in: RUMELHART/McCLELLAND, Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1 and 2, Cambridge Massachusetts 1986.Google Scholar
  11. 11.
    Vgl. Stone, An Analysis of the Delta Rule and the Learning of Statistical Associations, in: RUMELHART/McCLELLAND, Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 1, a.a.O.Google Scholar
  12. 12.
    Vgl. z.B. HRUSCHKA, Einsatz künstlicher Neuronaler Netzwerke zur Datenanalyse im Marketing, in: Marketing ZFP, Heft 4, IV. Quartal 1991.Google Scholar
  13. 13.
    Die Assoziativspeichereigenschaften Neuronaler Netze werden gegen Ende des Kapitels noch einmal genauer beleuchtet (s.S. 140).Google Scholar
  14. 14.
    Hebb, Organization of Behavior, New York 1949.Google Scholar
  15. 15.
    Von Perzeption [lat.]: Sinnliche Wahrnehmung als erste Stufe zur Erkenntnis.Google Scholar
  16. 16.
    ROSENBLATT, The perceptron: a probabilistic model for information storage and organization in the brain, in: Psychological Review 65 (1958), S.386–408.Google Scholar
  17. 17.
    Siehe S. 115.Google Scholar
  18. 18.
    Vgl. MINSKY/PAPERT, Perceptrons, 3. Aufl., Cambridge 1988; den Beweis findet man auch in RITTER et al., Neuronale Netze, 2. Aufl., Bonn u.a. 1991, S.30.Google Scholar
  19. 19.
    Man nennt die ‘Exklusiv Oder’-Funktion auch XOR- oder Parity-2-Funktion.Google Scholar
  20. 20.
    Vgl. SCHMITTER, Neuronale Netze, Holzkirchen 1991, S.18.Google Scholar
  21. 21.
    Vgl. MINSKY/PAPERT, Perceptrons, a.a.O.Google Scholar
  22. 22.
    WERBOS, Beyond Regression: New Tools for Prediction and Analyses in Behavior Science, zitiert in: RITTER et al., Neuronale Netze, a.a.O.Google Scholar
  23. 23.
    RUMELHART et al., Learning Internal Representations by Error Propagation, in: RUMELHART/McCLELLAND (Eds.), Parallel Distributed Processing, Volume 1: Foundations, a.a.O., S.318–362.Google Scholar
  24. 24.
    Bzgl. Definition und Eigenschaften der logistischen Funktion siehe S. 113.Google Scholar
  25. 25.
    Innere Schichten werden oft als ‘hidden layers’ und die darin enthaltenen Neuronen als ‘hidden units’ bezeichnet.Google Scholar
  26. 26.
    WERBOS, Beyond Regression: New Tools for Prediction and Analyses in Behavior Science, zitiert in: RITTER et al., Neuronale Netze, a.a.O.Google Scholar
  27. 27.
    RUMELHART et al., Learning Internal Representations by Error Propagation, a.a.O.Google Scholar
  28. 28.
    Vgl. Gleichung (4.8) S.l 18.Google Scholar
  29. 29.
    Vgl. JACOBS, Increased rates of convergence through learning rate adaptation, in: Neural Networks 1(1988), S.295–307.Google Scholar
  30. 30.
    Vgl. die Ausführungen zur linearen Separabilität S. 119.Google Scholar
  31. 31.
    SCHMITTER, Neuronale Netze, a.a.O., S.53.Google Scholar
  32. 32.
    Zum Begriff der Orthogonalität und der Erzeugung von Orthogonalsystemen vgl. KOWALSKY, Lineare Algebra, Berlin, New York 1972, S. 122–127.Google Scholar
  33. 33.
    Als Beispiel für solches Pre-Processing mit anschließender Vernachlässigung der inneren Schicht kann man die Functional-Link-Nets von Y.H. PAO sehen. Näheres zu diesem Netztyp im nächsten Abschnitt oder in PAO, Adaptive Pattern Recognition and Neural Networks, Massachusetts u.a. 1988, S.197ff bzw. PAO, Functional Link Nets: Removing Hidden Layers, in: AI Expert, April 1989, S.60ff.Google Scholar
  34. 34.
    Siehe S. 113.Google Scholar
  35. 35.
    ANMERKUNG: Die Initialwerte müssen voneinander verschieden sein. WärenGoogle Scholar
  36. alle Initialwerte identisch, so hätten aufgrund der entstehenden Symmetrie alle Neuronen dieselbe Aktivität und folglich auch denselben Fehler. Damit würden aber alle Gewichte wieder um den gleichen Betrag geändert.Google Scholar
  37. 36.
    Diese Aussage gilt insbesondere im Vergleich zu den ebenfalls getesteten Kohonen Feature Maps. Vgl. hierzu den Exkurs zu selbstorganisierenden Netzen am Ende dieses Kapitels.Google Scholar
  38. 37.
    Der Beweis wird von HORNIK et al. auf der Basis des Stone-Weierstraß-Theorems geführt. Vgl. HORNIK et al., Multilayer Feedforward Networks are Universal Approximators, in: Neural Networks, Vol.2 (1989), S.359–366.Google Scholar
  39. 38.
    Vgl. ASH, Dynamic Node Creation in Backpropagation Networks, in: Connection Science, Vol.1, No.4, 1989, S.365–375.Google Scholar
  40. 39.
    Vgl. HORNIK et al., Multilayer Feedforward Networks are Universal Approximators, in: Neural Networks, Vol.2 (1989), S.359–366.Google Scholar
  41. 40.
    Vgl. RUMELHART et al., Learning Internal Representations by Error Propagation, a.a.O.Google Scholar
  42. 41.
    DURBIN/RUMELHART, Product Units: A Computationally Powerful and Biologically Plausible Extension to Backpropagation Networks, in: Neural Computation, Vol. 1 (1989), S. 133–142.Google Scholar
  43. 42.
    Vgl. PAO, Adaptive Pattern Recognition and Neural Networks, a.a.O., S.197ff bzw. Pao, Functional Link Nets: Removing Hidden Layers, in: AI Expert, April 1989, S.60ff.Google Scholar
  44. 43.
    Vgl. die Ausführungen zu linearer Separabilität in Abschnitt 4.2.2.Google Scholar
  45. 44.
    Vgl. die Ausführungen auf S. 128Google Scholar
  46. 45.
    Zur Multiplen Linearen Regressionsanalyse vgl. Schneeweiss, Ökonometrie, Heidelberg 1990.Google Scholar
  47. 46.
    Vgl. auch STONE, An Analysis of the Delta Rule and the Learning of Statistical Associations, a.a.O.Google Scholar
  48. 47.
    Vgl. die Ausführungen zu Functional Link Nets S.132.Google Scholar
  49. 48.
    Siehe S.132.Google Scholar
  50. 49.
    Vgl. die Ausführungen S. 131.Google Scholar
  51. 50.
    Einen entsprechenden Vergleich enthält der Exkurs in Kapitel 5.Google Scholar
  52. 51.
    Vgl. z.B. HRUSCHKA, Einsatz künstlicher Neuronaler Netzwerke zur Datenanalyse im Marketing, in: Marketing ZFP, Heft4, IV. Quartal 1991.Google Scholar
  53. 52.
    SCHNEIDER (Hrsg.), Lexikon der Informatik und Datenverarbeitung, München u.a. 1986, S.41.Google Scholar
  54. 53.
    MERTENS, (Hrsg.), Lexikon der Wirtschaftsinformatik, Berlin u.a. 1987, S.38f.Google Scholar
  55. 54.
    Das Beispiel läßt sich auch auf die assoziative Speicherung mehrerer Vektoren erweitern. Allerdings verursachen dann die Konstanten c zu den einzelnen Vektoren Störtterme. Diese lassen sich jedoch in iterativen Prozeduren mit nicht-linearen Verarbeitungsschritten beseitigen. Vgl. hierzu MARTINI, Grundlagen der assoziativen Speicherung, Mannheim u.a. 1990, S.6–16.Google Scholar
  56. 55.
    Vgl. TRIPPI/TURBAN, Parallel Processing and OR/MS, in: Computers Ops. Res., Vol.18, No.2 (1991), S.199–210.Google Scholar
  57. 56.
    Vgl. KOHONEN, Self-Organization and Associative Memory, 3. Aufl., Hei-Google Scholar
  58. delberg 1990.Google Scholar
  59. 57.
    RITTER et al., Neuronale Netze, a.a.O., S.19.Google Scholar
  60. 58.
    Vgl. KOHONEN, Self-organized Formation of Topologically Correct Feature Maps, in: Biological Cybernetics 43(1982), S.59–69 und KOHONEN, Analysis of a Simple Self-organizing Process, in: Biological Cybernetics 44(1982), S. 135–140.Google Scholar
  61. 59.
    Wie noch zu sehen sein wird, richten sich die Synapsenvektoren auf bestimmte Eingangssignale aus. Ist die Intensität der Eingangssignale identisch, so ist deshalb zumindest nach erfolgreichem Lernen die Gesamtsynap-senstärke der Neuronen (ungefähr) gleich dieser Eingangsintensität.Google Scholar
  62. 60.
    Siehe Gleichung (4.5) S. 115.Google Scholar
  63. 61.
    ANGéNIOL et al., Self-Organizing Feature Maps and the Travelling Salesman Problem, in: Neural Networks, Vol. 1 (1988), S.289–293.Google Scholar
  64. 62.
    Weitere Lösungsansätze zum Travelling Salesman Problem mittels Neuronaler Netze finden sich in: HOPFIELD/TANK, “Neural” Computation of Decisions in Optimization Problems, in: Biol. Cybern., Vol.52 (1985), S. 141–152;Google Scholar
  65. 62a.
    DURBIN/WILLSHAW, An analogue approach to the travelling salesman problem using an elastic net method, in: Nature 326 (1987), S.689–691;Google Scholar
  66. 62b.
    AARTS/KORST, Simulated Annealing and Boltzmann Machines, Chichester et al. 1989, S.79, S. 165; PETERSON, Parallel Distributed Approaches to Combinatorial Optimization: Benchmark Studies on Traveling Salesman Problem, in: Neural Computation 2(1990), S.261–269.Google Scholar
  67. 63.
    Ein hübsches Beispiel hierzu wird in dem Aufsatz von Mükkulainen, Script Recognition with Hierarchical Feature Maps, in: Connection Science, Vol.2 (1990), S.83–101, dargestellt.Google Scholar
  68. 64.
    KOHONEN, Self-Organization and Associative Memory, a.a.O.Google Scholar
  69. 65.
    Siehe Abschnitt 4.4.2.Google Scholar
  70. 66.
    Siehe Gleichung (4.28) S. 150.Google Scholar
  71. 67.
    Vgl. den Test von Backpropagation-Netzen in Abschnitt 4.2.4.Google Scholar
  72. 68.
    Anmerkung: Ebenso wie beim Versuch mit Backpropagation-Netzen wurde keinerlei a priori Information in die Netzstruktur bzw. in den Lernalgorithmus aufgenommen, da die Form der später zu approximierenden Kostenfunktionen auch nicht bekannt sein wird. Hätte man im vorliegenden Fall von vorneherein gewußt, daß nur zwei Funktionswerte möglich sind, so hätte man das Netz wesentlich effektiver aufgebaut. Beispielsweise hätte man eine Neuronenkette wählen können, die aus lediglich 3 Neuronen besteht. Dann hätte der Selbst-organisationsprozeß den 3 Neuronen vermutlich die Inputbereiche [0 ; 0,45], [0,45 ; 0,55] und [0,55 ; 1] zugeordnet und damit eine sehr akkurate Abbildung gefunden.Google Scholar
  73. 69.
    Vgl. Abb.4.8S.131.Google Scholar
  74. 70.
    Vgl. die Anwendungen in RITTER et al., Neuronale Netze, a.a.O., Kap.IV.Google Scholar

Copyright information

© Physica-Verlag Heidelberg 1993

Authors and Affiliations

  • Jürgen Faißt
    • 1
  1. 1.Lehrstuhl für Allgemeine Betriebswirtschaftslehre und Unternehmensforschung SchloßUniversität MannheimMannheim 1Deutschland

Personalised recommendations