Skip to main content
SpringerLink
Log in
Book cover

Erfassen, Verarbeiten und Zuordnen multivariater Messgrößen pp 17–35Cite as

Methoden des maschinellen Lernens

  • Chapter
  • First Online:

  • 3702 Accesses

Zusammenfassung

Dieses Kapitel dient dazu, die Freiheitsgrade der Trainingsphase für die in Abschn. 1.6 zusammengestellten notwendigen Eigenschaften mit Bezug auf systemtheoretische Überlegungen im anwendungsrelevanten Umfeld zu definieren. Auf dieser Grundlage werden zum Anforderungsprofil, im Besonderen zum Komplexitätsgrad, passende Methoden maschinellen Lernens genannt und die Verarbeitungsstruktur als modularisiertes KNN der klassischen Form gegenübergestellt.

This is a preview of subscription content, log in via an institution.

Chapter
USD   29.95
Price excludes VAT (USA)
  • Available as PDF
  • Read on any device
  • Instant download
  • Own it forever
eBook
USD   69.99
Price excludes VAT (USA)
  • Available as EPUB and PDF
  • Read on any device
  • Instant download
  • Own it forever

Tax calculation will be finalised at checkout

Purchases are for personal use only

Learn about institutional subscriptions

Notes

  1. 1.

    Siehe Fehlerrückführungsverfahren in [31].

  2. 2.

    Siehe z. B. Kohonens topologieerhaltende Karten [62].

  3. 3.

    Definition des Lernens nach Haykin [24]: ,,Lernen ist ein Vorgang, bei dem die freien Parameter eines neuronalen Netzes nach bestimmten Regeln adaptiert werden, wobei laufend Eingabedaten (sogenannte Trainingsdaten) von außen an die Eingabeschicht des Netzes angelegt werden.“

  4. 4.

    Selbstorganisation und technologischer Fortschritt [46, Abschn. 5.3].

  5. 5.

    Das Wechselspiel von positiver und negativer Rückkopplung beeinflusst die Entwicklung eines Systems.

  6. 6.

    Siehe Anhang K.7, MICMAC-Methode.

  7. 7.

    In [14, 9, 21, 36] werden wesentliche Fragestellungen bezüglich der Freiheitsgrade und der Struktur von KNN für technische Anwendungen ausführlich diskutiert.

  8. 8.

    Siehe Abschn. 2.3, Stabilität und Plastizität.

  9. 9.

    Siehe Anhang D, Übersicht KNN.

  10. 10.

    Siehe Abschn. K.7, Methoden maschinellen Lernens.

  11. 11.

    Siehe Abschn. 2.6, Stützvektormethoden.

  12. 12.

    Eine Übersicht zu den wichtigsten Dimensionsreduktionsmethoden befindet sich in Tab. 10.2 und D.2.

  13. 13.

    Die Transformation auf ein Basissystem von Eigenvektoren liefert maximale Informationserhaltung für Eingabedaten bei linearen Systemen. Siehe dazu Abschn. 10.4.

  14. 14.

    Mannigfaltigkeit: Verallgemeinerung des Flächenbegriffs [7, S. 801].

  15. 15.

    Eine von ihm entworfene Methode, Kernelized Linear Embedding, wird dort vorgestellt.

  16. 16.

    Wenn keine Neuinformation mehr vorliegt.

  17. 17.

    Im Anhang D aufgeführte KNN.

  18. 18.

    ,,…hartes Wettbewerbslernen, …weiches Wettbewerbslernen ohne feste Netzwerkdimension…“ [16, Kap. 7, …, 9].

  19. 19.

    Approximation mit Zentrumsfunktionen [62, S. 230].

  20. 20.

    Der Regularisierungsterm bestimmt die Größe der rezeptiven Felder [8, S. 29].

  21. 21.

    RBF-Netze, ein universelles Berechnungsparadigma [8, S. 28].

  22. 22.

    Im Zusammenhang mit SVM und VNN zeigt sich, dass die Verwendung einer Gauß-Funktion als Kernfunktion eine SVM ergibt, die einem RBF-Netzwerk sehr ähnlich ist, jedoch mit dem Vorteil, dass die Positionen der Zentren und die Gewichte zu den Ausgabeeinheiten automatisch bestimmt werden.

  23. 23.

    Verfahren zur Minimierung von Netzen [62, Kap. 25].

  24. 24.

    ,,Eine Menge von Trainingsdaten sollte nur dann auf mehrere Netze aufgeteilt werden, wenn ein Gesamtnetz aufgrund von zu hoher Komplexität im Speicher und/oder Rechenzeit nicht realisierbar ist. Die Aufteilung sollte dabei Häufungen in den Trainingsdaten folgen“ [56, S. 83].

  25. 25.

    ,,Es hat trotz seiner Namensverwandtschaft keine Ähnlichkeit mit einer Fehlerrückführung (backpropagation) oder dem Fehlerrückführungsverfahren, sondern setzt sich aus einer Grossberg-Schicht und einer Kohonen-Schicht zusammen“ [62].

  26. 26.

    T. Kohonens Self-Organizing-Map (SOM) [62].

  27. 27.

    Patent DE 10201 018 A1, hybride Netzstruktur, viele Teilnetze nebeneinander [44].

  28. 28.

    ,,A-priori-Verteilungen der Gewichte in Abhängigkeit ihrer Funktionalität“. Ziel ist, wichtigeren Eingängen einen größeren Einfluss auf die Netzeingänge zu ermöglichen als weniger wichtigen. Dies geschieht mit Bayesschen Methoden [56, Abschn. 2.6.1, …, 2.6.3].

  29. 29.

    Projekt ,,Der Rheuma-Scanner und Gauß-Prozesse“ , verschiedene Methoden werden mitei- nander verglichen. ,,Wir haben die beste Performance mit Gauß-Regression erzielt, dicht gefolgt von Generalisierten Linearen Modellen und der linearen Stütz-Vektor-Maschine (mit reduzierten Merkmalen)“ [52].

  30. 30.

    Um den SVM-Ansatz vom Problem der Klassifikation auf das der Regression zu übertragen, verwendet Vapnik [54] die ε-insensitive Kostenfunktion, mit der Wirkung, dass nur Punkte, die einen Abstand > ε von der Regressionsfunktion haben, in die Kosten eingehen. Alle anderen Punkte in dem ε-Schlauch sind für die Bildung des Modells nicht von Bedeutung.

  31. 31.

    Kerntrick : Das Skalarprodukt im Merkmalsraum F ist bestimmbar, ohne die Transformation nach F durchführen zu müssen. ,,Zum Training einer SVM genügt es, die Skalarprodukte K(Xi; Xj) = 〈Φ(Xi); Φ(Xj)〉 zu berechnen, was oft ohne die Berechnung der Einbettung Φ gelingt.“ [43, S. 25].

  32. 32.

    Im Zusammenhang mit SVM und VNN ergibt sich, dass die Verwendung einer Gauß-Funktion als Kernfunktion eine SVM bildet, die einem RBF-Netzwerk sehr ähnlich ist, jedoch den Vorteil besitzt, dass die Positionen der Zentren und die Gewichte zu den Ausgabeeinheiten automatisch bestimmt werden. Dabei gilt: Die Stützvektoren errechnen sich aus der Lösung des konvexen Optimierungsproblems [43]. Bei herkömmlichen RBF-Netzen wird die Lage der Zentren durch hartes Wettbewerbslernen und die Berechnung der Gewichte durch Minimierung des quadratischen Fehlers (z. B. mit dem Fehlerrückfühungsverfahren) bestimmt.

  33. 33.

    Maschinelles Lernen durch Funktionsrekonstruktion mit verallgemeinerten dünnen Gittern [17].

  34. 34.

    Lokale Rademacher-Komplexität zur Bestimmung der oberen und unteren Rademacher-Schranke der Komplexität eines Modells zur Sicherstellung einer bestimmten Genauigkeit bei der Generalisierung [28] im Anhang G.

  35. 35.

    Eine Übersicht der Kostenfunktionen und Nebenbedingungen der verschiedenen Methoden findet sich in Anhang D.2.

  36. 36.

    Curse of Dimensionality [2], Rechengenauigkeit bei verschiedenen Metriken in Kap. 6.

  37. 37.

    Siehe [5], Neuronales Lernen von Eigenvektoren. Siehe auch [4], Hauptkomponentenanalyse durch neuronale Netze, lineare Neuronen: die Lernregel von Oja.

  38. 38.

    Anschaulich: Eine Punkteschar, deren Datenpunkte durch gleichartige Federn oder Gummibänder miteinander verbunden sind, nimmt nach dem Ankoppeln der äußeren Kräfte (Randbedingungen) einen Zustand minimaler Energie an (im stationären Zustand). Der Zustand minimaler Energie entspricht dem globalen Optimum des Federnetzes. Wird ein neuer Datenpunkt hinzugefügt, befindet sich das Federnetz nach dem Auspendeln wieder in einem Systemzustand minimaler Energie.

  39. 39.

    Siehe dazu auch Abschn. 10.2 ff.

  40. 40.

    Die Verfahren finden iterativ den kleinsten Eigenwert. Dieser sagt aus, dass ein Maximum der Varianz gefunden ist. Dabei ist jedoch nicht klar, ob das globale Optimum erreicht wurde.

Literatur

  1. Arcade, J and Godet, Michel and Meunier, Francis and Roubelat, F (2003) Structural analysis with the MICMAC method & Actor’s strategy with MACTOR method. Futures Research Methodology, American Council for the United Nations University: The Millennium Project pp 1–69

    Google Scholar 

  2. Bellmann R (1967) Dynamische Programmierung und selbstanpassende Regelprozesse. R. Oldenbourg Verlag, München

    Google Scholar 

  3. Bengio Y, Delalleau O, Le Roux N, Paiement JF, Vincent P, Ouimet M (2004) Learning eigenfunctions links spectral embedding and kernel PCA. Neural Computation 16(10): 2197–2219, https://doi.org/10.1162/0899766041732396

    Article  Google Scholar 

  4. Bothe HH (2013) Neuro-Fuzzy-Methoden: Einführung in Theorie und Anwendungen. Springer Berlin Heidelberg, URL https://books.google.de/books?id=6jQeBgAAQBAJ

    MATH  Google Scholar 

  5. Brause R (2006) Vorlesung Adaptive Systeme: Kapitel 3, Adaptive lineare Transformationen. URL https://slideplayer.org/slide/901288/

    Google Scholar 

  6. Brause RW (1995) Neuronale Netze: Eine Einführung in die Neuroinformatik, 2nd edn. Lei- tfäden der Informatik, Vieweg+Teubner Verlag, Wiesbaden, DOI 10.1007/978-3-322-93994-4, URL https://doi.org/10.1007/978-3-322-93994-4

    Book  Google Scholar 

  7. Bronstein IN, Semendjajew KA, Musiol G, Mühlig H (1999) Taschenbuch der Mathematik, 4th edn. Verlag Harri Deutsch, Frankfurt am Main and Thun

    MATH  Google Scholar 

  8. Bruske J (2000) Dynamische Zellstrukturen Theorie und Anwendung eines KNN-Modells. In: Fiedler H, Günther O, Grass W, Hölldobler S, Hotz G, Reischuk R, Seeger B, Wagner D (eds) Ausgezeichnete Informatikdissertationen 1999, GI-Dissertationspreis, Vieweg+Teubner Verlag, Wiesbaden, pp 22–31, https://doi.org/10.1007/978-3-322-84823-9_2

    Chapter  Google Scholar 

  9. Bruske J, Sommer G (1995) Dynamic cell structure learns perfectly topology preserving map. In Neural Computation vol. 7:S. 845–865

    Article  Google Scholar 

  10. Burges CJ (2010) Geometric Methods for Feature Extraction and Dimensional Reduction - A Guided Tour. In: Maimon OZ, Rokach L (eds) Data mining and knowledge discovery handbook, Springer, New York, pp 53–82, https://doi.org/10.1007/978-0-387-09823-4_4

    Google Scholar 

  11. Callan R (2003) Neuronale Netze. Pearson Studium, München

    Google Scholar 

  12. Chang H, Yeung DY, Yimin X (2004) Super-Resolution Through Neighbor Embedding. In: Computer Vision and Pattern Recognition, vol. 1, IEEE Computer Society 2004, Washington, DC, USA, pp 275–282

    Google Scholar 

  13. Cristianini N, Shawe-Taylor J (2000) An introduction to support vector machines and other kernel-based learning methods. Cambridge University Press, Cambridge, DOI 10.1017/CBO9780511801389, URL https://doi.org/10.1017/CBO9780511801389

  14. Fritzke B (1992) Wachsende Zellstrukturen – Ein selbstorganisierendes neuronales Netzwerkmodell. Dissertation, Technische Fakultät der Universität Erlangen

    Google Scholar 

  15. Fritzke B (1995) A growing neural gas network learns topologies. Advances in Neural Information Processing Systems. In Cambridge, MA: MIT Press NIPS 7:S. 625–632

    Google Scholar 

  16. Fritzke B (1998) Vektorbasierte Neuronale Netze. Shaker Verlag, Aachen

    Google Scholar 

  17. Garcke J (2004) Maschinelles Lernen durch Funktionsrekonstruktion mit verallgenmeinerten dünnen Gittern. Dissertation, Uni Bonn, Bonn

    Google Scholar 

  18. Grossberg S (1988) Nonlinear neural networks: Principles, Mechanisms, and Architectures. In Neural Networks vol. 1:S. 17–41

    Article  Google Scholar 

  19. Hadid A, Pietikäinen M (2003) Efficient Locally Linear Embeddings of Imperfect Manifolds. In: Perner P, Rosenfeld A (eds) Machine Learning and Data Mining in Pattern Recognition, Lecture Notes in Computer Science, Lecture Notes in Artificial Intelligence, vol 2734, Springer, Berlin and Heidelberg, pp 188–201, https://doi.org/10.1007/3-540-45065-3_17

    Google Scholar 

  20. Ham J, Lee DD, Mika S, Schölkopf B (2004) A kernel view of the dimensionality reduction of manifolds. In: Brodley C (ed) Proceedings of the 41st annual Design Automation Conference, ACM, New York, NY, p 47, https://doi.org/10.1145/1015330.1015417

    Google Scholar 

  21. Hamker F (1998) Lebenslang lernfähige Zellstrukturen: Eine Lösung des Stabilitäts-Plastizitäts-Dilemmas. In: Proceedings der CoWAN ’98, Sharker Verlag, Cottbus, pp 17–37, URL https://www.tu-chemnitz.de/informatik/KI/research/proceedings.html

  22. Han J, Kamber M (2001) Data Mining: Concepts und Techniques. Morgan Kaufmann Publishers, San Francisco and San Diego and New York and Boston and London and Sydney and Tokyo

    MATH  Google Scholar 

  23. Hastie T, Tibshirani R, Friedman JH (2009) The elements of statistical learning: Data mining, inference, and prediction, second edition edn. Springer series in statistics, Springer, New York

    Book  Google Scholar 

  24. Haykin S (1999) Neural Networks: Comprehensive Foundation. IEEE Press, Prentice Hall

    MATH  Google Scholar 

  25. Heinen D (2014) Numerische Methoden zur Analyse hochdimensionaler Daten. Dissertation, Georg-August-Universität Göttingen, Göttingen

    Google Scholar 

  26. Hopfield JJ, Tank DW (1985) Neural Computation of Decisions in Optimization Problems. In Biological Cybernetics vol. 52:S. 141–152

    MATH  Google Scholar 

  27. Klaus-Peter Schoeneberg (1995) Komplexität – Einführung in die Komplexitätsforschung und Herausforderungen für die Praxis: Interface zur Endo-Komplexität

    Google Scholar 

  28. Kloft M (2011) Maschinelles Lernen mit multiplen Kernen. Dissertation, Technische Universität Berl, Berlin, URL https://pdfs.semanticscholar.org/19eb/3058688fbf05fa16e94dc6af446f94c51414.pdf

  29. Kohonen T (1989) Self-Organization and Associative Memory. 3rd ed., Springer Verlag, Berlin

    Book  Google Scholar 

  30. Lee, John Aldo and Lendasse, Amaury and Verleysen, Michel (2002) Curvilinear Distance Analysis versus ISOMAP. In: Verleysen M (ed) Proceedings / 10th European Symposium on Artificial Neural Networks, ESANN’2002, d-side, Evere, pp 185–192

    Google Scholar 

  31. Luger GF (2001) Künstliche Intelligenz, Strategien zur Lösung komplexer Probleme. Pearson Studium, München

    Google Scholar 

  32. Mac Kay, David, JC (2003) Information Theorie, Inference and Learning Algorithms. Cambridge University Press, Cambridge

    Google Scholar 

  33. Masters T (1995) Advanced algorithms for neural networks: A C++ Sourcebook. John Wiley & Sons, Inc, New York, Chichester, Brisbane, Toronto, Singapore

    Google Scholar 

  34. McCulloch WS, Pitts WH (1943) A Logical Calculus of the Ideas Imminent in Neural Nets. In Bulletin of Mathematical Biophysics vol 5:S.115–133

    Google Scholar 

  35. Neal, Radford, M (1996) Bayesian Learning for Neural Networks. Springer-Verlag, New York, Berlin, Heidelberg

    Google Scholar 

  36. Protzel Pea (1999) Anwendung und Entwicklung Neuronaler Verfahren zur Autonomen Prozess-Steuerung: BMBF Verbundprojekt Förderkennzeichen: 01 IN 505 B Laufzeit: 1. Oktober 1995 bis 31. Dezember 1999: AENEAS Abschlussbericht

    Google Scholar 

  37. Renaud O (1999) Density estimation with wavelets: variability, invariance, and discriminant power. PhD thesis, PhD thesis, Thèse N° 2019 and École Polytechnique Fédérale de Lausanne

    Google Scholar 

  38. Ridder Dd, Franc V (2003) Robust manifold learning: CZECH TECHNICAL UNIVERSITY. URL ftp://cmp.felk.cvut.cz/pub/cmp/articles/franc/deRidder-TR-2003-08.pdf

  39. Roweis ST, Saul L (2000) Nonlinear dimensionality Reduction by locally linear embedding. In SCIENCE vol. 290:S.2323–S.2326

    Google Scholar 

  40. Schels A (2001) Neuronale Netzwerkmodelle zur Analyse hochdimensionaler, multisensorischer Datensätze prozessierter Si-Wafer. Dissertation, Regensburg

    Google Scholar 

  41. Schölkopf B (1997) Support Vector Learning. Dissertation, Fachbereich Informatik der Universität Berlin

    MATH  Google Scholar 

  42. Schölkopf B, Müller K, Smola A (1998) Lernen mit Kernen. In Informatik Forsch Entw H. 14:S. 154–163

    Google Scholar 

  43. Schölkopf B, Burges, Christopher, J C, Smola AJ (1999) Advances in Kernel Methods. The MIT Press, Cambridge, Massachusetts, London, England

    Google Scholar 

  44. Seifert J (2002) Neuronales Netz zur Modellierung eines physikalischen Systems sowie Verfahren zur Bildung eines solchen Netzes. URL https://patents.google.com/patent/DE10201018A1/de

    Google Scholar 

  45. Shawe-Taylor J, Christiani N (2004) Kernel Methods for Pattern Analysis. Cambridge University Press, Cambridge

    Book  Google Scholar 

  46. Skirke U (2004) Technologie und Selbstorganisation, Zum Problem eines zukünftigen Fortschrittsbegriffs. PhD thesis, Fachbereich Philosopie der Universität Hamburg, Dissertation

    Google Scholar 

  47. Specht DF (1990) Probabilistic neural networks and the polynomial adaline as complementary techniques for classification. In IEEE Transactions on Neural Networks march 1990:S. 111–121

    Article  Google Scholar 

  48. StuttgarterNetzwerkSimulator2004 (2018) Stuttgart Neural Network Simulator. URL http://www.ra.cs.uni-tuebingen.de/SNNS/

  49. Suykens JAK, van Gestel T, de Brabanter J, de Moor B, Vanderwalle J (2002) Least Squares Support Vector Machines. World Scientific Publishing Co. Pte. Ltd, New Jersey and London and Singapore and Hong Kong

    Book  Google Scholar 

  50. Tagscherer M, Protzel P (1999) Kontinuierliches Lernen mit Neuronalen Netzen. URL http://www.rst.e-technik.tu-dortmund.de/cms/Medienpool/Downloads/Veranstaltungen/GMA-Fachausschuss/Publikationen/workshop99/Tagscherer__Protzel.pdf

  51. Tenenbaum JBa (2000) A global Geometric Framework for Nonlinear Dimensionality Reduction. In SCIENCE vol. 290:S.2319–S.2323

    Google Scholar 

  52. Tresp V (2001) Scaling Kernel-Based Systems to Large Data Sets: Siemens AG, Corporate Technologie. Data Mining and Knowledge Discovery, Volume 5, Number 3, 2001 2001(Volume 5), URL https://link.springer.com/article/10.1023/A:1011425201219

  53. Tsai, F S, Wu Y, Chan KL (2004) Nonlinear Dimensionality Reduction Techniques and their Applications. In EEE Research Bulletin pp 52–53

    Google Scholar 

  54. Vapnik V (1995) The Nature of statistical Learning Theory. Springer Verlag, New York

    Book  Google Scholar 

  55. Vapnik V, Golowich S, Smola A (1997) Support vector method for function approximation, regression estimation, and signal processing. In: NIPS’96 Proceedings of the 9th International Conference on Neural Information Processing Systems, M. Mozer, M.Jordan und T. Petsche, MIT Press, Cambridge, pp 281–287

    Google Scholar 

  56. Weber KE (2003) Neuronale Netze mit erweiterten bayesschen Methoden für reale Datensammlungen. Dissertation, Mathematisch-Naturwissenschaftliche Fakultät der Rheinischen Friedrich-Wilhelms-Universität Bonn

    Google Scholar 

  57. Weinberger KQ, Sha F, Saul LK (2004) Learning a kernel matrix for nonlinear dimensionality reduction. In: Brodley C (ed) Proceedings of the 41st annual Design Automation Conference, ACM, New York, NY, p 106, DOI 10.1145/1015330.1015345

    Chapter  Google Scholar 

  58. Weinberger, Kilian Q and Packer, Benjamin D and Saul Lawrence K (2006) Nonlinear Dimensionality Reduction by Semidefinite Programming and Kernel Matrix Factorization. In: Robert G Cowell and Zoubin Ghahramani (ed) Proceedings of the Tenth International Workshop on Artificial Intelligence and Statistics, Society for Artificial Intelligence and Statistics

    Google Scholar 

  59. Whye TY, Roweis ST (2002) Automatic Alignment of Local Representations. URL https://papers.nips.cc/paper/2180-automatic-alignment-of-local-representations.pdf

    Google Scholar 

  60. Widrow B, Hoff M (1960) Adaptive switching circuits: Institute of Radio Engineers, 1960. IRE WESCON Convention Record 1960:96–104, URL http://www-isl.stanford.edu/~widrow/papers/c1960adaptiveswitching.pdf

  61. Wunsch D, Xu R (2005) Survey of Clustering Algorithms. In IEEE Transactions on Neural Networks vol. 16, NO. 3:S. 645–678

    Article  Google Scholar 

  62. Zell A (2003) Simulation neuronaler Netze. Oldenbourg Wissenschaftsverlag GmbH, München and Wien

    MATH  Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Hagen, Deutschland

    Gerhard Sartorius

Authors
  1. Gerhard Sartorius
    View author publications

    You can also search for this author in PubMed Google Scholar

Rights and permissions

Reprints and permissions

Copyright information

© 2019 Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature

About this chapter

Check for updates. Verify currency and authenticity via CrossMark

Cite this chapter

Sartorius, G. (2019). Methoden des maschinellen Lernens. In: Erfassen, Verarbeiten und Zuordnen multivariater Messgrößen. Springer Vieweg, Wiesbaden. https://doi.org/10.1007/978-3-658-23576-5_2

Download citation

Publish with us

Policies and ethics

Search

Navigation