Zusammenfassung
NN-Verfahren und Verfahren zur Dimensionsreduktion sind eng miteinander verwandt. Gemeinsam haben Sie die Eigenschaft, dass der geometrische Abstand zweier Neuronen als Wert der Verbindung zwischen diesen Neuronen angesehen wird. Mit diesen Verbindungen werden Wichtungsanteile bestimmt, die NN-Verbindungen und damit die relative Postion eines Neurons zu seinen NN repräsentieren. Dargestellt wird nicht das Neuron selbst, sondern die Rekonstruktion aus den Wichtungsanteilen der NN-Neuronen. Somit ist es irrelevant, ob ein Trainingspunkt Xi in der Trainingsphase oder ein Anfragepunkt Xa in der Arbeitsphase rekonstruiert wird. Punktmengen, die als geometrische Gebilde aufgefasst werden, liegen oft auf einer Mannigfaltigkeit (MF), deren Einbettungsdimension viel höher ist als die innere Dimension des zugrunde liegenden Gebildes. Mit der Dimensionsreduktion (DR) soll ein isometrisches Abbild einer im hochdimensionalen Eingangsraum befindlichen MF ermittelt werden, um anschließend mit den gefundenen Gesetzmäßigkeiten die Grundinformation dieser MF in einem geeigneten Raum zu entfalten.
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Notes
- 1.
Verallgemeinerung des Flächenbegriffs. Geometrische Gebilde werden in der Differenzialgeometrie als auf Koordinaten bezogene Punktmengen aufgefasst. Die Dimension eines Gebildes wird durch die Anzahl der Koordinaten bestimmt, die notwendig sind, um das Gebilde zu fixieren, d. h., dass alle Freiheitsgrade an Einheitsvektoren linear unabhängig gebunden sind [40, S. 423].
- 2.
- 3.
Die NOP-Methode ist eine Erweiterung der ONPP-Methode zur Dimensionsreduktion. Beide sind in Tab. 10.2 aufgeführt. Die NOP-Methode ist in fünf Schritten in Abschn. 10.7 erklärt und wurde in Verfahren und Vorrichtung zur Detektion von Kampfstoffen eingesetzt [26], Patent DE 10 2008 054 345 B4 [27]. Beide Methoden bauen auf der LLE-Methode von Roweis und Saul auf [45, 44].
Tab. 10.2 Charakteristische Eigenschaften der Basismethoden. In Spalte Numerischer Aufwand steht +, …, ++++++ für den Bereich wenig …viel - 4.
Ein Beispiel dafür ist die Abbildung der Erdkugel auf Landkarten, die ja auch in der nächsten Umgebung die Verhältnisse der Orte zueinander ausreichend genau darstellt. Referenzstrecken zur Messung der Distanzen sind bei nautischem Kartenmaterial in der Nähe des Ortes, in dem navigiert wird, aufgedruckt und gelten für diesen Bereich, damit die Verzerrung durch die Dimensionsreduktion bei der Navigation berücksichtigt werden kann.
- 5.
Verschiedene Anwendungen: Steuerungen, deren Aktoren in Abhängigkeit von einer großen Anzahl Sensorsignalen angesteuert werden, Rauschminderung , Verbesserung der Messunsicherheit und Anzeigegenauigkeit bei Messungen durch die Bündelung vieler Sensoren [43]. Verschiedene Projekte wurden zu diesem Thema an der FernUni Hagen im Rahmen von Masterarbeiten durchgeführt. Dabei kamen verschiedene Systeme (Mikrokontroller, SPS-Steuerung, PC und FPGA) mit unterschiedlicher Rechenkapazität zum Einsatz.
- 6.
- 7.
,,A metric space (χ, d) can be embedded isometrically into a Hilbert space if and only if the function − d2 is conditionally positive definite, that is \(-\sum _{i,j=1}^{l}c_i c_j d^2(x_i,x_j) \geq 0 \) for all l \(\in \mathbb {N}, x_i, x_j \in \chi, \) and for all \(c_i, c_j \in \mathbb {R}\) with ∑ici = 0. Such a metric is called Euclidian metric.“ [53].
- 8.
,,Ist H ein (komplexer oder reeller) Vektorraum und 〈⋅, ⋅〉 ein Skalarprodukt auf H, so nennen wir das Paar (, 〈⋅, ⋅〉) einen Vektorraum mit Skalarprodukt oder einen Prä-Hilbert-Raum; …Ist ∥⋅∥eine Norm auf H, so nennen wir das Paar (H, ∥⋅∥) einen normierten Raum; …Nach Satz 1.5 ist auf jedem Prä-Hilbert-Raum in natürlicher Weise eine Norm (∥f∥ = 〈f, f〉1∕2) erklärt.“ [60, S. 19].
- 9.
Siehe Glossar im Anhang K.7
- 10.
Vorgehensweise bei der KLT siehe Ähnlichkeitstransformation im Anhang K.7.
- 11.
,,Theorem (polarisation): As positive (resp. non-negative) \( \underline {A}\) is projected to necessively lower ranks \( \underline {A}_{(D-1)},\underline {A}_{(D-2)}, \ldots, \underline {A}_{(d)}, \ldots, \underline {A}_{(1)}\), the sum of squared angle-cosines ∑i ≠ j(cosΘij)2 (equivalently squared correlations) \(\| \underline {Y}_{(d)}^T\underline {Y}_{(d)}\|{ }_F^2\) is strictly increasing (resp. non-decreasing).“ [10, Kap. 2].
- 12.
- 13.
In der Literatur wird die Anzahl der erforderlichen Dimensionen anhand der Größe der Eigenwerte entschieden. Dieser Sachverhalt ist in Abschn. 10.7.6 erörtert.
- 14.
- 15.
Für Messdaten, die von Sensoren stammen, kann in der Regel eine multidimensionale Gauß-Verteilung angenommen werden.
- 16.
Kerntrick [55, S. 37]. Kernfunktionen transformieren einen Datensatz, der nicht linear trennbar ist, vom Eingaberaum in einen neuen Raum \(\mathscr {H}\) höherer Dimension, um lineare Trennbarkeit zu erreichen bzw. lineare Strukturen zu erhalten, die die Anwendung von PCA ermöglichen.
- 17.
Definition der Laplace-Matrix siehe Anhang K.7.
- 18.
Laplacian Eigenmaps und Spektral-Clustering sind ähnliche Verfahren [10, Kap. 5].
- 19.
Die Gram-Matrix beinhaltet alle möglichen Skalarprodukte von \( \underline {X}\) z. B. \(G_{ij}=X_i^T\cdot X_j\). Siehe auch Glossar im Anhang K.7.
- 20.
- 21.
Diesen Effekt nutzt man beim spektralen Gruppieren, auch Spectral Clustering genannt, aus. Kurz: Der nichtlinearen Dimensionsreduktion und dem Spectral Clustering liegt der gleiche Prozess zugrunde [10, Kap. 5].
- 22.
Beispielhaft für den allgemeinsten Fall: Methode Nr. 2 in Tab. 10.2.
- 23.
Überbestimmtes lineares Gleichungssystem, welches unter bestimmten Voraussetzungen aus vielen Lösungen die beste liefert (Moore-Penrose-Pseudoinverse).
- 24.
,,The inverse operator. The Green’s function …since \(\mathscr {B}(Hw,v)=\mathscr {U}(w,v)\), we have \(\mathscr {B}(u,v)=\mathscr {U}(H^{-1} u,v)=(K u,v)\), where u = Hw and K = H−1. Thus we are led to an eigenvalue problem for the inverse operator K. But if Hur = λrur, then, by operating with K on both sides, we get Kur, with μr = 1∕λr, which means that the eigenvectors of K are identical with those of H. So we are required to find the eigenvalues of H, we may, if we wish, first find those of K and then take reciprocals.“ [23, S. 41].
- 25.
,,Ist \( \underline {A}\) eine reguläre Matrix und λ ein Eigenwert von \( \underline {A}\) zum Eigenvektor u, dann ist 1∕λ Eigenwert zum Eigenwert von \( \underline {A}^{-1}\). Ist λ betraglich der größte Eigenwert von \( \underline {A}\), so ist 1∕λ der betraglich kleinste Eigenwert von \( \underline {A}^{-1}\)“ [29, S. 140].
- 26.
Die Methode ist in Abschn. 10.7.6 beschrieben.
- 27.
Zwar wird in [36] ein Verfahren zur Bestimmung der optimalen Anzahl K der NN durch Abschätzen des Einbettungsfehlers ε gezeigt und damit indirekt d ermittelt, jedoch ist der erforderliche numerische Aufwand hoch, da diese Abschätzung für jeden lokalen Bereich durchzuführen ist.
- 28.
- 29.
Auch erwähnt in [6, Abschn. 4.4]
- 30.
Kreuzvalidierung in Abschn. 11.5.2 bzw. Cross-Validierung in Kapitel Glossar im Anhang K.7.
- 31.
In [36, Kap. 3] wird eine Adaption des Einbettungsraumes für neue Datenpunkte angegeben. Handelt es sich jedoch um Punkte außerhalb des rezeptiven Bereiches, die in das System integriert werden müssen (Erweiterung des rezeptiven Bereiches), muss das Eigensystem auch hier neu durchgerechnet werden, um möglichst genau abbilden zu können.
- 32.
In [9, Kap. 2] wird z. B. vorgeschlagen, die innere Dimension d durch Anwendung von PCA in den lokalen NN-Bereichen, die durch eine n-dimensionale Kugel mit Radius r bestimmt werden, zu schätzen.
- 33.
Detailliert beschrieben in [47].
- 34.
Kovarianzmatrix, siehe Glossar im Anhang K.7.
- 35.
Bereits in Abschn. 10.4 in Absatz Zusammenhänge und Besonderheiten erwähnt.
- 36.
In Abschn. 14.4 wird auf diese Kompensation näher eingegangen.
- 37.
Einerseits ist bei der Vorverarbeitung der Daten sicherzustellen, dass genügend Punkte in den gekrümmten Bereichen vorhanden sind, und andererseits muss dafür gesorgt sein, dass in Bereichen hoher Punktedichte nur solche Punkte ausgewählt werden, die die MF wesentlich repräsentieren, um nur hinreichend viele Trainingsdaten zu verwenden, die Struktur der MF möglichst glatt zu halten und das Rauschen zu eliminieren.
- 38.
In einem anderen Ansatz wird geprüft, ob sich genügend NN im Bereich einer n-dimensionalen Kugel mit definiertem Radius r befinden. Gemessen wird die Zunahme der Datenpunkte in der Hauptrichtung der Datenwolke innerhalb einer n-dimensionalen Kugel [9].
- 39.
Dort wird die Nyström-Formel genutzt, um den Eigenvektor für einen untrainierten Datenpunkt zu bestimmen und Lücken zu schließen.
- 40.
Eine Entfernung von Ausreißerdaten wird für lokales nichtlineares MF-Lernen (local linear smoothing for nonlinear manifold learning) in [68] vorgeschlagen.
- 41.
- 42.
Dies wird mit der in Kap. 7 vorgestellten Glättung sichergestellt.
- 43.
In Matrix M sind die Korrelationswerte der Datenstruktur gespeichert. Bei ONPP in M und bei MVU in G.
- 44.
,,Formally, two Riemannian manifolds are said to be isometric if there is a diffeomorphism such that the metric on one pulls back to the metric on the other …Note that the local isometry between neighborhoods will exist if and only if the distances and angles between points and their neighbors are preserved.“ [62, Abschn. 3.1].
- 45.
Die Software der Originalversion von LLE steht als Matlab-Code in [44] zur Verfügung. Sie ist dort in drei Teilen organisiert:
-
1:
Bestimmung der nächsten Nachbarpunkte (NN-Punkte).
-
2:
Bestimmung der Rekonstruktionsgewichte (Wij).
-
3:
Rekonstruktion im niedrigdimensionalen Raum.
-
1:
- 46.
Summe der Hauptdiagonalelemente der Matrix \( \underline { \underline {G}}\).
- 47.
Die Matrix \( \underline {\eta }_{j}\) muss in der Trainingsphase für jeden Trainingspunkt Xi und in der Arbeitsphase für jeden Arbeitspunkt Xa (Anfragepunkt) bestimmt werden.
- 48.
Um die lokale Topologie bei der Transformation zu erhalten, werden zwei Strecken und der Winkel zwischen den Strecken oder drei Strecken benötigt. Bei MVU wird wegen des geringeren numerischen Aufwandes die Methode mit drei Strecken gewählt.
- 49.
- 50.
Um die Rekonstruktionsgewichte Waj des Anfragepunktes Xa bestimmen zu können, ist die Bildung der lokalen Gram-Matrix \( \underline {G}\) erforderlich.
- 51.
Zum Zusammenhang zwischen Singulärwert- und Eigenwertanalyse siehe Anhang K.7.
- 52.
Siehe dazu Quadratisches Problem im Anhang C.1.
- 53.
Verwiesen sei auch auf Neighborhood Preserving Projections (NPP). NPP hat die gleiche Zielfunktion wie ONPP, jedoch wird keine Orthonormalität für die Spalten von \( \underline {V}, sondern \underline {Y} \underline {Y}^T\) gefordert. NPP ist eine lineare Variante von LLE [39].
- 54.
Vergleich der Optimierungen bei LLE, LPP und ONPP:
Optimierung LLE : \(min_{ \underline {Y} \in \mathbb {R}^{Dxd};\underline {Y} \underline {Y}^T = \underline {I}}\) \(tr[ \underline {Y} \cdot\underline {M} \cdot\underline {Y}^{T}]\)
Optimierung NPP : \(min_{ \underline {Y}= \underline {V}^{T} \underline {X},\underline {V} \in R^{Dxd}; \underline {Y} \underline {Y}^T = \underline {I}}\) \( tr[ \underline {Y} \cdot\underline {M} \cdot\underline {Y}^{T}]\)
Optimierung ONPP : \(min_{ \underline {Y}= \underline {V}^T \underline {X},\underline {V} \in R^{Dxd}; \underline {V} \underline {V}^T =\underline {I}}\) \(tr[ \underline {Y} \cdot\underline {M} \cdot\underline {Y}^T]\)
Im Fall LLE wird der Freiheitsgrad bei der Adaption durch \(\sum {\mathbf {y}}_{i}\,=\,0 {}\) weiter eingeschränkt, da nur d+1 Eigenvektoren zur Darstellung im niedrigdimensionalen Raum genutzt werden. Ermöglicht wird dies, weil alle untersten Eigenvektoren gleich sind (Mode 1, Eigenwert = 0 bei d=1) und somit als freie Translation auf die Punkte im Raum wirken. Auf diese Weise werden alle yi um den Ursprung zentriert. Da die Kostenfunktion Φ(y) die Summe aller Momente darstellt, wird sie davon nicht beeinflusst (Translationsinvarianz).
- 55.
\(tr[\tilde { \underline {M}}] = \sum evals\) als Lösung des Optimierungsproblems. Innerhalb des tr-Arguments ist das Kommutativgesetz zulässig [42, S. 1]. Deshalb gilt \(tr[ \underline {V}^T \underline {X} \underline {M} \underline {X}^T \underline {V}]\) = \(tr[ \underline {V}^T \underline {V} \underline {X} \underline {M} \underline {X}^T ]\) = \(tr[ \underline {X} \underline {M} \underline {X}^T ]\) mit \( \underline {V}^T \underline {V} =\underline {I}\).
- 56.
Wie bereits in Abschn. 10.4 erwähnt, sind kleinste Eigenwerte in \( \underline {K}^{-1}\) reziprok zu größten Eigenwerten in \( \underline {K}\). Der numerische Aufwand entscheidet letztendlich darüber, welche Eigenwerte zur Rekonstruktion genutzt werden.
- 57.
,,The Rayleigh-Ritz method consists of imposing upon the vibrating system certain additional constraints, so that the set of admissible vectors forms a subspace \(\mathscr {L}'\)of the original space \(\mathscr {L}\).“ [23, S. 40].
- 58.
Siehe dazu Gl. (C.4) im Anhang C.1 und [29, S. 140].
- 59.
Das Mathematikprogramm Matlab verfügt über spezielle Befehle für dünn besetzte Matrizen und ermöglicht damit eine beschleunigte Berechnung der Eigenwerte (sparse(M), eigs(M)).
- 60.
In der Literatur wird die Anzahl der erforderlichen Dimensionen anhand der Größe der Eigenwerte entschieden. Dieser Sachverhalt ist in Abschn. 10.7.6 erörtert.
Literatur
Alt W (2002) Nichtlineare Optimierung: Eine Einführung in Theorie, Verfahren und Anwendungen. vieweg studium Aufbaukurs Mathematik, Vieweg+Teubner Verlag, Wiesbaden, https://doi.org/10.1007/978-3-322-84904-5, URL http://doi.org/10.1007/978-3-322-84904-5
Belkin M, Niyogi P (2002) Laplacian Eigenmaps and Spectral Techniques for Embedding and Clustering. In Neural Information Processing Systems vol. 14:S. 585–591
Belkin M, Niyogi P (2003) Laplacian Eigenmaps for Dimensionality reduction and Data Representation. In Neural Computation vol. 15:S. 1373–1396
Bellmann R (1967) Dynamische Programmierung und selbstanpassende Regelprozesse. R. Oldenbourg Verlag, München
Bengio Y, Delalleau O, Le Roux N, Paiement JF, Vincent P, Ouimet M (2004) Learning eigenfunctions links spectral embedding and kernel PCA. Neural Computation 16(10):2197–2219, https://doi.org/10.11/0899766041732396
Bengio Yea (2003) Out-of-Sample Extensions for LLE, ISOMAP, MDS, Eigenmaps and Spectral Clustering. URL (https://papers.nips.cc/paper/2461-out-of-sample-extensions-for-lle-isomap-mds-eigenmaps-and-spectral-clustering.pdf)
Bengio Yea (2004) Spectral Dimensionality Reduction. URL (https://cirano.qc.ca/files/publications/2004s-27.pdf)
Bernstein M, Silva Vd, Langford JC, Tenenbaum B (2000) Graph approximations to geodesics on embedded manifolds ISOMAP. URL (ftp://ftp-sop.inria.fr/prisme/boissonnat/ImageManifolds/isomap.pdf)
Brand M (2002a) A unifying theorem for spectral embedding and clustering. URL (http://www.merl.com)
Brand M (2002b) Charting a manifold. In Neural Information Processing System vol. 15
Brand M (2004) From Subspaces to Submanifolds. URL (http://www.merl.com/reports/docs/TR2004-134.pdf)
Braun ML (2005) Spectral Properties of the Kernel Matrix and their Relation to Methods in Machine Learning. Dissertation, Mathematisch-Naturwissenschaftliche Fakultät der Rheinischen Friedrisch-Wilhelm-Universität Bonn
Burges CJ (2010) Geometric Methods for Feature Extraction and Dimensional Reduction - A Guided Tour. In: Maimon OZ, Rokach L (eds) Data mining and knowledge discovery handbook, Springer, New York, pp 53–82, https://doi.org/10.1007/978-0-387-09823-4_4
Donoho DL, Grimes C (2003) Hessian Eigenmaps: new locally linear embedding techniques for high-dimensional data. (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.3.673&rep=rep1&type=pdf)
Faloutsos C (1996) Searching Multimedia Databases by Content. Kluwer Academic Publishers, Dordrecht
Fiedler M (1973) Algebraic connectivity of graphs. In Czechoslovak Mathematics Journal vol. 23:S. 298–305
Fix E, Hodges JL (1989) Discriminatory Analysis. Nonparametric Discrimination: Consistency Properties. International Statistical Review / Revue Internationale de Statistique 57(3):238, https://doi.org/10.2307/1403797
Fouss Fea (2006) A novel way of computing dissimilarities between nodes of a graph. URL http://www.isys.ucl.ac.be/staff/marco/Publications/Fouss2004d.pdf
Friedman JH, Bentley JL, Finkel RA (1977) An algorithm for finding best matches in logarithmic expected time. In ACM Transactions on Mathematical Software vol. 3:S. 290–226
Fritzke B (1998) Vektorbasierte Neuronale Netze. Shaker Verlag, Aachen
Garcke J (2004) Maschinelles Lernen durch Funktionsrekonstruktion mit verallgenmeinerten dünnen Gittern. Dissertation, Uni Bonn, Bonn
Geiger C, Kanzow C (2002) Theorie und Numerik restringierter Optimierungsaufgaben. Springer Verlag, Berlin and Heidelberg and New York
Gould SH (1995) Variational Methods for Eigenvalue Problems. DOVER PUBLICATIONS, INC, New York
Gramlich G (2004) Lineare Algebra: Eine Einführung für Ingenieure. Carl Hanser Verlag, München and Wien
Gramlich G, Werner W (2000) Numerische Mathematik mit Matlab. dpunkt.verlag GmbH, Heidelberg
Halang, Wolfgang, A; Sartorius, Gerhard; Talbot Steven: Verfahren und Vorrichtung zur Detektion von Kampfstoffen. Bundesrepublik Deutschland Patentanmeldung Az 10 2008 054 345 4, 03.11.2008
Halang, Wolfgang, A; Sartorius, Gerhard; Talbot, Steven: Verfahren und Vorrichtung zur Detektion von Kampfstoffen, Bundesrepublik Deutschland Patent, DE 10 2008 054 345, 01.08, 2013 URL https://patents.google.com/patent/DE102008054345B4/de
Ham J, Lee DD, Mika S, Schölkopf B (2004) A kernel view of the dimensionality reduction of manifolds. In: Brodley C (ed) Proceedings of the 41st annual Design Automation Conference, ACM, New York, NY, p 47, https://doi.org/10.1145/1015330.1015417
Herrmann N (2007) Höhere Mathematik: Für Ingenieure, Physiker und Mathematiker, 2nd edn. Oldenbourg, München, https://doi.org/10.1524/9783486593518, URL http://www.oldenbourg-link.de/isbn/9783486584479
Hildrum K, Kubiatowicz J, Rao S (2003) Another Way to Find the Nearest Neighbor in Growth-Restricted Metrics: Report No, UCB/CSD-03-1267´Computer Science Division (EECS). PhD thesis, University of California, Berkeley, California 94720, URL http://oceanstore.cs.berkeley.edu/publications/papers/pdf/nn-tr.pdf
Howley T (2004) A Review of the State of the Art in Machine Learning for Spectral Analysis. URL (http://corrib.it.nuigalway.ie/ResearchDay2004/infotech/HowleyTom.pdf)
Jarre F, Stoer J (2004) Optimierung. Springer-Lehrbuch, Springer, Berlin and Heidelberg, https://doi.org/10.1007/978-3-642-18785-8, URL http://doi.org/10.1007/978-3-642-18785-8
Karger DR, Ruhl M (2002) Finding nearest neighbors in growth-restricted metrics. In: Reif J (ed) Proceedings of the thiry-fourth annual ACM symposium on Theory of computing, ACM, New York, NY, p 741, https://doi.org/10.1145/509907.510013
Kayo O (2006) Locally Linear Embedding Algorithm, Extensions and applications. Dissertation, Acta Univ. Oul. C 237, faculty of technology, Oulu
Kokiopoulu E, Saad Y (2005) Orthogonal Neighborhood Preserving Projections. URL (https://infoscience.epfl.ch/record/87294/files/Kokiopoulou2005_1351.pdf?version=1)
Kouropteva Oea (2002) Beyond Locally Linear Embedding Algorithm. Technical Report MVG-01-2002, University of Oulu Finland, Oulu
Lee, John Aldo and Lendasse, Amaury and Verleysen, Michel (2002) Curvilinear Distance Analysis versus ISOMAP. In: Verleysen M (ed) Proceedings / 10th European Symposium on Artificial Neural Networks, ESANN’2002, d-side, Evere, pp 185–192
Lin T, Zha H, Lee SU (2006) Riemannian Manifold Learning for Nonlinear Dimensionality Reduction. In: Leonardis A, Bischof H, Pinz A (eds) Computer vision – ECCV 2006, Lecture Notes in Computer Science, vol 3951, Springer, Berlin, pp 44–55, https://doi.org/10.1007/11744023_4
Pang Yea (2005) Neighborhood Preserving Projections (NPP): A Novel Linear Dimension Reduction Method. In: De-Shuang Huang (ed) Advances in Intelligent Computing : International Conference on Intelligent Computing, pp 117–126
Reinhardt F, Soeder H (1998) dtv-Atlas Mathematik 2, 10th edn. Deutscher Taschenbuch Verlag GmbH & Co. KG, München
Rorres C, Anton H (2000) Elementary Linear Algebra, 8th edn. John Wiley& Sons, Inc, New York, Chichester, Weinheim, Brisbane, Singapore, Toronto
Roweis ST (1999) Matrix identities. URL (https://cs.nyu.edu/~roweis/notes/matrixid.pdf)
Roweis ST (2003) Nonlinear Blind Sensor Fusion and Identifikation. URL (https://cs.nyu.edu/~roweis/papers/sensor.pdf)
Roweis ST (2005) Basissoftware für LLE, Originalversion. URL (https://cs.nyu.edu/~roweis/lle/)
Roweis ST, Saul L (2000) Nonlinear dimensionality Reduction by locally linear embedding. In SCIENCE vol. 290:S.2323–S.2326
Sartorius G (2009) Multivariate Adaption mit modularisierten künstlichen neuronalen Netzen: Zugl.: Hagen, Fernuniv., Fachbereich Elektrotechnik, Diss., 2009, Fortschritt-Berichte VDI Reihe 10, Informatik/Kommunikation, vol 799, als ms. gedr edn. VDI-Verl., Düsseldorf
Saul LK, Roweis ST (2003) Think Globally, Fit Locally: Unsupervised Learning of Low Dimensional Manifolds. In Journal of Machine Learning Research vol. 4:S. 119–S. 155
Saul LK, Weinberger KQ, Fei S, Jihun H, Lee DD (2005) Spectral Methods for Dimensionality Reduction. URL (https://cseweb.ucsd.edu/~saul/papers/smdr_ssl05.pdf)
Scheibl HJ (1990) Numerische Methoden für den Ingenieur: Praktische Anwendungen auf dem PC, Edition expertsoft, vol 1. expert-Verl., Ehningen bei Böblingen
Schlagner S, Strehlau U (2004) Fourier-Analyse versus Wavelet-Analyse: Ein Vergleich von Fourier- und Wavelet-Transformation bei der Signalanalyse von stationären und instationären Zeitfunktionen: Zugl.: Berlin, Techn. Univ., Diplomarbeit, 2004. Shaker, Aachen
Schölkopf B (1997) Support Vector Learning. Dissertation, Fachbereich Informatik der Universität Berlin
Schölkopf B, Burges, Christopher, J C, Smola AJ (1999) Advances in Kernel Methods. The MIT Press, Cambridge, Massachusetts, London, England
Schönberg J (1938) Metric spaces and positive definite functions. In TAMS vol. 44:S. 522–S.536
Shawe-Taylor J, Christiani N (2004) Kernel Methods for Pattern Analysis. Cambridge University Press, Cambridge
Suykens JAK, van Gestel T, de Brabanter J, de Moor B, Vanderwalle J (2002) Least Squares Support Vector Machines. World Scientific Publishing Co. Pte. Ltd, New Jersey and London and Singapore and Hong Kong
Tenenbaum JBa (2000) A global Geometric Framework for Nonlinear Dimensionality Reduction. In SCIENCE vol. 290:S.2319–S.2323
Tsai, F S, Wu Y, Chan KL (2004) Nonlinear Dimensionality Reduction Techniques and their Applications. In EEE Research Bulletin pp S. 52–53
Vandenbergh L, Boyd SP (1996) Semidefinite programming. In SIAM Review 38 vol. 9:S. 49–95
Verbeek JJ, Vlassis N (2005) Semi-Supervised Learning with Gaussian Fields. URL http://mlg.eng.cam.ac.uk/zoubin/papers/zgl.pdf
Weidmann J (1976) Lineare Operatoren in Hilberträumen, 1st edn. Teubner, Stuttgart
Weinberger KQ, Saul LK (2006) Unsupervised Learning of Image Manifolds by Semidefinite Programming. International Journal of Computer Vision 70(1):77–90, https://doi.org/10.1007/s11263-005-4939-z
Weinberger KQ, Sha F, Saul LK (2004) Learning a kernel matrix for nonlinear dimensionality reduction. In: Brodley C (ed) Proceedings of the 41st annual Design Automation Conference, ACM, New York, NY, p 106, https://doi.org/10.1145/1015330.1015345
Weinberger, Kilian Q and Packer, Benjamin D and Saul Lawrence K (2006) Nonlinear Dimensionality Reduction by Semidefinite Programming and Kernel Matrix Factorization. In: Robert G Cowell and Zoubin Ghahramani (ed) Proceedings of the Tenth International Workshop on Artificial Intelligence and Statistics, Society for Artificial Intelligence and Statistics
Weinberger, Kilian Q and Saul, Lawrence K (2006) An introduction to nonlinear dimensionality reduction by maximum variance unfolding. In: Cohn Anthony (ed) Proceedings / The Twenty-First National Conference on Artificial Intelligence (AAAI-06), Eighteenth Innovative Applications Artificial Intelligence (IAAI-06), AAAI Press, Menlo Park, Calif.
Xiao L, Sun J, Boyd S (2006) A duality view of spectral methods for dimensionality reduction. In: Cohen WW, Moore A (eds) Proceedings / Twenty-Third International Conference on Machine Learning, ACM, New York, NY, pp 1041–1048, https://doi.org/10.1145/1143844.1143975
Zhang C, Wang J, Zhao N, Zhang D (2004) Reconstruction and analysis of multi-pose face images based on nonlinear dimensionality reduction. Pattern Recognition, The journal of the pattern recognition society vol. 37:S.325–336
Zhang Z, Zha H (2002a) Local Linear Smoothing for Nonlinear Manifold Learning. URL (zha@cse.psu.edu.)
Zhang Z, Zha H (2002b) Principal Manifolds and Nonlinear Dimension Reduction via Local Tangent Space Alignment. SIAM Journal of Scientific Computing (26):313–338
Author information
Authors and Affiliations
Rights and permissions
Copyright information
© 2019 Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature
About this chapter
Cite this chapter
Sartorius, G. (2019). Nächste-Nachbarn-Verfahren und Dimensionsreduktion. In: Erfassen, Verarbeiten und Zuordnen multivariater Messgrößen. Springer Vieweg, Wiesbaden. https://doi.org/10.1007/978-3-658-23576-5_10
Download citation
DOI: https://doi.org/10.1007/978-3-658-23576-5_10
Published:
Publisher Name: Springer Vieweg, Wiesbaden
Print ISBN: 978-3-658-23575-8
Online ISBN: 978-3-658-23576-5
eBook Packages: Computer Science and Engineering (German Language)