Advertisement

Das Konzept der Entropie

  • Nicole Branger
Chapter
  • 112 Downloads
Part of the Gabler Edition Wissenschaft book series (GEW)

Zusammenfassung

Die Entropie und die Cross-Entropie werden im Rahmen der Messung von Informationen definiert. Die Entropie einer Verteilung ist ein Maß dafür, wie unsicher eine Verteilung ist: Je weniger Informationen über die Zukunft eine Verteilung enthält, desto größer ist ihre Entropie. Die Cross-Entropie ist ein Maß für den Unterschied zwischen zwei Verteilungen: Je mehr eine Verteilung Q sich von einer Verteilung P unterscheidet, desto größer ist die Cross-Entropie von Q gegenüber P.

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  1. 1.
    Bei dieser Menge wird es sich später um die Menge ciller zulässigen äquivalenten Martingalmaße handeln, aus der genau eines auszuwählen ist.Google Scholar
  2. 2.
    Bei dieser Menge wird es sich später um die Menge der zulässigen und arbitragefreien stochastischen Diskontierungsfaktoren oder Arrow-Debreu-Preise handeln.Google Scholar
  3. 3.
    Vgl. Kapur, Kesavan (1992) [70] und Golan, Judge, Miller [40].Google Scholar
  4. 4.
    Vgl. hierzu z.B. Kapur, Kesavan (1992) [70].Google Scholar
  5. 5.
    Es wird deshalb teilweise vorgeschlagen, die Entropie zu normieren, um die Abhängigkeit von der Zahl der Zustände zu umgehen. Dabei kann man so vorgehen, daß die Entropie der Gleichverteilung jeweils Eins ist. Vgl. hierzu z.B. Kapur, Kesavan (1992) [70] und Golan, Judge, Miller (1996) [40].Google Scholar
  6. 6.
    Diese Eigenschaft ermöglicht eine rekursive Berechnung der Entropie. Vgl. Kapur, Kesavan (1992) [70] und Jaynes (1994) [69].Google Scholar
  7. 7.
    Vgl. Kapur, Kesavan (1992) [70] und Jaynes (1994) [69].Google Scholar
  8. 8.
    Vgl. zu den folgenden Ausführungen Jaynes (1994) [69] und Golan, Judge, Miller (1996) [40].Google Scholar
  9. 9.
    Vgl. Jaynes (1994) [69].Google Scholar
  10. 10.
    Eine weitere intuitive Begründung der Entropie ist bei Gulko (1999) [47] zu finden.Google Scholar
  11. 11.
    Vgl. hierzu und zu den folgenden Ausführungen z.B. Kapur, Kesavan (1992) [70] sowie Golan, Judge, Miller (1996) [40].Google Scholar
  12. 12.
    Vgl. Kullback, Leibler (1951) [74] und Stutzer (1996) [105].Google Scholar
  13. 13.
    Vgl. Kapitel 2.2.2Google Scholar
  14. 14.
    Vgl. beispielsweise Kapur, Kesavan (1992) [70].Google Scholar
  15. 15.
    Vgl. zur Definition einer Metrik beispielsweise Heuser (1988) [55]. Man sagt auch, daß die Cross-Entropie eine „directed divergence“ ist. Vgl. Kapur, Kesavan (1992) [70].Google Scholar
  16. 16.
    Für die Cross-Entropie läßt sich ähnlich wie für die Entropie zeigen, daß sie die Eigenschaften aufweist, die man intuitiv von einem solchen Maß erwarten würde. Vgl. hierzu Kapur, Kesavan (1992) [70].Google Scholar
  17. 17.
    Vgl. S. 117f.Google Scholar
  18. 18.
    Eine weitere intuitive Interpretation der Cross-Entropie ist bei Avellaneda et al. (1999) [4] zu findenGoogle Scholar
  19. 19.
    Woraus diese Informationen bestehen und in welcher Form sie gegeben sind, wird im folgenden noch dargestellt werden.Google Scholar
  20. 20.
    Ist eine zulässige Bewertungsfunktion zu bestimmen, die laut Definition 2.14 alle erreichbaren Zahlungen richtig bewertet, dann sind dies beispielsweise alle die signierten Martingalmaße zu einem bestimmten Numeraire, die diese zulässigen Bewertungsfunktionen darstellen. Ist eine zulässige und arbitragefreie Bewertungsfunktion zu bestimmen, dann sind dies alle die äquivalenten Martingalmaße zu einem bestimmten Numeraire, die diese Bewertungsfunktionen darstellen.Google Scholar
  21. 21.
    Kapur, Kesavan (1992) [70] sprechen hier von zwei Arten von Informationen. Die Informationen, die die Menge der zulässigen Verteilungen festlegen, müssen zwingend beachtet werden. So darf nur eine Verteilung ausgewählt werden, die mit diesen Informationen vereinbar ist. Die a-priori Verteilung stellt eine zusätzliche Information dar. Sie ist ein erster Schätzer für die Verteilung, der auf Intuition, Erfahrung oder auch auf einem theoretischen Modell beruhen kann. Von dieser a-priori Verteilung darf (und muß) man abweichen, wenn sie nicht zulässig ist.Google Scholar
  22. 22.
    In diesem Fall besteht die Aufgabenstellung darin, ausgehend von Momentenbedingungen eine Verteilung zu bestimmen. Vgl. Avellaneda (1998) [5].Google Scholar
  23. 24.
    Die Wahl des Normierungsfaktors und des zugehörigen Maßes wird später noch diskutiert werden. Zur Veranschaulichung der folgenden Herleitungen kann man als Normierungsfaktor den Money Market Account wählen. Das Maß Q ist dann das risikoneutrale Maß.Google Scholar
  24. 25.
    Golan, Judge, Miller (1996) [40] und Samperi (1999) [95] sprechen hier auch von einem „ill-posed problem“.Google Scholar
  25. 26.
    Jedes dieser Kriterien ist letztendlich subjektiv, da man den explizit gegebenen Informationen solange weitere Bedingungen hinzufügt, bis man eine eindeutige Verteilung erhält. Vgl. hierzu auch Avellaneda (1998) [5].Google Scholar
  26. 27.
    In der Terminologie von Kapitel 3.3.2 wird hier eine exakte Kalibration gefordert.Google Scholar
  27. 28.
    Vgl. S. 103.Google Scholar
  28. 29.
    Vgl. z.B. Jackwerth, Rubinstein (1996) [66].Google Scholar
  29. 30.
    Vgl. Buchen, Kelly (1996) [18].Google Scholar
  30. 31.
    Vgl. Grandits (1999) [43].Google Scholar
  31. 32.
    Vgl. z.B. Stutzer (1996) [105].Google Scholar
  32. 33.
    Vgl. S. 117f.Google Scholar
  33. 34.
    Die Gleichverteilung ist die Verteilung mit maximaler Entropie und damit tatsächlich die wahrscheinlichste Verteilung, so daß die Intuition in diesem Fall mit dem Kriterium der maximalen Entropie übereinstimmt.Google Scholar
  34. 35.
    Mittels dieser Argumentation rechtfertigen auch Buchen, Kelly (1996) [18] die Wahl der Verteilung mit der maximalen Entropie. Sie argumentieren, daß diese den am wenigsten verzerrten Schätzer darstellt. Auch Kapur, Kesavan (1992) [70] begründen so das Prinzip der maximalen Entropie.Google Scholar
  35. 36.
    Vgl. Kapur, Kesavan (1992) [70] und Golan, Judge, Miller [40].Google Scholar
  36. 37.
    Gulko (1997) [45], (1999) [47] argumentiert, daß hier eine Verbindung zur Informationseffizienz besteht. So ist nach seiner Aussage der Markt genau dann (schwach) informationseffizient, wenn die ausgewählte zulässige Verteilung der zukünftigen Preise die zulässige Verteilung mit der maximalen Entropie ist. Dies erscheint jedoch zweifelhaft. So ist die ausgewählte Verteilung mit maximaler Entropie ein Martingalmaß zum Numeraire Z. Sie hängt, wie in Kapitel 5.2.1 noch gezeigt werden wird, davon ab, welches Numeraire verwendet wird, und auch die durch sie dargestellte Bewertungsfunktion hängt vom verwendeten Numeraire ab. Diese Abhängigkeit vom Numeraire ist im Rahmen der Informationseffizienz nicht zu erklären.Google Scholar
  37. 38.
    Im Unterschied dazu kann es bei der Maximierung der Glätte der Verteilung Q durchaus der Fall sein, daß eine oder mehrere Wahrscheinlichkeiten identisch Null sind. In einem solchen Fall sind die Nichtnegativitätsbedingungen bindend. Jackwerth, Rubinstein (1996) [66] schlagen hier unter dem Begriff des „clamping-down“vor, die Wahrscheinlichkeiten für sehr große und sehr kleine Werte des Underlyings solange sukzessive gleich Null zu setzen, bis die Nichtnegativitätsbedingungen erfüllt sind.Google Scholar
  38. 39.
    Vgl. Kapur, Kesavan (1992) [70] und Golan, Judge, Miller (1996) [40].Google Scholar
  39. 40.
    Vgl. S. 119f.Google Scholar
  40. 41.
    Die Verteilung P ist auch die Verteilung mit der größten Wahrscheinlichkeit, so daß das Auswahlkriterium Cross-Entropie mit der Intuition übereinstimmt.Google Scholar
  41. 42.
    Mittels dieser Argumentation begründen bei Vorgabe einer a-priori Verteilung u.a. Buchen, Kelly (1996) [18] und Stutzer (1996) [105] die Wahl der Verteilung mit der minimalen Cross-Entropie. Auch Kapur, Kesavan (1992) [70] begründen so das Prinzip der minimalen Cross-Entropie.Google Scholar
  42. 43.
    Csiszár (1975) [27] bezeichnet das optimale Maß Q, das dieses Optimierungsproblem löst, als die Informationsprojektion von P in die Menge der durch die linearen Nebenbedingungen festgelegten zulässigen Maße.Google Scholar
  43. 44.
    Vgl. z.B. Kapur, Kesavan (1992) [70], Golan, Judge, Miller (1996) [40] oder Avellaneda (1998) [5].Google Scholar
  44. 45.
    Die Gültigkeit dieser Gleichung kann durch Einsetzen bewiesen werden. Sie ist auch zu finden bei Kapur, Kesavan (1992) [70].Google Scholar
  45. 46.
    Vgl. Kapitel 5.2.Google Scholar
  46. 47.
    Dies wird ausführlich dargestellt in Kapitel 2.3.2.Google Scholar
  47. 49.
    Die Erweiterungen bestehen an dieser Stelle darin, Entropiemaße auch für Zufallsvariablen zu definieren. Vgl. hierzu auch Kapur, Kesavan (1992) [70]. Es werden jedoch nicht weitere Entropie- und Cross-Entropie-Maße für Wahrscheinlichkeitsverteilungen neben der Shannon-Entropie und der Kullback-Leibler-Cross-Entropie betrachtet. Auch für diese sei auf Kapur, Kesavan (1992) [70] verwiesen.Google Scholar
  48. 50.
    Vgl. z.B. Samperi (1998) [94, S. 77].Google Scholar
  49. 51.
    Diese Wahrscheinlichkeitsmaße haben keine Verbindung zu den aus der arbitrageorientierten Bewertung bekannten künstlichen Verteilungen. Dort bezeichnet man mit diesem Begriff die äquivalenten Martingalwahrscheinlichkeiten.Google Scholar
  50. 52.
    Vgl. Kapur, Kesavan (1992) [70].Google Scholar
  51. 53.
    Die erweiterte Entropie ist mit der Lorenzordnung vereinbar. So folgt aus X ≤ L Y stets EH(X)≥ EH(Y). Die Definition der Lorenzordnung ist zu finden z.B. bei Arnold (1987) [2].Google Scholar
  52. 56.
    Kapur, Kesavan (1992) [70] betrachten ebenfalls das Problem, die erweiterte Entropie zu maximie-ren. Allerdings nehmen sie an, daß die Summe über alle Zufallsvariablen exogen vorgeben ist. Diese Annahme wird hier ausdrücklich nicht getroffen.Google Scholar
  53. 58.
    Alternativ könnte man das Problem mit Hilfe der Kuhn-Tucker-Bedingungen lösen.Google Scholar
  54. 59.
    Ein ähnliches Vorgehen ist zu finden bei Frittelli (2000) [37]. Auch er definiert ausgehend von einem stochastischen Diskontierungsfaktor auf diesem Weg ein künstliches Maß.Google Scholar
  55. 61.
    Kapur, Kesavan (1992) [70] definieren ebenfalls eine erweiterte Cross-Entropie. Sie verwenden als Maß P allerdings stets die Gleichverteilung.Google Scholar

Copyright information

© Deutscher Universitäts-Verlag GmbH, Wiesbaden 2002

Authors and Affiliations

  • Nicole Branger

There are no affiliations available

Personalised recommendations