Information Theory and Statistical Entropy

Abstract

In Chap. 2 we made a synthesis of quantum mechanics, which governs on the microscopic scale the systems that we are studying, and statistics, which is necessary because systems are macroscopic and thus incompletely known. Here we shall complete the formalism by introducing information, a mathematical concept associated with probability theory, which in the following chapters will turn out to be essential in statistical mechanics as it will enable us to understand the microscopic significance of the entropy.

“La science est un produit de l’esprit humain, produit conforme aux lois de notre pensée et adapté au monde extérieur. Elle offre donc deux aspects, l’un subjectif, l’autre objectif, tous deux également nécessaires, car il nous est aussi impossible de changer quoi que ce soit aux lois de notre esprit qu’à celles du Monde.”

Bouty, La Vérité Scientifique, 1908

“— Vous savez, naturellement, ce que c’est que l’entropie?

— Oui, dit-elle, essayant, sans succès, de s’en remémorer la formule.

— Eh bien, l’entropie, c’est-à-dire, en gros, l’usure, la décadence de l’énergie, guette l’érotisme comme l’univers tout entier.”

E. Arsan, Emmanuelle, 1973