Advertisement

Annales des Télécommunications

, Volume 39, Issue 11–12, pp 523–537 | Cite as

Definition et applications d’une mesure de I’information tenant compte de la signification des symboles

  • Guy Jumarie
Article
  • 32 Downloads

Definition and applications of an information measure which takes account of symbols and semantics

Analyse

Il est couramment admis que la théorie de l’information telle qu’elle a été formulée par Shannon, a besoin d’être généralisée afin d’aboutir à un concept de transinformation négative, laquelle est nécessaire pour décrire les phénomènes de perte d’information. Une telle généralisation sous la forme d’une «theorie relativiste de l’information» a déjà été proposée par l’auteur, et ici, il considère à nouveau cette question, mais dans le cadre classique de la théorie de Shannon. En associant à toute variable informationnelle une entropie de symbole et une entropie de sens, il arrive directement à un concept d’entropie totale, et de là il introduit la notion de transinformation totale qui peut être positive ou négative, tout en étant dissymétrique. Il généralise ensuite à la transinformation conditionnelle totale et à l’information triangulate, puis il obtient les conditions générales de bilan informationnel. Quelques exemples d’application sont donnés, tels que le problème du codage en général, le calcul de la capacite d’un canal, et le calcul de la transinformation en présence de flou. Dans la conclusion, il compare cette approche avec le modèle relativiste, et il montre que le dernier est la généralisation du premier.

Abstract

It is by now recognized that the information theory as initiated by Shannon and expanded later, needs some extensions to involve the concept of negative transinformation which is necessary to describe the feature of information lost that occurs either in technical systems or in human systems. Such a possible generalization has already been proposed by the author in a so-called «relativistic information theory», and the question is once more herein considered, but in the conventional framework of the theory, that is to say the Shannonian one. Symbols and meanings are defined by means of two different fields of probabilities, therefore the concept of total entropy of an informational variable. A concept of total transinformation is then derived, which may be positive or negative and later we obtain conditional total transinformation, and a triangular total transinformation formula. A few illustrative examples are given, and mainly one considers the encoding problem, the determination of the capacity of a channel, and the calculation of transinformation in the presence of fuzziness. The conclusion exhibits a brief comparison between this approach and relativistic information, and it is shown that the latter generalizes the former.

Mots clés

Théorie information Mesure information Théorie Shannon Perte information Entropie Sémantique Ensemble flou Théorie relativiste Information mutuelle Code correcteur erreur Capacite canal 

Key words

Information theory Information measure Shannon theory Information loss Entropy Semantics Fuzzy set Relativistic theory Mutual information Error correcting code Channel capacity 

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Bibliographie

  1. [1]
    Brillouin (L.). La science et la théorie de l’information.Masson et Cie, Paris (1959).MATHGoogle Scholar
  2. [2]
    Jumarie (G.). Théorie relativiste de l’information et télécommunication. Perspectives.Ann. Télécommunic., Fr. (jan. 1978),33, n∘ 1–2, pp. 13–27.MATHGoogle Scholar
  3. [3]
    Jumarie (G.). Théorie relativiste de l’information II. Information de Shannon, entropie de Renyi, ensembles flous relativistes.Ann. Télécommunic., Fr. (sep. 1979),34, n∘ 9–10, pp. 491–507.MATHGoogle Scholar
  4. [4]
    Jumarie (G.). Theorie relativiste de l’information III. Sur la signification et l’utilisation effective de l’entropie de Renyi dans les problèmes de communication.Ann. Télécommunic, Fr. (nov. 1979),34, n∘ 11–12, pp. 521–530.MATHGoogle Scholar
  5. [5]
    Jumarie (G.). Théorie relativiste de l’information IV. Sur 1’introduction de facteurs subjectifs dans les problèmes de communication.Ann. Telecommunic., Fr. (juil. 1980),35, n∘ 7–8, pp. 281–296.MATHGoogle Scholar
  6. [6]
    Jumarie (G.). Théorie relativiste de l’information V. Transfert d’information, transfert d’incertitude, bilan informationnel.Ann. Télécommunic., Fr. (mai 1982),37, n∘ 5–6, pp. 202–214.Google Scholar
  7. [7]
    Jumarie (G.). Subjectivity, information, systems. Introduction to a theory of relativistic cybernetics.Gordon and Breach, New York (à paraître, 1985).Google Scholar
  8. [8]
    De Luca, Termini (S.). A definition of a nonprobabilistic entropy in the setting of fuzzy sets theory.Inform. and Control., USA (1972),20, pp. 301–312.MATHCrossRefGoogle Scholar
  9. [9]
    Trillas (E.),Riera (T.). Entropy in finite fuzzy sets.Information Sciences, USA (1978),15, pp. 159–168.MATHCrossRefMathSciNetGoogle Scholar
  10. [10]
    Batle (N.),Trillas (E.). Entropy and fuzzy integrals.J. Math. Analysis and Appl., USA (1979),69, pp. 469–474.MATHCrossRefMathSciNetGoogle Scholar
  11. [11]
    Zadeh (L.). Probability measures of fuzzy events.J. Math. Analysis and Appl., USA (1968),23, pp. 421–427.MATHCrossRefMathSciNetGoogle Scholar
  12. [12]
    Jumarie (G.). Entropy of fuzzy event revisited; an approach to fuzzy transinformation.Cybernetica, Belg. (1983),26, pp. 99–117.MATHMathSciNetGoogle Scholar
  13. [13]
    Jumarie (G.). Reljativistskaja informacija i biologija (en russe; Information relativiste et biologie), dans Thermo-dynamics and Regulation of Biological Processes, A. I. Zotin, Edit;Editions NAUKA, Moscou (1983).Google Scholar

Copyright information

© Institut Telecom / Springer-Verlag France 1984

Authors and Affiliations

  • Guy Jumarie
    • 1
  1. 1.Département de MathématiquesUniversité du Québec à MontréalSt A. MontréalCanada

Personalised recommendations