Definition et applications d’une mesure de I’information tenant compte de la signification des symboles

Analyse

Il est couramment admis que la théorie de l’information telle qu’elle a été formulée par Shannon, a besoin d’être généralisée afin d’aboutir à un concept de transinformation négative, laquelle est nécessaire pour décrire les phénomènes de perte d’information. Une telle généralisation sous la forme d’une «theorie relativiste de l’information» a déjà été proposée par l’auteur, et ici, il considère à nouveau cette question, mais dans le cadre classique de la théorie de Shannon. En associant à toute variable informationnelle une entropie de symbole et une entropie de sens, il arrive directement à un concept d’entropie totale, et de là il introduit la notion de transinformation totale qui peut être positive ou négative, tout en étant dissymétrique. Il généralise ensuite à la transinformation conditionnelle totale et à l’information triangulate, puis il obtient les conditions générales de bilan informationnel. Quelques exemples d’application sont donnés, tels que le problème du codage en général, le calcul de la capacite d’un canal, et le calcul de la transinformation en présence de flou. Dans la conclusion, il compare cette approche avec le modèle relativiste, et il montre que le dernier est la généralisation du premier.

Abstract

It is by now recognized that the information theory as initiated by Shannon and expanded later, needs some extensions to involve the concept of negative transinformation which is necessary to describe the feature of information lost that occurs either in technical systems or in human systems. Such a possible generalization has already been proposed by the author in a so-called «relativistic information theory», and the question is once more herein considered, but in the conventional framework of the theory, that is to say the Shannonian one. Symbols and meanings are defined by means of two different fields of probabilities, therefore the concept of total entropy of an informational variable. A concept of total transinformation is then derived, which may be positive or negative and later we obtain conditional total transinformation, and a triangular total transinformation formula. A few illustrative examples are given, and mainly one considers the encoding problem, the determination of the capacity of a channel, and the calculation of transinformation in the presence of fuzziness. The conclusion exhibits a brief comparison between this approach and relativistic information, and it is shown that the latter generalizes the former.