Advertisement

Annales des Télécommunications

, Volume 42, Issue 9–10, pp 499–509 | Cite as

Le décodage pondere en tant que procédé de réévaluation d’une distribution de probabilité

  • Gérard Battail
Article

Analyse

L’auteur propose de redéfinir le décodage pondéré d’un code redondant comme consistant à réévaluer une distribution de probabilité donnée a priori, pour tenir compte des contraintes du codage. La solution optimale du problème ainsi posé s’obtient par application du principe « d’écart entropique minimal» et on montre qu’elle coincide avec le calcul des probabilités à comparer pour effectuer le décodage à vraisemblance maximale quand la distribution a priori est exactement connue. Le principe s’applique aussi à une distribution a priori approximative ou biaisée, ce qui explique la robustesse du décodage par rapport à la pondération. D’autre part, cette redéfinition permet d’utiliser les étapes intermédiates du décodage, dans le cas où des codes sont associés par concaténation ou produit, comme source de pondération pour les étapes ultérieures. On est amené pour simplifier à une estimation de la distribution a posteriori de forme séparable par rapport aux symboles d’information, que l’on définit et dont on examine certaines applications.

Mots cles

Code correcteur erreur Concaténation Décodage Pondération Probabilitéa priori Probabilitéa posteriori Estimation statistique 

Weighted decoding as a means for reestimating a probability distribution

Abstract

We propose to redefine weighted decoding of a redundant code as consisting of reestimating a given prior probability distribution in order to take into account the code constraints. The optimum solution of this problem results from using the « minimum cross-entropy » principle and is shown to coincide with the computation of the probabilities to be compared in order to perform maximum likelihood decoding when the prior distribution is exactly known. The principle however also holds when the prior distribution is approximate or biased, which explains the robustness of decoding with respect to weighting information. Such a redefinition also enables using the intermediate steps of decoding, in the case of codes associated by concatenation or product, as a source of weighting information for the subsequent steps. One is led for simplicity’s sake to an estimate of the posterior probability in separable form with respect to the information symbols ; its definition is given and certain of its applications are discussed.

Key words

Error correcting code Concatenation Decoding Weighting Prior probability Posterior probability Statistical estimation 

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Bibliographie

  1. [1]
    Elias (P.). Error-free coding.IRE Trans. IT, USA (Jan. 1954), pp. 29–37.Google Scholar
  2. [2]
    Forney (G. D.)Jr.. Concatenated codes.MIT Press, USA (1966).Google Scholar
  3. [3]
    Pieper (J. F.), Proakis (J. G.), Reed (R. R.), Wolf (J. K.). Design of efficient coding and modulation for a Rayleigh fading channel.IEEE Trans. IT, USA (juil. 1978),24, no 4, pp. 457–468.MATHCrossRefGoogle Scholar
  4. [4]
    El-Soudani (M.),Battail (G.). Soft decoding using a trellis for a concatenated system. 9eGRETSI, Nice (16–20 mai 1983), pp. 407–412.Google Scholar
  5. [5]
    Battail (G.). Pondération des symboles décodés par l’algorithme de Viterbi.Ann. Té lécom., Fr. (1987),42, no 1-2, pp. 31–38.Google Scholar
  6. [6]
    Shore (J. E.), Johnson (R. W.). Axiomatic derivation of the principle of maximum entropy and the principle of minimum cross-entropy.IEEE Trans. IT, USA (Jan. 1980),26, no 1, pp. 26–37.MATHCrossRefMathSciNetGoogle Scholar
  7. [7]
    Kullback (S.). Information theory and statistics. Wiley (1959).Google Scholar
  8. [8]
    Shore (J. E.), Johnson (R. W.). Properties of cross- entropy minimization.IEEE Trans. IT, USA (juil. 1981),27, no 4, pp. 472–482.MATHCrossRefMathSciNetGoogle Scholar
  9. [9]
    Battail (G.), Decouvelaere (M.). Décodage par répliques.Ann. Télécom., Fr. (nov.-déc. 1976),31, no 11-12, pp. 397- 404.Google Scholar
  10. [10]
    Battail (G.). Description polynomial des codes en blocs linéaires.Ann. Télécom., Fr. (jan.-fév. 1983),38, no 1-2, pp. 3–15.MATHGoogle Scholar
  11. [11]
    Jaynes (E. T.). Information theory and statistical mechanics I & II.Phys. Rev. (1957),106, pp. 620–630 et (1957),108, pp. 171–190.CrossRefMathSciNetGoogle Scholar
  12. [12]
    Bouchon (B.). Gains d’information : mesures de proximité entre lois de probabilitéRevue du CETHEDEC - Ondes et Signal, Fr. (1982), no 70, pp. 29–41.Google Scholar
  13. [13]
    Hartmann (C. R. P.), Rudolph (L. D.). An optimum symbol-by-symbol decoding rule for linear codes.IEEE Trans. IT, Fr. (sept. 1976),22, no 5, pp. 514–517.MATHCrossRefMathSciNetGoogle Scholar
  14. [14]
    Battail (G.). Décodage pondéré des codes linéaires.Colloque IPMU, Paris (30 juin - 4 juillet 1986).Google Scholar

Copyright information

© Institut Telecom / Springer-Verlag France 1987

Authors and Affiliations

  • Gérard Battail
    • 1
  1. 1.Ecole nationale supérieure des Télécommunications, Département systèmes et communications75634 Paris Cedex 13

Personalised recommendations