Como ya se señaló, para una codificación eficaz de la información es necesario tener en cuenta la dependencia estadística de los mensajes. Nuestro objetivo inmediato es aprender a calcular las características de información de secuencias de mensajes dependientes. Comencemos con dos mensajes.

Consideremos conjuntos incógnita= {xyo) Y Y={y j) y su trabajo XY={(xyo,y j), PAG(xyo,y j)). Para cualquier fijo y jÎ Y se puede construir distribución condicional probabilidades PAG(xyo/y j)en el set incógnita y para todos xyoÎ incógnita calcula tu propia información

que se llama información propia condicional mensajes xyo en fijo y j.

Anteriormente llamamos a la entropía del conjunto. incógnita información promedio del mensaje xyoÎ incógnita. De manera similar, promediando la información condicional I(xyo/y j)Por xyoÎ incógnita, obtenemos el valor

,

llamada entropía condicional incógnita en fijo y jÎ Y. Tenga en cuenta que en esta definición hay incertidumbre cuando PAG(xyo/y j)=0. Cabe señalar que una expresión de la forma z registro z tiende a cero en z® 0 y en base a esto contamos los términos de entropía correspondientes a las letras xyo con probabilidad PAG(xyo/y j)=0, igual a cero.

Entropía recién introducida h(incógnita/y j) es una variable aleatoria porque depende de la variable aleatoria y j. Para obtener información no aleatoria característica de un par de conjuntos probabilísticos, es necesario promediar todos los valores. yj. Magnitud

llamado entropía condicional conjunto incógnita con un conjunto fijo Y. Observemos una serie de propiedades de la entropía condicional.

2. , y la igualdad ocurre si y solo si los conjuntos incógnita Y Y independiente.

5. Además, la igualdad ocurre si y sólo si los conjuntos incógnita Y Y condicionalmente independiente para todos zО Z.

Discutamos " significado fisico» Propiedades formuladas de entropía condicional. La propiedad 2 establece que la entropía condicional del conjunto no excede su entropía incondicional. La propiedad 5 refuerza esta afirmación. De esto se deduce que la entropía condicional no aumenta al aumentar el número de condiciones. Ambos hechos no son sorprendentes; reflejan el hecho de que información adicional sobre el conjunto incógnita, contenida en mensajes de otros conjuntos, de término medio, reduce el contenido de información (incertidumbre) del conjunto incógnita. Nota " de término medio" es muy importante aquí, ya que la desigualdad H( incógnita/y j) ≤H( incógnita), en términos generales, no es cierto.

Las propiedades 1 – 5 implican la desigualdad

, (11.4)

en el que la igualdad sólo es posible en el caso de independencia conjunta de los conjuntos incógnita 1 , …, xn.

Recuerde que calcular la entropía es calcular el costo de transmitir o almacenar letras fuente. Las propiedades de la entropía condicional sugieren que al transmitir una carta xn+ 1 debería usar el hecho de que las letras anteriores incógnita 1 , …, xn ya son conocidos en el lado receptor. Esto permitirá en su lugar h(xn+1)gastar menos h(xn +1 /incógnita 1 ,…,xn) poco. Al mismo tiempo, la desigualdad (11.4) indica un enfoque diferente a la codificación económica. De esta desigualdad se deduce que las letras deben combinarse en bloques antes de codificar y estos bloques deben considerarse como letras de una nueva fuente "extendida". Los costos serán menores que con la codificación de letras independiente. ¿Cuál de los dos enfoques es más eficaz?

A continuación le daremos una descripción más precisa. características cuantitativas estos dos enfoques, pero antes debemos recordar algunas definiciones de la teoría de la probabilidad.

Entropía condicional

Entropía (informativa)- una medida del caos informativo, la incertidumbre sobre la aparición de cualquier símbolo del alfabeto primario. En ausencia de pérdidas de información, es numéricamente igual a la cantidad de información por símbolo del mensaje transmitido.

Por ejemplo, en la secuencia de letras que forman una oración en ruso, diferentes letras aparecen con diferentes frecuencias, por lo que la incertidumbre de ocurrencia es menor para algunas letras que para otras. Si tenemos en cuenta que algunas combinaciones de letras (en este caso hablamos de entropía norte-ésimo orden, ver) son muy raros, entonces la incertidumbre se reduce aún más.

Para ilustrar el concepto de entropía de la información, también se puede recurrir a un ejemplo del campo de la entropía termodinámica, llamado el demonio de Maxwell. Los conceptos de información y entropía tienen profundas conexiones entre sí, pero a pesar de esto, el desarrollo de teorías en mecánica estadística y la teoría de la información tardó muchos años en hacerlas coherentes entre sí.

Definiciones formales

Entropía de la información para eventos aleatorios independientes incógnita Con norte posibles condiciones(de 1 a norte) se calcula mediante la fórmula:

Esta cantidad también se llama entropía promedio del mensaje. La cantidad se llama entropía privada, caracterizando sólo i-bienes.

Por tanto, la entropía del evento. incógnita es la suma con signo opuesto todo funciona frecuencias relativas ocurrencia de un evento i, multiplicado por sus propios logaritmos binarios (se eligió la base 2 solo por la conveniencia de trabajar con información presentada en forma binaria). Esta definición de eventos aleatorios discretos se puede extender a una función de distribución de probabilidad.

En general b-entropía aria(Dónde b es igual a 2, 3, ...) fuente con el alfabeto original y distribución discreta probabilidades donde pag i es la probabilidad a i (pag i = pag(a i) ) está determinada por la fórmula:

La definición de entropía de Shannon está relacionada con el concepto de entropía termodinámica. Boltzmann y Gibbs lo hicieron gran trabajo Por termodinámica estadística, lo que contribuyó a la adopción de la palabra "entropía" en teoría de la información. Existe una conexión entre la termodinámica y la entropía de la información. Por ejemplo, el demonio de Maxwell también contrasta entropía termodinámica información, y obtener cualquier cantidad de información equivale a perder entropía.

Definición alternativa

Otra forma de definir la función de entropía es h es prueba de que h se determina de forma única (como se indicó anteriormente) si y sólo si h satisface las condiciones:

Propiedades

Es importante recordar que la entropía es una cantidad definida en contexto. modelo probabilístico para la fuente de datos. Por ejemplo, lanzar una moneda tiene entropía − 2(0,5log 2 0,5) = 1 bit por lanzamiento (suponiendo que sea independiente). Una fuente que genera una cadena que consta únicamente de las letras "A" tiene entropía cero: . Así, por ejemplo, se puede establecer experimentalmente que la entropía texto en ingles es igual a 1,5 bits por carácter, lo que por supuesto variará según los distintos textos. El grado de entropía de una fuente de datos significa el número promedio de bits por elemento de datos necesarios para cifrarlo sin pérdida de información, con una codificación óptima.

1. Es posible que algunos bits de datos no transporten información. Por ejemplo, las estructuras de datos a menudo almacenan información redundante o tienen secciones idénticas independientemente de la información de la estructura de datos.
2. La cantidad de entropía no siempre se expresa como un número entero de bits.

Propiedades matemáticas

Eficiencia

El alfabeto original encontrado en la práctica tiene una distribución de probabilidad que está lejos de ser óptima. Si el alfabeto original hubiera norte caracteres, entonces se puede comparar con un "alfabeto optimizado" cuya distribución de probabilidad es uniforme. La relación de entropía del alfabeto original y optimizado es la eficiencia del alfabeto original, que se puede expresar como un porcentaje.

De esto se deduce que la eficacia del alfabeto original con norte Los símbolos se pueden definir simplemente como iguales a su norte-entropía aria.

La entropía limita la compresión máxima posible sin pérdidas (o casi sin pérdidas) que se puede realizar utilizando un conjunto teóricamente típico o, en la práctica, codificación Huffman, codificación Lempel-Ziv-Welch o codificación aritmética.

Variaciones y generalizaciones.

Entropía condicional

Si la secuencia de caracteres del alfabeto no es independiente (por ejemplo, en Francés la letra “q” casi siempre va seguida de una “u”, y la palabra “avanzado” en periódicos soviéticos generalmente seguida por la palabra “producción” o “trabajo”), la cantidad de información contenida en una secuencia de tales símbolos (y por lo tanto entropía) es obviamente menor. Para tener en cuenta estos hechos, se utiliza la entropía condicional.

La entropía condicional de primer orden (similar al modelo de Markov de primer orden) es la entropía de un alfabeto donde se conocen las probabilidades de que una letra aparezca después de otra (es decir, las probabilidades de combinaciones de dos letras):

Dónde i es un estado dependiente del carácter anterior, y pag i (j) - esta es la probabilidad j, siempre que i Era el personaje anterior.

Entonces, para el idioma ruso sin la letra "".

Las pérdidas de información durante la transmisión de datos en un canal ruidoso se describen completamente mediante entropías condicionales parciales y generales. Para ello se creó el llamado matrices de canales. Entonces, para describir las pérdidas por parte de la fuente (es decir, se conoce la señal enviada), considere la probabilidad condicional de recibir el símbolo por parte del receptor. b j siempre que el personaje haya sido enviado a i. En este caso, la matriz de canales tiene la siguiente forma:

Obviamente, las probabilidades ubicadas a lo largo de la diagonal describen la probabilidad de una recepción correcta, y la suma de todos los elementos de la columna dará la probabilidad de que aparezca el símbolo correspondiente en el lado del receptor: pag(b j) . Pérdidas por señal transmitida a i, se describen mediante entropía condicional parcial:

Para calcular las pérdidas de transmisión de todas las señales, se utiliza la entropía condicional general:

Significa entropía en el lado de la fuente; la entropía en el lado del receptor se considera de manera similar: en lugar de en todas partes, se indica (sumando los elementos de la línea se puede obtener). pag(a i) , y los elementos diagonales significan la probabilidad de que se haya enviado el carácter exacto que se recibió, es decir, la probabilidad de transmisión correcta).

Entropía mutua

Entropía mutua, o entropía de unión, está destinado a calcular la entropía de sistemas interconectados (la entropía de la aparición conjunta de mensajes estadísticamente dependientes) y se denota h(AB) , Dónde A, como siempre, caracteriza al transmisor, y B- receptor.

La relación entre las señales transmitidas y recibidas se describe mediante probabilidades. eventos conjuntos pag(a i b j) , y para descripción completa características del canal, solo se requiere una matriz:

Para más caso general, cuando no se describe un canal, sino simplemente sistemas que interactúan, la matriz no tiene por qué ser cuadrada. Obviamente, la suma de todos los elementos de la columna con número j dará pag(b j) , la suma del número de línea i Hay pag(a i) , y la suma de todos los elementos de la matriz es igual a 1. Probabilidad conjunta pag(a i b j) eventos a i Y b j se calcula como el producto de la probabilidad original y condicional,

Las probabilidades condicionales se obtienen utilizando la fórmula de Bayes. Así, existen todos los datos para calcular las entropías de la fuente y del receptor:

La entropía mutua se calcula sumando secuencialmente en filas (o columnas) todas las probabilidades de la matriz, multiplicadas por su logaritmo:

La unidad de medida es bit/dos símbolos, esto se explica por el hecho de que la entropía mutua describe la incertidumbre por par de símbolos enviados y recibidos. Mediante transformaciones simples también obtenemos

La entropía mutua tiene la propiedad. integridad de la información- De él se pueden obtener todas las cantidades consideradas.

Para una presentación más detallada necesitaremos alguna información conocida de la teoría de la probabilidad.

1) Propiedades de las probabilidades para un conjunto de eventos aleatorios A Y EN:

P(A,B)=P(A)*P(B/A); -> P(B/A)=P(A,B)/P(B);

P(A,B)=P(B)*P(B/A); -> P(A/B)=P(A,B)/P(A);

P(A/B)=P(A)*P(B/A)/P(B);

P(B/A)=P(B)*P(A/B)/P(A); A Y EN Si

son independientes, entonces

P(A/B)=P(A); P(B/A)=P(B):

P(A,B)=P(A)*P(B);

Una vez más, la definición de entropía de Shannon para una fuente de mensajes discretos:

Sus propiedades: ;

H > 0metronorte;

hacha = iniciar sesión norte Con fuentes independientes;

H(A,B)=H(A)+H(B)

ENTROPÍA CONDICIONAL Si los estados de los elementos del sistema no dependen unos de otros o si el estado de un sistema no depende del estado de otro sistema, entonces la incertidumbre de que algún elemento del sistema (o algún sistema) estará en uno de los Los estados posibles estarían completamente determinados por las características probabilísticas de los elementos individuales del sistema. En este caso La información por estado de un elemento del sistema o por símbolo de mensaje se llama entropía promedio y, al calcularla, se utiliza la expresión.

Al calcular la cantidad promedio de información por símbolo de mensaje, se tiene en cuenta la interdependencia a través de probabilidades condicionales de que ocurran algunos eventos en relación con otros, y la entropía resultante se llama entropía condicional.

Consideremos la transmisión de mensajes desde una fuente de símbolos aleatorios A a través de un canal de transmisión de información. En este caso, se supone que con una transmisión confiable al transmitir el símbolo a 1 obtenemos b 1 , a 2 - b 2 etc. En este caso, para un canal con interferencia, la transmisión se distorsiona y cuando se recibe un símbolo b 1 sólo podemos hablar de la probabilidad de retransmisión del símbolo a 1 . Es muy posible que los personajes hayan sido transmitidos a 2 , a 3 etc.

Las distorsiones se describen mediante la matriz de probabilidades del canal condicional. PAG(A/ B)={ pag(a i / b i }.

Consideremos el proceso de transmisión de señales a través de un canal de comunicación con ruido y utilicémoslo para comprender el mecanismo para calcular la entropía condicional.

Si la fuente del mensaje produce los caracteres

a yo , A 2 , ..., a i ..., A norte

con probabilidades en consecuencia

Pensilvania 1 ), p (un 2 ) ... ..., p (a i ), ..., p (a norte ),

y a la salida del canal de transmisión recibimos símbolos

b 1 ,b 2 , ..., b i ..., b norte

con probabilidades en consecuencia

pag(b 1 ), pag (b 2 ), ..., p (b i , ..., pag (b norte ),

entonces el concepto de entropía condicional H (B/a i ) expresa la incertidumbre de que al enviar a i , lo conseguiremos b i., concepto h(A/b i ) incertidumbre que queda después de recibir b i en lo que fue enviado exactamente a i. Esto se representa gráficamente en la figura anterior. Si hay interferencia en el canal de comunicación, cualquiera de las señales se puede recibir con distintos grados de probabilidad. b j y, por el contrario, la señal recibida. b j puede aparecer como resultado del envío de cualquiera de las señales a i . Si no hay interferencia en el canal de comunicación, entonces el símbolo enviado siempre es A 1 coincide con el carácter aceptado b 1 , A 2 -b 2 , ..., A norte -b norte .

En este caso, la entropía de la fuente del mensaje H(A) es igual a la entropía del receptor del mensaje H(B). Si hay interferencia en el canal de comunicación, se destruye o distorsiona parte de la información transmitida.

Las pérdidas de información se describen completamente mediante entropía condicional general y privada. Es conveniente calcular la entropía condicional parcial y general utilizando matrices de canales. El término "matriz de canales" significa: una matriz que describe estadísticamente este canal conexión, utilizada por brevedad. Si el canal de comunicación se describe desde el lado de la fuente del mensaje (es decir, se conoce la señal enviada), entonces la probabilidad de que al transmitir la señal a i a través de un canal de comunicación con interferencia recibiremos una señal b j denotado como probabilidad condicional p(b j /ai). y la matriz de canales tiene la forma

Las probabilidades que se encuentran a lo largo de la diagonal (en negrita) determinan las probabilidades de una recepción correcta, el resto, falsa. Los valores de los dígitos que llenan las columnas de la matriz del canal generalmente disminuyen con la distancia desde la diagonal principal y, en ausencia total de interferencia, todos, excepto los dígitos ubicados en la diagonal principal, son iguales a cero.

Pasando el símbolo a i desde el lado de la fuente del mensaje en un canal de comunicación dado se describe mediante la distribución de probabilidades condicionales de la forma p(b j /a i ), la suma de las probabilidades siempre debe ser igual a uno. Por ejemplo, para una señal A 1

Pérdidas de información por cuota de señal a i se describen utilizando entropía condicional parcial. Por ejemplo, para una señal a 1

La suma se realiza según j, porque i-ésimo estado (en en este caso primero) permanece constante.

Pérdida de transmisión todas las señales a través de un canal de comunicación determinado se describen utilizando entropía condicional general. Para calcularlo, debes sumar todas las entropías condicionales parciales, es decir, realizar una suma doble sobre i y por j.

En el caso de que la probabilidad de aparición de los símbolos fuente del mensaje sea desigual, la probabilidad de aparición de cada símbolo debe tenerse en cuenta multiplicando la entropía condicional parcial correspondiente por ella. En este caso, la entropía condicional total

Si examinamos la situación desde fuera receptor de mensajes(eso es cuando se conoce la señal recibida) , luego con la recepción del símbolo b j se supone que uno de los símbolos fue enviado a 1 , a 2 , …, a i ,…, a metro. En este caso, la matriz de canales tiene la forma:

En este caso, las sumas de las probabilidades condicionales deben ser iguales a uno no en las filas, sino en las columnas de la matriz del canal.

Entropía condicional parcial

Y la entropía condicional total.

Entropía condicional total del sistema. B con respecto al sistema A caracteriza la cantidad de información contenida en cualquier símbolo de la fuente del mensaje a través del cual representamos los estados de los elementos de los sistemas en estudio.

La entropía condicional general se determina promediando todos los símbolos, es decir, todos los estados. A i teniendo en cuenta la probabilidad de ocurrencia de cada uno de ellos. Es igual a la suma de los productos de las probabilidades de aparición de los símbolos fuente y la incertidumbre que queda después de que el destinatario haya recibido los símbolos:

Si no hay interferencia en el canal de comunicación, entonces todos los elementos de la matriz del canal, excepto los ubicados en la diagonal principal, son iguales a cero. Esto sugiere que al transmitir una señal A 1 definitivamente lo conseguiremos b 1 tras la transmisión A 2 - b 2 , ..., A metro - b metro. La probabilidad de recibir la señal correcta será incondicional y condicional la entropía será cero.

La entropía condicional alcanza su máximo en el caso de que, al transmitir un símbolo A i tal vez con igual probabilidad cualquiera de las señales recibidas b 1 , b 2 , ..., b metro .

Considerando la fórmula de Shannon (3.3) para calcular la entropía de una variable aleatoria y la cantidad de información, asumimos que la información sobre la variable aleatoria (X) llega directamente al observador. Sin embargo, por regla general, no recibimos información sobre la variable aleatoria (X) que nos interesa, sino sobre alguna otra (Y), que está relacionada con X de forma estocástica. Esta conexión de variables aleatorias se diferencia de una conexión funcional, en la que cada valor de un valor corresponde a un valor único y bien definido de otro valor. La conexión estocástica (probabilística) entre dos variables aleatorias X e Y significa que un cambio en una de ellas afecta el valor de la otra, pero de tal manera que conociendo el valor de X es imposible indicar con precisión el valor que el valor Y tomará. Sólo puede indicar la tendencia de cambio en el valor Y.

Sea B – evento aleatorio; p(B) – probabilidad de que ocurra; denotemos por X una variable aleatoria que toma N diferentes significados(x 1 , x 2 , … x N ), y mediante A k el evento de que la variable aleatoria X tomará el valor x k:

A k = ( X = x k ), k=1,2, …N ;

Denotamos la probabilidad del evento A k por p(A k). La probabilidad de que ocurran algunos eventos puede cambiar dependiendo de si ocurre o no algún otro evento. La probabilidad p B (A k) del evento A k, calculada bajo el supuesto de que el evento B ha ocurrido, se llama probabilidad condicional del evento A k, en este caso:

Los eventos A k y B se llaman independientes si la probabilidad de ocurrencia del evento A k no depende de si el evento B ha ocurrido o no. Esto significa que la probabilidad condicional del evento p B (A k) es igual a la "ordinaria". probabilidad p(Ak).

Definición. La entropía condicional de una variable aleatoria X bajo la condición B es la cantidad

(4.2)

La diferencia con la fórmula de Shannon (3.3) es que en lugar de probabilidades p(A k) usamos probabilidades condicionales p B (A k).

Sea ahora Y otra variable aleatoria que toma valores (y 1 , y 2 , ... y M ). Denotemos por B j el evento de que la variable aleatoria Y tome el valor y j:

B j = ( Y = y j ), j=1, 2,… M.

Denotamos la probabilidad del evento B j por p(B j).

Definición. La entropía condicional de la variable aleatoria X en valor establecido la variable aleatoria Y es la cantidad H Y (X)

(4.3)

Transformemos la fórmula (4.3):

La fórmula (4.3) toma la forma:

(4.4)

Calculemos la cantidad de información sobre la variable aleatoria X obtenida al observar la variable aleatoria Y. Esta cantidad de información I (X, Y) es igual a la disminución de la entropía de la variable aleatoria X al observar la variable aleatoria Y:

Sustituyamos las expresiones de H(X) y H Y (X) en (15):

En la primera suma reemplazamos p(A k)=p(A k B 1)+ p(A k B 2)+ p(A k B 3)…+ p(A k B M). Esta igualdad realmente se produce porque los eventos A k B 1 , A k B 2 , … A k B M son incompatibles por pares, y uno de ellos ocurrirá si ocurre A k. Por el contrario, si ocurre uno de B j, entonces también ocurre A k. Continuando con las transformaciones obtenemos:

Entonces, tenemos una fórmula para calcular la cantidad de información sobre una variable aleatoria X cuando se observa otra variable aleatoria Y:

(4.6)

Si variables aleatorias(o eventos) son independientes, entonces la relación p(A k B j) = p(A k)p(B j) es válida para ellos: la probabilidad de que dos eventos ocurran conjuntamente es igual al producto de las probabilidades de estos eventos.

Respecto al valor I(X,Y), las siguientes afirmaciones son verdaderas.

Para variables aleatorias independientes obtenemos

Esto significa que observar la variable aleatoria Y no proporcionará ninguna ventaja para obtener información sobre la variable aleatoria X.

En otros casos, I(X,Y) >0, y se cumple la siguiente desigualdad:

La igualdad se logra si existe una conexión funcional Y=F(X). En este caso, observar Y da información completa acerca de X. Si Y=X, entonces I(X,X) = H(X).

La cantidad I(X,Y) es simétrica: I(X,Y) = I(Y,X). Esto significa que la observación de una variable aleatoria Y proporciona la misma cantidad de información sobre la variable aleatoria X que la observación de una variable aleatoria X proporciona sobre la variable aleatoria Y. Si consideramos dos variables aleatorias que están en una dependencia estocástica, entonces mediante la teoría de la información es imposible establecer cuál es la causa y cuál el efecto.

Entropía condicional

Encontremos la entropía conjunta de un complejo. sistema de información(composiciones A, B) si sus mensajes no son independientes, es decir si el contenido del mensaje B está influenciado por el mensaje A.

Por ejemplo, el mensaje sobre el partido entre los equipos de fútbol Comet y Raketa, “Comet ganó”, elimina por completo la incertidumbre sobre cómo jugó Rocket.

Otro ejemplo: el mensaje A contiene información sobre un hombre (apellido, nombre, patronímico, año de nacimiento, lugar de nacimiento, educación, domicilio y número de teléfono), y el mensaje EN contiene información similar sobre la mujer, la esposa del hombre mencionado. Obviamente el mensaje EN contiene parcialmente la información A, a saber: el apellido de la esposa, su domicilio y número de teléfono, coincidiendo muy probablemente con el apellido, domicilio y número de teléfono del marido, así como evaluación probabilística su año de nacimiento, que probablemente sea cercano al año de nacimiento de su marido. Entonces el mensaje EN lleva menos información para nosotros que el mensaje A, y la información combinada de los dos mensajes no es una simple suma de la información de los mensajes individuales.

Deja que la fuente A genera un conjunto Mamá mensajes (a a, a 2 ,..., a Ma), la fuente genera un conjunto megabyte mensajes (b 2, b 2,..., bdd,) y las fuentes son dependientes. Alfabeto general fuentes es un conjunto de pares de la forma (a, b;), la potencia total del alfabeto es: Mamá incógnita Megabyte.

La entropía de un sistema de información complejo (de dos fuentes) es igual a

Desde A y B dependiente, entonces A

Sustituyendo esto en la expresión de entropía sistema complejo, obtenemos:

En el primer término el índice j disponible sólo desde EN, cambiando el orden de la suma, obtenemos un término de la forma ), que es igual a 1, ya que caracteriza un evento confiable

(cualquiera de los mensajes se implementa en cualquier caso). Por tanto, el primer término resulta ser igual a:

En el segundo término, términos de la forma

tener el significado de la entropía de la fuente B, siempre que se haya realizado el mensaje a; - lo llamaremos entropía condicional parcial. si entras este concepto y usa su notación, entonces el segundo término tendrá la forma:

o más detalles

donde H(B |A) es la entropía condicional total de la fuente EN relativo a la fuente A. Finalmente obtenemos para la entropía de un sistema complejo:

La expresión resultante es regla general Encontrar la entropía de un sistema complejo. Es bastante obvio que la expresión (2.9) es un caso especial de (2.11) siempre que las fuentes sean independientes. A y B.

Con respecto a la entropía condicional, se pueden hacer las siguientes afirmaciones.

1. La entropía condicional es una cantidad no negativa. Además, H(B |A) = 0 sólo si algún mensaje A define completamente el mensaje EN, aquellos.

En este caso H(A, B) = H(A).

2. Si las fuentes A y EN son independientes, entonces H(B |A) = H(B), y esto resulta ser valor más alto entropía condicional. En otras palabras, el mensaje de la fuente A no puede aumentar la incertidumbre del mensaje de la fuente B; puede no tener ningún efecto (si las fuentes son independientes) o reducir la entropía de B.

Las afirmaciones anteriores se pueden combinar mediante una desigualdad:

aquellos. la entropía condicional no excede la entropía incondicional.

3. De las relaciones (2.11) y (2.12) se deduce que

Además, la igualdad se logra sólo si las fuentes A y B son independientes.

Entropía de origen mensajes continuos

Considere un sistema donde atributos de calidad Los estados cambian continuamente ( señal continua). La probabilidad de que el sistema esté en el estado x (es decir, que la señal tome el valor x) se caracteriza por la densidad de probabilidad /(x). Para encontrar la entropía de dicho mensaje, dividimos el rango de posibles cambios de señal en discretos de tamaño Dx. La probabilidad de encontrar el sistema en el i-ésimo discreto es igual a