En el análisis de sistemas de información, la entropía permite cuantificar el nivel de incertidumbre presente en una fuente de datos. Sin embargo, en escenarios reales, los datos no se presentan de manera aislada, sino que están interrelacionados, lo que hace necesario extender el análisis hacia modelos más complejos. En este contexto, la entropía avanzada proporciona herramientas para estudiar la interacción entre múltiples variables.

A partir de este enfoque, es posible comprender cómo se distribuye la información en sistemas donde existen dependencias, redundancias y patrones ocultos. Estas características son especialmente relevantes en áreas como la ciberseguridad, la compresión de datos y la transmisión de información, donde la eficiencia y la detección de anomalías dependen directamente de la estructura de los datos.

Además, el análisis de la redundancia permite identificar información repetitiva o predecible dentro de un conjunto de datos. Esta propiedad es fundamental para optimizar procesos de compresión, ya que permite eliminar información innecesaria sin afectar el contenido esencial.

El estudio de la entropía avanzada y la redundancia constituye la base para evaluar la eficiencia de los datos y establecer los límites teóricos de compresión.

En contextos modernos como el análisis de grandes volúmenes de datos (Big Data), estas métricas adquieren aún mayor relevancia, ya que permiten identificar estructuras ocultas dentro de conjuntos masivos de información. En particular, la combinación de entropía, dependencia y redundancia facilita la construcción de modelos predictivos más precisos.

Asimismo, en sistemas distribuidos y redes, comprender cómo fluye la información entre diferentes componentes permite optimizar el uso de recursos, reducir la latencia y mejorar la seguridad. La entropía avanzada no solo describe la incertidumbre, sino que también permite inferir el comportamiento dinámico de sistemas complejos.

Por tanto, su estudio no es únicamente teórico, sino altamente aplicable en entornos tecnológicos actuales.

4.1 Entropía Conjunta

La entropía conjunta es una extensión del concepto de entropía de una sola variable hacia sistemas donde intervienen múltiples fuentes de información. Permite cuantificar la incertidumbre total cuando se consideran simultáneamente dos variables aleatorias discretas.

Esta medida cuantifica la incertidumbre total asociada al sistema combinado (Alencar, 2015).

La entropía conjunta mide la incertidumbre total del sistema considerando la interacción entre variables, no solo su comportamiento individual.

1. Caso de independencia

Si $X$y $Y$son independientes:

$p(x,y)=p\left(x\right)p\left(y\right)$

Entonces:

$H(X,Y)=H\left(X\right)+H\left(Y\right)$

Cuando no hay relación entre variables, la incertidumbre total es simplemente la suma de ambas y es mayor.

2. Caso de dependencia

Si existe dependencia:

$p(x,y)\ne p\left(x\right)p\left(y\right)$

Entonces:

$H(X,Y)<H\left(X\right)+H\left(Y\right)$

La dependencia reduce la incertidumbre total porque una variable aporta información sobre la otra, en consecuencia, es menor.

3. Interpretación en términos de información

La entropía conjunta puede entenderse como:

• Toda la información necesaria para describir el sistema completo
• Incluye:
• Información individual de cada variable
• Información compartida entre ellas

Esto conecta directamente con la información mutua (tema siguiente).

Desde una perspectiva práctica, la entropía conjunta permite modelar sistemas donde múltiples variables interactúan simultáneamente, como ocurre en bases de datos relacionales, sistemas de monitoreo o redes de sensores. En estos casos, analizar cada variable por separado puede llevar a conclusiones incompletas, mientras que la entropía conjunta captura la complejidad total del sistema. Además, esta métrica es clave en el diseño de algoritmos de compresión multivariable, donde la eficiencia depende de identificar dependencias entre fuentes de información.

Ejemplo aplicado

Escenario: Detección de ataques en un Centro de Operaciones de Seguridad SOC (Security Operations Center)

Se analizan dos variables:

• $X$: Tipo de evento
• NORMAL
• ALERTA
• $Y$: Origen del tráfico
• INTERNO
• EXTERNO

La distribución conjunta observada se evidencia en la tabla 1

Sumamos por filas:

$P\left(NORMAL\right)=0.50+0.10=0.60$

$P\left(ALERTA\right)=0.05+0.35=0.40$

Para $Y$(origen)

Sumamos por columnas:

$P\left(INTERNO\right)=0.50+0.05=0.55$

$P\left(EXTERNO\right)=0.10+0.35=0.45$

Calculamos la entropía de $X$

$H\left(X\right)=-\sum p\left(x\right){log}_{2}p\left(x\right)$$H\left(X\right)=-(0.6{log}_{2}0.6+0.4{log}_{2}0.4)$Cálculo:

${log}_2\left(0.6\right)\approx -0.737$

${log}_2\left(0.4\right)\approx -1.322$

$H\left(X\right)=-\left(0.6\right(-0.737)+0.4(-1.322\left)\right)$$H\left(X\right)=0.442+0.529\approx 0.971\approx 0.99\text{ bits}$Calculamos la entropía de $Y$

$H\left(Y\right)=-(0.55{log}_{2}0.55+0.45{log}_{2}0.45)$Cálculo:

${log}_2\left(0.55\right)\approx -0.862$

${log}_2\left(0.45\right)\approx -1.152$

$H\left(Y\right)=-\left(0.55\right(-0.862)+0.45(-1.152\left)\right)$$H\left(Y\right)=0.474+0.518\approx 0.992\approx 0.97\text{ bits}$

Si fueran independientes:

$H(X,Y)=H\left(X\right)+H\left(Y\right)$

Entonces:

$0.99+0.97\approx 1.96$

Pero vimos que:

$H(X,Y)\approx 1.68$La diferencia entre 1.96 y 1.68 indica que existe dependencia entre las variables.

Es decir:

Conocer el origen (IP) ayuda a predecir el tipo de evento

Esto reduce la incertidumbre total

La entropía condicional es una extensión del concepto de entropía que permite analizar sistemas donde existe dependencia entre variables. Mientras la entropía simple mide la incertidumbre total de una variable, la entropía condicional cuantifica cuánta incertidumbre permanece cuando ya se dispone de información parcial.

Según Csiszár y Körner (2011), esta métrica es clave para entender la dependencia entre variables.

La entropía condicional mide cuánto “desconocemos todavía” después de haber observado parte del sistema.

Relación con la Regla de la Cadena

Una propiedad fundamental es:

$H(X,Y)=H\left(X\right)+H(Y\mid X)$

Esta ecuación indica que:

Primero medimos la incertidumbre de $X$

Luego añadimos la incertidumbre restante de $Y$, sabiendo $X$

La incertidumbre total se construye de forma secuencial: primero una variable, luego la incertidumbre adicional de la otra.

Esta propiedad es especialmente útil en modelos probabilísticos como las cadenas de Markov y las redes bayesianas, donde el conocimiento previo reduce progresivamente la incertidumbre. En estos modelos, la entropía condicional permite evaluar cuánto aporta cada nueva variable al conocimiento del sistema. De esta manera, se puede identificar qué variables son más relevantes para la predicción y cuáles aportan poca información adicional.

Ejemplo

Análisis de comportamiento en un sistema corporativo

Definimos:

• $X$: tipo de usuario
• Administrador
• Usuario normal
• $Y$: tipo de acción
• Acceso a base de datos crítica
• Navegación estándar

Caso 1: Alta dependencia (comportamiento estructurado)

Supongamos:

• Administradores → acceden casi siempre a bases de datos
• Usuarios normales → rara vez lo hacen

Entonces:

Conocer $X$reduce significativamente la incertidumbre sobre $Y$

Resultado:

$H(Y\mid X)\text{ es bajo}$

Esto indica que el comportamiento es predecible y estructurado.

Caso 2: Independencia (comportamiento aleatorio)

Si:

• Tanto administradores como usuarios normales realizan cualquier acción con igual probabilidad

Entonces:

$H(Y\mid X)=H\left(Y\right)$

El sistema no tiene patrones claros → mayor incertidumbre.

Caso 3: Dependencia total (escenario crítico)

Supongamos:

• Solo administradores acceden a bases críticas
• Usuarios normales nunca lo hacen

Entonces:

$H(Y\mid X)=0$

Si observas una acción, puedes inferir el tipo de usuario. Esto puede ser útil para detección de anomalías.

La entropía condicional permite entender cuánto valor aporta conocer una variable para predecir otra.

Esto es fundamental porque:

Los sistemas reales no son independientes

La información útil está en las relaciones entre datos

La información mutua es una de las métricas más importantes en la teoría de la información, ya que permite cuantificar el grado de dependencia entre dos variables aleatorias. A diferencia de la entropía, que mide incertidumbre, la información mutua mide cuánta incertidumbre se reduce al conocer otra variable. La información mutua mide cuánto conocimiento se comparte entre dos variables. (Gorzalka & Deloumeaux, 2012)

La información mutua es la reducción de incertidumbre de $X$cuando se conoce $Y$

De forma equivalente:

$I(X;Y)=H\left(Y\right)-H(Y\mid X)$La información mutua representa la parte de la entropía que deja de ser incertidumbre y se convierte en conocimiento.

Propiedades importantes

No negatividad

$I(X;Y)\ge 0$Nunca puede ser negativa.

$I(X;Y)=0$→ independencia

$I(X;Y)>0$→ existe relación

Simetría

$I(X;Y)=I(Y;X)$La relación es bidireccional.

Relación con entropía conjunta

$H(X,Y)=H\left(X\right)+H\left(Y\right)-I(X;Y)$

La información mutua representa la “parte compartida” de la información entre variables.

Ejemplo

Sistema SOC (Security Operations Center)

Definimos:

• $X$: tipo de evento
• LOGIN_OK
• LOGIN_FAIL
• $Y$: dirección IP
• IP interna
• IP externa

Caso 1: Independencia (comportamiento normal)

• Los eventos ocurren aleatoriamente en distintas IPs
• No hay patrón

Resultado:

$I(X;Y)=0$No existe relación entre el tipo de evento y la IP.

Caso 2: Dependencia moderada

• LOGIN_FAIL ocurre más frecuentemente en IP externas
• LOGIN_OK ocurre más en IP internas

Resultado:

$I(X;Y)>0$Existe correlación parcial que puede indicar comportamiento sospechoso.

Caso 3: Alta dependencia (ataque dirigido)

Todos los LOGIN_FAIL provienen de una sola IP

Esa IP nunca genera LOGIN_OK

Resultado:

$I(X;Y)\gg 0$Alta información mutua indica un patrón fuerte → posible ataque.

Las aplicaciones en ciberseguridad son variadas

1. Detección de anomalías

Identifica relaciones inesperadas. Ejemplo: IP específica asociada a eventos críticos

2. Sistemas IDS/IPS

Detectan patrones de tráfico

Identifican correlaciones ocultas

3. Análisis de logs

Relación entre:

Usuario ßà acciones

IP ßà eventos

tiempo ßà actividad

4. Machine Learning en seguridad

Selección de características (feature selection)

Identificación de variables relevantes

La información mutua permite detectar patrones ocultos que no son visibles analizando variables de forma individual.

Esto es fundamental porque:

Los ataques no siempre son evidentes

Se manifiestan como relaciones entre variables

En el ámbito del aprendizaje automático, la información mutua se utiliza ampliamente para la selección de características, permitiendo reducir la dimensionalidad de los datos sin perder información relevante. Esto mejora el rendimiento de los modelos y reduce el costo computacional. Además, es una herramienta clave en el análisis de dependencia no lineal, donde otras métricas tradicionales pueden fallar.

La redundancia es un concepto fundamental en la teoría de la información que permite identificar qué parte de los datos no aporta información nueva. En términos generales, representa el grado en que un sistema contiene patrones repetitivos o predecibles. (Csiszár & Körner, 2011)

Formalmente, se define como:

donde:

$H\left(X\right)$: entropía real del sistema

$H_{max}={log}_2\left(n\right)$: entropía máxima posible (cuando todos los eventos son equiprobables)

$n$: número de símbolos posibles

Interpretación conceptual

La redundancia mide qué proporción de la información es repetitiva y, por tanto, potencialmente eliminable sin pérdida significativa.

Esto implica:

Si la entropía es baja → alta redundancia

Si la entropía es alta → baja redundancia

En otras palabras:

Redundancia = ineficiencia informativa

Entropía = contenido útil de información

Esto implica:

Alta redundancia → mayor compresión posible

Baja redundancia → datos eficientes

Entropía real

$H\left(X\right)$

Es la entropía calculada con las probabilidades reales

Refleja cómo se comporta el sistema en la práctica

La redundancia se define como:

$R=\frac{H_{max}-H\left(X\right)}{H_{max}}$

Esto se puede interpretar en dos partes:

Numerador: $H_{max}-H\left(X\right)$

Representa la cantidad de información que “falta” para llegar al máximo nivel de incertidumbre

Es decir:

Cuánto le falta al sistema para ser completamente aleatorio

Cuánto está “ordenado” o “estructurado”

Este término mide la cantidad de información repetitiva o predecible.

Denominador: $H_{max}$

Normaliza el valor para que:

$0\le R\le 1$

Permite comparar sistemas diferentes

Expresa la redundancia como proporción

La redundancia mide qué tan lejos está un sistema de ser completamente aleatorio.

Puedes entenderlo como una distancia:

$H_{max}$→ punto ideal (máxima incertidumbre)

$H\left(X\right)$→ estado real

Entonces:

$\text{Distancia}=H_{max}-H\left(X\right)$

Y al dividirlo:

$R=\text{distancia relativa}$

La redundancia es una medida relativa de “orden” dentro del sistema.

En sistemas reales, la redundancia no siempre es negativa. En algunos casos, se introduce de forma intencional para mejorar la confiabilidad, como en sistemas de almacenamiento redundante o protocolos de comunicación con corrección de errores. Sin embargo, desde el punto de vista de la eficiencia, reducir la redundancia innecesaria es clave para optimizar el almacenamiento y la transmisión de datos.

Ejemplo

Supongamos en un tráfico de red de 4 eventos (tráfico normal, errores, intentos fallidos, accesos sospechosos) un sistema con 4 eventos:

$n=4\Rightarrow H_{max}={log}_2\left(4\right)=2\text{ bits}$Caso 1: Distribución uniforme

$p=\left(\mathrm{0.25,0.25,0.25,0.25}\right)$

No hay eventos dominantes, todos con el 25 %

La entropía de una variable discreta es:

$H\left(X\right)=-\sum p\left(x_i\right){log}_{2}p\left(x_i\right)$

Entonces:

$H\left(X\right)=-\left[0.25{log}_2\right(0.25)+0.25{log}_2(0.25)+0.25{log}_2(0.25)+0.25{log}_2(0.25\left)\right]$$$$H\left(X\right)=2$$R=\frac{2-2}{2}=0$No hay redundancia → sistema completamente aleatorio

Caso 2: Distribución sesgada

$p=\left(\mathrm{0.7,0.1,0.1,0.1}\right)$

Hay un evento dominante (70%)

El resto son raros

$H\left(X\right)\approx 1.36$$R=\frac{2-1.36}{2}=0.32$

Existe redundancia del 32% → el sistema tiene patrones

Caso 3: Máxima predictibilidad

$p=(\mathrm{1,0},\mathrm{0,0})$

Hay un solo evento en ocurrencia (100%)

$H\left(X\right)=0$$R=\frac{2-0}{2}=1$

Redundancia total → sistema completamente predecible

Cuando las probabilidades no son uniformes, algunos eventos dominan el sistema, reduciendo la entropía y generando redundancia, lo cual permite identificar patrones en los datos.