La Teoría de la Información
------------------- --------------------- ----------------------
La teoría de la información es una disciplina de informática y telecomunicaciones cuyo objeto es el análisis y procesamiento de las matemáticas básicas de los fenómenos relacionados con la medición y transmisión de información en un canal de comunicación física
La magnitud que mide la cantidad de datos se llama entropía y generalmente se expresa como el número de bits necesarios para almacenar o transmitir la información. Por ejemplo, si un alfabeto tiene una entropía igual a 4 bits, entonces, tomando una cantidad suficiente de palabras construidas con ese alfabeto, se necesitan en promedio 4 bits para representar cada letra.
La aplicación de los conceptos fundamentales de la teoría de la información incluye la compresión sin pérdidas (por ejemplo, zip ), la codificación con pérdidas (por ejemplo, mp3 ) y las modulaciones digitales utilizadas en las transmisiones de Ethernet . La teoría de la información se encuentra a medio camino entre las matemáticas aplicadas , la estadística , la física aplicada , las telecomunicaciones y la tecnología de la información . Su impacto ha sido fundamental en las misiones espaciales , en la invención del CD , los teléfonos móviles , Internet , en el estudio de la lingüística y en muchos otros campos.
Los principales conceptos que subyacen a la teoría de la información se pueden comprender haciendo referencia a un ejemplo sencillo: el lenguaje humano. Generalmente, en un idioma, las palabras más utilizadas son más cortas que las menos utilizadas. Por ejemplo, "hola" es más corto que "cordial"; además, aunque a veces no sea posible captar todas las palabras de un discurso, el significado permanece claro. El propósito de la teoría de la información es precisamente proporcionar métodos para comprimir al máximo la información producida por una fuente eliminando toda redundancia (hablamos de codificación en fuente ), antes de agregar un cierto nivel de redundancia de manera focalizada, al propósito de hacer comunicación (o almacenamiento) más protegida del ruido (en este caso hablamos de codificación de canal ). El estudio de esta teoría, cuyos principios ya están presentes en las formas humanas de comunicación, ha permitido un desarrollo excepcional en la transmisión y almacenamiento de información desde la década de los cuarenta.
En general, la publicación de la obra "Una teoría matemática de la comunicación" de Claude Shannon se considera como el nacimiento de la teoría de la información ; los resultados fundamentales presentes en el trabajo son dos:
la enunciación del Primer Teorema de Shannon (o Teorema de Codificación de Fuente), que establece que, en promedio, el número de bits necesarios para representar el resultado de un evento estocástico es igual a su entropía , proporcionando así un límite superior en la capacidad de comprimir datos;
el segundo resultado, conocido como segundo teorema de Shannon o teorema de codificación de canales, establece en cambio que la tasa máxima de información que se puede transferir de manera confiable en un canal afectado por ruido está por debajo de un cierto umbral que se llama capacidad de canal . La capacidad se puede aproximar según se desee, utilizando sistemas de codificación y decodificación adecuados.
La teoría de la información está estrechamente vinculada a una serie de disciplinas puras y aplicadas que se han estudiado y diseñado durante los últimos sesenta años: sistemas adaptativos , inteligencia artificial , sistemas complejos , cibernética , informática , aprendizaje automático y muchas más. La teoría de la información es, por tanto, una teoría matemática amplia y profunda, con aplicaciones igualmente amplias y profundas, cuya área principal sigue siendo, sin embargo, la teoría de los códigos .
La teoría de los códigos se refiere al estudio de métodos prácticos, llamados códigos , para aumentar la eficiencia de una transmisión y reducir la probabilidad de error tanto como sea posible, dentro de los límites establecidos y demostrados por Shannon para un canal dado; Estos códigos se pueden dividir en técnicas de compresión de datos (codificación de fuente) y corrección de errores (codificación de canal). En el segundo caso, pasaron muchos años antes de que fuera posible obtener resultados cercanos a los límites proporcionados por Shannon. Una tercera clase de códigos son los algoritmos criptográficos. De hecho, los conceptos y métodos de la teoría de la información se utilizan ampliamente en criptografía y criptoanálisis .
La teoría de la información también se utiliza ahora en la teoría de juegos y en el estudio de los mercados de valores , así como en la composición musical .
--------------------------------------------------- -------------------- ------------------------
https://www.ecured.cu
-------------------------- -----------------------
No hay comentarios:
Publicar un comentario