L’entropia in termodinamica \u00e8 una grandezza che si definisce tramite gli studi di Carnot a partire dal secondo principio della termodinamica. Per cui \u00e8 una grandezza fisica che descrive l’irreversibilit\u00e0 dei processi e l’insorabile dispersione in calore delle altre forme di energia presenti all’interno di un sistema.<\/p>\n
L’informazione, nel senso della teoria dell’Informazione, \u00e8 anch’essa una caratteristica dei sistemi, in particolare di quei sistemi che vengono usati per comunicare. L’informazione di un messagio non pu\u00f2 mai aumentare oltre il valore che aveva al momento della trasmissione del messaggio, semmai pu\u00f2 diminuire a causa dei processi che possono portare ad un deterioramento del messaggio (perdita di fogli o parte dei fogli per una lettera, ma anche disturbi elettromagnetici nel caso di trasmissioni via radio, perdita di bit nelle trasmissioni digitali, e cos\u00ec via).<\/p>\n
Finch\u00e8 si resta a questo livello di dettaglio la connessione \u00e8 molto blanda, in quanto semplicemente appaiono come due grandezze che presentano un comportamento opposto (aumento per l’etropia, diminuzione per l’informazione) in conseguenza di fenomeni simili (processi naturali spontanei).<\/p>\n
Ma l’analisi di queste due grandezze pu\u00f2 essere pi\u00f9 dettagliata. Se guardiamo un sistema fisico dal punto di vista microscopico possiamo descriverlo con una distribuzione di probabilit\u00e0, che fornisca, per ogni costituente microscopico, la probabilit\u00e0 di osservarlo con una certa velocit\u00e0 in una certa posizione. Boltzmann stabil\u00ec che c’era un collegamento matematico tra questa distribuzione di probabilit\u00e0 e l’entropia, particolare che l’entropia di un sistema \u00e8 proporzionale al valore medio assunto dal logaritmo di questa distribuzione di probabilit\u00e0 cambiato di segno.<\/p>\n
Shannon introdusse una grandezza analoga per studiare l’informazione. Al livello pi\u00f9 elementare ogni messaggio pu\u00f2 essere espresso come sequenza di caratteri (lettere, numeri, puntaggiatura, spazi). A seconda del messaggio ogni carattere pu\u00f2 essere previsto o meno, con diversi gradi di certezza a partire dai caratteri che precedono. Quanto pi\u00f9 un carattere \u00e8 prevedibile, tanto meno aggiunge informazione al messaggio globale, cio\u00e8 \u00e8 ridondante, potrebbe essere omesso e il messagio sarebbe compreso ugualmente. Se io trasmetto la sequenza “telefo” la persona che riceve sapr\u00e0 con certezza che la lettera che segue \u00e8 “n”, perch\u00e8 non ci sono parole in italiano che iniziano con “telefo” e continuano con altre lettere, per cui trasmettere questa “n” \u00e8 ridondante, ma dopo la “n” avr\u00e0 un certo grado di incertezza su cosa segue, potrebbe essere “o”, e avere quindi la parola “telefono”, oppure una “a” se sto trasmettendo “telefonare” o altre voci di questo verbo, o anche altre lettere.\u00a0Ha bisogno di sapere che lettera \u00e8 per capire come comprendere il messaggio. Tuttavia ci sono alcune lettere che pu\u00f2 escludere (qualunque consonante, per esempio) mentre le altre possono apparire con diverse probabilit\u00e0, anche in funzione di altre parole che posso aver trasmesso prima.<\/p>\n
Questo ragionamento permette di attribuire una distribuzione di probabilit\u00e0 anche ai messaggio. Ogni carattere ha una probabilit\u00e0 di essere previsto in funzione dei caratteri che seguono. Shannon, uno dei primi teorici dell’informazione introdusse una grandezza, chiamata entropia di informazione<\/em> che \u00e8 collegata a questa probabilit\u00e0 esattamente nello stesso modo in cui l’entropia termodinamica \u00e8 collegata alla probabilit\u00e0 dello stato di un sistema. Questa entropia di informazione gode di diverse propriet\u00e0 simili a quella termodinamica, tra cui quella di non diminuire mai nel corso del tempo, perch\u00e8 con il passare del tempo un messaggio pu\u00f2 diventare meno chiaro a causa dei disturbi di trasmissione (pensate al gioco del telefono, in cui ad ogni passaggio c’\u00e8 la probabilit\u00e0 che qualhe parola non sia capita e venga trasmessa male). I disturbi di trasmissione introducono caratteri che non possono essere previsti da quelli precedenti, per cui hanno una distribuzione di probabilit\u00e0 piatta, l’effetto tramite la formula di Boltzmann-Shannon \u00e8 quello di aumentare l’entropia di informazione.<\/p>\n Il collegamento quindi \u00e8 abbastanza immediato, in entrambi i casi l’entropia (termodinamica o di informazione) \u00e8 una misura di quanto si sia degradato il contenuto utilizzabile del sistema, un contenuto energetico nel caso termodinamico, un contenuto di informazione nel caso di un messaggio. L’informazione gioca il ruolo dell’energia disponibile, che diminuisce con il passare del tempo.<\/p>\n