L’entropia in termodinamica è una grandezza che si definisce tramite gli studi di Carnot a partire dal secondo principio della termodinamica. Per cui è una grandezza fisica che descrive l’irreversibilità dei processi e l’insorabile dispersione in calore delle altre forme di energia presenti all’interno di un sistema.
L’informazione, nel senso della teoria dell’Informazione, è anch’essa una caratteristica dei sistemi, in particolare di quei sistemi che vengono usati per comunicare. L’informazione di un messagio non può mai aumentare oltre il valore che aveva al momento della trasmissione del messaggio, semmai può diminuire a causa dei processi che possono portare ad un deterioramento del messaggio (perdita di fogli o parte dei fogli per una lettera, ma anche disturbi elettromagnetici nel caso di trasmissioni via radio, perdita di bit nelle trasmissioni digitali, e così via).
Finchè si resta a questo livello di dettaglio la connessione è molto blanda, in quanto semplicemente appaiono come due grandezze che presentano un comportamento opposto (aumento per l’etropia, diminuzione per l’informazione) in conseguenza di fenomeni simili (processi naturali spontanei).
Ma l’analisi di queste due grandezze può essere più dettagliata. Se guardiamo un sistema fisico dal punto di vista microscopico possiamo descriverlo con una distribuzione di probabilità, che fornisca, per ogni costituente microscopico, la probabilità di osservarlo con una certa velocità in una certa posizione. Boltzmann stabilì che c’era un collegamento matematico tra questa distribuzione di probabilità e l’entropia, particolare che l’entropia di un sistema è proporzionale al valore medio assunto dal logaritmo di questa distribuzione di probabilità cambiato di segno.
Shannon introdusse una grandezza analoga per studiare l’informazione. Al livello più elementare ogni messaggio può essere espresso come sequenza di caratteri (lettere, numeri, puntaggiatura, spazi). A seconda del messaggio ogni carattere può essere previsto o meno, con diversi gradi di certezza a partire dai caratteri che precedono. Quanto più un carattere è prevedibile, tanto meno aggiunge informazione al messaggio globale, cioè è ridondante, potrebbe essere omesso e il messagio sarebbe compreso ugualmente. Se io trasmetto la sequenza “telefo” la persona che riceve saprà con certezza che la lettera che segue è “n”, perchè non ci sono parole in italiano che iniziano con “telefo” e continuano con altre lettere, per cui trasmettere questa “n” è ridondante, ma dopo la “n” avrà un certo grado di incertezza su cosa segue, potrebbe essere “o”, e avere quindi la parola “telefono”, oppure una “a” se sto trasmettendo “telefonare” o altre voci di questo verbo, o anche altre lettere. Ha bisogno di sapere che lettera è per capire come comprendere il messaggio. Tuttavia ci sono alcune lettere che può escludere (qualunque consonante, per esempio) mentre le altre possono apparire con diverse probabilità, anche in funzione di altre parole che posso aver trasmesso prima.
Questo ragionamento permette di attribuire una distribuzione di probabilità anche ai messaggio. Ogni carattere ha una probabilità di essere previsto in funzione dei caratteri che seguono. Shannon, uno dei primi teorici dell’informazione introdusse una grandezza, chiamata entropia di informazione che è collegata a questa probabilità esattamente nello stesso modo in cui l’entropia termodinamica è collegata alla probabilità dello stato di un sistema. Questa entropia di informazione gode di diverse proprietà simili a quella termodinamica, tra cui quella di non diminuire mai nel corso del tempo, perchè con il passare del tempo un messaggio può diventare meno chiaro a causa dei disturbi di trasmissione (pensate al gioco del telefono, in cui ad ogni passaggio c’è la probabilità che qualhe parola non sia capita e venga trasmessa male). I disturbi di trasmissione introducono caratteri che non possono essere previsti da quelli precedenti, per cui hanno una distribuzione di probabilità piatta, l’effetto tramite la formula di Boltzmann-Shannon è quello di aumentare l’entropia di informazione.
Il collegamento quindi è abbastanza immediato, in entrambi i casi l’entropia (termodinamica o di informazione) è una misura di quanto si sia degradato il contenuto utilizzabile del sistema, un contenuto energetico nel caso termodinamico, un contenuto di informazione nel caso di un messaggio. L’informazione gioca il ruolo dell’energia disponibile, che diminuisce con il passare del tempo.
Per una trattazione più dettagliata si può consultare la precednte risposta cliccando qui.