Informação e entropia

Eu comentei antes brevemente sobre informação e entropia, mas não dei uma explicação satisfatória. Aqui eu pretendo explicar melhor para semana que vem continuar a falar sobre a termodinâmica do espaço-tempo. 

Medida de informação

Suponhamos que queremos definir objetivamente o conteúdo de informação de uma mensagem. Para isso vamos definir uma medida de informação. Em matemática, medida pode ser definida de forma axiomática e abstrata, todavia por aqui vamos apenas nos conformar com o fato de que volume de um sóido, área de um polígono e comprimento de uma curva são exemplos de medidas. Queremos então uma fórmula para o volume de informação que uma mensagem tem. Esse problema surgiu pela primeira vez na engenharia de comunicação, e foi resolvido na tese de doutorado de Claude Shannon. Nós sempre podemos formular o problema da seguinte forma: considere um canal de comunicação que transmite mensagens em um certo código (e.g. binário/digital, ou Morse, ou a modulação da freqüência de ondas eletromagnéticas), e estamos escutando o canal em uma ponta, esperando chegar mensagens. Cada mensagem m tem uma certa probabilidade p_m de ser recebida. Nós queremos que a quantidade de informação de uma mensagem m seja uma função I_m = I(p_m), , com as seguintes propriedades:

1. I(1) = 0, ou seja, se já sabíamos que a mensagem seria recebida (a mensagem tem probabilidade 1), nenhuma informação foi ganha.
   
2. I é decrescente no intervalo [0,1], ou seja, quanto menos achávamos provável receber a mensagem, mais informação ganhamos ao recebê-la.
   
3. Se recebemos duas mensagens (estatisticamente independentes) em sucessão, a quantidade de informação ganha é a soma da informação contida em cada mensagem: I(pq) = I(p) + I(q).
   

É um problema de cálculo determinar a função I das hipóteses 1-3. Você pode escrever a equação diferencial que satisfaz (3) usando (1) como condição inicial. A resposta é

I(p) = -k log p

para uma constante arbitrária k. No caso da comunicação digital, é conveniente definir k de modo que

I(p) = -log₂ p

pois assim a quantidade informação continda numa mensagem de N  bits é I(1/2^N) = N, de acordo com a nossa intuição.

Falta de informação média e entropia

Agora considere o caso de uma linha de átomos, cada átomo com um momento magnético que pode apontar para cima ou para baixo, ou então uma seqüência de moedas, cada uma podendo estar na posição cara ou coroa. Em princípio, um experimentador poderia medir simultaneamente a direção de todos os spins da cadeia, ou fotografar a seqüência de moedas por inteiro. Isso permitiria determinar completamente o estado do sistema, que vamos chamar estado microscópico. Se a cadeia se organiza aleatoriamente (ou as moedas foram todas jogadas aleatoriamente para cima antes de cair no seu lugar na seqüência), então para cada estado possível m da cadeia há uma probabilidade p_m do experimentador encontrar a cadeia naquele estado. Observe que não precisamos supor nada sobre essa distribuição de probabilidades: pode ser que a chance de obter cara seja 1/2, mas pode ser que seja 1/6 (moeda enviesada). O único requisito é que 

 

ou seja, as probabilidades estão normalizadas para 100%. Se o experimentador deixou de medir a cadeia de spins no estado m, então a quantidade de informação perdida é dada por

I_m = -k log p_m

Portanto, a quantidade média de informação perdida do sistema se o experimentador não realizar nenhuma medida, é

 

Suponha que o sistema pode ser encontrado em um total de W estados, o que na física é chamado de o espaço de fases do sistema. Para o nosso sistema de spin ou moedas, W = 2^N (a determinação de W é um problema de combinatória ). Agora queremos saber qual é a quantidade máxima de informação que perdemos por não termos realizado nenhum dos possíveis experimentos que determina o estado microscópico do sistema. Isso é um problema de cálculo que no Brasil é apresentando em geral no curso universitário Cálculo II: encontrar o máximo da função de várias variáveis p_m. Isso permite determinar qual a distribuição de probabilidades sem assumir nenhum conhecimento prévio sobre o sistema. De acordo com a intuição, essa distribuição deveria ser p = 1/W, e de fato é esse o resultado do cálculo [1]:

que é a fórmula de Boltzmann. Como prometido, esta ai demonstrado matematicamente que entropia é a quantidade de informação perdida quando deixamos de fazer todas as medidas possíveis que determinariam o estado microscópico do sistema. Da definição de S dada pela equação acima podemos demonstrar todas as suas propriedades, como concavidade (a segunda lei da Termodinâmica), extensividade, etc.

O significado informacional da temperatura, pressão e potencial químico

Toda a Termodinâmica é um caso particular de um problema matemático da teoria de informação. Na Termodinâmica dos gases, por exemplo, nós temos um sistema físico composto de N partículas, cada partícula com uma energia ε, e todas as partículas juntas ocupam um volume total V. Nós poderíamos, em princípio, medir experimentalmente a posição e a velocidade de cada partícula. Mas como em um gás há ~ 10²³ partículas, isso seria uma tarefa hercúlea. No lugar disso, nós vamos dizer que as partículas podem estar com uma certa distribuição de probabilidades com uma dada velocidade e posição, e a única coisa que sabemos é o valor estatístico médio de certas variáveis. Por exemplo,

que é o valor médio estatístico da energia. Nós não sabemos a priori qual a probabilidade p_n do sistema ter energia E_n. Nesse caso, a quantidade máxima de informação perdida (para não assumir nenhum conhecimento que não possuímos sobre o sistema) precisa ser calculada levando em conta que já sabemos o valor médio da energia, do volume e o número de partículas do sistema. Isso é o que se chama de um cálculo de maximização com vínculos. Lagrange mostrou que nesse caso vai existir um conjunto de parâmetros, chamados os multiplicadores de Lagrange, um para cada vínculo do sistema. O vínculo da energia introduz um parâmetro que é chamado de temperatura, o do volume, pressão, e o número de partículas, potencial químico. A temperatura de um sistema é o multiplicador de Lagrange da falta de informação máxima dada a energia fixa do sistema. [2]

Nota final: revisitando entropia e desordem, e matando de vez por todas o clichê criacionista

Como expliquei no blog antes, o sistema magnético é um exemplo de sistema onde maior entropia significa maior ordem (e não desordem). Primeiro, vou explicar com outras palavras para que fique mais claro.

Considere um gás ideal com N partículas em um recipiente V. Pela fórmula da entropia,

, onde f é uma função de outras variáveis que não nos interessam no momento. Você nunca vai encontrar o gás em um volume V/2, porque , e a segunda lei da termodinâmica diz que dados os vínculos do sistema, ele assume os valores de temperatura, pressão, etc., de modo que S seja máxima. É possível dar uma interpretação intuitiva para isso, dizendo que se o gás ocupasse um volume V/2 ele estaria "mais organizado" do que se ele ocupasse um volume V. Sem precisar continuar, no entanto, eu posso agora mesmo apontar uma falha nessa interpretação. Observe que a entropia de V/2 é menor que V independente de como as partículas estão distribuídas. Em geral, as pessoas imaginam que V/2 seria algo como todas as partículas ocupando uma parte a esquerda (ou a direita que seja) do recipiente. Mas se todas as partículas estivessem ocupando um fractal maluco de volume V/2 dentro de V, a entropia do volume V/2 ainda seria a mesma. Mas vamos ignorar isso. Vamos aplicar a mesma lógica aos imãs. Nesse caso, se o sistema tem uma magnetização M (que é o campo magnético do imã) não nula, então o sistema tem que ter uma ordem parcial dos spins: eles precisam estar  em média estatística ordenados apontando na direção do campo total M, que nada mais é que a soma dos spins de todos os átomos. E para a temperatura abaixo da temperatura de Curie (i.e. quando o imã existe!), esse é o estado de equilíbrio do sistema. Portanto, , pela segunda lei da Termodinâmica. Mas o estado com M = 0 é exatamente o estado mais desordenado, onde os spins apontam aleatoriamente sem nenhuma correlação entre eles. Não estou comparando aqui um estado de equilíbrio com outro estado de equilíbrio (não é assim que se faz a maximização de S), estou imaginando que o sistema estava inicialmente em uma condição em que o equilíbrio era atingindo por um estado parcialmente organizado (como tem que ser se M for não nulo, ou seja, o material é um imã), e fazendo um "deslocamento virtual" para um estado em que ele está mais desorganizado. A probabilidade de encontrar o sistema no estado mais desorganizado vai a zero, a medida que o sistema é mais desorganizado (do mesmo modo que encontrar um gás com todas as partículas num cubo de volume V/2 na metade de um recipiente retangular de volume V tem probabilidade zero).

Isso mostra que não podemos utilizar a intuição de desordem para atribuir entropia. Não podemos dizer, por exemplo, que a molécula de DNA em meio aquoso possui menos entropia que os nucleotídios separados em meio aquoso. Para poder determinar se a entropia do DNA é maior ou menor, precisamos fazer a conta, meu filho, e isto representa contar todos os estados acessíveis ao DNA e usar a fórmula de Boltzmann. 

Nota

1. Na Wikipedia há um artigo que mostra como fazer esse cálculo. Você também pode aprender um pouco mais sobre teoria de informação lá.
2. Os cálculos detalhados e uma argumentação brilhante de porque a Termodinâmica é nada mais que um problema da teoria de informação, pode ser encontrado nos artigos de E. T. Jaynes Phys. Rev. 106, 620 - 630 (1957); Phys. Rev. 108, 171 - 190 (1957), ou então no livro E. T. Jaynes, Probability Theory, ou também alguns livros de física estatística, como do Roger Balian, From microphysics to macrophysics, Springer.