Informação e entropia

Eu comentei antes brevemente sobre informação e entropia, mas não dei uma explicação satisfatória. Aqui eu pretendo explicar melhor para semana que vem continuar a falar sobre a termodinâmica do espaço-tempo. 



Medida de informação


Suponhamos que queremos definir objetivamente o conteúdo de informação de uma mensagem. Para isso vamos definir uma medida de informação. Em matemática, medida pode ser definida de forma axiomática e abstrata, todavia por aqui vamos apenas nos conformar com o fato de que volume de um sóido, área de um polígono e comprimento de uma curva são exemplos de medidas. Queremos então uma fórmula para o volume de informação que uma mensagem tem. Esse problema surgiu pela primeira vez na engenharia de comunicação, e foi resolvido na tese de doutorado de Claude Shannon. Nós sempre podemos formular o problema da seguinte forma: considere um canal de comunicação que transmite mensagens em um certo código (e.g. binário/digital, ou Morse, ou a modulação da freqüência de ondas eletromagnéticas), e estamos escutando o canal em uma ponta, esperando chegar mensagens. Cada mensagem m tem uma certa probabilidade pm de ser recebida. Nós queremos que a quantidade de informação de uma mensagem m seja uma função Im = I(pm), , com as seguintes propriedades:
  1. I(1) = 0, ou seja, se já sabíamos que a mensagem seria recebida (a mensagem tem probabilidade 1), nenhuma informação foi ganha.
  2. I é decrescente no intervalo [0,1], ou seja, quanto menos achávamos provável receber a mensagem, mais informação ganhamos ao recebê-la.
  3. Se recebemos duas mensagens (estatisticamente independentes) em sucessão, a quantidade de informação ganha é a soma da informação contida em cada mensagem: I(pq) = I(p) + I(q).
É um problema de cálculo determinar a função I das hipóteses 1-3. Você pode escrever a equação diferencial que satisfaz (3) usando (1) como condição inicial. A resposta é

I(p) = -k log p

para uma constante arbitrária k. No caso da comunicação digital, é conveniente definir k de modo que

I(p) = -logp

pois assim a quantidade informação continda numa mensagem de N  bits é I(1/2N) = N, de acordo com a nossa intuição.


Falta de informação média e entropia


Rede de spins
Agora considere o caso de uma linha de átomos, cada átomo com um momento magnético que pode apontar para cima ou para baixo, ou então uma seqüência de moedas, cada uma podendo estar na posição cara ou coroa. Em princípio, um experimentador poderia medir simultaneamente a direção de todos os spins da cadeia, ou fotografar a seqüência de moedas por inteiro. Isso permitiria determinar completamente o estado do sistema, que vamos chamar estado microscópico. Se a cadeia se organiza aleatoriamente (ou as moedas foram todas jogadas aleatoriamente para cima antes de cair no seu lugar na seqüência), então para cada estado possível m da cadeia há uma probabilidade pm do experimentador encontrar a cadeia naquele estado. Observe que não precisamos supor nada sobre essa distribuição de probabilidades: pode ser que a chance de obter cara seja 1/2, mas pode ser que seja 1/6 (moeda enviesada). O único requisito é que 

 

ou seja, as probabilidades estão normalizadas para 100%. Se o experimentador deixou de medir a cadeia de spins no estado m, então a quantidade de informação perdida é dada por

Im = -k log pm

Portanto, a quantidade média de informação perdida do sistema se o experimentador não realizar nenhuma medida, é

 

Suponha que o sistema pode ser encontrado em um total de W estados, o que na física é chamado de o espaço de fases do sistema. Para o nosso sistema de spin ou moedas, W = 2N (a determinação de W é um problema de combinatória smile). Agora queremos saber qual é a quantidade máxima de informação que perdemos por não termos realizado nenhum dos possíveis experimentos que determina o estado microscópico do sistema. Isso é um problema de cálculo que no Brasil é apresentando em geral no curso universitário Cálculo II: encontrar o máximo da função de várias variáveis pm. Isso permite determinar qual a distribuição de probabilidades sem assumir nenhum conhecimento prévio sobre o sistema. De acordo com a intuição, essa distribuição deveria ser p = 1/W, e de fato é esse o resultado do cálculo [1]:


que é a fórmula de Boltzmann. Como prometido, esta ai demonstrado matematicamente que entropia é a quantidade de informação perdida quando deixamos de fazer todas as medidas possíveis que determinariam o estado microscópico do sistema. Da definição de S dada pela equação acima podemos demonstrar todas as suas propriedades, como concavidade (a segunda lei da Termodinâmica), extensividade, etc.


O significado informacional da temperatura, pressão e potencial químico


Toda a Termodinâmica é um caso particular de um problema matemático da teoria de informação. Na Termodinâmica dos gases, por exemplo, nós temos um sistema físico composto de N partículas, cada partícula com uma energia ε, e todas as partículas juntas ocupam um volume total V. Nós poderíamos, em princípio, medir experimentalmente a posição e a velocidade de cada partícula. Mas como em um gás há ~ 1023 partículas, isso seria uma tarefa hercúlea. No lugar disso, nós vamos dizer que as partículas podem estar com uma certa distribuição de probabilidades com uma dada velocidade e posição, e a única coisa que sabemos é o valor estatístico médio de certas variáveis. Por exemplo,


que é o valor médio estatístico da energia. Nós não sabemos a priori qual a probabilidade pn do sistema ter energia En. Nesse caso, a quantidade máxima de informação perdida (para não assumir nenhum conhecimento que não possuímos sobre o sistema) precisa ser calculada levando em conta que já sabemos o valor médio da energia, do volume e o número de partículas do sistema. Isso é o que se chama de um cálculo de maximização com vínculos. Lagrange mostrou que nesse caso vai existir um conjunto de parâmetros, chamados os multiplicadores de Lagrange, um para cada vínculo do sistema. O vínculo da energia introduz um parâmetro que é chamado de temperatura, o do volume, pressão, e o número de partículas, potencial químico. A temperatura de um sistema é o multiplicador de Lagrange da falta de informação máxima dada a energia fixa do sistema. [2]



Nota final: revisitando entropia e desordem, e matando de vez por todas o clichê criacionista


Como expliquei no blog antes, o sistema magnético é um exemplo de sistema onde maior entropia significa maior ordem (e não desordem). Primeiro, vou explicar com outras palavras para que fique mais claro.

Considere um gás ideal com N partículas em um recipiente V. Pela fórmula da entropia,
, onde f é uma função de outras variáveis que não nos interessam no momento. Você nunca vai encontrar o gás em um volume V/2, porque , e a segunda lei da termodinâmica diz que dados os vínculos do sistema, ele assume os valores de temperatura, pressão, etc., de modo que S seja máxima. É possível dar uma interpretação intuitiva para isso, dizendo que se o gás ocupasse um volume V/2 ele estaria "mais organizado" do que se ele ocupasse um volume V. Sem precisar continuar, no entanto, eu posso agora mesmo apontar uma falha nessa interpretação. Observe que a entropia de V/2 é menor que V independente de como as partículas estão distribuídas. Em geral, as pessoas imaginam que V/2 seria algo como todas as partículas ocupando uma parte a esquerda (ou a direita que seja) do recipiente. Mas se todas as partículas estivessem ocupando um fractal maluco de volume V/2 dentro de V, a entropia do volume V/2 ainda seria a mesma. Mas vamos ignorar isso. Vamos aplicar a mesma lógica aos imãs. Nesse caso, se o sistema tem uma magnetização M (que é o campo magnético do imã) não nula, então o sistema tem que ter uma ordem parcial dos spins: eles precisam estar  em média estatística ordenados apontando na direção do campo total M, que nada mais é que a soma dos spins de todos os átomos. E para a temperatura abaixo da temperatura de Curie (i.e. quando o imã existe!), esse é o estado de equilíbrio do sistema. Portanto, , pela segunda lei da Termodinâmica. Mas o estado com M = 0 é exatamente o estado mais desordenado, onde os spins apontam aleatoriamente sem nenhuma correlação entre eles. Não estou comparando aqui um estado de equilíbrio com outro estado de equilíbrio (não é assim que se faz a maximização de S), estou imaginando que o sistema estava inicialmente em uma condição em que o equilíbrio era atingindo por um estado parcialmente organizado (como tem que ser se M for não nulo, ou seja, o material é um imã), e fazendo um "deslocamento virtual" para um estado em que ele está mais desorganizado. A probabilidade de encontrar o sistema no estado mais desorganizado vai a zero, a medida que o sistema é mais desorganizado (do mesmo modo que encontrar um gás com todas as partículas num cubo de volume V/2 na metade de um recipiente retangular de volume V tem probabilidade zero).

Isso mostra que não podemos utilizar a intuição de desordem para atribuir entropia. Não podemos dizer, por exemplo, que a molécula de DNA em meio aquoso possui menos entropia que os nucleotídios separados em meio aquoso. Para poder determinar se a entropia do DNA é maior ou menor, precisamos fazer a conta, meu filho, e isto representa contar todos os estados acessíveis ao DNA e usar a fórmula de Boltzmann. 

Nota
  1. Na Wikipedia há um artigo que mostra como fazer esse cálculo. Você também pode aprender um pouco mais sobre teoria de informação lá.
  2. Os cálculos detalhados e uma argumentação brilhante de porque a Termodinâmica é nada mais que um problema da teoria de informação, pode ser encontrado nos artigos de E. T. Jaynes Phys. Rev. 106, 620 - 630 (1957); Phys. Rev. 108, 171 - 190 (1957), ou então no livro E. T. Jaynes, Probability Theory, ou também alguns livros de física estatística, como do Roger Balian, From microphysics to macrophysics, Springer.

4 comentários:

Zero disse...

Oi Leonardo, e' o Zero aqui...

Quando voce fala em "informacao nao obtida", ou "deixada de medir", me parece que isto pode passar uma impressao erronea ao "ato de medida" em si, ou aa decisao do "observador" de medir ou nao o microestado. Eu acho que da' para olhar essa parte por um outro angulo: a informacao que nao foi medida, ficou e ainda estaria disponivel para tanto. Entao podemos investir no conceito de "quantidade de informacao disponivel" no sistema, que e' a mesma coisa, e esta' de acordo com a definicao inicial de I(p) que foi construida nos 3 itens condicionantes do seu texto. Me parece tambem ser uma terminologia mais comum na literatura. O que voce acha? Se quiser, pode responder no scrap do Orkut, o bode agradece!

Leonardo Motta disse...
Este comentário foi removido pelo autor.
Leonardo Motta disse...

Oi Zero, obrigado pelos comentários :) Eu concordo com você e não tinha previsto essa possibilidade de confusão conceitual. O que eu tinha em mente é exatamente como você descreveu.

Mas ai Zero, deixa eu te perguntar uma coisa, como fica a interpretação dessa I(p) se as probabilidades {p} forem da MQ? Ai não dá mais para falar que a informação está disponível para ser medida, não é? Tampouco dá para falar em informação que não foi obtida, já que nesse caso {p} é toda a informação disponível.

Zero disse...

Oi Leonardo, so' agora voltei aqui e vi sua resposta. Pensando assim "naively" (sem olhar alguns canones antigos meus :), me parece que nao haveria conflito entre a definicao de informacao do seu texto e as probabilidades de um estado quantico, mas precisamos definir o significado de "receber uma mensagem", que neste caso poderia ser "fazer uma medida de algum observavel". Na relacao da termodinamica com a MQ tem uma discussao sobre estados puros e misturas, que eu tenho ela "enferrujada" aqui (e nao vou olhar os canones agora... :). Se nao me engano, os sistemas grandes, em contato com banhos termicos, estao em uma mistura estatistica, e nao num estado puro e isto os torna sistemas com "informacao disponivel", como os classicos, com varios canais, associados aos componentes da mistura estatistica. Eu posso estar confundindo algo, pois estou comentando sem conferir nada!