Bem-vindo!

Hoje vamos conversar sobre

o que chamamos de Max Ent,

ou Princípio da Máxima Entropia,

ou, ocasionalmente, 
Métodos de Máxima Entropia.

Enfim, Max Ent pode ser 
dividido em 2 partes

e essas duas partes irão compor

a primeira e segunda metade
desta unidade.

Entropia Máxima foi inventada

por um alemão chamado E. T. Jaynes.

Ou, pelo menos, ele foi o primeiro

a colocar tudo isso em um só artigo
no Physical Review.

E Jaynes estava atrás de questões
profundamente filosóficas,

quase epistemológicas,

sobre a natureza da Realidade,

e por que Leis da Natureza assumem 
a forma que elas assumem.

Mas, recentemente, o que descobrimos

é que Max Ent
(o Princípio de Máxima Entropia)

encontrou relevante uso

em Aprendizado de Máquina,

na modelagem de processos
do mundo real,

oposto a, digamos, a explicação
e compreensão de tais processos.

Ou seja, há pessoas muito interessadas

em previsões, por exemplo.

Elas gostariam de aprender

como o mercado de ações
se comporta

e prever como se comportará amanhã.

Querem aprender a natureza, digamos,

do câncer de algum certo paciente.

Gostariam de modelá-lo 
com um modelo bom o suficiente

para prever o que acontecerá amanhã.

Então é um objetivo enorme
intelectualmente,

e incrivelmente ambicioso,

que pessoas do ramo de IA
e de Aprendizado de Máquina têm.

Certo?

E Max Ent é muito pertinente

nessa parte do mundo intelectual.

E o que faremos é começar aí.

E na segunda parte da palestra,

vou tentar criar conexões
entre o que vocês aprenderam,

na parte de previsões 
e Aprendizado de Máquina,

vou tentar aplicá-los

a certos problemas bem interessantes

encontrados no estudo de
sistemas biológicos

e no estudo de sistemas sociais.

E, em particular, vou tentar

adentrar um pouco

nas questões filosóficas mais profundas
que Entropia Máxima traz à tona.

Em particular,

o porquê de ela funcionar tão bem.

Então o que faremos é,

começaremos com
um problema de previsão.

E, em particular, começaremos com 
o tipo de problema

em que Max Ent realmente destaca-se,

que é na previsão de dados 
de alta dimensionalidade.

No nosso caso, dados de
alta dimensionalidade,

vamos explicá-lo como...

como uma definição útil,

diremos algo como o seguinte.

Um sistema tem dimensão alta

se o número de configurações,

que chamaremos de N,

é bem, bem maior

que a quantidade de dados que temos,
que chamaremos de K.

Então isso é quantidade de dados (K)

e isso é o número de 
configurações possíveis (N).

Ou seja, o número de formas que 
o sistema poderia assumir

é muito, muito, muito maior

do que o número de formas em que
ele foi observado no mundo real,

a quantidade de vezes que ele foi 
observado no mundo real.

Então, frequentemente,

podemos falar das dimensões
de alguma base de dados.

Tomemos, por exemplo, uma imagem,

tomemos uma imagem 
em preto e branco.

E digamos que essa imagem
tem 10.000 pixels.

Então, cada pixel na imagem

cada pixel na imagem pode assumir,

digamos, o valor +1 ou -1.

Preto, digamos, é +1; 
branco, digamos, é -1.

Então cada imagem aqui pode tomar
qualquer combinação arbitrária

qualquer combinação arbitrária
de valores de pixels.

Se temos 10.000 pixels,

e cada pixel pode assumir +1 ou -1,

então o número total de imagens

é 2 à potência

de 10.000 (2^10000).

Cada pixel tem uma dimensão discreta 
(+1 ou -1),

e temos 10.000 deles.

Então se você estiver tentando
construir um modelo

de, digamos, palavras escritas à mão.

Então gostaria-se de modelar, 
por exemplo,

todas as formas possíveis 
que posso escrever a letra "e".

Não há quase forma alguma

que você conseguirá adquirir--

na verdade, acho que provavelmente
é possível provar que

que o Universo morrerá 
numa tenebrosa morte térmica

antes de você conseguir acumular
amostras suficientes da minha escrita

tal que a quantidade de dados, K,

seja minimamente comparável a 2^10000.

Só para dar uma noção:

2^10000 é como

(1000)^1000,

ou 10^3000.

É como um googol (10^100) 
à potência de 30.

Então, nesses casos, 
o que gostaríamos de fazer,

o que gostaríamos de poder falar sobre,

é, pelo menos, dar probabilidades
a imagens particulares

tiradas de um conjunto 
cujo número total de imagens

é bem menor do que 
o número total de imagens possíveis

Isso é onde algo como Max Ent
realmente se sobressai.