Naïve Bayes, Notas de estudo de Algoritmos

Baixe Naïve Bayes e outras Notas de estudo em PDF para Algoritmos, somente na Docsity!

Aprendizagem de Máquina

Alessandro L. Koerich

Programa de Pós-Graduação em Engenharia Elétrica

Universidade Federal do Paraná (UFPR)

Aprendizagem Bayesiana

Plano de Aula

•^

Introdução

-^

Teorema de Bayes

-^

Classificador Ótimo de Bayes

-^

Classificador Naïve Bayes

-^

Exemplos

-^

Resumo

Introdução

•^

O pensamento Bayesiano fornece umaabordagem probabilística para aprendizagem

-^

Está baseado na suposição de que asquantidades de interesse são reguladas por distribuições de probabilidade

•^

Distribuição de probabilidade: é uma função quedescreve a probabilidade de uma variávelaleatória assumir certos valores.

Introdução

•^

Decisões ótimas podem ser tomadas com basenestas probabilidades conjuntamente com osdados observados.

-^

Fornece a base para algoritmos deaprendizagem que manipulam probabilidades,bem como para outros algoritmos que nãomanipulam probabilidades explicitamente.

Características da Aprendizagem

Bayesiana

-^

Cada exemplo de treinamento pode decrementar ouincrementar a probabilidade de uma hipótese ser correta.

-^

Conhecimento

a priori

pode ser combinado com os

dados observados para determinar a probabilidade deuma hipótese.

-^

Métodos Bayesianos podem acomodar hipóteses quefazem predições probabilísticas.

Ex.: o paciente tem uma

chance de 93% de possuir a doença.

-^

Novas instâncias podem ser classificadas combinando aprobabilidade de múltiplas hipóteses ponderadas pelassuas probabilidades.

Dificuldades Práticas

•^

Métodos Bayesianos requerem o conhecimentoinicial de várias probabilidades.– Quando não conhecidas, podem ser estimadas:

• a partir de conhecimento prévio• dados previamente disponíveis• suposições a respeito da forma da distribuição.

•^

Custo computacional significativo paradeterminar a hipótese ótima de Bayes– É geralmente linear com o número de hipóteses

Teorema de

Bayes

•^

P

( c

| X

) é chamada de probabilidade

a posteriori

de

c

porque ela reflete nossa confiança que

c

se

mantenha após termos observado o vetor detreinamento

X

•^

P

( c

| X

) reflete a influência do vetor de

treinamento

X

•^

Em contraste, a probabilidade

a priori P

( c

) é

independente de

X

Teorema de

Bayes

•^

Geralmente queremos encontrar a classe maisprovável

c

C

, sendo fornecidos os exemplos

de treinamento

X

•^

Ou seja, a classe com o máximo

a posteriori

(MAP)

max

arg

max

arg

max

arg

c

P

c

X

P

X

P

c

P

c

X

P

X

c

P

c

C c

C Cc c

MAP

 ^ 

Teorema de

Bayes

•^

O termo

P

( X|c

) é chamado de probabilidade

condicional (ou

likelihood

) de

X

•^

S

endo fornecido

c

, qualquer classe que

maximiza

P

( X

| c

) é chamada de uma hipótese

ML.

) | (

max

arg

c X P

c^

C c

ML





Teorema de Bayes: Exemplo

•^

Considere um problema de diagnóstico médicoonde existem duas classes possíveis:– O paciente tem H1N1– O paciente não tem H1N

-^

As características disponíveis são um exame delaboratório com dois resultados possíveis:–



: positivo



: negativo

Teorema de Bayes: Exemplo

•^

P(H1N1) =?

P(¬H1N1) =?

•^

P(

|H1N1) =?

P(

|H1N1) =?

•^

P(

|¬H1N1) =?

P(

| ¬H1N1) =?

Teorema de Bayes: Exemplo

•^

Supondo que um paciente fez um exame delaboratório e o resultado deu positivo.

-^

O paciente tem H1N1 ou não?

Formulação Básica de Probabilidades

Classificador Ótimo de Bayes

•^

Consideramos até agora a questão:

“Qual a classe mais provável

c

MAP

)^

dado os

exemplos de treinamento X?

•^

Entretanto, a questão mais significativa é naverdade:

“ Qual é a classificação mais provável de uma nova instância dado os dados de treinamento?

•^

A classe MAP

c

MAP

) é ou não a classificação

mais provável?