Wczytaj dane naive_bayes_data.csv. Wyestymuj \(P(Y=1 \mid X_1=1, X_2=0, X_3=1)\) przy założeniu modelu naiwnego Bayesa. Do jakiej klasy zaliczysz obserwację \(x_1=1, x_2=0, x_3=1\)?
Podpowiedź:
Wiemy, że \[ P(X_1=1 | Y=1) = \frac{P(X_1=1 , Y=1)}{ P(Y=1)} \]
i mamy estymatory
\[ \hat{P}(X_1=1 , Y=1) = \frac{n(x_1=1, y=1)}{n}, \qquad \hat{P}(Y=1) = \frac{n(y=1)}{n},\]
gdzie \(n(\textrm{warunki})\) oznacza liczbę obserwacji spełniających warunki, a \(n\) oznacza liczbę obserwacji. Mamy więc
\[\hat{P}(X_1=1|Y=1) = \frac{n(x_1=1, y=1)}{n(y=1)}.\]
Podpowiedź 2:
Nie estymuj \(P(X_1=1, X_2=0, X_3=1)\). Skorzystaj z tego, że prawdopodobieństwa sumują się do \(1\).
Odpowiedź:
\[ \hat{P}(Y=1 \mid X_1=1, X_2=0, X_3=1) = 0.5892088\]
Odpowiedź pełna
\[P(Y=1 \mid X_1=1, X_2=0, X_3=1) = \frac{P(X_1=1, X_2=0, X_3=1 \mid Y=1)P(Y=1)}{P(X_1=1, X_2=0, X_3=1)} \overset{NB}{=} \frac{P(X_1=1\mid Y=1)P(X_2=0\mid Y=1)P(X_3=1\mid Y=1)P(Y=1)}{P(X_1=1, X_2=0, X_3=1)} \] Estymujemy \(P(X_1=1\mid Y=1)P(X_2=0\mid Y=1)P(X_3=1\mid Y=1)P(Y=1)\), potem estymujemy \(P(X_1=1\mid Y=0)P(X_2=0\mid Y=0)P(X_3=1\mid Y=0)P(Y=0)\), więc otrzymujemy estymatory \(P(Y=1 \mid X_1=1, X_2=0, X_3=1)*\textrm{stała}\) i \(P(Y=0 \mid X_1=1, X_2=0, X_3=1)*\textrm{stała}\) i to ta sama stała. Teraz z \(1\) można wszystko wyliczyć.
Uwaga \(\textrm{stała} = P(X_1=1, X_2=0, X_3=1)\)