FANDOM


entropia relativa Modifica

L'entropia relativa I[X;x_1,x_2,...,x_m] è il modo per affrontare l'incertezza della differenza tra il campione \{x_1, x_2,..., x_m\} e ciò che vorrà rivelato dalla popolazione X.

  • è definito come:
I[X;x_1,x_2,...,x_m] = E[ \ln ( P_X(X))- \ln ( \Pi(X; \hat \theta))]
  • oppure avendo uno stimatore debolmente non deviato
\hat I[X;x_1,x_2,...,x_m] = \sum_{i=1}^m \frac{1}{m} \ln \left(\frac{P_X(x_i)}{\Pi(x_i; \hat \theta)} \right)

dove \Pi(x, \theta ) è una stima di P_X(x) che deriva da una stima di \theta, parametro della variabile casuale.

Questa varierà tra 0, quando l'incertezza è pari a 0, ad un massimo, quando \Sigma e X sono indipendenti.

somiglianza Modifica

è definita come:

L(x, \theta) = \prod_{i=1}^m \Pi(x_i; \theta)

Quindi la massima verosimiglianza è

\hat \theta = arg max_\theta L(x; \theta) dove arg max_x g(x) indica il valore di x che massimizza g()

nota per una famiglia di variabili casuali di parametro \Sigma uno stimatore di massima verosomiglianza \hat \theta è una funzione di una statistica sufficiente

Ad blocker interference detected!


Wikia is a free-to-use site that makes money from advertising. We have a modified experience for viewers using ad blockers

Wikia is not accessible if you’ve made further modifications. Remove the custom ad blocker rule(s) and the page will load as expected.