FANDOM


entropia relativa Modifica

L'entropia relativa $ I[X;x_1,x_2,...,x_m] $ è il modo per affrontare l'incertezza della differenza tra il campione $ \{x_1, x_2,..., x_m\} $ e ciò che vorrà rivelato dalla popolazione $ X $.

  • è definito come:
$ I[X;x_1,x_2,...,x_m] = E[ \ln ( P_X(X))- \ln ( \Pi(X; \hat \theta))] $
  • oppure avendo uno stimatore debolmente non deviato
$ \hat I[X;x_1,x_2,...,x_m] = \sum_{i=1}^m \frac{1}{m} \ln \left(\frac{P_X(x_i)}{\Pi(x_i; \hat \theta)} \right) $

dove $ \Pi(x, \theta ) $ è una stima di $ P_X(x) $ che deriva da una stima di $ \theta $, parametro della variabile casuale.

Questa varierà tra 0, quando l'incertezza è pari a 0, ad un massimo, quando $ \Sigma $ e X sono indipendenti.

somiglianza Modifica

è definita come:

$ L(x, \theta) = \prod_{i=1}^m \Pi(x_i; \theta) $

Quindi la massima verosimiglianza è

$ \hat \theta = arg max_\theta L(x; \theta) $ dove $ arg max_x g(x) $ indica il valore di x che massimizza g()

nota per una famiglia di variabili casuali di parametro $ \Sigma $ uno stimatore di massima verosomiglianza $ \hat \theta $ è una funzione di una statistica sufficiente