Metricas

Avatar de Usuario
Dalamar
Site Admin
Mensajes: 8741
Registrado: 09 May 2012 01:38

Metricas

Mensajepor Dalamar » 18 Sep 2017 04:33

Comencemos con la curva ROC (Receiver operating characteristic)

Definimos un maximo, como el mayor punto que alcanza el precio de un Stock en un periodo de X meses, por ejemplo un año, es simplemente un ejemplo, ademas, durante el siguiente año no puede haber otro valor superior, puede ser un mes o una semana, es solo un ejemplo para entender el concepto.

Suponemos que tenemos un sistema que intenta acertar positivo o negativo, es decir intentamos acertar si un punto de un grafico es en maximo en el grafico, si acertamos que es un maximo entonces tenemos un acierto positivo (TPR), si acertamos que no es un maximo tenemos un acierto negativo, si pensamos que es un maximo pero no lo es tenemos un falso positivo (FPR), si pensamos que no es un maximo, pero si lo es, tenemos un falso negativo.

Como podemos ver, la mayoria de los puntos no son maximos, por lo que si intentamos predecir puntos que no son maximos al cabo de un año solo con decir que todos no son maximos tendremos mas de un 99% de acierto y realmente no estamos prediciendo nada, ya que mas del 99% no son maximos, pero lo que nos interesa es acertar el que si lo es, y tambien nos interesa no tener falsos positivos ya que pensaremos que un punto es un maximo sin serlo.

Por lo tanto vemos que solo con saber el numero de aciertos no nos sirve, tenemos que saber, falsos positivos, negativos acertados y falsos negativos, para hacernos la idea de si nuestro modelo es util o no.

Esta curva nos muestra una curva que tiene en un eje:

- TPR : True Positive Rate (Recall, Sensitivity or probability of detection), que no es mas que la probabilidad de acertar, si buscamos un maximo y realmente es un maximo, ese numero de aciertos es el TPR.

Y en el otro eje:

- FPR : False Positive Rate (fall-out, probability of false alarm, or 1-specificity), es la probabilidad de tener un falso positivo, buscamos un maximo, pero nos dice que un punto que no es un maximo, si que lo es.

Y se va recorriendo la curva basandonos en un threshold.

Que es el threshold? Es el porcentaje de negativos y positivos que tenemos en nuestros datos, en nuestro caso estamos buscando el maximo anual, por lo que habra solo un positivo entre cientos de negativos, pero que pasa si ponemos datos de muchos años, vamos dejando positivos y quitando muchos negativos? Vamos cambiando el threshold, la relacion entre cuantos positivos y negativos hay en los datos que estamos testeando y asi vamos dibujando la curva.

Lo ideal es tener un resultado en la curva que caiga en la esquina superior izquierda, donde estariamos acertando al 100% todos los casos.

Si los resultados caen en la linea diagonal, serian resultados totalmente aleatorios, lo peor que podriamos obtener.

En estadistica llamados Error Tipo I a un falso positivo, y Error Tipo II a un falso negativo.

Desde el lado de la condicion positiva:

Para calcular el TPR o True Positive Rate, dividimos los True Positives, entre la suma de True Positives y False Positives (Error II), y esto nos da el Ratio TPR.

Tambien podemos calcular el FNR o False Negative Rate, dividiendo los False negatives (Error II), entre entre la suma de True Positives y False Positives (Error II), y esto nos da el Ratio FNR.

Lo mismo se puede hacer desde el lado de la condicion negativa:

.................
.................

F1 score es la media harmonica ponderada entre precision (TPR) y recall (sensitivity), muestra el balance entre ambos, se calcula 2*((precision*recall)/(precision+recall)).

Recall: Es la fraccion de positivos acertados, es trivial obtener un recall de 100% si nuestro modelo nos da un 100% de positivos.

Precision: TP/(TP+FP)
Recall: TP/(TP+FN)
TNR: TN/(TN+FP)
Accuracy: (TP+TN)/(TP+TN+FP+FN)

FP = Type 1 error, FN = Type 2 Error
Adjuntos
d0e4b916-b75d-44c4-87f7-4f89c6f17364.jpg
9dd70973-c2eb-46d3-9da7-9abb5730f5c5.jpg
9750c7c3-be48-4541-87b3-462d32367acd.jpg
e9e6a6bd-a1fb-4cd8-857b-c03be6745e98.jpg
ROCRelatedCalculations.JPG
ROC1.jpg
ROC1.jpg (17.51 KiB) Visto 231 veces
ROC2.png
ROC3.png
¿Te ha gustado este hilo? Compartelo en las redes sociales para que se sume mas gente a la conversacion!

Avatar de Usuario
Dalamar
Site Admin
Mensajes: 8741
Registrado: 09 May 2012 01:38

Re: Metricas

Mensajepor Dalamar » 19 Sep 2017 06:05

P Value

P Values. The P value, or calculated probability, is the probability of finding the observed, or more extreme, results when the null hypothesis (H 0) of a study question is true – the definition of 'extreme' depends on how the hypothesis is being tested.


Es una medida de la fuerza de la evidencia en contra de la hypotesis nula.
¿Te ha gustado este hilo? Compartelo en las redes sociales para que se sume mas gente a la conversacion!

Avatar de Usuario
Dalamar
Site Admin
Mensajes: 8741
Registrado: 09 May 2012 01:38

Re: Metricas

Mensajepor Dalamar » 03 Oct 2017 04:25

¿Te ha gustado este hilo? Compartelo en las redes sociales para que se sume mas gente a la conversacion!


Volver a “Inteligencia Artificial”

Ingresar