Shoot-out 2008_parte 003

Se han actualizado las entradas previas de Shoot-out 2008 (001 y 002) con nueva documentación.

El objetivo del Shoot-out 2008 era desarrollar la mejor calibración posible para diferentes parámetros, entre ellos uno de los que mejores resultados proporciona para la técnica NIR, la proteína, pero también de otros parámetros de tipo físico y reológico.

Para validar la ecuación, se dispone de un conjunto independiente, pues se han dejado los resultados de una campaña fuera (la de 1999).

Iremos incluyendo diferentes entradas sobre este Shoot-out 2008, a modo de ejercicio para ver los diferentes métodos de calibración (globales, locales, redes neuronales,...,etc). y con diferentes software (Win ISI, Vision, Matlab, Unscrambler,...).

Como es lógico realizamos un análisis de PCAs, para comprobar la existencia de anómalos, grupos,...Debido a los problemas que hemos visto en las entradas anteriores, y también a la variedad de clases de trigo, y otras fuentes de varianza, el programa selecciona un número elevado de componentes principales y determina que la muestra 70, es anómala. Si observamos las proyecciones de las muestras sobre los componentes principales, podemos determinar el que componente la muestra es anómala.

Sobre el PC 23.
La muestra se va respecto al límite de desviación estándar fijado.

Se pueden probar diferentes tratamientos matemáticos, para ver si la "muestra 70" no sale como anómala, pero en los probados siempre sale y con un valor bastante alto, por lo que se decide excluirla de la calibración.

Tweet

Cálculo de los Eigenvectors / Eigenvectors Calculation

Continuamos con el ejercicio de la entrada anterior (donde calculamos los eigenvalues), calculando ahora los eigenvectors.
Entrada anterior: Cálculo de los Eigenvalues
Now we calculate the eigenvectors once we know (from the previous post) the eigenvalues.
Previous post: Eigenvalues Calculation

Cálculo de los Eigenvalues / Eigenvalues Calculation

Este es un simple ejemplo del cálculo de los dos "Eigenvalues" para una matriz 2x2:
This is an easy example to calculate the two eigenvalues for a 2x2 matrix.
1   2
3   4

Recordar que existen calculadoras "on line" para hacerlo de una manera más cómoda o para comprobar nuestros resultados,...., por ejemplo esta:
There are "on line" calculators to do easily the calculations or to test our results.
http://www.arndt-bruenner.de/mathe/scripts/engl_eigenwert2.htm
El la proxima entrada resolveremos los eigenvectors.
We solve in the next post the eigenvectors.

VIDEO: Longitud de un Vector

Ver video de multiplicación de matrices en Excel.

Elipsoides en el espacio de Componentes Principales / Elipsoids in the Principal Components Space

Hemos hablado en este blog de la distancia de Mahalanobis con frecuencia, y son de hecho las entradas de mayor audiencia. Bien, os recomiendo ver el corte de video en el que el profesor Strang explica la definición de los elipsoides explicando la relación de sus ejes con lo ya vistos "eigenvectors" y la definición de su distancia con sus "eigenvalues".
Este corte esta al final del video, a partir del minuto 46:00.

We've talked in this blog frequently about Mahalanobis distance, and they are in fact the highest rated entries. Well, I recommend watching the video clip in which Professor Strang explains the definition of the ellipsoids explaining the relationship of their axes with the already seen "eigenvectors", and defining the axes length with its "eigenvalues​​".
This cut is at the end of the video from minute 46:00.

Reducción de matrices / Matrix reduction - (MIT Linear Algebra Lesson 2)

Se trata de a partir de una serie de operaciones "legales" que se pueden aplicar a una matriz,simplificarla para resolver de una manera mas simple sistemas de ecuaciones.

 Estas operaciones son:

 (1)Intercambio de 2 filas de la matriz.

 (2)Multiplicar cada miembro de una fila por una constante (distinta de cero).

 (3)Multiplicar cada miembro de una fila por una constante y sumar esa fila a otra fila.

There are some "legal" operations that can be applied to a matrix, in order to reduce it and solve in a more simple way equation systems.
  These operations are:
  (1) Exchange two rows of the matrix.
  (2) Multiply each member of a row by a constant (nonzero).
  (3) Multiply each member of a row by a constant and add this row to another row.

 Ejemplos en "Web ejemplos www.utim.edu"

 Examples "ccis.edu".

También podéis seguir la clase de Algebra del MIT para ver el sistema de reducción que aplica el profesor W Gilbert Strang.
You can follow the Algebra lecture of Professor Strang to see different methods to reduce a matrix (Matrix elimination)

Reducción por eliminación para resolución de ecuaciones.

Casos en los que la eliminación presenta problemas: (Cuando los pivotes son cero,....)

¿Que hacer?

Aplicar la eliminación con operaciones de matrices.

Reducción de matrices por el método de Gauss para resolver ecuaciones:

Other way to reduce a matrix is by the Gauss Method with determinants calculations

Se trata de 4 ecuaciones con cuatro incógnitas. Se trata de resolverla por medio reduciendo la matriz.

In the example, we want to calculate the four unknowns x1, x2, x3 and x4.

Para resolver un determinante en este caso por ejemplo:

To calculate the determinant of a 2x2 matrix:

1  -5

2   1 

Su determinantes es:

Its determinant is:

(1  x  1) - (2  x  -5) = 1+10 = 11

Matriz Singular

Hemos visto que las matrices que tienen como determinante cero no tienen inversa, y como calcularlo en Excel.
"Matriz inversa y determinantes en Excel"
Bien, una matriz singular, es aquella matriz cuadrada, que no tiene inversa por ser su determinante cero.

MIT Algebra Course: Lesson 21 "Eigenvectors & Eigenvalues".

Follow his lectures / Sigue sus clases

Cálculo de la Matriz de Covarianzas en Excel

Hacía tiempo que no publicaba un vídeo casero, me he animado a hacer este. Espero que os guste.
No olvidar que es para una matriz centrada.

Shoot-out 2008_parte 002

Ya hemos comentado que es importante mirar al espectro con detalle antes de proceder al desarrollo de una calibración.

La primera gráfica muestra los espectros promedio de las diferentes campañas (con tratamiento SNV), y se observan tres agrupamientos:

Las campañas 2004 y 2005 (en verde) se separan del resto más claramente.

las campañas 1998, 1999, 2000, 2001 y 2003 tienen espectros más parecidos (en negro).

La campaña del 2002 se aparta también de los otros dos grupos (en rojo).

Mirando las fechas en que fueron analizadas las muestras, encontramos que:

	Analizada en:
1998	Marzo	2004
1999	Marzo	2004
2000	Marzo	2004
2001	Marzo	2004
2002	Enero	2004
2003	Febrero	2004
2004	Febrero	2005
2005	Enero-Febrero	2006

Esto nos puede indicar que estos cambios espectrales en la zona del visible pueden ir asociados a cambios en el equipo NIR (algún problema en el equipo) , o a cambios asociados a la presentación de la muestra.

En el siguiente figura (con 2ª derivada), en la zona NIR también se observan separaciones, aunque no tan claras de los tres grupos comentados.

Las separaciones son más claras para las campañas 2004 y 2005, como ya se vió en Shoot-Out 2008_parte 001, que por otra parte tienen un intervalo de tiempo mayor entre los análisis que el resto de las campañas, que analizaron en un intervalo más corto de tiempo. Esto nos indica que ha habido una serie de cambios probablemente en el equipo NIR o en el modo de presentyar la muestra en ese periodo de tiempo.

Otra peculariedad observada es al poner el espectro en 4ª derivada con un segmento de 1, la zona de un cambio de filtro (a 790 nm aprox.) que es sensible a la temperatura del equipo y a las condiciones mecánicas del mismo. También podemos observar los tres grupos, con lo que se confirma que el equipo pudo haber cambiado en el periodo de tiempo en el que se analizaron las muestras, manteniendose más estable entre el periodo de análisis de las muestras de las Campañas 2004 y 2005.

Esta parte espectral no coincide con ninguna banda de interés en lo que a los constituyentes se refiere.
Estas variaciones se observan, no obstante es otras zonas espectrales, siempre relacionadas con los tres grupos.

El la parte de arriba (en negro) de marca la forma espectral (4,1,1,1) de los espectros de las Campañas 1998,1999, 2000, 2001 y 2003.
El el medio la de los espectros de la campaña 2002.
Debajo la de los espectros de las campañas 2004 y 2005.

También tenemos que tener en cuenta el cambio de detector que se produce a 1100 nm, pasando de un detector de Silicio (400 a 1100 nm) a otro de Sulfuro de Plomo (1100 a 2500 nm). Los equipos estan bien ajustados para que el cambio apenas se aprecie pero se puede excluir de la calibración algunos nanometros entorno a 1100 nm, donde tampoco hay absorciones de interés.

Si tratamos los espectros en Unscrambler con la Norris Derivative, también se observan  las zonas que hemos comentado.