IMP Software Page

Podemos descargar interesantes ficheros de la página Web de IMP en su página de software. Hay una interesante calculadora Excel para determinar si las desviaciones que tenemos durante las validaciones (de slope y bias) son significativas.

We can download insteresting files from IMP Software Webpage to practice Chemometrics. There is an interesting Excel Calculator to determine if the skew and bias we get in the validation are significant.

¿Por que este Bias? - Why this Bias?

¿Porque tengo este Bias?  ¿What is the reason for this Bias?
Estamos analizando muestras en rutina, el equipo nos empieza a dar mas altos, de una manera sistemática, los resultados de alguno de los parámetros. Puede que nos demos cuenta de ello de una manera rápida o que nos demos cuenta mas tarde, después de haber contrastado algunos muestras pasadas por el NIR, por los métodos de referencia.
¿Que ha pasado?.
We realize that from certain sample or date, we start having a Bias in our results. What is happening from that moment?. We can organize our sample set by date or any other form in order to find the reason.
Organizando las muestras por fecha, nos podemos dar cuenta de que ha sido a partir de una determinada fecha y hora. ¿Que ha pasado en ese momento?. What is happening?.

Ejercicios: "IRIS" (1ª Parte)

Esta entrada será actualizada según se vaya desarrollando. Se trata de aplicar a una serie de datos (en este caso flores “iris”) los métodos quimiométricos que hemos ido viendo hasta ahora, y los que iremos viendo en el futuro. La entrada quedará dentro de un grupo con la etiqueta “Ejercicios”.

This input will be updated as son as it will be developed. I like to apply to a data table (in this case about “iris flowers”some  chemometric methods.

La idea es trabajar con Excel y algunas otras herramientas que encontremos por Internet para obtener información relevante acerca de este grupo. Estos ficheros están pensados para trabajar en Matlab o R,y también trabajaremos con ellos en caso necesario.
The idea is to work with Excel mainly, and with other tolos available on Internet, to obtain relevant information about this data. If necessary we will use Matlab or R.
Descargar los ficheros de “iris” desde una interesante página web.

You can download the Iris files from this interesting webpage.

Importar los datos a Excel y organizarlos por categorías: (1, 2 y 3)

Import the data to Excel and organize it by categories.

En Excel organizar una primer columna para la categoría, después las demás son para la longitud y anchura del sépalo (1 y 2) y pala la longitud y anchura de los pétalos (3 y 4).

In Excel organize the data this way:

Clase	Sepal Length	Sepal Widht	Petal length	Petal Width
1	5.10	3.50	1.40	0.20
1	4.90	3.00	1.40	0.20
1	4.70	3.20	1.30	0.20
1	4.60	3.10	1.50	0.20

Crear categorías y crear un gráfico para sacar ciertas conclusiones sobre los grupos y podemos contestar a las preguntas de la página 3 del “PDF de Ejercicios”.
Create categories in Excel, to obtain information about the Data, and we can answer the questions of page 3 in  “Exercices_PDF”
Guardar la Hoja de Excel para seguir desarrollandola.

Save the Excel file to continue developing.

Centramos los datos (ver video "centrado de una matriz en Excel" ) y calculamos la matriz de covarianzas.

We centered the data (see the video “centrado de una matriz en Excel”), and we calculate the “covariance matrix”.

Matriz de covarianzas Covariance Matrix
0.6811	-0.0422	1.2658	0.5128
-0.0422	0.1887	-0.3275	-0.1208
1.2658	-0.3275	3.0955	1.2870
0.5128	-0.1208	1.2870	0.5771

Seleccionamos solo las covarianzas de las longitudes de "sépalo" (columna 1) respecto al "pétalo" (columna 3):

We select only the covariance’s of the length of sepal (column 1) and petal (column 3).

0.681122	1.265820
1.265820	3.095503

Ahora calculamos los eigenvectors y eigenvalues con la calculadora del MIT:

Now we calculate the eigenvectors and eigenvalues with the M.I.T calculator.

Los resultados calculados estan escalados para que el vector tenga una longitud de "1".

The results are scaled, so the vector has length = 1

Trazamos estos vectores ( y sus múltiplos) sobre el gráfico centrado (con su linea común):

We draw this new vectors on the graphic to see them versus the originals.

¿Deseas la hoja Excel de datos para practicar?. Insertar comentarios para información.
Do you need the data to practice?. Insert comments how to get it.

Eigenvectors and Eigenvalues

 Wikipedia nos da una buena definición:

"Los eigenvectors (vectores característicos o latentes) de una matriz cuadrada, son los vectores diferentes de cero, que después de ser multiplicados por la matriz, permanecen proporcionales al vector original (cambian en magnitud, pero no en dirección). A cada eigenvector le correspondiente un "eigenvalue" que es el factor por el que cambia el "eigenvector" cuando se multiplica por la matriz".

Wikipedia gives a good definition:

"The eigenvectors of a square matrix are the non-zero vectors that, after being multiplied by the matrix, remain proportional to the original vector (i.e., change only in magnitude, not in direction). For each eigenvector, the corresponding eigenvalue is the factor by which the eigenvector changes when multiplied by the matrix".

Un ejemplo:
For example:

En este caso el "eigenvector" es (3,2) y el "eigenvalue" es 4.

Podemos entrar en este link, para utilizar una útil calculadora que nos ayuda a encontrar los eigenvectors y los eigenvalues. En este caso:

In this case the "eigenvector" is (3,2) and the "eigenvalue" is 4.

Press this link, to use a useful calculator to calculate the other eigenvalue. In this case:

El otro "eigenvector" es (-1,1) con un "eigenvalue" de "-1".

The other "eigenvector" is (-1,1) with an  "eigenvalue" of "-1".

Otro link interesante donde podéis hacer estos cálculos es el del MIT.

Other interesting link for this calculations is this: MIT.

·         Hay que tener en cuenta que solo podemos obtener los "eigenvectors" de las matrices cuadradas, pero que no todas las matrices cuadradas tienen "eigenvectors".

·         Eigenvectores and eigenvalues are obtained only from square matrix. Not all the square matrix has eigenvectors.

·         En una matriz "nxn" que tenga eigenvectors habrá un numero "n" de ellos, por tanto en una matriz 2x2 tendremos 2 eigenvectors con sus correspondientes eigenvalues.

·         In a matrix "nxn" with eigenvectors, we will find  "n" eigenvectors and eigenvalues, so for a 2x2 matrix we will have 2 eigenvectors with their eigenvalues.

·         Los "eigenvectors" de una matriz son perpendiculares entre sí (ortogonales).

·         All the "eigenvectors" of a matrix are perpendicular (at right angles to each other), we can also say that they are orthogonal.

Podemos multiplicar los “eigenvectors” por escalares, obteniendo múltiplos, pero sus correspondientes “eigenvalues”  son el mismo para todos e igual al original del que son múltiplos, (en este caso 4 y -1).

En la gráfica vemos los múltiplos del original (3,2) es decir (6,4),(9,6),..., etc. Cambian de amplitud,no de dirección y todos tienen en este caso 4 de "eigenvalue".

We can scale the original eigenvectors multiplying them for some amount (in the figure x2, x3,…), all them fall in the same direction than the original one, but their magnitude is different. Nevertheless the eigenvalue  for all of them is the same than for the original eigenvector (4 and -1 in this case).

Lo normal es estandarizar los “eigenvectors” para que tengan una longitud de 1, para ello calculamos la magnitud del vector, que en el caso del (3,2) es la raíz cuadrada de 3²+2² . Es decir  √ 13. Si ahora  le damos al vector el valor (3/√13 , 2//√13), y calculamos su longitud veremos que es 1. Normalmente los software que calculan los “eigenvectors”, suelen normalizarlos a longitud 1.

Normally we standardize the length of the eigenvector to “1”. We calculate first the length of the vector (in the case of the vector (3,2) it is the square root of  3²+2² which is √13.  Now we give to the vector the value (3/√13,2//√13). With this new values the length of the eigenvector is “1”. This is how the software’s which calculate the eigenvectors proceed.

Bibliografía usada:

"A tutorial of Principal Components Analysis" - Lindsay I Smith

Lección 1: Curso Algebra Lineal - MIT

Se trata de la lección 1 de un curso de Algebra Lineal del MIT, y es de gran interés para lo tratado en este Blog, pues ya en el se habla de las "combinaciones lineales" que os sonarán por  haber hablado de ellas en el cálculo de los componentes principales, solo que en el caso de estos, como ya hemos comentado se cumple la condición de ortogonalidad. No obstante ya se puede captar la idea de como los "scores", se multiplican por los loadings y al sumar todos los vectores se obtiene el espectro desconocido. Interesante Curso,...., lo iremos siguiendo en NIR-Quimiometría.

Cojer lapiz y papel, y .............adelante.

Iré actualizando estas mismas entradas con más explicaciones o preguntas.

This is the first lecture of a very interesting linear algebra training (MIT), and I found it very interesting for some of the inputs treated in this blog. In this lesson we start hearing about the concept of “linear combinations”, and we talked in previous inputs, and will continue talking about this concept in the future, especially when referring to “Principal Components Analysis”. We can capture the idea of how the “scores” are multiplied by the loadings, and how when all the vectors are added we get the unknown spectrum. This training looks quite promising and we will follow it here in “NIR-Quimiometría”.

Polynomial trendline - Excel

El llamado “scatter” en los espectros NIR, hace que la línea de base se desvíe a medida que aumenta la longitud de onda. Con el fin de corregir esta desviación nos hemos referido anteriormente al tratamiento matemático “Detrend” el cual aplica un polinomio de 2º grado para después restarlo a cada valor de absorción en cada longitud de onda.

Excel nos permite trazar la línea de ese polinomio sobre el espectro, con la opción: Format Trendline.
 

“Scatter makes that the baseline shifts upwards in NIR spectrum as the wavelength increase. In order to reduce this effect we have talked in previous inputs about the mathematical treatment “Detrend”, which apply a 2 degree polynomial, in order to subtract it from the spectrum and correct the baseline.

Excel has a fuction where we can draw this polynomial over the spectrum with the Excel function: “Format Trendline”.
 

Espectro de Covarianzas (longitudes de onda - parámetro)

El espectro de covarianza nos indica como dos medidas varian conjuntamente. Ver esto de una manera gráfica nos ayuda mejor a encontrar las bandas de absorción de los analitos de interes.

En el siguiente gráfico están conjuntamente los espectros de correlación y de covarianza respecto al parámetro "Sustancia Seca" (100 - Humedad). El espectro de covarianza (esta autoescalado para verlo mejor comparativamente respecto al de correlación) nos marca de manera más nítida  la banda combinacional de absorción del agua que esta a 1940 nm que el de correlación, también el primer sobretono por la zona de 1450 nm.