Looking to the Residual Matrix

The first plot shows in blue color the residual Matrix "E", after developing a principal components calculation with SVD of some samples of wheat flour without any additive (training set).

Additive (ascorbic acid) was added to the flour in certain levels (50, 100, 200 and 500 ppm) to build a validation set. After acquiring the spectra, I reconstruct these spectra with the loading matrix "P" calculates with the SVD using the training samples. First I calculate the scores anf after the reconstructed spectra multiplying the scores with the P transpose matrix.

Once I get the reconstructed spectra, I subtract the reconstructed from the original validation set, and I get the residuals, that I overplot with red color over the blue ones.

I can see that the RMS is higher, and there is some shape different from the random noise of the blue spectra, so the good product model can be tuned to reject this validation set with some RMS cutoff.

Does this shape something from the spectra from the pure additive?

 

 

In green color we can see the spectra of the ascorbic acid, and I convert it into the residuals scale, and where I see certain similarities is in the band at 2250 nm, where all the peaks from the residuals of the validation set, and the ascorbic peak have the same shape.

Anyway this is a simply study about how residuals could help us to determine if the samples can be considered as Good Product, or they are out of specifications and further investigation is needed studying the residuals to determine the cause.

Análisis Cualitativo: Correlación

La comparación de dos espectros por correlación es de las técnicas mas simples en quimiometría, por otra parte tenemos una escala bien definida para compararlos (entre - 1 y 1).
Uno de los espectros puede ser el espectro promedio de varios espectros representativos de la varianza de un determinado producto (diferentes lotes, procedencias,....) y comparamos con él un espectro desconocido obteniendo un determinado coeficiente de correlación, para definir si la muestra se identifica como perteneciente al grupo al que dicho promedio representa. Es importante en este caso definir un umbral adecuado para que la muestra sea marcada como perteneciente al grupo o rechazada. Un umbral muy estricto nos puede rechazar muestras correctas, mientras que un umbral permisivo, nos clasificaría muestras de otros productos similares como pertenecientes al grupo. Como en el caso de la cuantificación los métodos discriminantes, ya sean para identificación o para cualificación deben de ser validados con muestras buenas y malas para ajustar los umbrales de modo que se produzcan la menor cantidad de falsos positivos o falsos negativos. Este último punto es importante a la hora de fijar el umbral teniendo en cuenta lo que sería mas perjudicial para nuestro objetivo.

Software como Vision, no permiten un umbral menor de 0,85. Aún así este umbral es muy permisivo y se deben de considerar umbrales de 0,95 ó más.

La correlación se utiliza más para hacer una primera identificación y se acompaña posteriormente de otro método cualitativo (distancias, varianza residual,...,etc) que puede ser aplicado en zonas más específicas del espectro para garantizar de que el producto cumple las especificaciones de calidad que se desean.

En el siguiente ejemplo se generan artificialmente 3 bandas, de la que dos de las bandas se generan a partir de una (A=B/2 y C=B*2). Claramente las correlaciones entre estas bandas son de 1.
En el caso de querer separar estas bandas por algún requerimiento tanto de caracter físico como químico, la correlación no es la opción adecuada y debemos de recurrir a métodos de distancia.
La correlación si es mas sensible a desplazamientos de las bandas en la escala de longitud de onda.

Ángulo entre vectores.

Dos vectores A (a₁, a₂, a₃,…,a_n) y B (b₁,b₂,b₃,…,b_n), que parten de un mismo origen forman entre sí un ángulo que denominaremos Ɵ. Conocer este ángulo tiene importancia para comprobar lo similares que son ambos vectores.

Las  longitudes de los vectores se calculan fácilmente por el teorema de Pitágoras y se representan por:

│A│ longitud del vector A.

│B│ longitud del vector B.

Para calcular el ángulo que forman entre sí, partimos de:

A.B = │A│.│B│.cos Ɵ

De aquí podemos despejar cos Ɵ, y por tanto conocer el valor de Ɵ.

Podemos estandarizar los dos vectores para que tengan una longitud igual a 1, de modo que:

A.B = cos Ɵ

En este caso los vectores coinciden con el radio de una circunferencia de radio 1, separándose entre sí en mayor o menor medida según sea el ángulo Ɵ.

Esta es por tanto otra forma de comprobar la similitud entre dos espectros. Podemos fijar  un  umbral para el valor de Ɵ, en torno a un determinado espectro X, para determinar si otro espectro/s, son significativamente diferentes a este.

Esta es por tanto otra de las maneras de realizar un tipo de análisis cualitativo, al igual que lo puede ser la distancia euclidiana, la distancia de Mahalanobis, el coeficiente de correlación, etc.

Podéis visitar unos interesantes videos de como se realiza el cálculo del ángulo entre dos vectores (de juanmemol) en YouTube:
En dos dimensiones.
En tres dimensiones.

Bibliografía: Back to the Basics: qualitative analysis introduction. Tony Davies Column (vol. 20 Nº2 - 2008).