Combinando SNV y Segunda Derivada

The video shows the differences between a raw spectra of lactose (where we can se high differences due to the particle size). After applying SNV those differences almost disappear.

 

If we combine SNV and Second Derivative, we increase the resolution but the effect of the particle size is also take it out due to the SNV part, but we see an improvement in the resolution.

 

In case we only apply the Second Derivative we increase the resolution and keep the particle size effect.

 

All these combinations help to find the best option for a quantitative or qualitative model.

Quimiometria con R: 2ª Derivada y espectros de Correlación

Applying "SNV + Detrend" to the spectra with R

Normally Detrend is used together with SNV as a Math treatment to remove the scatter. We have seen in the last post, how to apply Detrend to the spectra using the R package "pracma".
There are other posts in this blog about SNV (standard normal variate), and we can combine them to get the SNV + Detrend math treatment.
First let´s apply the SNV:
yarn_snv<-scale(t(yarn$NIR),center=TRUE,scale=TRUE)
wavelengths1<-seq(1,268,by=1)  #para "yarn"
matplot(wavelengths1,yarn_snv,type="l",main="Yarn spectra with +SNV",xlab="Wavelength (nm)",ylab="1/R (log 1/R)",lty=1,col=1)

 

and now the Detrend:

library(pracma)
yarndt_NIR<-detrend(t(yarn$NIR),tt="linear")
matplot(wavelengths1,yarndt_NIR,type="l",lty=1,xlab="Wavelength
+(nm)",ylab="1/R")

 

 

Applying "Detrend" to the spectra with R

There is a nice math treatment I use to apply to the spectra in NIR. It is the Detrend.
Normally goes together with the SNV, but this time I´m going to apply it alone.
I´m going to use the Yarn data, with this raw spectra:

 

 

Now we load the R package "pracma":

 

library(pracma)

yarndt_NIR<-detrend(t(yarn$NIR),tt="linear")

wavelengths1<-seq(1,268,by=1)  #para "yarn"

matplot(wavelengths1,yarndt_NIR,type="l",lty=1,

+xlab="Wavelength(nm)",ylab="1/R")

 

The spectra change to this one:

 

We can see hou the "trend" effect ( a shift in the baseline) is corrected and the baseline adjusted.

:

Savitzky-Golay in "VISION"

I had been explaining how to develop this nice pre-treatment in “R”  (see previous posts):
Savitzky-Golay filters in "R"
Applying Savitzky-Golay filters in “R”

, but let’s see how a commercial Chemometric Software as VISION, show the configuration window:

As we can see we have to configure the same parameters than in “R”, Matlab, or any other software which contains SG filters.

Primera Derivada

Las derivadas sirven para corregir el efecto de  desviación de la linea de base en los espectros NIR. También ayudan a resaltar las bandas de absorción de los analitos de una manera mas clara, que como vimos en la entrada deconvolución, forman el espectro que obtenemos por NIR. También hemos visto los conceptos de "segment" y "gap" , que nos definen lo marcadas que estarán esas bandas. Las derivadas producen los denominados artefactos, que no aportan información. En próximas entradas hablaremos con mas detalles de las derivadas.

En esta entrada represento la primera llamada "Norris Derivative" en Unscrambler, en honor a Karl Norris que tanto ha hecho y sigue haciendo por el NIR y la Quimiometría.

En los siguientes espectros (harinas de carne), comprobamos como en crudo, tenemos a parte de mucho "scatter", una desviación de la linea de base a medida que aumenta la longitud de onda. La primera derivada corrije la linea de base, pero no elimina el "scatter". Aparte podemos ver que hay un cierto tipo de harinas que se diferencias de una manera clara del resto, de modo que deberán de ser incorporadas en un grupo propio.

Las primera derivada se basa en diferencias entre "data points",esta claro que en puntos próximos de una absorción similar las diferencias serán próximas a cero, y estarán cerca de la linea cero,sin embargo, donde haya variaciones importantes (en las laderas de los picos), habrá grandes diferencias y grandes pendientes. La primera derivada visualmente quizás sea compleja, a causa de esto, de interpretar.

En el caso de la primera derivada, el pico de absorción en el espectro sin tratamiento pasa a tener un valor de cero, esto tiene sentido, ya que la tangente (1ª derivada) en el pico es horizontal y tiene por tanto un valor de cero. Podéis ver esta animación de Wikipedia para comprender mejor el concepto. A ambos lados del pico representado por el cruce en el cero la pendiente va cambiando los valores (de positivo a negativo).

"Segment" & "Gap"

Se trata de dos intervalos usados para el cálculo de derivadas en las "Norris Derivatives" o tratamientos de derivación diseñados por Karl Norris para aplicar a los espectros NIR. Las derivadas pueden incorporar mucho ruido al espectro, por lo que el aplicar estos dos intervalos de manera adecuada ayuda a reducir el ruido y con ello a conseguir mejores resultados en el desarrollo de calibraciones.

El espectro NIR se representa en dos ejes : El Y o escala de absorción y el X o escala de longitudes de onda.
 

SEGMENT: Distancia del intervalo X, de la que se promediarán los valores de Y.

GAP: Distancia del intervalo X, que separa los dos segmentos que van a ser promediados.
 

En el caso de no usar GAP, se seleccionan dos segmentos a cada lado de un determinado valor de X al que daremos en valor de la derivada, (los segmentos serán de igual valor), hacemos el promedio de los valores de absorción de los dos (digamos que el valor a la izquierda de X es de Z y a la derecha es de B) y restamos el valor de B, del valor de A, poniendo este valor al punto en común de los dos segmentos. Después vamos haciendo los mismos cálculos a lo largo del espectro, desplazándonos de un valor de X al siguiente.