Ejercicio 1: Utilidad de resta de matrices en espectroscopia

Para seguir este espectro se dispone de la matriz de espectros "fish_1_19" que es una matriz de espectros  que preparé en el post anterior y vamos a calcular el espectro medio, simplemente haciendo la media de cada columna (absorbancias a las 19 longitudes de onda) con Excel.

Extendemos la fórmula a las demás longitudes de onda

Y a ese espectro medio lo vamos a llamar el vector "Raw Mean Spectrum" para usarlo a continuación.

Y a continuación hacemos la resta de la matriz "Fish_1_19" de "Raw_Mean_Spectrum".

Simulando espectros de un NIR de 19 filtros en Excel

 A partir de un equipo NIR de rango 400 a 2498 cada dos nanómetros hemos seleccionado las 19 longitudes de onda correspondientes a los 19 filtros de un equipo Bran + Lubbe InfraAlyzer (ver anterior post). Por supuesto que es una gran perdida de datos, pero la idea de los siguientes posts es hacer análisis matriciales más simples para entender conceptos quimiométricos en Excel y de este modo será mucho mas pedagógico.

En este caso usamos un gráfico de scatter por líneas, pero si visualmente lo deseamos podemos quitarlos y poner solo los puntos.

Planificando hacer una base de datos espectral para análisis matricial en Excel.

 En los próximos posts vamos a preparar una matriz de datos espectral con un fichero de demo en el que seleccionaremos 19 longitudes de onda determinadas, simulando ser un equipo NIR de filtros Bran+Luebbe .

Las longitudes de onda serán: 1445, 1680, 1722, 1734, 1759, 1778, 1818, 1940, 1982, 2100, 2139, 2180, 2190, 2208, 2230, 2270, 2310, 2336 y 2348 nm.

1445 (O-H / Agua))

1680-1780  (C-H)             1720 - 1760 (Grasas / Lípidos)

1940 (O-H / Agua)

1980-2180 (N-H / Proteína)

2100 (Almidón / Proteína)

2170 - 2180 (Proteína)

2270-2348 (C-H Combinaciones)

 Con estas selecciones trabajaremos con matrices mas pequeñas y menos intercorrelacionadas para poder entender mejor el análisis quimiométrico en el caso de trabajar con Excel.

Conocimientos básicos: Resta de matrices en Excel

 De gran utilidad es la resta de espectros en quimiometría NIR, por ejemplo, para conocer como ha variado una muestra en el tiempo (restando el espectro actual del original, nos indicará si la muestra a variado en humedad, color,..etc.), o por ejemplo para hacer un centrado espectral que es de lo más común en cálculos de algoritmos como por ejemplo Componentes Principales.

La resta matricial es muy simple en Excel, y usamos a modo de ejemplo las matrices A y B del post anterior:

siendo el resultado:

Conocimientos básicos: Suma de matrices en Excel

 Siguiendo con los temas de matrices en Excel, vamos a realizar en este caso la suma de matrices. Para ello usamos la matriz A del post anterior y vamos a sumarla con otra matriz que debe de cumplir la condición de que tiene el mismo numero de columnas y el mismo número de filas. Si quisiésemos llevar esto al análisis espectral sería como hacer una suma de unos espectros con otros.

Ahora lo que hacemos es definir la nueva matriz como B, seleccionar el rango de columnas y filas adecuado y aplicar la formula A + B, siendo A y B las matrices a sumar:

Al presionar "enter" nos dará el resultado de la suma:

The loading matrix “P” : a good example of orthogonal matrix

We know that for an orthogonal matrix A:

A^t.A=A.A^t=I

When we calculate the loading matrix during the PCA process, each loading is orthogonal (perpendicular) to all others. So we can check for fun in R, Excel,…., this condition with the loading matrix.

P is a very large matrix, so we will check it with just a few columns (6 loadings or terms) and the same number of files (6 wavelengths):

 

> round(gas.loadings[1:6,1:6],digits=4)
          PC1   PC2   PC3    PC4   PC5    PC6
900 nm -0.011 0.022 0.034 -0.039 0.042 -0.020
902 nm -0.010 0.022 0.031 -0.041 0.039 -0.022
904 nm -0.011 0.022 0.030 -0.042 0.036 -0.021
906 nm -0.012 0.024 0.027 -0.045 0.031 -0.012
908 nm -0.013 0.021 0.025 -0.045 0.035 -0.013
910 nm -0.014 0.023 0.023 -0.046 0.036 -0.018

 

P^t is the transpose, so the columns are the wavelengths and the files the loadings:

 

> round(t(gas.loadings[1:6,1:6]),digits=4)
    900 nm 902 nm 904 nm 906 nm 908 nm 910 nm
PC1 -0.011 -0.010 -0.011 -0.012 -0.013 -0.014
PC2  0.022  0.022  0.022  0.024  0.021  0.023
PC3  0.034  0.031  0.030  0.027  0.025  0.023
PC4 -0.039 -0.041 -0.042 -0.045 -0.045 -0.046
PC5  0.042  0.039  0.036  0.031  0.035  0.036
PC6 -0.020 -0.022 -0.021 -0.012 -0.013 -0.018

Now we multiply the two matrix:

> round((gas.loadings[1:6,1:6])%*% solve((gas.loadings[1:6,1:6])),digits=4)
       900 nm 902 nm 904 nm 906 nm 908 nm 910 nm
900 nm      1      0      0      0      0      0
902 nm      0      1      0      0      0      0
904 nm      0      0      1      0      0      0
906 nm      0      0      0      1      0      0
908 nm      0      0      0      0      1      0
910 nm      0      0      0      0      0      1

 

> round(((solve(gas.loadings[1:6,1:6]))%*%(gas.loadings[1:6,1:6])),digits=4) PC1 PC2 PC3 PC4 PC5 PC6 PC1 1 0 0 0 0 0 PC2 0 1 0 0 0 0 PC3 0 0 1 0 0 0 PC4 0 0 0 1 0 0 PC5 0 0 0 0 1 0 PC6 0 0 0 0 0 1

Resolución de sistemas de ecuaciones en Excel (parte 2)

Te puede interesar ver antes el video: Matriz Inversa y determinantes en Excel

Resolución de sistemas de ecuaciones en Excel (parte 1)

He incluido un nuevo video en mi canal de You Tube, para la resolución de sistemas de ecuaciones en forma matricial en Excel. En el canal de You Tube, tenéis también otros videos para aprender a realizar cálculos matriciales en Excel.

Excel: "Vincular una Matriz a un rango de celdas"

VIDEO: Matrices en Excel_parte: 002

VIDEO: Matrices en Excel_parte: 001

VIDEO: Excel_Regla de Sarrus

VIDEO: Suma de Matrices (otra manera)

Esta es otra manera de realizar la suma de matrices en Excel. Os recomiendo seguir los tutoriales de la "Russian Chemometric Society", son realmente útiles.

This is another way to add matrices in Excel. I really recommend to follow the tutorials of the "Russian Chemometric Society", they are really helpful.

VIDEO: Matriz transpuesta en Excel (2)

Video: Suma de Matrices en Excel

Me he animado a hacer un nuevo video, trata de como sumar matrices en Excel, siempre que cumplan con el requisito de suma. Obviamente es el mismo método para la resta.

Propiedades de la Suma de Matrices:

(A+B)+C = A+(B+C)

A+B = B+A

A+0 = A

A + (-A) = 0

Matriz Singular

Hemos visto que las matrices que tienen como determinante cero no tienen inversa, y como calcularlo en Excel.
"Matriz inversa y determinantes en Excel"
Bien, una matriz singular, es aquella matriz cuadrada, que no tiene inversa por ser su determinante cero.

Cálculo de la Matriz de Covarianzas en Excel

Hacía tiempo que no publicaba un vídeo casero, me he animado a hacer este. Espero que os guste.
No olvidar que es para una matriz centrada.

Least Square in Excel: Finding the coefficients / Cálculo de los coeficientes

We call Chemometrics the statistics, matrix algebra,..., applied to chemical analysis.
Same for Economics, I have found at the Public Library of my Village an interesting Book:
"Econometría Básica - Técnicas y herramientas" - Cesar Perez (Pearson).
I develop here in Excel one of the exercices of the book:
The result match the solution......GOOD.

Finding the regressors / Cálculo de los coeficientes

Queremos encontrar los valores de los coeficientes de regresión "b". ¿Como hacerlo?.

We want to find the estimated values for the regression coeficients. How to do it?

Empleamos el método de Mínimos Cuadrados que consiste en minimizar la suma de los cuadrados de los residuales.

We use the Least Square Method which minimize the sumatory square residuals.

El cálculo de los coeficientes de regrasión en forma matricial es:

This calculation in a matrix form is:

bpred = (Xt. X)-1.  Xt . Y

Nos volvemos a encontrar con una matriz inversa. ¿Tiene solución?

We find again an inverse matrix. Does it have a solution?

Podemos repasar los videos de matrices inversas de "Nir-Quimiometría", para darnos cuenta de cuando no encontraremos solución.

We can review "NIR-Quimiometría" YouTube videos to realize when a solution can not be found.

ver / see :

Wikipedia: Linear Least Square (Mathematics)

Fitting the Model / Ajustando el Modelo

De la entrada anterior:

From the previous input:
Y=b₀+b₁x₁+b₂x₂+……

Podemos resumir:

We can resume:

Y = X.B + e

Nuestro primer objetivo es encontrar los coeficientes de regression, para tener B_pred

Our first objective is to find regression coefficients (B), once find them we will have B_pred

Una vez encontrados podemos poner:

Once we have found it, we can write:

Y_pred = X.B_pred

Y = Y_pred +  e_pred

So:

Y = X.B_pred + e_pred