Whenever we transfer
calibration databases from one instrument to be used in another type of
instrument, we use a type of standardization, scanning samples in both
instruments and after that we apply the standardization to the data base and
make a new calibration. We need to validate this equation with new samples from
the new instruments in order to see if the transfer was correct. But it is
usual that the equation can underfit or overfit the number of terms used in the
PLS Model. So whe we do the validation probably will in some cases some bias
effects or a high SEP than expected.
Is it good to develop the equation
again using the new spectra with lab values as an external set for validation
in order to decide the number of terms we will use in order to prevent the
calibration to be under-fitted or over-fitted.
Just look to the statistics
values of the SECV and SEV (SEP for the external validation set) and make your decision.
It is important to look at the
same time to the SEV and SEV(C) to check that we have not a bias in the
prediction of the validation test.
In the statistic list Win ISI recommends
14 terms for a moisture equation, but we can see clearly that is too much, so
we can take the decision to take less. What about four?. Just try.
Buenos días José Ramón, soy Marc Portella.
ResponderEliminarJustamente en este paso, el de escoger el número de términos, es dónde me salen más dudas.
En el ejemplo que expone, comenta que nos fijemos en el SECV y el SEV, prestando atención al BIAS, y sugiere probar con 4 términos.
Pero yo no sabría escoger, imagino que hubiera podido escoger 2 términos, teniendo en cuenta que el SEV y el BIAS son más bajos, pero el valor de SECV quizá es demasiado alto.
A que estadísticos debería dar prioridad a la hora de elegir? Y el F que información nos da?
Muchas gracias,
Saludos
Buena pregunta Marc,
EliminarEn este caso la F va bajando y en el cuarto factor sube aunque después fluctúa arriba y abajo. Win ISI no tiene esto en cuenta y sigue añadiendo términos mientras el SECV siga bajando.
Por otra parte el SEV baja y a partir del cuarto sube y baja, lo que nos sigue hacer pensando en elegir 4 en vez de los recomendados.
Me hubiese gustado disponer del error del método de referencia para tener otro punto de criterio.
Por otra parte puede que el error del SECV sea alto debido a que en la base de datos con la que se sarro lo la calibración hay una gran cantidad de muestras donde el error muestral sea alto y que se han mantenido, ya que hay datos de más de 10 años, con distintos operarios y diversas fases de un equipo en cuanto a su performance.
Puede ocurrir que actualmente dispongamos de más cuidados a la hora de reducir el error muéstral, o al hacer los análisis de referencia.
De todos modos siempre se pueden elegir dos o tres opciones de desarrollo de la ecuación y volver a probar en un futuro con un nuevo conjunto de validación cuál es la que mejor funciona y si nuestro criterio fue correcto..
A esto podemos añadir otros criterios de selección como mirar a los loa dingos, elegir un tratamiento matemático adecuado,.....
Te añadiré el comentario que me pasó Mark Westehaus respecto a F test, pero se trata de eso, una comprobación que la varía a explicada por un término es significativa respecto al anterior.