A calibration is robust if independently of the validation and training sets their predictions are robust as well, so we can try with different sets for training and validation selected randomly, time based, retaining parameter distribution,.....
Foss Calibrator can help quite a lot in this part as you can see in the video.
Hola José!
ResponderEliminarMuchísimas gracias por el correo y ppt tu contribución. Que deberíamos hacer si dividimos el training y validación por basado en el tiempo, o sea, las muestras máx viejas van a training y las nuevas a validación y nos encontramos con un bias = 0.5 cuando corremos el modelo.
Esta claro que hay algo diferente en los espectros o en la wet chemistry del validación, pero hay alguna manera de solucionar el bias??
Muchas gracias nuevamente!!!
Interesante pregunta, ya que esto es algo que puede ocurrir con cierta frecuencia y las razones pueden ser varias. Partimos de que al usar la validación cruzada no estamos cometiendo underfitting u overfitting, ya que esta puede ser una de las causas de tener un bias con los nuevos test de validación.
EliminarPuede ocurrir que la calibración no disponga de muestras suficientes y que por lo tanto todavía lo suficientemente robusta, por lo que debemos de incorporar esta muestras a la calibración (dejando algunas de ellas si se quiere aparte para una validación externa) de este modo se aportará la nueva variabilidad que como bien indicas puede ser por los espectros (nuevas campañas, cambios del proceso, de materias primas en la mezcla,...), o del laboratorio (otro laboratorio, distinto metodo de referencia).
Es también importante el pasar una cubeta de control (check sample) en la que observemos si en cierto momento hemos tenido derivas en sus resultados que puedan coincidir con bias en la validación, lo que podía indicar algún problema de acondicionamiento del equipo (calibración del instrumento, lámpara,....).
Si se dividen las muestras por campañas, lo normal es que al validar una campaña nueva con algunas anteriores, el bias solo desaparecerá cuando tengamos al menos varias campañas en el set de entrenamiento.
Tambien se puede ver cuando una ecuación es robusta cuando el SECV se va haciendo similar al SEC y esto ocurre a medida que aumenta el número de muestras y la variabilidad del modelo de calibración.
Un ajuste de Bias podrís ser algo provisional si se encuentra una justificación como: Se trata de muestras pasadas en otro equipo que usa nuestra calibración, hemos cambiado de laboratorio, hemos cambiado una matería prima por otra distinta en la fórmula, un cambio de proveedor,...
No obstante lo suyo es incorporar las muestras a la calibración, por lo que en este caso la mejor opción es la de usar otra opción que no sea la de basada en el tiempo (si debe de serlo cuando la ecuación tenga muchas muestras y sea robusta) por lo que puedes escoger la de mantener la distribución adecuada de las muestras.
Muchísimas gracias José por tu respuesta tan completa y llena de explicaciones.
ResponderEliminar