**
Per i proficiency testing scheme Progetto Trieste* dal 2024 è entrata in vigore una nuova versione dei criteri di valutazione. Le modifiche sono state attuate per allinearsi maggiormente alla norma ISO 13528:2022 “Metodi statistici per l’uso nelle prove valutative mediante confronto interlaboratorio“. Prima di queste modifiche, Test Veritas seguiva già la norma ISO 13528 ma, come diversi fornitori di PT accreditati, non era completamente allineata con essa.
Un laboratorio potrebbe pensare che ogni proficiency testing (PT) provider accreditato UNI CEI EN ISO/IEC 17043 segua lo stesso approccio nella progettazione e nell’interpretazione statistica della valutazione dei laboratori. In realtà, è prassi comune dei PT provider accreditati UNI CEI EN ISO/IEC 17043 elaborare il proprio piano statistico utilizzando diverse fonti, non necessariamente solo ISO. In conclusione, partecipando a due PT accreditati UNI CEI EN ISO/IEC 17043, i laboratori possono ottenere diversi tipi di valutazione, poiché non tutti i piani statistici sono equivalenti.
È possibile che la norma UNI CEI EN ISO/IEC 17043 consenta di non seguire le stesse regole e gli stessi approcci per valutare le prestazioni dei laboratori partecipanti? È possibile che i partecipanti non ne siano consapevoli? Cerchiamo di fare luce sull’argomento.
SE NON AVETE TEMPO DI LEGGERE L’INTERO ARTICOLO
SEGUITECI SU LINKEDIN.
NELLE PROSSIME SETTIMANE PUBBLICHEREMO APPROFONDIMENTI SUGLI ASPETTI SALIENTI.
La norma UNI CEI EN ISO/IEC 17043 ALLEGATO B, B.1.1 indica che i metodi statistici utilizzati per analizzare i risultati del PT devono essere appropriati per ogni situazione. Le tecniche di analisi statistica che possono essere applicate alla maggior parte dei tipi di PT descritti nell’ALLEGATO A sono trattate nella norma ISO 13528. La norma ISO 13528 riconosce che possano essere utilizzati altri metodi se sono statisticamente validi e se sono descritti in dettaglio per tutti i partecipanti. Pertanto, nel caso in cui le scelte siano statisticamente valide e appropriate, possono differire dalla ISO 13528.
Va inoltre considerato che spesso i PT provider utilizzavano già un piano statistico prima dell’entrata in vigore della norma UNI CEI EN ISO/IEC 17043; per questo motivo, molti di loro non si sono ancora completamente adattati all’ambiente ISO e utilizzano ancora fonti non ISO (ad esempio, il rapporto tecnico IUPAC The International Harmonized Protocol for the Proficiency Testing of Analytical Chemistry Laboratories).
Uno dei motivi per cui abbiamo scelto di allinearci completamente alla ISO 13528 (e di non utilizzare più fonti diverse dalla ISO) è che l’approccio statistico della ISO 13528 è considerato dalla ISO/IEC 17043 statisticamente valido e appropriato per la maggior parte dei tipi di PT schemes. Pertanto, la riflessione da fare è: i laboratori sono informati su quali altre fonti vengono utilizzate nel piano statistico dei loro attuali PT provider? Come possono i laboratori sapere che questi approcci sono statisticamente validi e appropriati? Queste altre fonti sono menzionate nella norma ISO/IEC 17043?
Un’altra ragione non meno importante per allinearsi alla ISO 13528 è che riteniamo, insieme all’approccio di diversi enti di accreditamento, che la direzione della ISO/IEC 17043 sia quella di preferire l’uso di uno standard ISO, con una spinta alla standardizzazione che permetta l’armonizzazione nella valutazione delle performance di laboratorio, garantendo così maggiore affidabilità della valutazione dei partecipanti.
Anche se i PT provider possono applicare altri approcci, seguire una norma ISO è una garanzia di qualità perché le procedure utilizzate sono standardizzate, condivise e facilmente verificabili dagli enti di accreditamento di diversi Paesi.
Due punti di forza del nostro piano statistico sono senza dubbio l’allineamento a un’unica fonte esclusivamente ISO e considerata valida dalla norma ISO/IEC 17043, nonché la trasparenza dei nostri approcci statistici, con criteri di valutazione sempre pubblicati in dettaglio e che consentono ai partecipanti di essere consapevoli delle statistiche utilizzate in ogni situazione.
Tuttavia, vogliamo approfondire cosa comporta l’allineamento del nostro piano statistico alla norma ISO 13528 e quali punti di forza offre:
Trasparenza del piano statistico
La norma ISO/IEC 17043 richiede che il PT provider condivida il piano statistico con il partecipante in modo dettagliato. Non tutti i fornitori di PT condividono lo stesso livello di dettaglio sui processi statistici utilizzati. Test Veritas ha sempre scelto di essere trasparente al riguardo e di rendere disponibili tutte le informazioni in modo chiaro e completo. I nostri criteri di valutazione sono dettagliati e sempre accessibili sulla nostra pagina web, consentendo ai partecipanti di sceglierci come PT provider con la consapevolezza di come saranno valutate le proprie performance. Ad esempio, con altri PT provider non è sempre chiaro se sia stato fissato un limite per l’incertezza del valore assegnato, quale sia e come venga gestita la valutazione delle performance quando l’incertezza del valore assegnato non è trascurabile.
Un’unica fonte esclusivamente ISO
Il nostro piano statistico è completamente adattato all’ambiente ISO, garantendo un approccio standardizzato e considerato valido dalla norma ISO/IEC 17043. La ISO/IEC 17043 indica che le tecniche di analisi statistica che possono essere applicate alla maggior parte dei tipi di schemi di PT descritti nell’ALLEGATO A sono trattate nella ISO 13528. Inoltre garantisce che gli approcci descritti dalla norma ISO 13528 sono statisticamente validi e appropriati per la maggior parte dei tipi di schemi di PT. Quando i PT provider utilizzano fonti diverse dalla ISO, i partecipanti sono informati sulla prova dell’adeguatezza dell’approccio statistico? Inoltre, se un PT provider propone un nuovo PT particolare, non incluso nella lista di tipi di schemi a cui si riferisce la ISO/IEC 17043, potrebbe essere giustificato l’uso di una statistica diversa; ma come si può giustificare l’uso di statistiche diverse dalla ISO 13528 per PT che si svolgono da molto tempo e che sono altamente definiti dalla ISO/IEC 17043?
Scelta dell’estimatore per il valore assegnato basata sulla robustezza
Come indicato al punto 6.5.1 della norma ISO 13528, in generale, i metodi robusti dovrebbero essere utilizzati in preferenza rispetto ai metodi che eliminano i risultati identificati come outlier. Tra i metodi robusti indicati dalla ISO 13528 vi sono:
– la mediana e la MADe (the scaled median absolute variation) (punto 6.5.2): la mediana è un estimatore semplice della media della popolazione altamente resistente agli outlier per distribuzioni simmetriche (ALLEGATO C.2.1).
– Le medie e le deviazioni standard robuste (punto 6.5.3): l’Algoritmo A con scala iterata, produce stime robuste della media e della deviazione standard dei dati a cui viene applicato (ALLEGATO C.3.1).
Test Veritas sceglie come possibili estimatori del valore assegnato solo il valore di concentrazione ottenuto dall’algoritmo A o dalla mediana.
Alcuni PT provider utilizzano ad esempio la media aritmetica come estimatore del valore assegnato: l’allegato D 2.2. della norma ISO 13528 indica che la media aritmetica e la sua deviazione standard hanno una scarsa resistenza alle mode minori, il che significa che hanno una resistenza a una bassa percentuale di outlier. Invece, il metodo robusto che utilizza, ad esempio, la mediana e MADe può tollerare una percentuale molto elevata di outlier.
L’incertezza standard è calcolata come: u(xpt) = 1.25 [s*/ sqrt(p)]
Quando il valore assegnato è derivato da una media robusta, l’incertezza standard u(xpt) del valore assegnato può essere stimata come u(xpt) = 1.25 [s*/sqrt(p)] (punto 7.7.7). Test Veritas si allinea a questo requisito, mentre con altri PT provider si può spesso incontrare una formula diversa, che omette il fattore 1.25 o ne utilizza uno inferiore. Questo fattore di 1.25 contribuisce a determinare l’accuratezza del valore assegnato; utilizzandone uno inferiore, l’incertezza standard ottenuta nelle stesse condizioni sarà minore. In questo modo, il partecipante non può conoscere l’accuratezza del valore assegnato così come richiesto da ISO.
u(xpt)<0.3 spt utilizzato come limite per l'incertezza del valore assegnato
Il punto 9.2.1 della ISO 13528 riporta: se l’incertezza standard u(xpt) del valore assegnato è grande rispetto al criterio di valutazione delle performance (nel nostro caso spt), allora c’è il rischio che alcuni partecipanti ricevano un segnale di azione o un segnale di avvertimento a causa dell’imprecisione nella determinazione del valore assegnato, e non per una qualsiasi causa dovuta al partecipante. Per questo motivo, il valore u(xpt) deve essere determinato e comunicato ai partecipanti (ISO/IEC 17043:2010, 4.4.5 e 4.8.2).
Se il criterio u(xpt)<0.3 spt è soddisfatto, l’incertezza del valore assegnato può essere considerata trascurabile e non deve essere inclusa nell’interpretazione dei risultati.
Se il criterio non è soddisfatto, il PT provider dovrebbe considerare di utilizzare l’incertezza del valore assegnato nell’interpretazione dei risultati. Quando u(xpt)>0.3 spt allora l’incertezza può essere presa in considerazione espandendo il denominatore degli z-score, che saranno calcolati come z’-score (punto 9.5).
I PT provider accreditati ISO/IEC 17043 spesso non forniscono indicazioni sull’incertezza del valore assegnato, pertanto i partecipanti non sono consapevoli del livello di incertezza nella loro valutazione. A volte le indicazioni sull’incertezza non sono complete, ad esempio può mancare il criterio per la valutazione dell’incertezza del valore assegnato. In altri casi, viene scelto un criterio più permissivo di quello richiesto dalla ISO 13528 (ad esempio, u(xpt)<0.35 spt). In quest'ultimo caso, può accadere che l'incertezza del valore assegnato sia considerata dalla ISO 13528 come non trascurabile, mentre per il PT provider non ISO 13528 verrebbe considerata accettabile, per cui questa elevata incertezza non sarà presa in considerazione nella valutazione della performance del laboratorio.
Se u(xpt)>0.3, le valutazioni sono calcolate come z’-scores
Quando l’incertezza del valore assegnato non è trascurabile, il calcolo della valutazione ne tiene conto; nel caso in cui il criterio u(xpt)<0,3 spt non sia soddisfatto, lo z-score viene convertito in z'-score, espandendo il denominatore con u(xpt):
z-score = (xi – xpt) /sqrt(spt) (punto 9.4 della ISO 13528)
z’-score = (xi – xpt) / sqrt((spt^2 + u(xpt) ^2)) (punto 9.5 della ISO 13528).
Alcuni fornitori di PT accreditati ISO/IEC 17043 non utilizzano mai lo z’-score o altri tipi di z-scoring (es. En scores, z-scores), quindi probabilmente non stanno tenendo conto della maggiore incertezza del valore assegnato per la valutazione dei laboratori. In questo caso, la norma ISO 13528 richiede di informare i partecipanti che l’incertezza del valore assegnato non è trascurabile e le valutazioni potrebbero esserne influenzate (punto 9.2.2 della ISO 13528). Di conseguenza, se il partecipante è stato informato che l’incertezza del valore assegnato non è trascurabile, come dovrebbe interpretare la sua valutazione? Non si dovrebbe preferire mettere i partecipanti nelle condizioni di avere la valutazione in termini di z’-score, ad esempio, senza delegare loro la gestione di un’incertezza non trascurabile? Questo aspetto, sottolineato sia dalla ISO/IEC 17043 che dalla ISO 13528, mette in guardia i PT provider sul rischio di rilasciare ai laboratori valutazioni insoddisfacenti per motivi che non riguardano il partecipante stesso: se l’incertezza standard u(xpt) del valore assegnato è grande rispetto al criterio di valutazione delle performance, allora c’è il rischio che alcuni partecipanti ricevano un segnale di azione o un segnale di avvertimento a causa dell’imprecisione nella determinazione del valore assegnato, e non a causa di una qualsiasi causa del partecipante (ISO/IEC 17043:2010, 4.4.5 e 4.8.2) (punto 9.2.1 della ISO 13528).
Se il PT provider decide di utilizzare solo uno z-score calcolato come (xi – xpt) / sqrt(spt) perché decide di utilizzare un approccio diverso che permette di soddisfare il criterio u(xpt)<0.3, questo approccio deve essere comunicato ai partecipanti e ne deve essere dimostrata l'adeguatezza, sempre nel rispetto della trasparenza richiesta dalla norma ISO/IEC 17043.
L’omogeneità viene verificata con la formula indicate nella norma ISO 13528
I criteri di sufficiente omogeneità sono stabiliti utilizzando la formula riportata al punto B.2 dell’ALLEGATO B della norma ISO 13528. Il controllo dell’omogeneità segue rigorosamente la norma ISO 13528.
Gli effetti di un’eventuale disomogeneità vengono presi in considerazione nel calcolo del spt
La norma ISO 13528 raccomanda di tenere conto degli effetti di disomogeneità nell’interpretazione delle performance. Per prendere in considerazione gli effetti della disomogeneità sulle valutazioni dei partecipanti, qualora il materiale di prova risultasse non sufficientemente omogeneo, Test Veritas ha scelto l’uso di uno degli approcci proposti nel punto B.2.5 della norma ISO 13528: se i criteri di omogeneità sufficiente non sono soddisfatti, includere la deviazione standard campionaria (between sample standard deviation) nella deviazione standard per la valutazione del PT, calcolando spt come segue: (s’pt = sqrt(spt^2+ Ss^2)).
p>8 come minimo numero dati
Il punto 5.4.1 della ISO 13528 riporta che il piano statistico per un proficiency testing scheme deve considerare il numero minimo di partecipanti necessario per raggiungere gli obiettivi del PT e indicare gli approcci alternativi che verranno utilizzati se il numero minimo non viene raggiunto (ISO/IEC 17043:2010, 4.4.4.3 b). … Le preoccupazioni riguardano il fatto che le statistiche determinate da un numero ridotto di dati possano non essere sufficientemente affidabili e che un partecipante possa essere valutato rispetto a un gruppo di confronto inadeguato. Considerando le indicazioni del punto 5.4.2 della ISO 13528, il numero minimo di partecipanti necessario per i vari metodi statistici dipende:
– dal metodo statistico utilizzato (ad esempio metodo robusto o rimozione degli outlier)
– dall’esperienza dei partecipanti con il particolare schema di PT
– dall’esperienza del PT provider con la matrice, il misurando, i metodi e il gruppo di partecipanti
-se l’intento è quello di determinare il valore assegnato o la deviazione standard (o entrambi)
Considerando tutti questi parametri, il nostro numero minimo di dati dei partecipanti per fornire un valore assegnato è stabilito come p>8.
Confrontando questo criterio con le scelte di altri PT provider, abbiamo riscontrato situazioni diverse: spesso non viene nemmeno stabilito un numero minimo di partecipanti o quando viene stabilito, viene scelta una soglia minore.
Altri aspetti del nostro piano statistico che non sono inclusi nella ISO 13528, ma che sono rilevanti per soddisfare i requisiti della ISO 13528 e il concetto fit-for-purposes della ISO/IEC 17043 sono:
- Valutazione separata dei dati ottenuti con metodi di screening e di conferma, con il valore assegnato derivante dai soli risultati quantitativi di conferma. Questa caratteristica è applicata ai nostri PT per le linee di Residui di Farmaci Veterinari, Micotossine, Parametri di Freschezza, Contaminanti di Processo, dove i metodi di screening sono ampiamente utilizzati, tanto da rendere necessaria la distinzione tra i risultati ottenuti con metodi di screening e con metodi di conferma. Questo criterio rende il valore assegnato più affidabile e la valutazione più adeguata. Anche se si utilizza un metodo di screening, il PT simula ciò che si farebbe nella routine (confrontando i risultati con quelli di conferma). I partecipanti sono consapevoli del numero di risultati ottenuti con metodi di screening che contribuiscono al calcolo del valore assegnato? Questa percentuale è nota ai partecipanti? È affidabile valutare i risultati ottenuti con metodi di conferma sulla base di un valore assegnato ottenuto con il 20% o più di risultati ottenuti con metodi di screening? Non dovrebbe essere preferito un valore assegnato che escluda completamente i risultati ottenuti da metodi di screening?
- Criteri di valutazione dedicati per risultati non quantitativi di screening, mentre i risultati quantitativi di screening vengono valutati con z-score. Questa caratteristica è applicata ai PT delle nostre linee di: Residui di Farmaci Veterinari, Micotossine, Parametri di Freschezza, Contaminanti di Processo
- Valutazione dei Falsi positivi. Quando sono presenti diverse molecole sotto studio, una valutazione delle molecole non presenti viene fornita in termini di falsi positivi . Inoltre, in alcuni dei nostri PT vengono forniti due diversi Test Material (possono essere entrambi contaminati o uno dei due potrebbe essere non contaminato): nel PT, come nella routine, i tecnici di laboratorio non sanno se stanno analizzando un materiale contaminato o un bianco. In questo modo, il laboratorio può essere valutato anche per eventuali falsi positivi oppure possono essere sottoposte a valutazione le performance del metodo a diversi livelli di concentrazione.
E i vostri attuali fornitori di PT? Avete i dettagli del piano statistico da loro utilizzato? Per tutti i punti sopra elencati, sapete quali sono i loro approcci? Se utilizzano un approccio diverso dalla norma ISO 13528, come potete essere sicuri che sia statisticamente valido e appropriato come richiesto dalla ISO/IEC 17043?
Tutti i punti di forza sopra citati dovrebbero essere un motivo per scegliere noi come vostro fornitore di PT, venite a provare la nostra qualità.
SE TI È PIACIUTO QUESTO ARTICOLO
SEGUICI SU LINKEDIN.
NELLE PROSSIME SETTIMANE PUBBLICHEREMO APPROFONDIMENTI SUGLI ASPETTI SALIENTI.
Per maggiori dettagli vai a questa pagina per scaricare l’intero programma 2024.
Trovi qui le istruzioni su COME ORDINARE.
Per qualsiasi altra informazione puoi contattarci a info@testveritas.com.
Seguici anche sul nostro profilo LinkedIn per rimanere sempre aggiornato!
* Per le linee di PT Progetto Trieste di Residui di Farmaci Veterinari, Parametri di freschezza, Pesticidi, Metalli e Additivi i nuovi criteri di valutazione sono già disponibili sul sito. Per le Micotossine e i Contaminanti da Processo è ancora online la vecchia versione (aprile 2022), ma sarà aggiornata a breve.
** Tutti i testi riportati in italico sono traduzioni in italiano del testo inglese originale della norma citata.