A inuncia do sistema de gesto de laboratrios nos resultados dos ensaios de procincia da construo civil

Morgana Pizzolato Carla Schwengber ten Caten Joo Alziro Herz da Jornada

Resumo
A participao de laboratrios em atividades de ensaio de procincia (EP) uma das formas de avaliar e demonstrar a conabilidade das suas atividades de medio. Isso signica dizer que, por intermdio dos ensaios de procincia (EP), pode-se avaliar a habilidade do laboratrio de realizar ensaios e calibraes de forma competente. Os ensaios de procincia fornecem informaes importantes para avaliao de laboratrios, postulantes acreditao, acreditados, noticados ou designados por agncias reguladoras e para os laboratrios em geral. Este artigo teve por objetivo vericar se o tipo de sistema de gesto dos laboratrios de ensaio da construo civil do Brasil inuencia nos resultados dos ensaios de procincia (EP). Objetiva ainda discutir como contemplar o resultado dos ensaios de procincia no clculo da incerteza de medio dos ensaios. Como resultado do estudo, conclui-se que no existe efeito dos tipos de sistema de gesto sobre os resultados dos ensaios de procincia (EP). Logo, foi sugerido o uso do desvio padro dos resultados de um grupo representativo de ensaios de procincia de determinados ensaios (qumico, fsico, etc.) para gerar um clculo genrico da incerteza de medio para o setor de atuao do laboratrio. Esta abordagem, alm de simplicar o clculo da incerteza de medio contempla um maior nmero de fontes de incerteza de medio.
Palavras-chave: Ensaios de procincia. Sistema de gesto de laboratrios. Incerteza de medio.

1 Introduo
Medidas erradas ou inexatas podem conduzir a decises erradas que podem ter conseqncias srias como desperdcio de recursos materiais, nanceiros e, at mesmo, de vidas. As conseqncias humanas e econmicas de decises erradas baseadas em medies inexatas podem ser incalculveis. Ento, importante ter medidas seguras e exatas que sejam aceitas pelas autoridades nacionais e internacionais (BIPM, 2004). Os laboratrios que realizam medies so fator de suma importncia no momento de fornecer dados conveis. Uma das formas de garantir a conabilidade das medies realizadas por laboratrios a avaliao freqente de seu desempenho. Os ensaios de procincia permitem esta avaliao, conduzindo os participantes melhoria contnua. As participaes em ensaios de procincia e em avaliaes externas da qualidade so atividades que fornecem aos laboratrios, seus clientes e organismos de acreditao e reguladores uma valiosa informao sobre a medio realizada pelo laboratrio (RNEMARK et al., 2004). Para Cortez et al. (2003), os laboratrios devem produzir resultados precisos e exatos o suciente para serem usados por seus clientes para o propsito planejado. Porm, at mesmo laboratrios experientes podem produzir resultados ocasionalmente errados. Isso pode acontecer devido a vrios fatores como, por exemplo: enganos humanos que causam erros aleatrios e sistemticos. A utilizao de um sistema de gesto formalmente avaliado como, por exemplo, acreditao ISO/IEC 17025 e certicao ISO 9001, pode auxiliar no controle dos fatores que geram erros na realizao de calibraes e ensaios. Este artigo tem por objetivo vericar se o tipo de sistema de gesto dos laboratrios de ensaio da construo civil do Brasil inuencia nos resultados dos ensaios de procincia. Objetiva ainda discutir como contemplar o resultado dos ensaios de procincia no clculo da incerteza de medio dos ensaios. Na seo 2, este artigo aborda os sistemas de gesto de laboratrios; na seo 3, os ensaios de procincia; na
Gest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

580

Pizzolato et al.

seo 4, o desempenho dos laboratrios nos ensaios de procincia relacionados ao seu sistema de gesto. Esta abordagem ilustrada por um estudo experimental que analisa os resultados de ensaios de procincia realizados por laboratrios de ensaio do setor da construo civil no Brasil. Tambm discute como contemplar os resultados dos ensaios de procincia no clculo da incerteza de medio. A seo 5 apresenta a concluso do artigo.

2 Sistemas de gesto de laboratrios

Dentre os documentos normativos para Sistemas de Gesto da Qualidade (SGQ), utilizados por laboratrios de calibrao e ensaios, pode-se citar a acreditao de acordo com os requisitos da ISO/IEC 17025, a certicao de acordo com os requisitos da ISO 9001, o cdigo de boas prticas de laboratrio (BPL) ou outros requeridos nas regulamentaes governamentais ou setoriais. Um laboratrio experiente pode ou no ter um sistema de gesto formalizado e avaliado. A seleo do mecanismo de avaliao da conformidade do SGQ depende do setor de atuao do laboratrio e da deciso da organizao para atender o cliente, portanto, eles podem ser acreditados, certicados, reconhecidos ou ter declarada a conformidade de seu SGQ de acordo com diferentes documentos normativos. Quando um laboratrio opta por ter seu SGQ baseado na ISO 9001, ele passa por uma auditoria de certicao, a qual vericar o atendimento do laboratrio aos requisitos da norma. A certicao de SGQ um tipo de avaliao da conformidade, neste caso, com base nos requisitos da ISO 9001. Esta certicao no avalia a competncia tcnica do laboratrio em realizar ensaios e calibraes. Ela apenas verica se a organizao, no caso o laboratrio, atende aos requisitos do SGQ prescritos pela norma (ISO, 2005). O SGQ de laboratrios de calibrao e ensaios, via processo de acreditao (avaliao da conformidade com base na ISO/IEC 17025), essencialmente uma designao da competncia depois de algum tipo de avaliao ou auditoria no laboratrio, realizada por uma terceira parte. A acreditao depende de uma prova formal de como as medies so realizadas pelo laboratrio (BIEVRE; TAYLOR, 2000). Para ABNT (1999a), os ensaios de procincia (EP) podem ser considerados um complemento da acreditao, pois permitem a um laboratrio comparar seus resultados com os de outros laboratrios em amostras que devem ser semelhantes quelas realizadas pelo laboratrio em seu dia-a-dia.

3 Ensaios de procincia
De acordo com ABNT (1998), ensaio de procincia o uso de comparaes interlaboratoriais com o propGest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

sito de determinar o desempenho do laboratrio para ensaios ou medies e, ainda, monitorar seu desempenho contnuo. A participao dos laboratrios em atividades de EP uma forma de avaliar e demonstrar a conabilidade dos dados que esto sendo gerados. Isso signica dizer que por meio dos EP pode-se avaliar a habilidade do laboratrio de realizar ensaios ou medies de forma competente. Os programas de EP foram denidos, inicialmente, como uma ferramenta para medir a qualidade dos laboratrios, possibilitando a eles monitorar seus resultados de medio, compar-los com aqueles considerados verdadeiros, fornecidos pelos provedores de EP. Tambm auxiliavam na tomada de medidas necessrias quando seus resultados cassem fora dos limites estabelecidos pelo EP, ou seja, ter tido um desempenho insatisfatrio (BOLEY; OUSSOREM, 2000 apud BOLEY et al. 2001). A conduo dos EP realizada por provedores de EP, que tm como atividades: preparar as amostras de ensaio; realizar testes de homogeneidade; avaliar a estabilidade das amostras; distribuir as amostras; realizar a anlise estatstica dos resultados; avaliar o desempenho dos laboratrios; enviar o relatrio nal; e realizar a reunio de discusso dos resultados. O Brasil possui diversos provedores de EP, a Quadro 1 apresenta uma relao destes provedores, bem como seu escopo de atuao (INMETRO, 2007). De acordo com Tholen (2004), os laboratrios de medicina foram um dos primeiros setores de laboratrios de ensaio a desenvolver comparaes interlaboratoriais e o primeiro setor em que as comparaes se tornaram compulsrias. A ISO/IEC 17025:2005 no requer participao em EP ou avaliaes externas da qualidade como forma de obter ou manter a acreditao. A norma menciona participao em comparaes interlaboratoriais ou programas de ensaio de procincia como uma das cinco opes para garantir a qualidade do resultado dos ensaios e das calibraes, mas a participao no mandatria. Entretanto, o Inmetro (2003), no documento NIT DICLA-026/02, coloca como necessria a participao de laboratrios de ensaio em EP, como forma de obter e manter a acreditao. J, o A2LA (2004) coloca como necessria a participao em EP, tanto para laboratrios de calibrao, como para laboratrios de ensaio. De acordo com Gust (2005), o ILAC (International Laboratory Accreditation Cooperation), em seus requisitos para laboratrios acreditados (ILAC, 2004), recomenda no mnimo uma participao satisfatria em EP antes da acreditao. Para Nevel et al. (1998) e rnemark et al. (2004), participaes em EP e em avaliaes externas da qualidade so atividades que fornecem aos laboratrios, seus clientes e organismos de acreditao e reguladores uma valiosa

A inuncia do sistema de gesto de laboratrios nos resultados dos ensaios...

581

Quadro 1. Provedores de ensaios de procincia brasileiros e seu escopo. Provedor do programa Associao Brasileira de Engenharia Sanitria e Ambiental (ABES) Rede Metrolgica do Rio Grande do Sul (RMRS) CEDAE SENAI - Centro de Tecnologia Industrial Pedro Ribeiro (CETIND) Centro Tecnolgico de Polmeros SENAI Centro Tecnolgico do Calado SENAI Novo Hamburgo/RS CIENTEC Control-Lab Escopo Parmetros de controle de qualidade de gua e esgoto. Metrologia eltrica, metrologia mecnica, anlises fsico-qumicas em combustveis, metrologia dimensional, anlises microbiolgicas em guas, etc. guas, esgotos e reas ans. Anlises de guas. Ensaios em materiais elastomricos. Ensaios em materiais e componentes para calados. Anlise qumica em alimentos e anlise microbiolgica de alimentos. Bacteriologia, bioqumica, coagulao, drogas teraputicas, eletroforese das protenas, espectrofotmetro, gasometria, hematologia, hormnios, imunohematologia, imunologia, etc. Anlises de alimentos para animais, fertilidade do solo. Calibraes em vazo, presso, rotao, torque, temperatura, potncia e umidade. Ensaios de agregado grado, ensaios em placa cermica para revestimento, ensaios em asfalto, ensaios em argamassa colante, ensaios de argamassa para revestimento, etc. Solos.

EMBRAPA Estatcamp Consultoria Estatstica e em Qualidade Inmetro/CTLE 01 Construo civil

Instituto Agronmico de Campinas (IAC)

Instituto Nacional de Controle da Qualidade em Sade Alimentos e medicamentos. Instituto Nacional de Tecnologia (INT) Laboratrio de Ensaios de dureza, ensaios metalogrcos para determinao de micro constiMetalograa e de Dureza (LAMED) tuintes, determinao de tamanho de gro e determinao do teor de incluses. Instituto de Pesquisas Tecnolgicas do Estado de S.Paulo (IPT) Ministrio da Agricultura e Pecuria e do Abastecimento (MAPA) Rede Metrolgica Minas Gerais (RMMG) Sociedade Brasileira de Anlises Clnicas (SBAC) Sociedade Brasileira de Citopatologia (SBC) Sociedade Brasileira de Patologia (SBP) Fonte: Adaptado de Inmetro (2007). Cimento e concreto, lubricantes, leo ctrico de laranja, pasta celulsica, papel e papelo, plsticos e borracha. Micotoxinas em gros. Metrologia dimensional. Anlise bioqumica, hematologia, imunologia, urinlises, microbiologia, espectrofotometria, coagulao e hormnios. Citopatologia. Medicina, patologia cirrgica e citopatologia no ginecolgica.

informao sobre a qualidade das medies, permitindo a esses ltimos realizarem suas atividades de avaliao/ auditoria com base nos resultados dos EP. Seguindo o mesmo raciocnio, ABNT (2005) coloca que a participao em programas de EP necessria, especialmente, quando outras ferramentas de controle de qualidade e at a prpria cadeia de rastreabilidade no esto disponveis. Ainda segundo Boley (1999), os programas de EP so uma ferramenta extremamente poderosa quando utilizada em conjunto com outras. J, para Visser (1999), o resultado de um EP meramente uma fotograa da qualidade de todos os laboratrios participantes no momento da medio. Para ABNT (1999a), os programas de EP podem variar de acordo com a natureza do item de ensaio, do mtodo

utilizado e, ainda, de acordo com o nmero de laboratrios participantes. Os programas de EP mais comuns so realizados por meio de: programas de comparao de medio; programas de ensaios interlaboratoriais; programas de ensaios de partidas de amostras; programas qualitativos; programas de valor conhecido; e programas de processo parcial. Estas cinco formas de realizao de EP so resumidamente explicadas na Quadro 2. necessrio observar que a norma ASTM E 13011995 no cita os ltimos trs tipos de EP apresentados na Quadro 2. J, Nata (2004) subdivide os EP em duas categorias: comparaes interlaboratoriais de ensaios (que envolvem ensaios em amostras por dois ou mais laboratrios) e clculo do valor de consenso a partir dos resultados de todos os participantes e comparaes interGest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

582

Pizzolato et al.

Quadro 2. Formas de realizao de EP. Tipo Comparao de medio Natureza do item de ensaio O item de ensaio enviado sucessivamente de um laboratrio participante para outro Mtodo utilizado Os valores designados para o item de ensaio so fornecidos por um laboratrio de referncia, o qual pode ser a maior autoridade nacional para a medio em questo; demandam tempo para serem concludos As amostras so distribudas simultaneamente aos laboratrios participantes, para que as medies sejam realizadas em paralelo Nmero de laboratrios envolvidos Comumente realizado com grande nmero de laboratrios

Ensaios interlaboratoriais

So utilizadas subamostras selecionadas aleatoriamente de um determinado material. O material fornecido para ensaio deve ser de um lote que seja sucientemente homogneo

Comumente realizado com grande nmero de laboratrios

Ensaios de partidas de amostras

So utilizadas amostras de um pro- So utilizados por clientes de laboratrios duto ou material que so divididas como, por exemplo, organismos regulaem duas ou mais partes e cada labo- mentadores ratrio participante ensaia uma parte Identicao de um componente de um item de ensaio especco So programas de natureza qualitativa

Envolve comparaes de dados produzidos por pequenos grupos (dois) de laboratrios, os quais estejam sendo avaliados como potenciais ou contnuos prestadores de servios de ensaio No necessitam do envolvimento de mltiplos laboratrios ou comparaes interlaboratoriais

Programas qualitativos

Valor conhecido

Preparao de itens de ensaio com quantidades conhecidas do mensurando sob ensaio

possvel avaliar a capacidade de um No necessita o envolvimento de mltilaboratrio individual para ensaiar o item e plos laboratrios fornecer resultados numricos para comparao com o valor designado Avaliam as habilidades do laboratrio em realizar partes do ensaio total ou processo de medio No necessitam do envolvimento de mltiplos laboratrios

Processo parcial

O item de ensaio o mtodo de ensaio ou o processo de medio

Fonte: Adaptado de ABNT (1999a).

laboratoriais de calibrao (em que um item de teste distribudo seqencialmente entre dois ou mais laboratrios participantes e o resultado de cada laboratrio comparado com um valor designado). As comparaes interlaboratoriais podem ser realizadas com diferentes propsitos, dentre os quais a ABNT (1999a) cita: determinao do desempenho de laboratrios individuais para ensaios ou medies especcos e monitorao do desempenho contnuo do laboratrio; identicao de problemas em laboratrios e incio de aes corretivas que podem ser relacionadas, por exemplo, ao desempenho individual do pessoal ou calibrao dos instrumentos; estabelecimento da efetividade e da comparabilidade de novos mtodos de ensaio ou medio e monitorao dos mtodos estabelecidos; fornecimento de conana adicional aos clientes do laboratrio; identicao de diferenas interlaboratoriais; determinao das caractersticas de desempenho de mtodos (conhecidas como processos colaborativos); atribuies de valores para materiais de referncia e avaliao de sua adequao para a utilizao em ensaios especcos ou procedimentos de medio.
Gest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

A ISO (2002) observa que os EP por comparao interlaboratorial so utilizados para determinar o desempenho individual dos laboratrios em ensaios e calibraes especcas e monitorar seu desempenho contnuo. Segundo a norma, o desempenho de um laboratrio pode ser medido estatisticamente por trs propriedades: tendncia, estabilidade e repetitividade. Acrescenta ainda que, pelos EP por comparao interlaboratorial, pode-se obter uma estimativa da tendncia do laboratrio. Entretanto, estes dados estaro afetados pela estabilidade e pela repetitividade, isso signica dizer que um laboratrio apresenta resultados, numa rodada de EP, que indicam tendncia que, na verdade, pode estar sendo causada pela falta de estabilidade e pela repetitividade deciente. Este fato torna importante que o laboratrio avalie regularmente suas propriedades de desempenho. A literatura pesquisada trata do assunto ensaio de procincia com um vis de laboratrios de ensaios analticos, visto que esses so os que j trabalham com a ferramenta a perodo de tempo mais longo. Os laboratrios de calibrao comearam a participar em programas de EP a partir da ISO/IEC 17025:1999. De acordo com rnemarl

A inuncia do sistema de gesto de laboratrios nos resultados dos ensaios...

583

et al. (1999), os laboratrios clnicos de alguns pases da Europa j participavam de programas de avaliao da qualidade externos, dentre eles os EP. Esta participao ocorria mesmo sem ser um requisito mandatrio. Quando da interpretao ou comparao de resultados de EP, deve-se levar em considerao se os EP so comparveis e se o mesmo nvel de conana pode ser considerado nas concluses. Podem ser considerados fatores importantes na comparao de resultados de EP a conana no valor de referncia do EP, a conana e a representatividade da distribuio das amostras e se o projeto do EP segue as orientaes do Guia 43 (CORTEZ et al., 2003). A avaliao do desempenho dos laboratrios participantes dos EP se d pela anlise estatstica dos resultados obtidos nos ensaios ou nas calibraes. Esta anlise estatstica realizada de acordo com a orientao dada pelo Guia 43. De acordo com ISO (2002) e ABNT (1999a), se faz necessria a realizao de atividades encadeadas para utilizar mtodos estatsticos na anlise dos resultados dos EP, a m de avaliar o desempenho dos participantes. A Figura 1 mostra o uxo destas atividades que so descritas detalhadamente por ASTM (1995), ISO (1998), SCC (2001), ISO (2002), NATA (2004) e Inmetro (2004).

segundo Visser, os autores dos relatrios destes estudos concluram que sistemas de gesto formalmente orientados no so garantia automtica de bons resultados, ou seja, a acreditao no leva necessariamente alta qualidade. O principal efeito da acreditao a diminuio da repetitividade dos ensaios realizados e a diminuio da reprodutibilidade interlaboratorial. 4.1 Anlise de dados de ensaios de procincia O objetivo desta anlise vericar se o tipo de sistema de gesto dos laboratrios de ensaio da construo civil do Brasil inuencia nos resultados dos ensaios de procincia. Para tanto, foram coletados dados com os provedores de EP da construo civil no Brasil. Os dados coletados no foram inicialmente planejados segundo a lgica de projeto de experimentos, mas foram obtidos diretamente dos resultados dos relatrios dos EP no perodo de 2003 a 2004, num total de 561 resultados. Um exemplo dos relatrios de onde os dados foram coletados apresentado na Figura 2. Nestes relatrios foi possvel identicar dois fatores: a) tipo de sistemas de gesto, sendo eles certicao NBR ISO 9001, acreditao pela NBR ISO/IEC 17025 e acreditao e certicao pela NBR ISO/IEC 17025 e pela NBR ISO 9001, respectivamente; e b) tipo de ensaio, sendo, ensaios de cimento (fsico e qumico), asfalto, solos e metodologia MCT (Metodologia designada Miniatura Compactada Tropical). Como todos os laboratrios historicamente realizam todos os tipos de ensaio, foi possvel caracterizar um projeto fatorial cruzado. A hiptese nula do estudo de que os resultados do EP no dependem do tipo de sistema de gesto do laboratrio. Com o estudo experimental, possvel analisar trs hipteses alternativas, ou seja, dois efeitos principais: tipos de sistema de gesto e tipos de ensaio e o efeito da interao entre os dois fatores sobre o resultado do EP. Na realizao dos EP, cada laboratrio recebe duas amostras para realizar a medio e com base nelas so calculadas as estatsticas pertinentes para obteno do resultado do EP, conforme pode ser visualizado na Figura2. O resultado nal qualitativo, indicando se o desempenho do laboratrio foi satisfatrio, insatisfatrio ou questionvel. Os resultados dos laboratrios apresentados foram analisados com base no z-score, que auxilia a identicar resultados dispersos. z-scores so valores padronizados que atribuem uma nota score para cada resultado, relativa aos demais no grupo. Assim, um valor Z prximo a zero signica que o resultado compatvel aos dos demais participantes. Um valor disperso num ensaio de procincia qualquer resultado que apresentar um valor absoluto de z-score maior que trs (NATA, 2004). Pares de resultados so necessrios para avaliar ambas as fontes de variao: a variabilidade dentro do laboraGest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

4 Sistema de gesto de laboratrios vs.

resultados de ensaios de procincia
Cortez et al. (2003) recomenda que se tome cuidado na comparao de desempenho de laboratrios acreditados e no acreditados. A comparao deve levar em conta adequao ao uso durante um perodo contnuo de tempo com uma populao representativa de laboratrios, ao invs de uma comparao baseada numa nica rodada de comparaes. Segundo King et al. (1999) e Juniper (1999), no existem evidncias de que laboratrios acreditados ou certicados tenham um desempenho melhor em ensaios de procincia do que laboratrios que no sejam acreditados ou certicados. Para Juniper (1999), os laboratrios acreditados, algumas vezes, obtm resultados mais pobres do que os laboratrios no acreditados. O que existe uma indicao de que aqueles laboratrios que tm participado de vrios EP tendem a alcanar melhores resultados que aqueles que tm pouca participao. Tambm para Visser (1999), a acreditao no tem o efeito positivo esperado na qualidade dos resultados dos laboratrios de ensaios. O autor chegou a essa concluso a partir dos estudos realizados pelo laboratrio de qumica do governo do Reino Unido (LGC) e pelo Instituto de Medio de Materiais de Referncia (IRMM) da Blgica, onde foi avaliada a correlao entre acreditao e desempenho em EP de laboratrios. Ainda

584

Pizzolato et al.

Incio Verificar o mtodo de preparao das amostras O valor de referncia e sua incerteza foram determinados antes do EP?

No

Sim - Determinar a formulao do valor de referncia ou - Utilizar um material de referncia certificado ou - Preparar amostras para serem valores de referncia

- Utilizar um valor de referncia de consenso vindo de um laboratrio especialista ou - Utilizar um valor de consenso obtido entre os participantes do EP

O desvio padro da avaliao da proficincia foi determinado antes do EP?

No

Sim - Utilizar um valor prescrito ou - Utilizar um valor de acordo com o desempenho desejado no EP ou - Utilizar um valor determinado por um modelo geral ou - Utilizar um valor detereminado por um experimento normalizado

Verificar o mtodo de determinao do valor de referncia atravs da limitao da sua incerteza

Utilizar o valor obtido na rodada de EP

Definir o nmero de repeties a serem feitas por cada participante

Conduzir a rodada de EP

Calcular a estatstica de desempenho utilizando uma das opes a seguir: - estimar a tendncia do laboratrio - calcular a diferena percentual - calcular a ordenao e seus percentuais - calcular o z-score - calcular o En - calcular o z-score - calcular o zeta-score Apresentar graficamente a estatstica de desempenho da rodada atravs de: - histograma ou - grfico de barras das tendncias dos laboratrios ou - grfico de barras da repetitividade da medio ou - grfico de Youden ou - grficos da repetitividade do desvio padro amostras split Combinar a estatstica de desempenho de vrias rodadas atravs de: - cartas de controle (Shewhart) ou - carta de controle da soma cumulativa ou - grficos da tendncia do laboratrio padro versus mdias dos laboratrios participantes Reportar os resultados aos participantes Fim

Quando apropriado: - comparar o valor de referncia com a mdia robusta - comparar os valores de disperso derivados do EP com os valores estabelecidos

Figura 1. Fluxo para anlise de resultados de EP. Fonte: Adaptado de ISO (2002).
Gest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

A inuncia do sistema de gesto de laboratrios nos resultados dos ensaios... Par de amostra (AB) Cod. laboratrios Amostra A 6 4,51 20 2,40 8 2,64 2 2,65 3 3,10 5 3,32 22 2,53 12 3,33 4 3,19 1 3,03 10 2,40 4,51 2,11 Dp Amostra B 4,14 2,39 2,90 2,91 3,38 3,61 2,84 3,67 3,54 3,50 10 2,39 4,14 1,75 -0,262 -0,007 0,184 0,184 0,198 0,205 0,219 0,240 0,247 0,332 z-dentro -12,187 -5,489 -0,465 -0,465 -0,093 0,093 0,465 1,023 1,209 3,442

585 Desempenho Insatisfatrio Insatisfatrio Satisfatrio Satisfatrio Satisfatrio Satisfatrio Satisfatrio Satisfatrio Satisfatrio Insatisfatrio

Nome dos

N Mnimo Mximo Range

Dp MED 3,065 3,440 0,202 Q3 3,288 3,593 0,235 Q1 2,643 2,903 0,184 IQ 0,645 0,690 0,051 IQN 0,478 0,511 0,038 CVR 15,60 14,87 Dp = Diferena padronizada: [A - B] / Raiz(2); Sp = Soma padronizada: (A + B) / Raiz(2).

Sp 4,600 4,865 3,921 0,944 0,700

4 3 2 1 0 -1 -2 -3 -4

z-score robusto dentro dos laboratrios Perda ao fogo

Nmero de desvios

20

22

12

Cdigos dos laboratrios

Figura 2. Exemplo de relatrio de onde os dados foram coletados. Fonte: 4 Interlaboratorial de Ensaios Qumicos de Cimento - 2003.

trio e a variabilidade entre laboratrios. Isso signica que para cada par de resultados, dois z-scores so calculados. O z-score entre laboratrios baseado na soma dos resultados do par, enquanto que o z-score dentro do laboratrio ser baseado na diferena dos resultados do par. Estes valores de z-score utilizam a mediana e a amplitude interquartlica normalizada, ao invs da mdia e do desvio padro. Um z-score muito alto entre laboratrios indicao de que um ou ambos os resultados do laboratrio signicativamente maior do que o valor de consenso (mediana). De modo similar, se um z-score entre laboratrios muito baixo (negativo) uma indicao de que um ou ambos os resultados do laboratrio signicativamente menor do que o valor de consenso. Um z-score dentro do laboratrio muito alto (positivo) ou muito baixo (zero ou negativo) indica que a diferena

entre os resultados do mesmo laboratrio muito grande ou muito pequena, respectivamente (NATA 2004). A anlise dos dados dos EP foi realizada utilizando os valores de z-score dentro, uma vez que esses reetem a variabilidade entre os resultados do mesmo laboratrio. Primeiramente, fez-se a vericao da distribuio de probabilidade dos dados no teste de normalidade. Os valores de p obtidos no teste de normalidade foram menores ou iguais a 0,01. Em virtude disto pode-se rejeitar a hiptese de que os valores de z-score dentro venham de uma distribuio normal, com 99% de conana. O grco da Figura 3 mostra que a distribuio de probabilidade dos dados analisados no segue uma distribuio normal. Em virtude dos dados no seguirem a distribuio normal foi realizado o teste no paramtrico de KruskalWallis. O objetivo foi vericar se existem diferenas
Gest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

586

Pizzolato et al. 99,9 99,0 95,0 80,0 50,0 20,0 5,0 1,0 0,1

signicativas para os dois fatores: tipos de sistemas de gesto e tipos de ensaios. A vericao de signicncia pelo teste de Kruskal-Wallis testa, na hiptese nula, se as medianas dos valores de z-score dentro so as mesmas em cada tipo de sistema de gesto. Foram obtidos para cada um dos fatores e tambm para a interao entre sistema de gesto e tipo de ensaios valores de p maiores ou iguais a 0,05. Isso signica que no existe diferena estatstica signicativa entre as medianas, com um intervalo de conana de 95%. A Figura 4 exemplica que no h evidncia suciente para armar com um nvel de signicncia de 5% que exista diferena signicativa entre as medianas do z-score dentro para os diferentes tipos de sistema de gesto do laboratrio. Nesta gura, os laboratrios com certicao NBR ISO 9001 so identicados com o valor (-1), laboratrios acreditados pela NBR ISO/IEC 17025 so identicados com o valor (1) e laboratrios acreditados e certicados pela NBR ISO/IEC 17025 e pela NBR ISO 9001 so identicados com o valor (0). A Figura 5 exemplica que no h evidncia suciente para armar com um nvel de signicncia de 5% que exista diferena signicativa entre as medianas do z-score dentro para os diferentes tipos de ensaio. Nesta gura, o ensaio de solos 2004 identicado com o valor (-3), ensaio cimento fsico 2004 identicado com o valor (-2), o ensaio asfalto 2004 identicado com o valor (-1), o ensaio cimento fsico 2003 identicado com o valor (0), o ensaio cimento qumico 2003 identicado com o valor (1), o ensaio cimento qumico 2004 identicado com o valor (2) e, por m, o ensaio MCT 2004 identicado com o valor (3). Como se pode observar pelo estudo experimental, apresentado neste artigo, realizado nos resultados dos EP da construo civil no Brasil, no houve evidncia estatstica suciente para provar com um nvel de signicncia de 5% que exista diferena signicativa entre os sistemas de gesto dos laboratrios. Ou seja, no foi possvel comprovar que o tipo de sistema de gesto dos laboratrios inuencie os resultados dos EP para este setor especco. Independentemente dos resultados deste estudo experimental, necessrio salientar a importncia da acreditao como forma de prover conana s medies realizadas pelos laboratrios. 4.2 Uso dos resultados dos ensaios de procincia no clculo genrico da incerteza de medio Os resultados de um conjunto representativo de EP de um determinado tipo de ensaio (qumico, fsico, etc.) podem ser utilizados para gerar um clculo genrico da incerteza de medio para aquele setor de laboratrios de ensaio. Dessa forma, o usurio de um ensaio poderia comparar o resultado do clculo da incerteza de medio fornecido pelo laboratrio com o clculo genrico da
Gest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

Probabilidade

-6

-1

9 z-score

14

19

24

Figura 3. Grco de probabilidade normal para o valor de z-score dentro.

0,56 z-dentro 0,36 0,16

-0,04 -0,24 -1 0 SGQ 1

Figura 4. Intervalo de conana das medianas para o fator tipos de sistema de gesto.

0,9 0,6 0,3 0,0 -0,3 -0,6

z-dentro

-3

-2

-1

0 Ensaio

Figura 5. Intervalo de conana das medianas para o fator tipos de ensaios.

incerteza de medio para o respectivo setor de atuao dos laboratrios de ensaio e, caso necessrio, realizar uma ao corretiva ou ajustar o clculo de incerteza fornecido pelo laboratrio. Para Eurolab (2002), em algumas situaes, os laboratrios desenvolvem seus prprios mtodos ensaio. Segundo ABNT (2005), estes mtodos devem ser validados pelo laboratrio que os desenvolveu. Durante a validao, diversas medies so realizadas, possibilitando, assim, obter-se um desvio padro que pode ser utilizado na incerteza de medio do mtodo. Ainda segundo esse autor, comparaes interlaboratoriais so uma poderosa ferramenta na avaliao da incerteza. As sries de medies de diferentes laboratrios representam resultados de medies independentes realizadas sob diferentes condies, possibilitando, dessa forma, obter-se o desvio padro desses labotarrios. Este desvio padro do EP, de que o laboratrio tenha participado, pode ser utilizado na estimativa da incerteza de sua medio, desde que o laboratrio tenha tido um resultado satisfatrio. O desvio

A inuncia do sistema de gesto de laboratrios nos resultados dos ensaios...

587

padro do ensaio de procincia de que o laboratrio participou pode ser utilizado como a incerteza padro do parmetro analisado, cobrindo todos os componentes relevantes e passos necessrios para realizar o ensaio. Por m, o autor sugere o uso do desvio padro das cartas de controle da mdia como entrada para a estimativa da incerteza de medio. A incerteza de medio calculada pelo mtodo ABNT/ Inmetro (2003) sugere o uso de um modelo analtico que contemple as diferentes fontes de incerteza pertinentes ao fenmeno em estudo, tais como: incerteza herdada do padro de referncia; diferena de condies ambientais; diferena de medies entre tcnicos; diferena devido a erros geomtricos; exatido do instrumento de medio; e incerteza do mtodo de medio. Dessa forma, o laboratrio combina as informaes obtidas das diferentes fontes para obter um resultado nal de incerteza, a incerteza expandida. No entanto, utilizando-se esta abordagem, o valor calculado da incerteza pode ser inferior ao real em funo da omisso de algumas fontes de incerteza, aquelas que inuenciam na variabilidade do resultado da medio. Neste artigo, sugere-se para o clculo genrico da incerteza de medio de um setor de atuao de laboratrios de ensaio, por exemplo, construo civil, o uso do desvio padro de vrios EP deste mesmo setor. Isso possvel, uma vez que os diferentes tipos de sistemas de gesto no tm impacto nos resultados dos EP, como demonstrado pelo estudo de caso aqui apresentado. O uso do desvio padro dos resultados de um nmero representativo de EP contempla fontes de incerteza de medio adicionais, podendo ser utilizado como nica contribuio do clculo genrico da incerteza de medio. Esta abordagem, alm de simplicar o clculo da incerteza de medio, contempla um maior nmero de fontes de incerteza de medio. necessrio ressaltar as implicaes deste trabalho como uma nova proposta para uma avaliao mais realista das incertezas quando aplicadas a situaes tpicas da indstria, em que no se conhece muito bem a real capacitao do laboratrio de calibrao ou ensaio de um fornecedor, e a necessidade de um grande nmero de trabalhos nesta linha, contemplando diferentes setores de atuao dos laboratrios de calibrao e ensaios. Para tanto, sugere-se como necessria uma anlise, similar apresentada aqui para os laboratrios da construo civil, principalmente nos laboratrios relacionados aos setores estratgicos da Poltica Industrial, Tecnolgica

e de Comrcio Exterior (PITCE), conforme apresentado por MDIC (2003), ou com base numa poltica nacional de metrologia.

5 Concluso
Este artigo teve por objetivo vericar se o tipo de sistema de gesto dos laboratrios de ensaio da construo civil do Brasil inuencia nos resultados dos ensaios de procincia. Objetiva ainda discutir como contemplar o resultado dos ensaios de procincia no clculo da incerteza de medio dos ensaios. Apresentaram-se, na reviso bibliogrca (sees 2 e 3), pesquisas de diferentes autores sobre este assunto e um estudo experimental (seo) realizado com resultados de ensaios de procincia do setor da construo civil no Brasil. O estudo experimental concluiu que no existe evidncia suciente para armar com um nvel de signicncia de 5% que exista efeito dos diferentes tipos de sistema de gesto dos laboratrios sobre os resultados nos ensaios de procincia para o setor da construo civil. Chegou-se a esta concluso pela anlise dos dados do z-score dentro, uma vez que esses reetem a variabilidade entre os resultados do mesmo laboratrio. Ou seja, no foi possvel comprovar que o tipo de sistema de gesto dos laboratrios inuencia os resultados dos ensaios de procincia para este setor especco. O efeito dos tipos de ensaio e da interao entre tipos de sistemas de gesto e tipos de ensaio tambm no foram signicativos sobre os resultados dos EP. Para testar a existncia de diferenas signicativas, foi realizado o teste no paramtrico de Kruskal-Wallis, visto que os dados analisados no seguiam a distribuio normal. Tambm foi discutido neste artigo o uso dos resultados dos ensaios de procincia no clculo da incerteza de medio. Como no h diferenas signicativas para os resultados dos ensaios de procincia para os diferentes tipos de sistemas de gesto e tipos de ensaio, foi sugerido o uso do desvio padro dos resultados de um grupo representativo de ensaios de procincia de determinados ensaios (qumico, fsico, etc.) para gerar um clculo genrico da incerteza de medio para o setor de atuao do laboratrio. Esta abordagem, alm de simplicar o clculo da incerteza de medio, contempla um maior nmero de fontes de incerteza de medio.

Gest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

588

Pizzolato et al.

The inuence of the laboratory management system on the results of civil construction prociency testing
Abstract
Laboratories participation in prociency testing is one way to evaluate and demonstrate the reliability of their measurement results. That is to say, through the prociency testing, the laboratory ability of accomplishing tests and calibrations successfully can be evaluated. The prociency testing supplies important information for the evaluation of laboratories, candidates to accreditation, accredited laboratories, notied or designated laboratories by regulatory bodies, and laboratories in general. This paper aims at verifying whether the kind of laboratory management system in Civil Construction laboratories in Brazil inuence the prociency testing results. It also aims at discussing ways of including the prociency testing results in the calculation of measurement uncertainty. As a result of the study, we can conclude that there is no effect of the types of laboratory management systems studied on the results of prociency testing (EP). Therefore, the use of standard deviation of the results of a representative group of prociency testing for a specic test (chemical, physical, etc.) was suggested as a way of generating a measurement uncertainty generic calculation for the activity sector of the laboratory. This approach, in addition to simplifying the uncertainty measurement calculation, includes a greater number of uncertainty measurement sources.
Keywords: Prociency testing. Laboratory management quality system. Measurement uncertainty.

Referncias bibliogrcas
A2LA. A2LA Prociency testing requirements for accredited testing and calibration laboratories. Jul/2004. Disponvel em: <http://www.a2la.org/requirements/prociency_testing_ requirements_2004.pdf>. Acesso em: 14/03/2005. ABNT/Inmetro. Guia para a Expresso da Incerteza de Medio. 3 ed. Rio de Janeiro, 2003. 20 p. ASTM - American Society for Testing and Materials. ASTM E 1301 Standard Guide for Prociency Testing by Interlaboratory Comparisions. West Conshohocken, United States, 1995. Associao Brasileira de Normas Tcnicas (ABNT). ABNT ISO/ IEC GUIA 2 Normalizao e atividades relacionadas: Vocabulrio geral. Rio de Janeiro, 1998. ______. ABNT ISO/IEC GUIA 43-1 Ensaios de procincia por comparaes interlaboratoriais. Parte 1: Desenvolvimento e operao de programas de ensaios de procincia. Rio de Janeiro, 1999a. ______. NBR ISO/IEC 17025 - Requisitos gerais para competncia de laboratrios de ensaio e calibrao. Rio de Janeiro, 2005. BIVRE, P. D.; TAYLOR, P. D. P. Demonstration vs. designation of measurement competence: the need to link accreditation to metrology. Fresenius Journal of Analitycal Chemistry, v. 368, n. 6, p. 567-573, 2000. BIPM. Introduction. Disponvel em: <http://www1.bipm.org/en/ bipm/metrology/introduction.html> Acesso em: 16/11/2004. BOLEY, N. P. Do we need to accredit prociency testing schemes? Accreditation and Quality Assurance, v. 4, n. 8, p. 347-349, 1999. BOLEY, N. P; BIEVRE, P. D.; TAYLOR, P. D. P. & ULDALL, A. Requirements vs acceptability in prociency testing schemes and other interlaboratory comparisions. Accreditation and Quality Assurance, v.6, n. 6, p.244-251, 2001. CORTEZ, L. et al.How to interpret information from prociency test exercises concerning the relative performance of accredited laboratories. Accreditation and Quality Assurance, v. 8, n.11, p. 511-513. 2003. EUROLAB. Technical Report 01/2002. Limeira, 2002. GUST, J. C. Developing a prociency testing plan for your laboratory. Disponvel em <http://ts.nist.gov/ts/htdocs/230/235/ msc%202004%20gust.pdf> Acesso em: 07/03/2005. Instituto Nacional de Metrologia, Normalizao e Qualidade Industrial (INMETRO). NIT-DICLA 026/02. Requisitos sobre a participao dos laboratrios de ensaios em atividades de ensaio de procincia. Braslia, 2003. ______. Protocolo internacional harmonizado para ensaio de procincia em laboratrios analticos (qumicos). Traduo do International Harmonized Protocosl for Prociency Testin of (Chemical) Analytical Laboratories originalemente impresso em ingls no Journal of AOAC International, AOAC International, Gaithersburg, Maryland, Estados Unidos, v.76, n. 4, 1993, realizada pelo grupo de trabalho da Comisso Tcnica de Laboratrios de Ensaio em Qumica (CTLE-05) da Diviso de Credenciamento e Conabilidade (DICRE) do INMETRO. Disponvel em: <http://www.inmetro.gov.br/kits/ ctle05_protocolo.pdf> Acesso em: 06/11/2004. ______. Provedores Nacionais de Ensaio de Procincia. Disponvel em: <www.inmetro.gov.br/laboratorios/ indiceProvedores.asp>. Acesso em: 10/04/2007. International Laboratory Accreditation Cooperation (ILAC). The ILAC Mutual Recognition Arrangement. Disponvel em: <http://www.ilac.org/downloads/Arrangement.pdf> Acesso em: 25/10/2004. International Organization Standartization (ISO). How conformity assessment works. Disponvel em: <http://www. iso.org/iso/en/comms-markets/conformity/iso+conformity-02. html#TopOfPage> Acesso em: 29/09/2005. ______. ISO 5725-5 Accuracy (trueness and precision) of measurements methods and results: alternative methods for the determination of the precision of a standard measurement method. Geneva, 1998.

Gest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008

A inuncia do sistema de gesto de laboratrios nos resultados dos ensaios...

589

______. ISO/DIS 13528 Statistical methods for use in prociency testing by interlaboratory comparisions. Geneva, 2002. JUNIPER, I. R. Quality issues in prociency testing. Accreditation and Quality Assurance, v. 4, n. 8, p. 336-341, 1999. KING, B.; BOLEY, N.; KANNAN, G. The correlation of laboratory performance in prociency testing with other QA characteristics. Accreditation and Quality Assurance, v. 4, n.7, p. 280-291. 1999. Ministrio do Desenvolvimento, Indstria e Comrcio (MDIC). Diretrizes da Poltica Industrial, Tecnolgica e de Comrcio Exterior. 26/11/2003. Disponvel em:<http:// www.desenvolvimento.gov.br/arquivo/ascom/apresentacoes/ Diretrizes.pdf>. Acesso em: 24/03/2004. National Association of Testing Authorities (NATA). Guide to NATA prociency testing. Disponvel em: <http://www.nata. asn.au/publications/downloads/profguide.pdf> Acesso em: 24/11/2004.

RNEMARK, U. et al. IMEP-7: Inorganic components in human serum. Accreditation and Quality Assurance, v. 4, n. 11, p.463-472, 1999. RNEMARK, U. et al. Policies, requirements and surveys concerning frequency for participation in prociency testing schemes. Accreditation and Quality Assurance, v. 9, n.10-11, p. 729-732. 2004. Standards Council of Canada (SCC). Prociency testing by interlaboratory comparisions. CAN-P-43, 2001. THOLEN, D. W. Impact of international standards and initiatives on prociency testing for medical laboratories. Accreditation and Quality Assurance, v. 9, n. 11-12, p. 653-656, 2004. Van NEVEL, L. et al. The international measurement evaluation programme (IMEP) IMEP-6: Trace elements in water. Accreditation and Quality Assurance, v. 3, n. 2, p. 56-68, 1998. VISSER, R. G. Is accreditation useful for quality improvement? Accreditation and Quality Assurance, v. 4, n. 3, p. 108-110. 1999.

Sobre os autores
Morgana Pizzolato Carla Schwengber ten Caten
Programa de Ps-Graduao em Engenharia de Produo PPGEP, Universidade Federal do Rio Grande do Sul UFRGS, Avenida Osvaldo Aranha, 99, 5 andar, Centro, Porto Alegre, RS, e-mails: morgana@producao.ufrgs.br; tencaten@producao.ufrgs.br

Joo Alziro Herz da Jornada

Instituto Nacional de Metrologia, Normalizao e Qualidade Industrial Inmetro, Rua Santa Alexandrina, 416, Rio Comprido, Rio de Janeiro, RJ, e-mail: jajornada@inmetro.gov.br Recebido em 02/10/2007 Aceito em 28/10/2008

Gest. Prod., So Carlos, v. 15, n. 3, p. 579-589, set.-dez. 2008