Msa - Atributos 6zg5i

Análise dos Sistemas de Medição por Atributo

1

Propósito dos Estudos de MSA por Atributos • Determinar se os inspetores, de todos os turnos, máquinas, linhas, etc. usam os mesmos critérios para discriminar “bons” de “ruins”. • Quantificar a habilidade dos inspetores ou instrumentos para repetir com acuracidade suas decisões durante as inspeções. • Identificar quão bem os inspetores verificam a conformidade com um padrão conhecido (possivelmente definido pelo cliente), que inclui: • Quão frequentemente os operadores embarcam produtos defeituosos • Quão frequentemente os operadores não embarcam produtos aceitáveis • Descobrir áreas onde: • Treinamento é necessário • Procedimentos ou planos de controle estão falhando • Padrões não estão claramente definidos • Ajustes ou correlação são necessários

2

Propósito dos Estudos de MSA por Atributos

Existem vários tipos de estudos para medições por atribuitos. São eles : 1. Estudo por Atributos do AIAG1 Método Curto Método Longo 2. Método da Capabilidade do Instrumento2 3. Método Kappa3 4. Inter Class Correlation (ICC)

3

Metodologia Clássica de R&R por Atributos 1) Selecione um mínimo de 100* peças do processo  45% das peças deveriam ter defeitos  45% das peças deveriam ser livres de defeitos  10% (se possível) deveriam ser peças limítrofes

2) Identifique os inspetores (que deveriam ser qualificados e experientes), e os instrumentos. 3) Faça com que cada inspetor, independentemente e em ordem aleatória, verifique as peças e determine se estas am ou não. Repita o processo. 4) Inclua os dados na planilha, para reportar a eficácia do Sistema de Medição. 5) Documente os resultados. Implemente ações apropriadas para corrigir o processo de inspeção, se necessário. 6) Repita o estudo para verificar a eficácia das ações.

4

Amostragem de Dados por Atributo Tamanho da amostra Maior é melhor Tente inicialmente com 100 amostras, mínimo de 2 inspetores, e 2 trials Isto vai dar 95% de confiança no Método Clássico

Seleção das Peças da Amostra As peças do estudo deveriam representar toda a faixa de variação.  45% das peças do seu estudo deveriam ser defeituosas  45% das peças deveriam ser livres de defeitos  10% (se possível) deveriam ser marginais

5

MSA Clássico por Atributos - Método da Capabilidade do Instrumento 1. Selecione SPC XL no menu principal 2. Escolha MSA (gage capability) 3. Selecione Create MSA Template

1 2

6

3

4. Entre número de inspetores 5. Entre número de trials 6. Entre número de peças 7. Entre limites especificados

7

4 5 6

Criando um MSA Clássico por Atributos Uma nova planilha será criada para entrada de dados. O exemplo abaixo é para 3 operadores, 3 replicações e 8 peças.

Nota: dados DEVEM ser incluídos como A ou R

Incluir com os Valores de Referência (reais) 7

MSA Clássico por Atributos

1. Selecione SPC XL do menu principal 2. Escolha MSA (gage capability) 3. Escolha Attribute Analysis

1

2

8

3

Uma planilha será criada: Attribute Analysis

MSA Clássico por Atributos

As seguintes análises serão feitas: Efetividade (E): A habilidade de um inspetor distinguir entre peças defeituosas e não defeituosas. A Efetividade é o número de peças identificadas corretamente, dividido pelo número total de oportunidades de estar correto. P(FR), Probabilidade de Falsas Rejeições: A possibilidade de rejeitar uma peça boa. O número de vezes que peças boas são rejeitadas como ruins, dividido pelo número total de oportunidades de classificar peças boas. P(FA), Probabilidade de Falsa Aceitação: A possibilidade de aceitar uma peça ruim. O número de vezes que peças ruins são aceitas como boas, dividido pelo número total de oportunidades de classificar peças ruins. BIAS or B: A medição da tendência que tem um inspetor de falsamente classificar uma peça como boa ou ruim. O BIAS é computado como sendo o P(FR) dividido pelo P(FA).

9

MSA Clássico por Atributos

Seguem algumas regras práticas para os parâmetros de R&R por atributos. • • • • • •

10

Regras Práticas Parâmetro Aceitável E >= .90 P(FR) <= .05 P(FA) <= .02 B .80 - 1.20

Marginal .80 - .90 .05 - .10 .02 - .05 .05 - .80 ou 1.20 - 1.50

Inaceitável < .8 > .10 > .05 < .50 ou > 1.50

Melhoria de um MSA por Atributo Dados por atributo são geralmente gerados em processos com avaliação em 100% dos produtos. Avaliação em 100% dos produtos é realizada quando o processo é incapaz de gerar altos índices de peças aceitáveis. Consequentemente, um número considerável de peças limítrofes (boas ou ruins) estão sendo produzidas. A variabilidade inerente, presente em qualquer processo/sistema de avaliação, vai resultar na rejeição de um grande número de peças aceitáveis, e na aceitação de um grande número de peças defeituosas. Desta forma, deveríamos concentrar a maior parte de nossos esforços na melhoria da capabilidade do processo, e não no aperfeiçoamento dos sistemas de avaliação. Você também deveria mudar para um sistema de medição contínuo, se possível.

11

MSA por Atributos Método Kappa O que é: Kappa é uma estatística usada para medir concordância / discordância. Sua história vem das ciências sociais.

Quando: Classificações são binárias (verdadeiro/falso, bom/ruim)

Pressupostos: Kappa representa a concordância absoluta entre as classificações. Kappa trata todos os erros de classificação igualmente. Os coeficientes de Kendall medem as associações entre as classificações. Os coeficientes de Kendall não tratam os erros de classificação igualmente. As consequências de errar a classificação de um ítem perfeito (nota 5) como ruim (nota 1) são mais sérias do que classificá-lo como bom (nota 4).

MSA - Método Kappa Amostragem Tamanho da Amostra Mais é melhor Comece com 100 amostras, mínimo de 2 inspetores, e 2 replicações Isto vai dar 95% de confiança no Kappa Seleção das Peças da Amostra As peças do estudo deveriam representar toda a faixa de variação Para maior confiabilidade no Kappa, deveríamos ter um mix de 50/50 de peças boas /ruins Uma taxa de 30/70 é aceitável - além disso, qualquer simples discordância terá um grande efeito no Kappa 13

MSA - Método Kappa

O que é o Kappa? Uma estatística usada para medir a concordância / discordância.

Pobservado - Pacaso

Kappa = 1 - Pacaso A regra geral para interpretar o Kappa é: < 0.7 O sistema de medição requer atenção 0.7 – 0.9 Geralmente aceitável, melhorias podem ser necessárias, dependendo da aplicação > 0.9 Excelente Sistema de Medição

MSA Método Kappa - Exemplo O time decide investigar profundamente o processo de inspeção das discrepâncias de pedidos. Dez pedidos foram selecionados, de diferentes dias. Juizes 1 e 2 foram escolhidos para o estudo.

Os dados foram coletados usando amostragem cega.

Pedido 1 2 3 4 5 6 7 8 9 10

Juíz 1 Bom Bom Bom Ruim Bom Bom Bom Bom Ruim Bom 80% Bom

15

Juíz 2 Bom Ruim Bom Ruim Bom Bom Ruim Ruim Ruim Bom 50% Bom

Concordância S N S S S S N N S S 70%

MSA Método Kappa - Exemplo

A proporção onde os inspetores concordam é: Pobservada = 0.7 Qual proporção pode ter ocorrido por acaso? Pacaso = (P juiz 1 Boas)(P juiz 2 Boas) + (Pjuiz 1 Ruins)(Pjuiz 2 Ruins) Pacaso = (.8)(.5) + (.2)(.5) = .5 Kappa compara a proporção de concordância entre os inspetores, após remover a concordância por acaso. Pobservada - Pacaso Kappa =

1 - Pacaso 1. Qual seria o Kappa se os inspetores concordassem em todas as peças? 2. Como você interpretaria um Kappa igual a Zero? 3. Qual seria o Kappa se os inspetores nunca concordassem? 16

Ilustração de uma Análise Kappa Kappa compara a proporção de concordância entre os inspetores, depois de remover a concordância por acaso. Kappa =

Pobservada - Pacaso 1 - Pacaso

Então, neste caso, Kappa resulta: Kappa =

_____ _____  .......... 1  ____

Baseado nos resultados deste estudo de medição, que ações você recomenda?

17

Exercício de MSA usando o Método Kappa

•Usando os dados do exercício anterior, calcule o Kappa usando uma planilha Excel chamada KappaSolver.xls

18

Kappa Prós e Contras

Prós Os valores de Kappa são facilmente calculados em softwares prontamente disponíveis (ex., Excel, Minitab, SAS, SPSS, etc.). Os valores de Kappa são apropriados para testar se as concordâncias excedem os níveis do acaso, para classificações binárias e nominais.

Contras Kappa não é realmente uma medida de concordância livre do acaso. Kappa é um índice geral de concordância. Não faz distinção entre os diversos tipos e fontes de discordância.

19

Kappa Prós e Contras

Contras Kappa é influenciado pela distribuição e pelo tamanho da base. Como resultado, o Kappa raramente é comparável entre estudos, procedimentos ou populações (Thompson & Walter, 1988; Feinstein & Cicchetti, 1990).

O Kappa pode ser baixo mesmo que hajam altos índices de concordância, e mesmo que as classes individuais sejam precisas. Saber se um valor de Kappa implica em um bom ou mau sistema de classificação, ou sistema de diagnóstico, depende de qual modelo foi definido para a tomada de decisão dos inspetores (Uebersax, 1988). Com dados de categorias valorados, deve-se escolher os pesos arbitrariamente, para se obter um Kappa (Maclure & Willet, 1987).

20

Kappa Prós e Contras

Contras Kappa requer que os dois inspetores/procedimentos usem as mesmas categorias de classificação. Existem situações onde estamos interessados em medir a consistência das classificações, para inspetores usando diferentes categorias (ex., um usa uma escala de 1 a 3, e outro usa uma escala de 1 a 5).

21

Apêndice C: Kappa MSA Algumas Palavras de Cautela Alguns leitores podem estranhar porque o Kappa não é recomendado mais fortemente. Ela cria pressupostos teóricos implícitos que são arbitrários e não testados, ela não separa os diferentes componentes da discordância, e ela não expressa a concordância em termos que sejam especialmente úteis. Há um consenso crescente entre os estatísticos que os coeficientes Kappa estão sendo vastamente superestimados, e que eles não deveriam ser definitivamente vistos como o método padrão para medir concordâncias.

22

Apêndice C: Kappa MSA Algumas Palavras de Cautela Embora o coeficiente Kappa tenha sido muito popular por muitos anos, existe um criticismo crescente quanto ao seu uso. Por fim, pode ser dito que: 1) O Kappa não deveria ser visto como o método padrão para quantificar a concordância. 2) Deveria ser motivo de preocupação, o uso de uma estatística que provoca tanta controvérsia.

3) Deveriam ser consideradas algumas das alternativas para se fazer uma tomada de decisão consciente.

23

Apêndice C: Kappa MSA Algumas Palavras de Cautela É possível distinguir dois possíveis usos para o Kappa: como uma maneira de testar a independência entre os avaliadores (ou seja, como uma estatística de teste), e como uma maneira de quantificar o nível de concordância (ou seja, uma medida do tamanho do efeito). O primeiro uso envolve o teste da hipótese de que não é possível haver mais concordância do que aquela que seria obtida por acaso, por “tentativas” randômicas; ou seja, uma decisão binária se os avaliadores são independentes ou não. O Kappa é apropriado para este fim (embora saber que os avaliadores não é muito informativo - eles são dependentes por definição, já que estão avaliando os mesmos casos).

24

Apêndice C: Kappa MSA Algumas Palavras de Cautela É o segundo uso do Kappa - quantificar os níveis reais de concordância - que causa preocupação. Os cálculos do Kappa usam um termo chamado “Proporção de Concordância por Acaso” (ou esperada). Esta é interpretada como a proporção de vezes que os avaliadores iriam concordar por puro acaso. Porém, o termo é relevante apenas sob condições de independência estatística dos avaliadores. Porém, como os avaliadores são claramente não dependentes, a relevância deste termo, e sua propriedade como uma correção para o nível real de concordância é muito questionável.

25

Apêndice C: Kappa MSA Algumas Palavras de Cautela Assim, a declaração comum de que o Kappa é uma “Medida, corrigida quanto ao acaso, do grau de concordância” é problemática. Como uma estatística de teste, o Kappa pode verificar se a concordância excede os níveis do acaso. Porém, como uma medida do grau de concordância, o Kappa não é “corrigido quanto ao acaso”; porque, na ausência de algum modelo explícito de tomada de decisão do avaliador, não fica claro como o acaso afeta as decisões dos avaliadores, e como isto poderia ser corrigido.

26

Apêndice C: Kappa MSA Algumas Palavras de Cautela

Uma melhor maneira de usar o Kappa para quantificar a concordância dos avaliadores seria, sob certas condições, aproximar a correlação intra-classe. Mas isto também é muito problemático no sentido que: 1) estas condições não são sempre atingidas, e 2) esta quantificação poderia ser obtida diretamente pelo uso da correlação intra-classe (ICC).

27

Dados por Atributo - ICC Quando os dados por atributo podem ser representados por 3 ou mais categorias, que podem ser classificados em uma lista, a Correlação IntraClasse pode ser usada para avaliar o sistema de medição. Ao contrário do Kappa, a Correlação Intra-Classe (ICC) não trata os erros de classificação igualmente, isto é, a diferença entre “sempre” e “algumas vezes” é menor que a diferença entre “sempre” e “nunca”. KAPPA: SIM ou NÃO ICC: SEMPRE / ALGUMAS VEZES / NUNCA Como o Kappa, valores de ICC iguais a 0.7 e acima são considerados aceitáveis, e 0,9 é considerado excelente. Valores abaixo de 0.7 indicam que melhorias no sistema de medição podem ser requeridas.

28

ICC – Concordância dos Avaliadores O que o ICC está avaliando é o nível de acordo entre os inspetores. Mas a decisão agora é: Algumas vezes (1) Sempre (2) Nunca (3) A pontuação é agora baseada em uma tabela relativa de decisões. A aceitação é para valores maiores que 0,7.

Judge 1 Judge 2 Judge 3 1 2 1 2 2 3 2 2 2 3 3 3 2 2 3 3 3 3 1 2 1 1 1 1 2 2 2 1 1 1 Each Judges ratings ICC = 0,795212766 2 2 3 ICC = 0,920944559 Average of Judges ratings 3 3 3 2 2 2 3 3 3 Estes resultados mostram um alto grau de CONCORDÂNCIA. 1 2 2 Isto significa um reflexo muito preciso da variação na tomada de decisão baseada no sistema de medição.

29

MSA por Atributo - Método ICC A qualidade de uma pontuação individual: MS

- MS Pç Insp* Pç ICC = MS + (k- 1)MS Pç Insp* Pç A pontuação média dos inspetores deve ser usada. Neste caso: MS ICC =

Pç

- MS MS

Insp*Pç

Pç

Se você omitir a interação do modelo, esta será identificada como “erro” (MSInsp*Peça = MSErro)

30

ICC_Solver.XLS

31

Referências

1. Automotive Industry Action Group (AIAG) (1995). Measurement Systems Analysis Reference Manual. Chrysler, Ford, General Motors Supplier Quality Requirements Task Force. 2. Douglas C. Montgomery and George C. Runger (1993-4). "Gauge Capability and Designed Experiments. Part I: Basic Methods," Quality Engineering 6(1), pp.115-135. 3. Minitab Statistical Software, Release 13.3 or higher

32