Resumo: On the Difficulty of Replicating Human Subjects Studies in Software Engineering
Resumo: On the Difficulty of Replicating Human Subjects Studies in Software Engineering
As repetições em um experimento desempenham um papel importante na verificação de resultados empíricos são freqüentemente mencionados mas raramente aplicados. Este artigo, discute as experiências de realização de uma replicação literal de um experimento com seres humanos, examinando a relação entre um teste simples com vistas no grau de sucesso de um curso introdutório de programação. A equipe destaca que Infelizmente, existem poucos relatos de experiência publicados sobre os desafios de replicação em Engenharia de Software. Isso deixa muitas perguntas sem resposta sobre a replicação. Por exemplo, Como devemos equilibrar o objetivo de tentar fazer uma réplica fiel contra oportunidades para melhorar o projeto original? Não seria mais adequado a revisão total do estudo? Nesse sentido, os autores do trabalho encontraram muitas dificuldades em conseguir executar o experimento original, aplicaram estratégias de tratamento dos dados e ameaças de validade o que demonstra a aplicação de uma metodologia consistente no trabalho. Conclui-se que a área de replicação em engenharia de software ainda possui algumas questões em aberto mas que através de uma metodologia correta e de ferramentas mais refinadas é possível trazer contribuições sensíveis à área. Por fim o autor faz um comentário acerca da complexidade deste tipo de pesquisa o que o faz pensar que teria sido mais frutífero ter aplicado uma replicação teórica.
