Data Mining and Cross-checking of Execution Traces: A re-interpretation of Jones, Harrold and Stasko test information visualization (Long version)
Résumé
The current trend in debugging and testing is to cross-check information collected during several executions. Jones et al., for example, propose to use the instruction coverage of passing and failing runs in order to visualize suspicious statements. This seems promising but lacks a formal justification. In this paper, we show that the method of Jones et al. can be re-interpreted as a data mining procedure. More particularly, the suspicion indicator they define can be rephrased in terms of well-known metrics of the data-mining domain. These metrics characterize \emph{association rules} between data. With this formal framework we are able to explain limitations of the above indicator. Three significant hypotheses were implicit in the original work. Namely, 1) there exists at least one statement that can be considered as faulty ; 2) the values of the suspicion indicator for different statements should be independent from each others; 3) executing a faulty statement leads most of the time to a failure. We show that these hypotheses are hard to fulfill and that the link between the indicator and the correctness of a statement is not straightforward. The underlying idea of association rules is, nevertheless, still promising, and our conclusion emphasizes some possible tracks for improvement. \\ La tendance actuelle en débogage et test de programmes est de recouper des informations rassemblées lors de plusieurs exécutions. Jones et al., par exemple, proposent d'employer la couverture d'instructions calculée pour des exécutions réussissant et échouant afin de visualiser des instructions suspectes. Ceci semble prometteur mais il manque une justification formelle. Dans cet article, nous montrons que la méthode de Jones et al. peut être réinterprétée comme un procédé de fouille de données. Plus particulièrement, l'indicateur de suspicion qu'ils définissent peut être reformulé en termes de métriques bien connues en fouille de données. Ces métriques caractérisent des règles d'association entre les données. Avec ce cadre formel nous pouvons expliquer des limitations de l'indicateur mentionné ci-dessus. Trois hypothèses significatives étaient implicites dans le travail original. À savoir, 1) il existe au moins une instruction qui peut être considérée comme défectueuse ; 2) les valeurs de l'indicateur de suspicion pour différentes instructions doivent être indépendantes les unes des autres ; 3) exécuter une instruction défectueuse conduit la plupart du temps à un échec. Nous prouvons qu'il est difficile de satisfaire ces hypothèses et que le lien entre l'indicateur et la correction d'une instruction n'est pas direct. L'idée fondamentale des règles d'association est, néanmoins, prometteuse, et notre conclusion dessine quelques voies possibles d'amélioration.
Loading...