development/autotests/ctests-costs-benefits.txt

   1 The ctests are not convenient tests. In this file we can attempt to log the
   2 benefits and costs to using them so we can periodically evaluate which tests we
   3 should keep and which we should get rid of.
   4
   5 Below are some objective costs:
   6
   7 - The time it takes to run the ctests.
   8 - The email discussion back-and-forth.
   9
  10 There are also some non-objective costs. The ctests are annoying and not fun to
  11 maintain, discuss, and fix. Although it's hard to measure this "annoyance"
  12 cost, it should be taken into account when we review.
  13
  14 Below we can try to keep a log of which bugs are found with which ctests. This
  15 way we can see which tests are the most useful. It is difficult to objectively
  16 differentiate between minor bugs and important bugs.
  17
  18 Examples where convergence tests took time and annoyance to figure out that
  19 they were actually "false positives" (i.e., no bug that is worth the time or
  20 complexity to fix):
  21
  22 https://www.mail-archive.com/search?l=mid&q=20210125200655.e27xaaoy2belyxhw%40tallinn
  23
  24
  25 Examples where bugs were fixed (more quickly) because of ctests:
  26
  27 Report : https://www.mail-archive.com/search?l=mid&q=20210126190837.pwuxhrhrikzszfrh%40tallinn
  28 Fix    : 92f8612a
  29
  30 Report : https://www.mail-archive.com/search?l=mid&q=b0a33192bc5635bd1cb5596e346f9c34615ffeb4.camel%40lyx.org
  31 Fix    : ab1d418f
  32
  33 Fix    : ef2b2827
  34
  35 Fix    : 1ddc1c6b
  36
  37 Report : https://www.mail-archive.com/search?l=mid&q=20210218051838.jbwnemfv5ilhlsls%40tallinn
  38 Fix    : 358e4ace
  39
  40 Fix    : 3df42924
  41
  42 Fix    : 67d0b80f
  43
  44 Fix    : 8ce6c815