development/autotests/ctests-costs-benefits.txt

   1 The ctests are not convenient tests. In this file we can attempt to log the
   2 benefits and costs to using them so we can periodically evaluate which tests we
   3 should keep and which we should get rid of.
   4
   5 Below are some objective costs:
   6
   7 - The time it takes to run the ctests.
   8 - The email discussion back-and-forth.
   9
  10 There are also some non-objective costs. The ctests are annoying and not fun to
  11 maintain, discuss, and fix. Although it's hard to measure this "annoyance"
  12 cost, it should be taken into account when we review.
  13
  14 Below we can try to keep a log of which bugs are found with which ctests. This
  15 way we can see which tests are the most useful. It is difficult to objectively
  16 differentiate between minor bugs and important bugs.
  17
  18 The "Benefit" row gives the amount of days in-between when an issue is found
  19 because of the ctests and when an issue is reported by someone not using the
  20 ctests.
  21
  22 Examples where convergence tests took time and annoyance to figure out that
  23 they were actually "false positives" (i.e., no bug that is worth the time or
  24 complexity to fix):
  25
  26 https://www.mail-archive.com/search?l=mid&q=20210125200655.e27xaaoy2belyxhw%40tallinn
  27
  28
  29 Examples where bugs were fixed (more quickly) because of ctests:
  30
  31 Report : https://www.mail-archive.com/search?l=mid&q=20210126190837.pwuxhrhrikzszfrh%40tallinn
  32 Fix    : 92f8612a
  33
  34 Report : https://www.mail-archive.com/search?l=mid&q=b0a33192bc5635bd1cb5596e346f9c34615ffeb4.camel%40lyx.org
  35 Fix    : ab1d418f
  36
  37 Fix    : ef2b2827
  38
  39 Fix    : 1ddc1c6b
  40
  41 Report : https://www.mail-archive.com/search?l=mid&q=20210218051838.jbwnemfv5ilhlsls%40tallinn
  42 Fix    : 358e4ace
  43
  44 Fix    : 3df42924
  45
  46 Fix    : 67d0b80f
  47
  48 Fix    : 8ce6c815
  49
  50 Report : https://www.mail-archive.com/search?l=mid&q=20210523014926.xewdr5x62br2okvy%40tallinn
  51 Fix    : 39a9e370
  52
  53 Report : https://www.mail-archive.com/search?l=mid&q=20210528001413.56phju7dvfn4dexs%40tallinn
  54 Fix    : ffa6a724
  55
  56 Report : https://www.mail-archive.com/search?l=mid&q=20210529174524.idnmt5w4tvhuvyy6%40tallinn
  57 Note1  : We are still not sure what to do regarding how to make it more user-friendly
  58          for users to realize that "-dALLOWPSTRANSPARENCY" is needed for the ps2pdf converter.
  59 Benefit: 14 days (https://www.lyx.org/trac/ticket/12303)
  60
  61 Report : https://www.mail-archive.com/search?l=mid&q=20211205190238.edrtqmg3fkdr7gbo%40poole
  62 Fix    : 489bf46a, e3489d54
  63
  64
  65 Examples where upstream (e.g., LaTeX packages) bugs were fixed (more quickly)
  66 because of ctests:
  67
  68 Fix    : https://github.com/nrnrnr/noweb/pull/12#event-4892099481
  69
  70 Report : (private message to Jürgen: Message-ID:<20211205192054.zbxij5butj3wdyvf@poole>)
  71 Fix    : some of the polyglossia commits in the range 1c36dcdc^...bf69288c
  72 Benefit: Not clear. The regressions were in the development version so they
  73          could have easily been caught before release.
  74
  75 Report : https://www.mail-archive.com/search?l=mid&q=20211207200100.o27ojaftehrjfcza%40poole
  76 Fix    : 2eaf30c5