development/autotests/unreliableTests

   1 # Regular expressions for tests that should not be executed with
   2 # ctest -L export or ctest -L inverted because they do not work as expected
   3 # (either unreliable or invalid).
   4 #
   5 # Patterns will be automatically enclosed with '^' and '$'.
   6 # Matching tests get the label "unreliable" and do not get the label "export".
   7 #
   8 # TODO: Name problem: *invalid* tests (wrong output) are not *unreliable*.
   9 #   Use "unfit" or "unapplicable" as better label and name of pattern file?
  10
  11
  12 Sublabel: nonstandard
  13 # ===================
  14 # Documents with additional requirements,
  15 # e.g. a class or package file not in TeXLive.
  16 # TODO: rename to "extra"?
  17
  18 export/templates/IUCr-article_(dvi|pdf).*
  19 # does not work with pdflatex, lualatex (PDF) or XeTeX (postscript specials?).
  20 export/templates/(ja|es)_beamer-conference-ornate-20min_(pdf2|pdf[45]).*
  21 export/templates/kluwer_.*_systemF
  22 export/templates/ectaart_(dvi3|pdf5).*
  23
  24 # 1.) missing farsi package with lfeenc.def
  25 # 2.) LuaTeX does not support Farsi yet. See:
  26 #     https://github.com/reutenauer/polyglossia/commit/ccb0e9e2c6411170ad779b05ff5076f1193cc323
  27 export/examples/fa/splash_(dvi|pdf|pdf[23]|(dvi3|pdf4|pdf5)_(texF|systemF))
  28
  29 # requires knitr, requires rjournal.sty (not in TeXLive)
  30 # incompatible with fontspec?
  31 export/templates/RJournal_(dvi3|pdf[45])_systemF
  32
  33 # Requires aa.cls (not in TeXLive).
  34 # Fails with XeTeX/LuaTeX
  35 # Reported upstream (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html)
  36 # Is there a new version fixing the problem?
  37 export/examples/aa_sample_(dvi3|pdf[45])_.*
  38 export/templates/aa_(dvi3|pdf[45])_.*
  39
  40 # Requires iucr.cls (not in TeXLive)
  41 # Is there a new version fixing the problem?
  42 # Does LuaTeX produce sensible results?
  43 export/templates/IUCr-article_pdf4_systemF
  44
  45 # Requires acmsiggraph.cls (not in TeXLive)
  46 # see http://wiki.lyx.org/Examples/AcmSiggraph
  47 export/templates/ACM-siggraph_(dvi|pdf).*
  48
  49 Sublabel: erratic
  50 # Tests depending on local configuration, or the phase of the moon.
  51
  52 # for unknonwn reasons, seminar fails at some places:
  53 export/examples/(|fr/)seminar_.*
  54
  55 # Export fails the first time but works the second time. (Why?)
  56 export/doc/es/Customization_pdf4_texF
  57
  58
  59 Sublabel: varying_versions
  60 # ========================
  61 # Test depending on TeX distribution, package versions or OS
  62
  63 # document class aastex.cls replaced by aastex6.cls (v.1 2016/02/16)
  64 # in CTAN and TeXLive in march 2016
  65 # Template and sample use the new version via aastex6.layout (cf. #10027)
  66 # -> fail if aastex6.cls is missing (TeXLive15 original)
  67 export/templates/aastex_(dvi|pdf).*
  68 export/examples/aas_sample_(dvi|pdf).*
  69
  70
  71 Sublabel: wrong_output
  72 # ====================
  73 # Export does not fail but the resulting document has errors.
  74 #
  75 # These tests are actually not "unreliable" (different result for different
  76 # runs) but *invalid* (not measuring what they should measure).
  77
  78 # seminar.sty uses Postscript specials
  79 # -> wrong output with pdflatex/LuaTeX and DVI (missing landscape slides).
  80 export/examples/(|fr/)seminar_pdf[25].*
  81 export/examples/(|fr/)seminar_dvi.*
  82
  83 # Babel-Spanish uses Babel's "strings" feature to define
  84 # separate auto-strings using UTF-8 literals.
  85 # Babel uses the "unicode" strings if it detects XeTeX or LuaTeX.
  86 # This is wrong for Xe/Lua with 8-bit TeX-fonts.
  87 # set inputenc to utf8?
  88 # (Changing the default in lib/languages requires more tests for utf8 first.)
  89 export/examples/es/linguistics_pdf4_texF
  90 export/doc/es/.*_(pdf[45]|dvi3)_texF
  91
  92 # Non-ASCII char in verbatim environment is dropped (with a warning when
  93 # doing this interactively) with ASCII (and hence also with XeTeX).
  94 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_texF