development/autotests/unreliableTests

   1 # Regular expressions for tests that should not be executed with
   2 # ctest -L export or ctest -L inverted because they do not work as expected
   3 # (either unreliable or invalid).
   4 #
   5 # Patterns will be automatically enclosed with '^' and '$'.
   6 # Matching tests get the label "unreliable" and do not get the label "export".
   7 #
   8 # TODO: Name problem: *invalid* tests (wrong output) are not *unreliable*.
   9 #   Use "unfit" or "unapplicable" as better label and name of pattern file?
  10
  11
  12 Sublabel: nonstandard
  13 #####################
  14 # Documents with additional requirements,
  15 # e.g. a class or package file not in TeXLive.
  16 # TODO: rename to "extra" or "exotic"?
  17
  18 export/templates/IUCr-article_(dvi|pdf).*
  19 export/templates/kluwer_.*_systemF
  20 export/templates/ectaart_(dvi3|pdf5).*
  21
  22 # requires knitr, requires rjournal.sty (not in TeXLive)
  23 # incompatible with fontspec?
  24 export/templates/RJournal_(dvi3|pdf[45])_systemF
  25
  26 # Requires aa.cls (not in TeXLive).
  27 # Fails with XeTeX/LuaTeX
  28 # Reported upstream (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html)
  29 # Is there a new version fixing the problem?
  30 export/examples/aa_sample_(dvi3|pdf[45])_.*
  31 export/templates/aa_(dvi3|pdf[45])_.*
  32
  33 # Requires iucr.cls (not in TeXLive)
  34 # Is there a new version fixing the problem?
  35 # Does LuaTeX produce sensible results?
  36 export/templates/IUCr-article_pdf4_systemF
  37
  38 # Requires acmsiggraph.cls (not in TeXLive)
  39 # see http://wiki.lyx.org/Examples/AcmSiggraph
  40 export/templates/obsolete/ACM-siggraph/ACM-siggraph_(dvi|pdf).*
  41
  42 Sublabel: erratic
  43 #################
  44 # Tests depending on local configuration, or the phase of the moon.
  45
  46 # Manual export fails the first time but works the second time. (Why?)
  47 export/doc/es/(Customization|Intro)_pdf4_texF
  48
  49
  50 Sublabel: varying_versions
  51 ##########################
  52 # Test depending on e.g. OS or version of a non-TeX-Live dependency.
  53 # Note that a full, up-to-date TeX Live installation is required so this
  54 # sublabel is about versions of other dependencies.
  55
  56 # Encoding cp858 only supported by some iconv variants
  57 # Gnu iconv only supports it, if configured with "--enable-extra-encodings"
  58 # (see https://www.gnu.org/software/libiconv/)
  59 export/export/latex/cp858_pdf2
  60
  61
  62 Sublabel: wrong_output
  63 ######################
  64 # Export does not fail but the resulting document has errors.
  65 #
  66 # These tests are actually not "unreliable" (different result for different
  67 # runs) but *invalid* (not measuring what they should measure).
  68
  69 # seminar.sty uses Postscript specials or PGF
  70 # -> wrong output with DVI and PDF (ps2pdf) (de-placed landscape slides).
  71 export/examples/(|fr/)seminar_(dvi|pdf).*
  72
  73 # Babel-Spanish uses UTF-8 encoded "unicode" strings if it detects LuaTeX
  74 # (with TeXLive 2016 also for XeTeX).
  75 # With LuaTeX and 8-bit TeX-fonts, e.g., the toc heading becomes
  76 # ÃŊndice instead of Índice.
  77 # The problem is generic to all Spanish documents but only manifests itself
  78 # if Babel strings with non-ASCII chars are deployed.
  79 # Set inputenc to utf8? (Changing the default in lib/languages
  80 # requires more tests for utf8 first.)
  81 export/examples/es/(ejemplo_con_lyx|tufte_book)_(pdf5|dvi3)_texF
  82 export/doc/es/.*_(pdf5|dvi3)_texF
  83
  84 # Non-ASCII char in verbatim environment is dropped (with a warning when
  85 # doing this interactively) with ASCII (and hence also with XeTeX).
  86 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_texF
  87
  88 # inputencoding="utf8-plain" with 8-bit TeX: non-ASCII characters are passed
  89 #  as two 8-bit characters leading to garbage in the output
  90 export/export/latex/utf8-plain-with-tex-fonts_(dvi|pdf.?)
  91
  92 # The following document mixes inTitle layouts and leads to
  93 # likely unintended output. See #10347
  94 export/export/mixing_inTitle_layouts_(pdf|dvi).*
  95
  96 # Characters with accents are not output
  97 # Reported to LuaTeX mailing list here:
  98 # https://www.mail-archive.com/search?l=mid&q=20160831134006.4fewxothddqfeyw4%40steph
  99 # (not expecting much attention because DVI is not given high priority)
 100 export/doc/es/Customization_dvi3_systemF
 101 export/examples/(|es/)(europe|modern)CV_dvi3_systemF
 102
 103 #9681 textgreek and textcyr also required for encodable characters
 104 # -> Latin transcription instead of Greek
 105 export/export/latex/unicodesymbols/008-greek-and-coptic_iso8859-7_pdf2