development/autotests/unreliableTests

   1 # Regular expressions for tests that should not be executed with
   2 # ctest -L export or ctest -L inverted because they do not work as expected
   3 # (either unreliable or invalid).
   4 #
   5 # Patterns will be automatically enclosed with '^' and '$'.
   6 # Matching tests get the label "unreliable" and do not get the label "export".
   7 #
   8 # TODO: Name problem: *invalid* tests (wrong output) are not *unreliable*.
   9 #   Use "unfit" or "unapplicable" as better label and name of pattern file?
  10
  11
  12
  13 Sublabel: inputenc
  14 ##################
  15 # "uncodable character" LyX Warnings for all ASCII chars!
  16 # -------------------------------------------------------
  17 # no longer supported by iconv?
  18
  19 # DOS code page, Western European:
  20 export/export/latex/unicodesymbols/*_cp858_pdf2
  21 # Cyrillic
  22 export/export/latex/unicodesymbols/*_pt254_pdf2
  23
  24
  25 # missing forces in unicodesymbols
  26 # --------------------------------
  27
  28 # Fixed in master
  29
  30 # utf8 extended
  31 # export/export/latex/unicodesymbols/001-4-latin_utf8x_pdf2
  32 # Ukrainean: keyboard characters undefined:  NBSP, ©, ·
  33 # export/export/latex/unicodesymbols/001-4-latin_koi8-u_pdf2
  34 # Armenian:
  35 # ! Undefined control sequences: \armquotleft for «, \armquotright for »
  36 # export/export/latex/unicodesymbols/001-4-latin_armscii8_pdf2
  37 # Baltic: « undefined in latin7
  38 # export/export/latex/unicodesymbols/001-4-latin_iso8859-13_pdf2
  39
  40 # Contains symbols only valid in math-mode
  41 # ----------------------------------------
  42 #
  43 # \beta and others defined with \DeclareInputMath
  44 #
  45 # DOS code page: ! Missing $ inserted.
  46 # export/export/latex/unicodesymbols/001-4-latin_cp437_pdf2
  47 # DOS code page: ! Missing $ inserted.
  48 # There are symbols only valid in math-mode, (\beta and others
  49 # cp437 defines with \DeclareInputMath)
  50 # export/export/latex/unicodesymbols/001-4-latin_cp865_pdf2
  51
  52
  53 # Inputenc *.def files missing here [GM]  (which are standard?)
  54 # -------------------------------------------------------------
  55 # Hebrew:
  56 export/export/latex/unicodesymbols/*_cp1255_pdf2
  57 export/export/latex/unicodesymbols/*_iso8859-8_pdf2
  58 export/export/latex/unicodesymbols/*_cp862_pdf2
  59 # Arabic:
  60 export/export/latex/unicodesymbols/*_iso8859-6_pdf2
  61 export/export/latex/unicodesymbols/*_cp1256_pdf2
  62 # CJK:
  63 export/export/latex/unicodesymbols/*_euc-cn_pdf2
  64 export/export/latex/unicodesymbols/*_gbk_pdf2
  65 export/export/latex/unicodesymbols/*_jis_pdf2
  66 export/export/latex/unicodesymbols/*_euc-kr_pdf2
  67 export/export/latex/unicodesymbols/*_utf8-cjk_pdf2
  68 export/export/latex/unicodesymbols/*_euc-tw_pdf2
  69 export/export/latex/unicodesymbols/*_euc-jp_pdf2
  70 export/export/latex/unicodesymbols/*_euc-jp-platex_pdf2
  71 # pLaTeX
  72 export/export/latex/unicodesymbols/*_jis-platex_pdf2
  73 export/export/latex/unicodesymbols/*_shift-jis-platex_pdf2
  74 export/export/latex/unicodesymbols/*_utf8-platex_pdf2
  75
  76
  77 Sublabel: nonstandard
  78 #####################
  79 # Documents with additional requirements,
  80 # e.g. a class or package file not in TeXLive.
  81 # TODO: rename to "extra" or "exotic"?
  82
  83 export/templates/IUCr-article_(dvi|pdf).*
  84 # does not work with pdflatex, lualatex (PDF) or XeTeX (postscript specials?).
  85 export/templates/(ja|es)_beamer-conference-ornate-20min_(pdf2|pdf[45]).*
  86 export/templates/kluwer_.*_systemF
  87 export/templates/ectaart_(dvi3|pdf5).*
  88
  89 # 1.) missing farsi package with lfeenc.def
  90 # 2.) LuaTeX does not support Farsi yet. See:
  91 #     https://github.com/reutenauer/polyglossia/commit/ccb0e9e2c6411170ad779b05ff5076f1193cc323
  92 export/examples/fa/splash_(dvi|pdf|pdf[23]|(dvi3|pdf4|pdf5)_(texF|systemF))
  93
  94 # requires knitr, requires rjournal.sty (not in TeXLive)
  95 # incompatible with fontspec?
  96 export/templates/RJournal_(dvi3|pdf[45])_systemF
  97
  98 # Requires aa.cls (not in TeXLive).
  99 # Fails with XeTeX/LuaTeX
 100 # Reported upstream (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html)
 101 # Is there a new version fixing the problem?
 102 export/examples/aa_sample_(dvi3|pdf[45])_.*
 103 export/templates/aa_(dvi3|pdf[45])_.*
 104
 105 # Requires iucr.cls (not in TeXLive)
 106 # Is there a new version fixing the problem?
 107 # Does LuaTeX produce sensible results?
 108 export/templates/IUCr-article_pdf4_systemF
 109
 110 # Requires acmsiggraph.cls (not in TeXLive)
 111 # see http://wiki.lyx.org/Examples/AcmSiggraph
 112 export/templates/ACM-siggraph_(dvi|pdf).*
 113
 114 Sublabel: erratic
 115 #################
 116 # Tests depending on local configuration, or the phase of the moon.
 117
 118 # Export fails the first time but works the second time. (Why?)
 119 export/doc/es/Customization_pdf4_texF
 120
 121
 122 Sublabel: varying_versions
 123 ##########################
 124 # Test depending on TeX distribution, package versions or OS.
 125
 126 # document class aastex.cls replaced by aastex6.cls (v.1 2016/02/16)
 127 # in CTAN and TeXLive in march 2016
 128 # Template and sample use the new version via aastex6.layout (cf. #10027)
 129 # -> fail if aastex6.cls is missing (TeXLive15 original)
 130 export/templates/aastex_(dvi|pdf).*
 131 export/examples/aas_sample_(dvi|pdf).*
 132
 133
 134 Sublabel: wrong_output
 135 ######################
 136 # Export does not fail but the resulting document has errors.
 137 #
 138 # These tests are actually not "unreliable" (different result for different
 139 # runs) but *invalid* (not measuring what they should measure).
 140
 141 # seminar.sty uses Postscript specials or PGF
 142 # -> wrong output with DVI and PDF (ps2pdf) (de-placed landscape slides).
 143 export/examples/(|fr/)seminar_(dvi|pdf).*
 144
 145 # Babel-Spanish uses Babel's "strings" feature to define
 146 # separate auto-strings using UTF-8 literals.
 147 # Babel uses the "unicode" strings if it detects XeTeX or LuaTeX.
 148 # This is wrong for Xe/Lua with 8-bit TeX-fonts.
 149 # set inputenc to utf8?
 150 # (Changing the default in lib/languages requires more tests for utf8 first.)
 151 export/examples/es/linguistics_pdf4_texF
 152 export/doc/es/.*_(pdf[45]|dvi3)_texF
 153
 154 # Non-ASCII char in verbatim environment is dropped (with a warning when
 155 # doing this interactively) with ASCII (and hence also with XeTeX).
 156 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_texF
 157
 158 # inputencoding="utf8-plain" with 8-bit TeX: non-ASCII characters are passed
 159 #  as two 8-bit characters leading to garbage in the output
 160 export/export/utf8-plain-with-tex-fonts_(dvi|pdf.?)
 161
 162 # The following document mixes inTitle layouts and leads to
 163 # likely unintended output. See #10347
 164 export/export/mixing_inTitle_layouts_(pdf|dvi).*
 165
 166 # Characters with accents are not output
 167 # Reported to LuaTeX mailing list here:
 168 # https://www.mail-archive.com/search?l=mid&q=20160831134006.4fewxothddqfeyw4%40steph
 169 # (not expecting much attention because DVI is not given high priority)
 170 export/doc/es/Customization_dvi3_systemF
 171 export/examples/(|es/)(europe|modern)CV_dvi3_systemF