development/autotests/unreliableTests

   1 # Regular expressions for tests that should not be executed with
   2 # ctest -L export or ctest -L inverted because they do not work as expected
   3 # (either unreliable or invalid).
   4 #
   5 # Patterns will be automatically enclosed with '^' and '$'.
   6 # Matching tests get the label "unreliable" and do not get the label "export".
   7 #
   8 # TODO: Name problem: *invalid* tests (wrong output) are not *unreliable*.
   9 #   Use "unfit" or "unapplicable" as better label and name of pattern file?
  10
  11
  12 Sublabel: nonstandard
  13 #####################
  14 # Documents with additional requirements,
  15 # e.g. a class or package file not in TeXLive.
  16 # TODO: rename to "extra" or "exotic"?
  17
  18 export/templates/IUCr-article_(dvi|pdf).*
  19 export/templates/kluwer_.*_systemF
  20 export/templates/ectaart_(dvi3|pdf5).*
  21
  22 # Requires iucr.cls (not in TeXLive)
  23 # Is there a new version fixing the problem?
  24 # Does LuaTeX produce sensible results?
  25 export/templates/IUCr-article_pdf4_systemF
  26
  27 # Requires aa.cls (not in TeXLive).
  28 export/examples/aa_sample_.*
  29 export/templates/aa_.*
  30
  31 # Requires acmsiggraph.cls (not in TeXLive)
  32 # see http://wiki.lyx.org/Examples/AcmSiggraph
  33 export/templates/obsolete/ACM-siggraph/ACM-siggraph_(dvi|pdf).*
  34
  35 # Requires copernicus.cls (not in TeXLive)
  36 # see https://publications.copernicus.org/for_authors/manuscript_preparation.html
  37 export/templates/copernicus_.*
  38
  39 # R (http://www.r-project.org)
  40 export/examples/sweave.*
  41 # R package knitr (http://yihui.name/knitr)
  42 export/examples/knitr.*
  43
  44 # requires knitr, requires RJournal.sty (not in TeXLive)
  45 # incompatible with fontspec?
  46 export/templates/RJournal_.*
  47
  48 # LilyPond-book version 2.13 or newer.
  49 export/examples/lilypond.*
  50
  51 # svmono.cls
  52 export/examples/springer/svmono.*
  53 # svmult.cls
  54 export/examples/springer/svmult.*
  55
  56 # AEA.cls (see https://wiki.lyx.org/Examples/AEA)
  57 export/templates/AEA.*
  58
  59 # ws-ijmpc.cls, w-ijmpd.cls (see https://wiki.lyx.org/Examples/IJMP)
  60 export/templates/IJMPC.*
  61 export/templates/IJMPD.*
  62
  63 # iopart.cls, iopams.sty, setstack.sty (see https://wiki.lyx.org/Layouts/Iopart)
  64 export/templates/IOP-article.*
  65
  66 # jasatex.cls (see https://wiki.lyx.org/Layouts/JASATeX)
  67 export/templates/JASA.*
  68
  69 # ectaart.cls (see https://wiki.lyx.org/Examples/Econometrica)
  70 export/templates/ectaart.*
  71
  72 # maa-monthly.sty (not in TeXLive)
  73 # http://www.maa.org/sites/default/files/pdf/pubs/maa-monthly.sty
  74 export/templates/maa-monthly.*
  75
  76 # svjour3.cls, svglov2.clo (see https://wiki.lyx.org/Examples/Springer)
  77 export/templates/springer/svjour3.*
  78
  79 # requires obsolete versions of class- or style-files
  80 export/templates/obsolete.*
  81
  82
  83 Sublabel: needauth
  84 ##################
  85 # Tests that require authorisation to call external programs.
  86 export/examples/gnuplot.*
  87 export/examples/minted-filelisting.*
  88 export/examples/minted-listings.*
  89
  90
  91 Sublabel: erratic
  92 #################
  93 # Tests depending on local configuration, or the phase of the moon.
  94
  95 # Manual export fails the first time but works the second time. (Why?)
  96 export/doc/es/(Customization|Intro)_pdf4_texF
  97
  98
  99 Sublabel: varying_versions
 100 ##########################
 101 # Test depending on e.g. OS or version of a non-TeX-Live dependency.
 102 # Note that a full, up-to-date TeX Live installation is required so this
 103 # sublabel is about versions of other dependencies.
 104
 105 # Encoding cp858 only supported by some iconv variants
 106 # Gnu iconv only supports it, if configured with "--enable-extra-encodings"
 107 # (see https://www.gnu.org/software/libiconv/)
 108 export/export/latex/cp858_pdf2
 109
 110 # Seminar export with LaTeX fails in latest TeXLive:
 111 export/examples/(|fr/)seminar_(dvi|pdf).*
 112
 113 # since TL18, Babel-Ukrainean uses UTF-8 if it detects Xe/LuaTeX (for "\date").
 114 # * garbled output with LuaTeX + TeX fonts (since TL18)
 115 # * missing chars with XeTeX + TeX fonts (see invertedTests)
 116 export/export/latex/uk-babel-date-missing-chars-with-ascii_.*_texF
 117 export/(doc|examples)/uk/(Intro|Welcome)_.*_texF
 118
 119 # new problem with TL18 (see invertedTests)
 120 export/export/latex/luainputenc-utf8_pdf5_texF
 121
 122 # aastex: hard-coded version in class name:
 123 # 2018-05-12 aastex6.cls -> aastex62.cls
 124 export/examples/aas_sample62_.*
 125 export/templates/aastex62_.*
 126
 127
 128 # since TeXLive18, 8-bit LaTeX defaults to utf-8
 129 # ----------------------------------------------
 130
 131 # `acmart` calls "libertine" as default font.
 132 # With TeXLive < 18, this clashes with LyX setting up 8-bit TeX fonts
 133 # PDF (luatex) and PDF (xetex) (compilation error or wrong fonts).
 134 # See also #9744 allow parallel configuration of TeX and non-TeX fonts.
 135 export/templates/acmart_pdf[45]_texF
 136
 137
 138 Sublabel: wrong_output
 139 ######################
 140 # Export does not fail but the resulting document has errors.
 141 #
 142 # These tests are actually not "unreliable" (different result for different
 143 # runs) but *invalid* (not measuring what they should measure).
 144
 145 # seminar.sty uses Postscript specials or PGF resulting in problems with slide
 146 # size and orientation depending on the output format and viewing application.
 147 # For details see Troubleshooting and the Appendix in examples/seminar.lyx.
 148 export/examples/(|fr/)seminar_(dvi|pdf).*
 149
 150 # Babel-Spanish uses UTF-8 encoded strings if it detects Xe/LuaTeX.
 151 # With "language default" (=="latin9"), Babel strings  come out wrong
 152 # when compiling with Xe/LuaTeX and TeX-fonts.
 153 # - The problem is generic to all Spanish documents but only manifests itself
 154 #   if Babel strings with non-ASCII chars are actually used
 155 #   (the ToC heading, e.g., becomes "ÃŊndice" instead of "Índice").
 156 # - In some cases, export fails
 157 #   (see invertedTests, some more tests fail with TeXLive versions < 18).
 158 # Should we set inputenc to utf8 in the documents to work around the problem?
 159 # (Changing the default in lib/languages requires more tests for utf8 first.)
 160 export/examples/es/(ejemplo_con_lyx|tufte_book)_(pdf5|dvi3)_texF
 161 export/doc/es/.*_(pdf5|dvi3)_texF
 162
 163 # The date and chapter headings are garbled. These exports used to fail with
 164 # TL16, but now compile without error (TL18, TL19-pre).
 165 export/(doc|examples)/uk/(Intro|Welcome)_dvi3_texF
 166
 167
 168 # LyX issues
 169 # **********
 170
 171 #6197: „amssymb” with Polish babel: name clash \lll ("<<<" vs. "ł")
 172 # Wrong output with pdflatex
 173 # missing character with XeTeX/LuaTeX and Babel (-> invertedTests)
 174 export/export/latex/6197-polish-amssymb_(dvi|pdf).?
 175
 176 #9681 Run-together words in Greek and Cyrillic documents
 177 # if inputenc is 8-bit "language default" or "ascii" (e.g. XeTeX + TeX fonts).
 178 # See https://www.lyx.org/trac/ticket/9681#comment:6
 179 # No termination of LICR macros when textcyrillic and textgreek is not required
 180 # Cf. #9637 textgreek and textcyr depend on font-encoding, not input encoding
 181 export/export/latex/ru-accent-ascii_pdf2
 182 export/export/latex/unicodesymbols/009-cyrillic_ru_euc-cn_pdf2
 183 export/.*/el/.*((dvi|pdf.?)|_texF)
 184 export/.*/(ru|uk)/.*(pdf4_texF)
 185
 186 # Non-ASCII char in verbatim environment is dropped (with a warning when
 187 # doing this interactively) with ASCII (and hence also with XeTeX).
 188 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_texF
 189
 190 # The following document mixes inTitle layouts and leads to
 191 # likely unintended output. See #10347
 192 export/export/mixing_inTitle_layouts_(pdf|dvi).*
 193
 194 # Characters with accents are not output
 195 # Reported to LuaTeX mailing list here:
 196 # https://www.mail-archive.com/search?l=mid&q=20160831134006.4fewxothddqfeyw4%40steph
 197 # (not expecting much attention because DVI is not given high priority)
 198 export/doc/es/Customization_dvi3_systemF
 199 export/examples/(|es/)(europe|modern)CV_dvi3_systemF
 200
 201 # `acmart` requires PDFlatex:
 202 # * Missing page number in DVI, Postscript, and PDF (ps2pdf)
 203 # * "PDF (ps2pdf)" fails (problem with Postscript) in TeXLive < 2018
 204 export/templates/acmart_dvi.*
 205 #export/templates/acmart_ps # not tested by ctest autotests
 206 export/templates/acmart_pdf
 207
 208 # lyx2lyx back-conversion of "Date" info-inset writes
 209 # the name of the day in English instead of Japanese.
 210 export/examples/ja/multilingual_lyx.*
 211
 212 # No localization of auto-strings with Chinese language under 8-bit TeX
 213 # (ctex font issue with texlive-lang-chinese (from Debian) under pdflatex)
 214 # and only partial localization with non-tex-fonts:
 215 export/export/latex/CJK/zh_CN-toc.*
 216 export/doc/zh_CN/(Intro|Tutorial)_(dvi|pdf).?
 217
 218 # Missing Chinese characters in the DVI (LuaTex)
 219 export/doc/zh_CN/(Intro|Tutorial)_dvi3_systemF
 220
 221 # CJK languages don't change/reset the "language" (which is problematic for
 222 # documents in a language that uses a non-standard font encoding)
 223 # In a Greek document, Latin letters in a text part set to "Chinese"
 224 # come out as Greek letters:
 225 export/export/latex/CJK/el-zh_CN_utf8-cjk.*