development/autotests/unreliableTests

   1 # Regular expressions for tests that should not be executed with
   2 # ctest -L export or ctest -L inverted because they do not work as expected
   3 # (either unreliable or invalid).
   4 #
   5 # Patterns will be automatically enclosed with '^' and '$'.
   6 # Matching tests get the label "unreliable" and do not get the label "export".
   7 #
   8 # TODO: Name problem: *invalid* tests (wrong output) are not *unreliable*.
   9 #   Use "unfit" or "unapplicable" as better label and name of pattern file?
  10
  11
  12 Sublabel: nonstandard
  13 #####################
  14 # Documents with additional requirements,
  15 # e.g. a class or package file not in TeXLive.
  16 # TODO: rename to "extra" or "exotic"?
  17
  18 # aa.cls (not in TeXLive).
  19 export/examples/Articles/Astronomy_%26_Astrophysics.*
  20 export/templates/Articles/Astronomy_%26_Astrophysics.*
  21
  22 # AEA.cls (see https://wiki.lyx.org/Examples/AEA)
  23 export/templates/Articles/American_Economic_Association_.*AEA.*
  24
  25 # copernicus.cls (not in TeXLive)
  26 # see https://publications.copernicus.org/for_authors/manuscript_preparation.html
  27 export/templates/Articles/Copernicus_Publications_Manuscript_Preparation_.*
  28
  29 # ectaart.cls
  30 # see https://wiki.lyx.org/Examples/Econometrica
  31 export/templates/Articles/Econometrica.*
  32
  33 # iucr.cls (not in TeXLive)
  34 export/templates/Articles/International_Union_of_Crystallography.*
  35
  36 # ws-ijmpc.cls, w-ijmpd.cls
  37 # see https://wiki.lyx.org/Examples/IJMP
  38 export/templates/Articles/Int._Journal_of_Modern_Physics_C.*
  39 export/templates/Articles/Int._Journal_of_Modern_Physics_D.*
  40
  41 # iopart.cls, iopams.sty, setstack.sty
  42 # see https://wiki.lyx.org/Layouts/Iopart
  43 export/templates/Articles/Institute_of_Physics_.*
  44
  45 # jasatex.cls
  46 # see https://wiki.lyx.org/Layouts/JASATeX
  47 export/templates/Articles/Journal_of_the_Acoustical_Society_of_America.*
  48
  49 # jss.cls
  50 export/templates/Articles/Journal_of_Statistical_Software_.*
  51
  52 # LilyPond-book version 2.13 or newer.
  53 export/examples/(|ja/)Modules/LilyPond_Book_(dvi|pdf|lyx2[23]).*
  54
  55 # maa-monthly.sty (not in TeXLive)
  56 # http://www.maa.org/sites/default/files/pdf/pubs/maa-monthly.sty
  57 export/templates/Articles/Mathematical_Monthly.*
  58
  59 # knitr, RJournal.sty (not in TeXLive)
  60 # incompatible with fontspec?
  61 export/templates/Articles/R_Journal_.*
  62
  63 # R (http://www.r-project.org)
  64 # R package knitr (http://yihui.name/knitr)
  65 export/examples/(|ja/)Modules/Sweave_(dvi|pdf|lyx2[23]).*
  66 export/examples/(|ja/)Modules/Rnw.*knitr.*_(dvi|pdf|lyx2[23]).*
  67
  68 # obsolete versions of documentclass or style files
  69 export/templates/Obsolete/.*
  70
  71 # svjour3.cls, svglov2.clo
  72 # see https://wiki.lyx.org/Examples/Springer
  73 export/templates/Articles/Springers_Global_Journal_Template.*
  74
  75 # svmono.cls
  76 export/templates/examples/Books/Springer_Monographs.*
  77 # svmult.cls
  78 export/templates/examples/Books/Springer_Contributed_Books.*
  79
  80
  81 # TeXLive does not set up Hebrew 8-bit TeX fonts
  82 # We use the external package "culmus-latex"
  83 # https://sourceforge.net/projects/ivritex/files/culmus-latex/culmus-latex-0.7/
  84 # With current "culmus-latex", dvipdfm fails because some of the fonts are
  85 # type1 *.pfa while dvipdfm only works with *.pfb fonts:
  86 #   dvipdfmx:warning: Could not locate a virtual/physical font for TFM "david".
  87 #   dvipdfmx:warning: >> This font is mapped to a physical font "DavidCLM-Medium.pfa".
  88 #   dvipdfmx:warning: >> Please check if kpathsea library can find this font: DavidCLM-Medium.pfa
  89 # but: `kpsewhich DavidCLM-Medium.pfa` finds the font!
  90 # Converting with `t1binary` (from t1utils) helps.
  91 export/export/latex/unicodesymbols/.*_he.*pdf2
  92 export/export/latex/(supported-languages|he-scrarticle).*
  93 export/.*/he/.*((dvi|pdf.?)|_texF)
  94 export/export/latex/languages/supported-languages_.*_pdf3
  95
  96
  97 # Japanese (platex)
  98 # dvips requires special font setup for kanji.
  99 # Debian's texlive-lang-japanese does this automatically, tlmgr not.
 100 # Without proper font setup setup,
 101 # * the Postscript file has wrong and missing characters
 102 #   (without error or warning),
 103 # * as a consequence, `ps2pdf` fails for some documents:
 104 export/.*/ja/.*_pdf
 105
 106
 107 Sublabel: needauth
 108 ##################
 109 # Tests that require authorisation to call external programs.
 110 export/examples/External_Material/Gnuplot.*
 111 export/examples/Graphics_and_Insets/Minted_File_Listing.*
 112 export/examples/Graphics_and_Insets/Minted_Listings.*
 113
 114
 115 Sublabel: erratic
 116 #################
 117 # Tests depending on local configuration, or the phase of the moon.
 118
 119 # Manual export fails the first time but works the second time. (Why?)
 120 export/doc/es/(Customization|Intro)_pdf4_texF
 121
 122
 123 Sublabel: varying_versions
 124 ##########################
 125 # Test depending on e.g. OS or version of a non-TeX-Live dependency.
 126 # Note that a full, up-to-date TeX Live installation is required so this
 127 # sublabel is about versions of other dependencies.
 128
 129 # Encoding cp858 only supported by some iconv variants
 130 # Gnu iconv only supports it, if configured with "--enable-extra-encodings"
 131 # (see https://www.gnu.org/software/libiconv/)
 132 export/export/latex/inputenc-cp858_pdf2
 133
 134 # Seminar export with LaTeX fails in latest TeXLive:
 135 export/examples/(|fr/)seminar_(dvi|pdf).*
 136
 137 # since TL18, Babel-Ukrainean uses UTF-8 if it detects Xe/LuaTeX (for "\date").
 138 # * garbled output with LuaTeX + TeX fonts (since TL18)
 139 # * missing chars with XeTeX + TeX fonts (see invertedTests)
 140 export/export/latex/languages/uk-babel-date-missing-chars-with-ascii_.*_texF
 141 export/(doc|examples)/uk/(Intro|Welcome)_.*_texF
 142
 143 # new problem with TL18 (see invertedTests)
 144 export/export/latex/inputenc-luatex-utf8_pdf5_texF
 145
 146 # Compilation errors under TeXLive-19 with XeTeX, TeX-fonts, inputenc utf8,
 147 # and expl3.sty (TL 17 works).
 148 export/export/latex/inputenc-xetex-utf8-expl3-bug_pdf4_texF
 149
 150 # Error with LuaTeX for Japanese documents using graphicx.sty with TL17:
 151 #   ! Package pdftex.def Error: Option `pdftex' requires pdfTeX,
 152 #   (pdftex.def)                but pdfTeX features are missing.
 153 export/doc/ja/Tutorial_(dvi3|pdf5)_systemF
 154
 155 # aastex: hard-coded version in class name:
 156 # 2018-05-12 aastex6.cls -> aastex62.cls
 157 export/examples/Articles/American_Astronomical_Society_.*
 158 export/templates/Articles/American_Astronomical_Society_.*
 159
 160 # `acmart` calls "libertine" as default font.
 161 # With TeXLive < 18, this clashes with LyX setting up 8-bit TeX fonts
 162 # PDF (luatex) and PDF (xetex) (compilation error or wrong fonts).
 163 # See also #9744 allow parallel configuration of TeX and non-TeX fonts.
 164 export/templates/Articles/Association_for_Computing_Machinery_pdf[45]_texF
 165
 166 # Arabic Beamer example fails with TL17
 167 export/examples/ar/Presentations/Beamer_pdf4_.*
 168
 169
 170 Sublabel: wrong_output
 171 ######################
 172 # Export does not fail but the resulting document has errors.
 173 #
 174 # These tests are actually not "unreliable" (different result for different
 175 # runs) but *invalid* (not measuring what they should measure).
 176
 177 # seminar.sty uses Postscript specials or PGF resulting in problems with slide
 178 # size and orientation depending on the output format and viewing application.
 179 # For details see Troubleshooting and the Appendix in examples/seminar.lyx.
 180 export/examples/(|fr/)Presentations/Seminar_(dvi|pdf).*
 181
 182 # Babel-Spanish uses UTF-8 encoded strings if it detects Xe/LuaTeX.
 183 # With "language default" (=="latin9"), Babel strings  come out wrong
 184 # when compiling with Xe/LuaTeX and TeX-fonts.
 185 export/export/latex/es_auto-legacy_texF
 186
 187 # since TL18, Babel-Ukrainean uses UTF-8 if it detects Xe/LuaTeX (for "\date").
 188 # * garbled output with LuaTeX + TeX fonts (since TL18)
 189 #   (date and chapter headings)
 190 # * missing chars with XeTeX + TeX fonts (see invertedTests)
 191 export/export/latex/languages/uk-babel-date-missing-chars-with-ascii_.*_texF
 192 export/doc/uk/Intro_.*_texF
 193
 194
 195 # LyX issues
 196 # **********
 197
 198 #6197: „amssymb” with Polish babel: name clash \lll ("<<<" vs. "ł")
 199 # Wrong output with pdflatex
 200 # missing character with XeTeX/LuaTeX and Babel (-> invertedTests)
 201 export/export/latex/6197-polish-amssymb_(dvi|pdf).?
 202
 203 # The following document mixes inTitle layouts and leads to
 204 # likely unintended output. See #10347
 205 export/export/mixing_inTitle_layouts_(pdf|dvi).*
 206
 207 # Characters with accents are not output
 208 # Reported to LuaTeX mailing list here:
 209 # https://www.mail-archive.com/search?l=mid&q=20160831134006.4fewxothddqfeyw4%40steph
 210 # (not expecting much attention because DVI is not given high priority)
 211 export/doc/es/Customization_dvi3_systemF
 212 export/examples/(|es/)Curricula_Vitae/Europe_CV_dvi3_.*F
 213
 214 # `acmart` requires PDFlatex:
 215 # * Missing page number in DVI, Postscript, and PDF (ps2pdf)
 216 # * "PDF (ps2pdf)" fails (problem with Postscript) in TeXLive < 2018
 217 #   "Postscript" not tested by ctest autotests
 218 export/templates/Articles/Association_for_Computing_Machinery_dvi.*
 219 export/templates/Articles/Association_for_Computing_Machinery_pdf
 220
 221 # lyx2lyx back-conversion of "Date" info-inset writes
 222 # the name of the day in English instead of Japanese.
 223 export/examples/ja/Multilingual_Typesetting_.*_lyx.*
 224
 225 # No localization of auto-strings with Chinese language under 8-bit TeX
 226 # (ctex font issue with texlive-lang-chinese (from Debian) under pdflatex)
 227 # and only partial localization with non-tex-fonts:
 228 export/export/latex/CJK/zh_CN-toc.*
 229 export/doc/zh_CN/(Intro|Tutorial)_(dvi|pdf).?
 230
 231 # Missing Chinese characters in the DVI (LuaTex)
 232 export/doc/zh_CN/(Intro|Tutorial)_dvi3_systemF
 233
 234 # CJK languages don't change/reset the "language" (which is problematic for
 235 # documents in a language that uses a non-standard font encoding)
 236 # In a Greek document, Latin letters in a text part set to "Chinese"
 237 # come out as Greek letters:
 238 export/export/latex/CJK/el-zh_CN_utf8-cjk.*