development/autotests/unreliableTests

   1 # Regular expressions for tests that should not be executed with
   2 # ctest -L export or ctest -L inverted because they do not work as expected
   3 # (either unreliable or invalid).
   4 #
   5 # Patterns will be automatically enclosed with '^' and '$'.
   6 # Matching tests get the label "unreliable" and do not get the label "export".
   7 #
   8 # TODO: Name problem: *invalid* tests (wrong output) are not *unreliable*.
   9 #   Use "unfit" or "unapplicable" as better label and name of pattern file?
  10
  11
  12 # These are not unreliable (not dependent on any external driver)
  13 !.*(/ja|)/.*(docbook5|xhtml|lyx[12][0123456])
  14
  15 Sublabel: nonstandard
  16 #####################
  17 # Documents with additional requirements,
  18 # e.g. a class or package file not in TeXLive.
  19 # TODO: rename to "extra" or "exotic"?
  20
  21 # aa.cls (not in TeXLive).
  22 export/examples/Articles/Astronomy_%26_Astrophysics.*
  23 export/templates/Articles/Astronomy_%26_Astrophysics.*
  24
  25 # AEA.cls (see https://wiki.lyx.org/Examples/AEA)
  26 export/templates/Articles/American_Economic_Association_.*AEA.*
  27
  28 # copernicus.cls (not in TeXLive)
  29 # see https://publications.copernicus.org/for_authors/manuscript_preparation.html
  30 export/templates/Articles/Copernicus_Publications_Manuscript_Preparation_.*
  31
  32 # ectaart.cls
  33 # see https://wiki.lyx.org/Examples/Econometrica
  34 export/templates/Articles/Econometrica.*
  35
  36 # iucr.cls (not in TeXLive)
  37 export/templates/Articles/International_Union_of_Crystallography.*
  38
  39 # ws-ijmpc.cls, w-ijmpd.cls
  40 # see https://wiki.lyx.org/Examples/IJMP
  41 export/templates/Articles/Int._Journal_of_Modern_Physics_C.*
  42 export/templates/Articles/Int._Journal_of_Modern_Physics_D.*
  43
  44 # iopart.cls, iopams.sty, setstack.sty
  45 # see https://wiki.lyx.org/Layouts/Iopart
  46 export/templates/Articles/Institute_of_Physics_.*
  47
  48 # jasatex.cls
  49 # see https://wiki.lyx.org/Layouts/JASATeX
  50 export/templates/Articles/Journal_of_the_Acoustical_Society_of_America.*
  51
  52 # jss.cls
  53 export/templates/Articles/Journal_of_Statistical_Software_.*
  54
  55 # LilyPond-book version 2.13 or newer.
  56 export/examples/(|ja/)Modules/LilyPond_Book_(dvi|pdf|lyx2[23]).*
  57
  58 # maa-monthly.sty (not in TeXLive)
  59 # http://www.maa.org/sites/default/files/pdf/pubs/maa-monthly.sty
  60 export/templates/Articles/Mathematical_Monthly.*
  61
  62 # knitr, RJournal.sty (not in TeXLive)
  63 # incompatible with fontspec?
  64 export/templates/Articles/R_Journal_.*
  65
  66 # R (http://www.r-project.org)
  67 # R package knitr (http://yihui.name/knitr)
  68 export/examples/(|ja/)Modules/Sweave_(dvi|pdf|lyx2[23]).*
  69 export/examples/(|ja/)Modules/Rnw.*knitr.*_(dvi|pdf|lyx2[23]).*
  70
  71 # obsolete versions of documentclass or style files
  72 export/templates/Obsolete/.*
  73
  74 # svjour3.cls, svglov2.clo
  75 # see https://wiki.lyx.org/Examples/Springer
  76 export/templates/Articles/Springers_Global_Journal_Template.*
  77
  78 # svmono.cls
  79 export/templates/examples/Books/Springer_Monographs.*
  80 # svmult.cls
  81 export/templates/examples/Books/Springer_Contributed_Books.*
  82
  83
  84 # TeXLive does not set up Hebrew 8-bit TeX fonts
  85 # We use the external package "culmus-latex"
  86 # https://sourceforge.net/projects/ivritex/files/culmus-latex/culmus-latex-0.7/
  87 # With current "culmus-latex", dvipdfm (.*_pdf3) fails because some of the
  88 # fonts are type1 "*.pfa" while dvipdfm only works with binary "*.pfb" fonts:
  89 #   dvipdfmx:warning: Could not locate a virtual/physical font for TFM "david".
  90 #   dvipdfmx:warning: >> This font is mapped to a physical font "DavidCLM-Medium.pfa".
  91 #   dvipdfmx:warning: >> Please check if kpathsea library can find this font: DavidCLM-Medium.pfa
  92 # but: `kpsewhich DavidCLM-Medium.pfa` finds the font!
  93 # Converting with `t1binary` (from t1utils) helps.
  94 export/.*/he/.*((dvi|pdf.?)|_texF)
  95 export/export/latex/unicodesymbols/.*_he.*pdf2
  96 export/export/latex/(supported-languages|he-scrarticle).*
  97 export/export/latex/languages/supported-languages_.*_pdf3
  98
  99
 100 # Japanese (platex)
 101 # dvips requires special font setup for kanji.
 102 # Debian's texlive-lang-japanese does this automatically, tlmgr not.
 103 # Without proper font setup setup,
 104 # * the Postscript file has wrong and missing characters
 105 #   (without error or warning),
 106 # * as a consequence, `ps2pdf` fails for some documents:
 107 export/.*/ja/.*_pdf
 108
 109 # "exotic" languages require "exotic" *system* fonts, e.g.
 110 # Monomakh Unicode (from Debian package "texlive-fonts-extra" or sci.ponomar.net/fonts.html)
 111 # Noto Serif Devanagari (from Debian package "fonts-noto-hinted")
 112 export/export/latex/languages/supported-languages_polyglossia_.*_systemF
 113
 114 Sublabel: needauth
 115 ##################
 116 # Tests that require authorisation to call external programs.
 117 export/examples/External_Material/Gnuplot.*
 118 export/examples/Graphics_and_Insets/Minted_File_Listing.*
 119 export/examples/Graphics_and_Insets/Minted_Listings.*
 120
 121
 122 Sublabel: erratic
 123 #################
 124 # Tests depending on local configuration, or the phase of the moon.
 125
 126
 127 Sublabel: varying_versions
 128 ##########################
 129 # If a test with this tag fails, this may be due to, e.g., the OS
 130 # or the version of a dependency.
 131
 132 # Encoding cp858 only supported by some iconv variants
 133 # Gnu iconv only supports it, if configured with "--enable-extra-encodings"
 134 # (see https://www.gnu.org/software/libiconv/)
 135 export/export/latex/inputenc-cp858_pdf2
 136
 137 # Fails with TL18 from Debian/stable (resolved with TexLive 19)
 138 # -------------------------------------------------------------
 139
 140 # since TL18, Babel-Ukrainean uses UTF-8 if it detects Xe/LuaTeX (for "\date").
 141 # * garbled output with LuaTeX + TeX fonts (since TL18)
 142 # * missing chars with XeTeX + TeX fonts (see invertedTests)
 143 export/(doc|examples)/uk/(Intro|Welcome)_.*_texF
 144
 145 # Polyglossia bug with LuaTeX and LTR languages (Arab, Hebrew and Farsi):
 146 # Undefined control sequences "\luatexpardir" and "\luatextextdir".
 147 # https://github.com/reutenauer/polyglossia/commit/ccb0e9e2c6411170ad779b05ff5076f1193cc323
 148 export/.*/ar/.*(dvi3|pdf5)_systemF
 149 export/.*/fa/Welcome_(dvi3|pdf5)_systemF
 150
 151 # Beamer fails also with XeTeX
 152 export/examples/ar/Presentations/Beamer_.*_systemF
 153
 154 # terminal message: "Language hebrew not found in language.dat.lua"
 155 export/.*/he/.*(dvi3|pdf5)_systemF
 156 export/export/latex/languages/supported-languages_(dvi3|pdf5)_systemF
 157
 158
 159 Sublabel: wrong_output
 160 ######################
 161 # Export does not fail but the resulting document has errors.
 162 #
 163 # These tests are actually not "unreliable" (different result for different
 164 # runs) but *invalid* (not measuring what they should measure).
 165
 166 # seminar.sty uses Postscript specials or PGF resulting in problems with slide
 167 # size and orientation depending on the output format and viewing application.
 168 # For details see Troubleshooting and the Appendix in examples/seminar.lyx.
 169 export/examples/(|fr/)Presentations/Seminar_(dvi|pdf).*
 170
 171 # Babel-Spanish uses UTF-8 encoded strings if it detects Xe/LuaTeX.
 172 # With "language default" (=="latin9"), Babel strings  come out wrong
 173 # when compiling with Xe/LuaTeX and TeX-fonts.
 174 export/export/latex/es_auto-legacy_texF
 175
 176 # since TL18, Babel-Ukrainean uses UTF-8 if it detects Xe/LuaTeX (for "\date").
 177 # * garbled output with LuaTeX + TeX fonts (since TL18)
 178 #   (date and chapter headings)
 179 # * missing chars with XeTeX + TeX fonts (see invertedTests)
 180 export/export/latex/languages/uk-babel-date-missing-chars-with-ascii_.*_texF
 181 export/doc/uk/Intro_.*_texF
 182
 183 # Although DejaVu fonts are set and output is correct for pdf5,
 184 # for dvi3 the Russian characters are not shown (the problem currently
 185 # is obvious to see).
 186 export/examples/ru/Graphics_and_Insets/XY-(Pic|Figure)_dvi3_systemF
 187
 188
 189 # LyX issues
 190 # **********
 191
 192 #6197: „amssymb” with Polish babel: name clash \lll ("<<<" vs. "ł")
 193 # Wrong output with pdflatex
 194 # missing character with XeTeX/LuaTeX and Babel (-> invertedTests)
 195 export/export/latex/6197-polish-amssymb_(dvi|pdf).?
 196
 197 # The following document mixes inTitle layouts and leads to
 198 # likely unintended output. See #10347
 199 export/export/mixing_inTitle_layouts_(pdf|dvi).*
 200
 201 # Characters with accents are not output
 202 # Reported to LuaTeX mailing list here:
 203 # https://www.mail-archive.com/search?l=mid&q=20160831134006.4fewxothddqfeyw4%40steph
 204 # (not expecting much attention because DVI is not given high priority)
 205 export/doc/es/Customization_dvi3_systemF
 206 export/examples/(|es/)Curricula_Vitae/Europe_CV_dvi3_.*F
 207
 208 # `acmart` requires PDFlatex:
 209 # * Missing page number in DVI, Postscript, and PDF (ps2pdf)
 210 # * "PDF (ps2pdf)" fails (problem with Postscript) in TeXLive < 2018
 211 #   "Postscript" not tested by ctest autotests
 212 export/templates/Articles/Association_for_Computing_Machinery_dvi.*
 213 export/templates/Articles/Association_for_Computing_Machinery_pdf
 214
 215 # lyx2lyx back-conversion of "Date" info-inset writes
 216 # the name of the day in English instead of Japanese.
 217 export/examples/ja/Multilingual_Typesetting_.*_lyx.*
 218
 219 # No localization of auto-strings with Chinese language under 8-bit TeX
 220 # (ctex font issue with texlive-lang-chinese (from Debian) under pdflatex)
 221 # and only partial localization with non-tex-fonts:
 222 export/export/latex/CJK/zh_CN-toc.*
 223 export/doc/zh_CN/(Intro|Tutorial)_(dvi|pdf.?)
 224
 225 # CJK languages don't change/reset the "language" (which is problematic for
 226 # documents in a language that uses a non-standard font encoding)
 227 # In a Greek document, Latin letters in a text part set to "Chinese"
 228 # come out as Greek letters:
 229 export/export/latex/CJK/el-zh_CN_utf8-cjk.*
 230
 231 # Bug 3059: document language instead of "outer language" in table cells
 232 # This document fails with "fontencoding=auto-legacy"
 233 # and has wrong output (RTL in table cells) with all export formats.
 234 export/export/latex/lyxbugs/3059.*