development/autotests/invertedTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-property 'WILL_FAIL', i.e.
   7 # they are reported as failing if the export works without error.
   8 # https://cmake.org/cmake/help/v3.0/prop_test/WILL_FAIL.html
   9
  10 # ======================================================================
  11 Sublabel: todo
  12 # LyX bugs and problems with the sample documents that require attention
  13 # ======================================================================
  14 # * minor issues to explore and properly sort,
  15 # * easyfix issues,
  16 # * LyX bugs to report at trac (move pattern to section "lyxbugs" once done).
  17
  18 # missing glyphs: There is no ^^A in font [lmroman12-regular]
  19 # and all the line down to ^^Z and beyond...
  20 # XeTeX artifact? works with LuaTeX, explore:
  21 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
  22
  23 # `acmart` document class:
  24 # (see also lyxbugs below and ignoredTests)
  25 # issues with listsof, reported to the maintainer
  26 # https://www.mail-archive.com/search?l=mid&q=of84gj%24l6b%241%40blaine.gmane.org
  27 # LyX gives the following terminal message:
  28 #
  29 #    TextClass.cpp (1385): The layout does not provide a list command for
  30 #      the float `sidebar'. LyX will not be able to produce a float list.
  31 #
  32 # which makes "check_load" and "lyx2lyx" fail (lyx2lyx for < 2.3 is ignored).
  33 check_load/templates/Articles/Association_for_Computing_Machinery_.*
  34 export/templates/Articles/Association_for_Computing_Machinery_.*_lyx23
  35
  36 # Failing LyX2LyX conversions for old versions:
  37 #
  38 # "beamer" lyx2lyx fails sometimes for versions < 2.1
  39 # Back-conversion results in some layouts without name ("\begin_layout \n")
  40 # which trigger a warning message leading to test failure.
  41 export/examples/(|de/|fr/|ja/)Presentations/Beamer_lyx(16|20)
  42 export/examples/Presentations/Beamer_.*Complex.*_lyx(16|20)
  43 export/templates/(|de/|es/|fr/|ja/)Presentations/Beamer_lyx(16|20)
  44 #
  45 # modernCV fails for versions < 2.1
  46 # * reversed order of \end_layout and \end_inset results in corrupt LyX file
  47 # * reversed order of command arguments results in incompilable LaTeX
  48 export/examples/(|es/)Curricula_Vitae/Modern_CV_(lyx(16|20)|dvi|dvi3.*F|pdf|pdf3)
  49 export/examples/(|es/)Curricula_Vitae/Europe_CV_(dvi|dvi3.*F|pdf|pdf3)
  50 #
  51 # back-conversion fails for rotated float inset in a list
  52 export/export/lyx2lyx/lyx_2_3_test_lyx(16|20|21|22)
  53
  54 # New problem with TL18: endless loop?
  55 #    ! TeX capacity exceeded, sorry [input stack +size=5000].
  56 export/export/latex/luainputenc-utf8_pdf5_texF
  57
  58 # nonstandard tests failing for unknown reason:
  59 export/templates/Obsolete/ACM_SIGGGRAPH.*_pdf5_(texF|systemF)
  60 export/templates/Articles/International_Union_of_Crystallography.*_pdf4_systemF
  61 export/templates/Articles/R_Journal_(dvi3|pdf[45])_systemF
  62 #export/templates/Articles/Kluwer_.*_systemF
  63
  64 # Thai with CJK package requires the babel option "thaicjk" instead of "thai".
  65 # (see thaifont.txt in the CJK documentation for setup details).
  66 export/export/latex/unicodesymbols/031-thai_th_(euc-|gbk|jis|utf8-cjk).*
  67
  68 # Package clashes when Japanese documents are compiled with non-TeX fonts,
  69 #
  70 export/doc/ja/(Additional|LaTeXConfig|Math|UserGuide).*_systemF
  71 export/doc/ja/(Formula-numbering|Customization|EmbeddedObjects|Intro)_pdf4_systemF
  72
  73 # Test for command \pdfsave fails:
  74 # ! Package xypdf Error: pdfTeX version 1.40.0 or higher is needed for the xypdf
  75 export/examples/ja/Graphics_and_Insets/XY-Pic.*_systemF
  76 #
  77 # Document class js*.cls requires platex <-> Xe/LuaTeX,
  78 # fixed with "bxjs*.cls"
  79
  80 # lyx2lyx: revert_language() compilation errors (cf. #9633)
  81 # ! LaTeX Error: \begin{otherlanguage} on input line 36 ended by \end{quote}.
  82 # with friulan, occitan, and piedmontese also:
  83 #   ! LaTeX Error: Can be used only in preamble.
  84 #   l.42 \AtEndPreamble
  85 export/export/lyx2lyx/revert-languages-.*_lyx(16|2[012])
  86
  87 # ================================================
  88 Sublabel: lyxbugs
  89 # LyX bugs with a Trac number.
  90 # ================================================
  91
  92 # Dedicated tests in export/latex/lyxbugs start with the ticket number
  93 # (move to export/latex/lyxbugs-resolved when the problem is fixed).
  94 # catchall:
  95 export/export/latex/lyxbugs/[0-9].*
  96
  97
  98 #8035 work around a Polyglossia bug:
  99 # An error is reported if the document font does not announce support for a
 100 # script (Cyrillic, Greek, ...) which Polyglossia thinks is required to
 101 # typeset the document language. This is not required with LyX's check for
 102 # missing glyphs and results in many false positives:
 103 # a) with fonts including the required characters but
 104 #    not the tag tested by Polyglossia,
 105 # b) if the document language is "Serbian (Latin Script)",
 106 #    the Cyrillic script is not required yet Polyglossia tests for support.
 107 # The document "sr/Braille.lyx" is an example of case b).
 108 # (For some reason, the false positive error is not thrown with PDF (luatex).)
 109 export/examples/sr/Modules/Braille_(dvi3|pdf4)_systemF
 110
 111 #10355 xmllint detects failures
 112 export/doc/attic/eu_UserGuide_xhtml
 113 export/doc/(es|ja)/UserGuide_xhtml
 114 export/examples/External_Material/Spreadsheet_xhtml
 115 export/export/WrongDfnTagHandling_xhtml
 116
 117 #11455 "Unable to process argument!" with multiple 1.6.x roundtrips
 118 export/templates/Articles/IEEE_Transactions_Journal_lyx16
 119
 120 #11520 "listerrors" fails with pdflatex, lualatex, and xelatex
 121 # Example for lib/scripts/listerrors
 122 # Requires noweb. Seems to be restricted to plain "latex".
 123 # Find out why and whether the script could be improved.
 124 export/examples/Modules/Noweb_Listerrors_(pdf[245]).*
 125
 126 #11522 Support specification of complementing non-TeX fonts
 127 #
 128 # More than one non-TeX font required for the character set in many documents
 129 # to prevent "missing glyph" errors with non-TeX fonts
 130 #
 131 #export/export/latex/inputenc-.*_systemF # problem remains but test now ignored
 132 export/doc/(|de/|es/|fr/)Math.*systemF
 133 # a minimal example for Math.lyx is in
 134 #export/export/latex/lyxbugs/11522-systemfonts-Math-missingchars.*systemF
 135 #
 136 # Farsi: missing glyphs (em space and "English" quotes)
 137 export/examples/fa/Welcome_pdf4_systemF
 138 #
 139 # CJK-quotes examples (missing in most Latin-script fonts)
 140 export/doc/(|de/|es/|fr/)UserGuide_(dvi3|pdf4|pdf5)_systemF
 141 #
 142 # Japanese
 143 export/examples/ja/Modules/Linguistics.*systemF
 144 #
 145 # Arabic (see also "texissues")
 146 # "! Extra \else" and missing glyph "no ␣ in font Scheherazade":
 147 # (the lyx2lyx test also tests compilation after round-trip)
 148 export/doc/ar/UserGuide_pdf4_systemF
 149 export/doc/ar/UserGuide_lyx(22|23)
 150
 151
 152 # ==============================================================
 153 Sublabel: ert
 154 # Export failures due to "raw" LaTeX use in ERT or preamble code
 155 # ==============================================================
 156 #
 157 # "Wontfix" if demonstrating correct use and OK in the default output format.
 158
 159
 160 # ================================================
 161 Sublabel: texissues
 162 # Export fails due to LaTeX limitations,
 163 # ================================================
 164 #
 165 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 166 # "Wontfix" if documents demonstrate correct use in the default output format.
 167
 168 # Compilation error with Chech or Slovak text i a table cell.
 169 # All exports using babel fail (problem in Czech and Slovak Babel support,
 170 # reported per mail to Petr Tesa\v{r}\'ik, 2016-09-06)
 171 # Without the Czech or Slovak text it compiles.
 172 # No problem with inserted German (or other foreign language) text.
 173 # No problem if the complete table is Slovak, too.
 174 export/export/latex/languages/en-sk-cz-babel-table-error_(dvi|pdf[23]?|.*_texF)
 175
 176
 177 # Xe/LuaTeX
 178 ###########
 179
 180 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 181 # This fails unless the inputencoding is set to utf-8, too.
 182 export/export/latex/languages/ru_auto-legacy-luatex.*_texF
 183
 184 # Babel-Ukrainian uses UTF-8 if it detects Xe/LuaTeX (for "\date").
 185 # With 8-bit TeX fonts this results in:
 186 # * garbled output with PDF (LuaTeX)
 187 # * missing glyphs with XeTeX and DVI (LuaTeX)
 188 # New in TL18 -> cf. unreliableTests.varying_versions.
 189 # Workaround: suppressing auto-date, setting inputenc to "utf8", or using
 190 #             date inset (new in LyX 2.4) in the source documents.
 191 export/export/latex/languages/uk-babel-date-missing-chars-with-ascii_(pdf4|dvi3)_texF
 192 # the "dvi3" tests for these pass, but have wrong output.
 193 export/doc/uk/Intro_pdf4_texF
 194 export/examples/uk/Welcome_pdf4_texF
 195
 196 # Babel with non-TeX fonts fails for some supported languages
 197 # Lithuanian: L7x font encoding also set with LuaTeX and non-TeX fonts
 198 # (error but output OK)
 199 export/export/latex/languages/supported-languages_babel_non-tex_(dvi3|pdf5)_systemF
 200
 201 # Babel-French fails with Xe/LuaTeX and TeX fonts
 202 #   LaTeX Error: Command \at already defined. (and a lot more)
 203 export/export/latex/languages/supported-languages_(dvi|pdf).*_texF
 204 export/export/latex/languages/supported-languages_babel_(dvi|pdf).*_texF
 205
 206 # Babel-Spanish fails sometimes with XeTeX and TeX fonts
 207 export/doc/es/(Math|UserGuide|EmbeddedObjects|Customization)_pdf4_texF
 208
 209 # Polyglossia + LuaTeX issue
 210 # Reported upstream here:
 211 # https://github.com/reutenauer/polyglossia/issues/163
 212 # These tests were broken at 3374b854
 213 # See discussion here:
 214 # https://www.mail-archive.com/search?l=mid&q=1478004223.2367.5.camel%40lyx.org
 215 export/doc/(sk|nb)/Intro_(dvi3|pdf5)_systemF
 216 # some Polyglossia languages work only with XeTeX and fail with LuaTeX:
 217 # * The font "NotoSansEthiopic" cannot be found.
 218 # * sanskrit: ! Undefined control sequence.
 219 #             l.53 \newXeTeXintercharclass
 220 # * RTL-languages: ! Undefined control sequence.
 221 #             \setLR ->\@RTLfalse \luatexpardir
 222 export/export/latex/languages/supported-languages_polyglossia_(dvi3|pdf5)_systemF
 223
 224 # Systemcall: 'lualatex "supported-languages.tex"' finished with exit code 1
 225 # but no error in log and PDF is fine
 226 export/export/latex/languages/supported-languages_luatex_(dvi3|pdf5)_systemF
 227
 228
 229 # Some packages fail with XeTeX/LuaTeX
 230 # Reported upstream (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html)
 231 # Is there a new version fixing the problem?
 232 export/examples/Articles/Astronomy_%26_Astrophysics_(dvi3|pdf[45])_.*
 233 export/templates/Articles/Astronomy_%26_Astrophysics_(dvi3|pdf[45])_.*
 234
 235 # Gives the following error:
 236 # # ! Package hpstatement Error: H or P statement "H251"
 237 # # (hpstatement)                is not defined.
 238 # seems to be polyglossia-related (dvi3 worked with babel)
 239 export/examples/Modules/Hazard_and_Precautionary_Statements_.*_systemF
 240
 241 # These files use packages that are not compatible with the newest LuaTeX. We
 242 # could potentially fix these by loading the luatex85 package early in the
 243 # LyX-generated preamble, but it seems it's better to wait until the packages
 244 # fix the root issue themselves.
 245 # xy package:
 246 export/examples/(|fr/)Graphics_and_Insets/XY-(Pic|Figure)_pdf5.*
 247
 248 # fontspec errors with `slides` class:
 249 # LaTeX error: "kernel/command-already-defined"
 250 # Lines 2684 ... 2690 in fontspec-xetex.sty
 251 # Lines 2608 ... 2614 in fontspec-luatex.sty
 252 export/templates/Presentations/Slides_.*_systemF
 253
 254 # expl3.sty: Compilation errors with XeTeX, TeX-fonts, inputenc utf8
 255 # (TL 17 works).
 256 export/export/latex/inputenc-xetex-utf8-expl3-bug_pdf4_texF
 257
 258 # Korean with LuaTeX:
 259 # Language korean not found in language.dat.lua
 260 export/examples/ko/Welcome_(dvi3|pdf5)_systemF
 261
 262 # Arabic
 263 #
 264 # Larger Arabic documents currently have non-TeX fonts and XeTeX
 265 # as default output (examples/ar/Welcome_pdf4_texF works).
 266 # To fix pdfTeX export:
 267 # - set all non-Arab text parts to a different language (e.g. English)
 268 # - define alternatives for hyperref (e.g. with textorpdfstring)
 269 #   for correct handling of hyperref.
 270 # - solve problem with ToC:
 271 #      ! This can't happen (copying).
 272 #      \AtBegShi@Output ...ipout \box \AtBeginShipoutBox
 273 #                                                        \fi \fi
 274 #      l.62 \tableofcontents
 275 #                           {}
 276 #      I'm broken. Please show this to someone who can fix can fix
 277 # see discussion at https://www.mail-archive.com/search?l=mid&q=20161114035123.s5lt4ib4x4obtptp%40steph
 278 #
 279 # Arab chars in hyperlink name fail and missing characters
 280 # 8-bit TeX exports are ignored (\output_format xetex).
 281 export/doc/ar/*._pdf4_texF
 282
 283 # Babel-Arabic loads "inputenc" which fails with LuaTeX
 284 export/.*/ar/.*_(dvi3|pdf5)_texF
 285 # no Arab charaters with luainputenc
 286 export/export/latex/languages/supported-languages_(dvi3|pdf5)_texF
 287 export/export/latex/languages/supported-languages_babel_auto-legacy_(dvi3|pdf5)_texF
 288
 289
 290 # Farsi
 291 # "invalid utf-8 sequence" with Babel-Farsi, LuaTeX, and TeX fonts.
 292 # (XeTeX works, if inputenc is set to "utf8")
 293 export/examples/fa/Welcome_(dvi3|pdf5)_texF
 294
 295 # Hebrew
 296 # babel-hebrew loads "rlbabel.def" which fails with LuaTeX + TeX fonts:
 297 # "! Right-to-Left Support Error: use TeX--XeT or e-TeX engine."
 298 # (XeTeX works, if inputenc is set to "utf8")
 299 export/.*/he/.*(dvi3|pdf5)_texF
 300 export/export/latex/languages/he-.*(dvi3|pdf5)_texF
 301 export/export/latex/languages/supported-languages_(dvi3|pdf5)_texF
 302 export/export/latex/languages/supported-languages_babel_(dvi3|pdf5)_texF
 303
 304 # Polyglossia bug with LuaTeX and LTR languages (Arab, Hebrew and Farsi):
 305 # Undefined control sequences "\luatexpardir" and "\luatextextdir".
 306 # https://github.com/reutenauer/polyglossia/commit/ccb0e9e2c6411170ad779b05ff5076f1193cc323
 307 export/.*/ar/.*(dvi3|pdf5)_systemF
 308 export/.*/fa/Welcome_(dvi3|pdf5)_systemF
 309 # terminal message: "Language hebrew not found in language.dat.lua"
 310 export/.*/he/.*(dvi3|pdf5)_systemF
 311 export/export/latex/languages/supported-languages_(dvi3|pdf5)_systemF
 312
 313 # Ukrainian
 314 # See comment in unreliableTests
 315 export/export/latex/languages/uk-babel-date-missing-chars-with-ascii_pdf5_texF
 316
 317
 318 # ================================================
 319 Sublabel: externalissues
 320 # Export fails due to non-LaTeX external tool,
 321 # ================================================
 322 #
 323 # e.g. a bug or missing feature in ps2pdf
 324
 325 # ps2pdf gives the following and exits with error:
 326 # Error: /invalidfileaccess in --file--
 327 # ps2pdf succeeds if the -dNOSAFER flag is used. For discussion, see:
 328 # https://www.mail-archive.com/search?l=mid&q=1506851183.3130.15.camel%40lyx.org
 329 export/examples/ja/Modules/LilyPond_Book_pdf
 330
 331
 332 # ======================================================================
 333 Sublabel: attic
 334 # Documents in the attic, kept for reference and format conversion test.
 335 # However, many problems here are "wontfix".
 336 # ======================================================================
 337
 338 # Fails because of missing .png graphic files.
 339 # They were replaced by .svgz, but, as this file is in the attic, we do not
 340 # convert to new lyx format. Plain latex and xetex create output (ignoring
 341 # missing files) while (pdf|lua)latex exits with != 0
 342 #export/doc/attic/eu_UserGuide_pdf[25].*
 343
 344 # Files in the attic with non-default output
 345 # (i.e. could be ERT, package incompatiblity, ...)
 346 export/doc/attic/it_(UserGuide_dvi3|UserGuide_pdf4)_systemF
 347 export/doc/attic/sk_UserGuide_pdf4_texF
 348 export/doc/attic/id_UserGuide_.*systemF