development/autotests/invertedTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-property 'WILL_FAIL', i.e.
   7 # they are reported as failing if the export works without error.
   8 # https://cmake.org/cmake/help/v3.0/prop_test/WILL_FAIL.html
   9
  10 # ======================================================================
  11 Sublabel: todo
  12 # LyX bugs and problems with the sample documents that require attention
  13 # ======================================================================
  14 # * minor issues to explore and properly sort,
  15 # * easyfix issues,
  16 # * LyX bugs to report at trac (move pattern to section "lyxbugs" once done).
  17
  18 # missing glyphs: There is no ^^A in font [lmroman12-regular]
  19 # and all the line down to ^^Z and beyond...
  20 # XeTeX artifact? works with LuaTeX, explore:
  21 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
  22
  23 # `acmart` document class:
  24 # (see also lyxbugs below and ignoredTests)
  25 # issues with listsof, reported to the maintainer
  26 # https://www.mail-archive.com/search?l=mid&q=of84gj%24l6b%241%40blaine.gmane.org
  27 # LyX gives the following terminal message:
  28 #
  29 #    TextClass.cpp (1385): The layout does not provide a list command for
  30 #      the float `sidebar'. LyX will not be able to produce a float list.
  31 #
  32 # which makes "check_load" and "lyx2lyx" fail (lyx2lyx for < 2.3 is ignored).
  33 check_load/templates/Articles/Association_for_Computing_Machinery_.*
  34 export/templates/Articles/Association_for_Computing_Machinery_.*_lyx23
  35
  36 # Failing LyX2LyX conversions for old versions:
  37 #
  38 # "beamer" lyx2lyx fails sometimes for versions < 2.1
  39 # Back-conversion results in some layouts without name ("\begin_layout \n")
  40 # which trigger a warning message leading to test failure.
  41 export/examples/(|de/|fr/|ja/)Presentations/Beamer_lyx(16|20)
  42 export/examples/Presentations/Beamer_.*Complex.*_lyx(16|20)
  43 export/templates/(|de/|es/|fr/|ja/)Presentations/Beamer_lyx(16|20)
  44 #
  45 # modernCV fails for versions < 2.1
  46 # * reversed order of \end_layout and \end_inset results in corrupt LyX file
  47 # * reversed order of command arguments results in incompilable LaTeX
  48 export/examples/(|es/)Curricula_Vitae/Modern_CV_(lyx(16|20)|dvi|dvi3.*F|pdf|pdf3)
  49 export/examples/(|es/)Curricula_Vitae/Europe_CV_(dvi|dvi3.*F|pdf|pdf3)
  50 #
  51 # Back-conversion fails for rotated float inset in a list:
  52 export/export/lyx2lyx/lyx_2_3_test_lyx(16|20|21|22)
  53 # Additional empty lines (vs. Separator latexpar) with every round-trip
  54 # before an ERT nested in a Description list:
  55 export/export/lyx2lyx/lyx_2_3_test2_lyx(16|20)
  56
  57 # New problem with TL18: endless loop?
  58 #    ! TeX capacity exceeded, sorry [input stack +size=5000].
  59 # rsp.:
  60 >   ! Undefined control sequence.
  61 >   l.1 à
  62 export/export/latex/inputenc-luatex-utf8_pdf5_texF
  63
  64 # nonstandard tests failing for unknown reason:
  65 export/templates/Obsolete/ACM_SIGGGRAPH.*_pdf5_(texF|systemF)
  66 export/templates/Articles/R_Journal_(dvi3|pdf[45])_systemF
  67 #export/templates/Articles/Kluwer_.*_systemF
  68
  69 # Thai with CJK package requires the babel option "thaicjk" instead of "thai".
  70 # (see thaifont.txt in the CJK documentation for setup details).
  71 export/export/latex/unicodesymbols/031-thai_th_(euc-|gbk|jis|utf8-cjk).*
  72
  73 # Package clashes when Japanese documents are compiled with non-TeX fonts,
  74 #
  75 export/doc/ja/(Additional|LaTeXConfig|Math|UserGuide).*_systemF
  76 export/doc/ja/(Formula-numbering|Customization|EmbeddedObjects|Intro)_pdf4_systemF
  77
  78 # Test for command \pdfsave fails:
  79 # ! Package xypdf Error: pdfTeX version 1.40.0 or higher is needed for the xypdf
  80 export/examples/ja/Graphics_and_Insets/XY-Pic.*_systemF
  81
  82 # Does this still fail in TL19? What is the error?
  83 export/.*/fa/Welcome_(dvi3|pdf5)_systemF
  84 export/.*/fa/Welcome_(dvi3|pdf5)_systemF
  85
  86 # Bug (in LyX or LaTeX?):
  87 # If a language change happens in an environment, LyX does not write an
  88 # explicit \inputencoding{<new-default>} when switching back to the "outer"
  89 # language. However, without explicit \inputencoding, the input encoding
  90 # “utf8” is not properly switched back and high-bit characters like "ä" produce
  91 # an "inputenc Error: Invalid UTF-8 byte "A0"".
  92 export/export/latex/languages/nested-inputenc_auto-legacy_pdf2
  93
  94
  95 # - This test is usually inverted, but it works with the DocBook backend.
  96 !export/export/latex/lyxbugs/3059-language-in-tables_docbook5
  97
  98 # ================================================
  99 Sublabel: lyxbugs
 100 # LyX bugs with a Trac number or 'wontfix' ML thread.
 101 # ================================================
 102
 103 # Dedicated tests in export/latex/lyxbugs start with the ticket number
 104 # (move to export/latex/lyxbugs-resolved when the problem is fixed).
 105 # catchall:
 106 export/export/latex/lyxbugs/[0-9].*
 107
 108
 109 #8035 work around a Polyglossia bug:
 110 # An error is reported if the document font does not announce support for a
 111 # script (Cyrillic, Greek, ...) which Polyglossia thinks is required to
 112 # typeset the document language. This is not required with LyX's check for
 113 # missing glyphs and results in many false positives:
 114 # a) with fonts including the required characters but
 115 #    not the tag tested by Polyglossia,
 116 # b) if the document language is "Serbian (Latin Script)",
 117 #    the Cyrillic script is not required yet Polyglossia tests for support.
 118 # The document "sr/Braille.lyx" is an example of case b).
 119 # (For some reason, the false positive error is not thrown with PDF (luatex).)
 120 #export/examples/sr/Modules/Braille_(dvi3|pdf4)_systemF
 121
 122 #11455 "Unable to process argument!" with multiple 1.6.x roundtrips
 123 export/templates/Articles/IEEE_Transactions_Journal_lyx16
 124
 125 #11520 "listerrors" fails with pdflatex, lualatex, and xelatex
 126 # Example for lib/scripts/listerrors
 127 # Requires noweb. Seems to be restricted to plain "latex".
 128 # Find out why and whether the script could be improved.
 129 export/examples/Modules/Noweb_Listerrors_(pdf[245]).*
 130
 131 #11522 Support specification of complementing non-TeX fonts
 132 #
 133 # More than one non-TeX font required for the character set in many documents
 134 # to prevent "missing glyph" errors with non-TeX fonts
 135 #
 136 #export/export/latex/inputenc-.*_systemF # problem remains but test now ignored
 137 export/doc/(|de/|es/|fr/)Math.*systemF
 138 # a minimal example for Math.lyx is in
 139 #export/export/latex/lyxbugs/11522-systemfonts-Math-missingchars.*systemF
 140 #
 141 # Farsi: missing glyphs (em space and "English" quotes)
 142 export/examples/fa/Welcome_pdf4_systemF
 143 #
 144 # CJK-quotes examples (missing in most Latin-script fonts)
 145 export/doc/(|de/|es/|fr/)UserGuide_(dvi3|pdf4|pdf5)_systemF
 146 #
 147 # Japanese
 148 export/examples/ja/Modules/Linguistics.*systemF
 149 #
 150 # Arabic (see also "texissues")
 151 # "! Extra \else" and missing glyph "no ␣ in font Scheherazade":
 152 # (the lyx2lyx test also tests compilation after round-trip)
 153 export/doc/ar/UserGuide_pdf4_systemF
 154 export/doc/ar/UserGuide_lyx(22|23)
 155
 156 #11773 lyx2lyx: language reversion nesting problems with polyglossia
 157 export/export/lyx2lyx/11773-language-reversion-nesting-polyglossia_lyx2[23]
 158 export/examples/ko/Welcome_lyx2[23]
 159
 160 # We decided not worth spending time to look into a fix
 161 # Warning: Malformed LyX document: Missing layout name on line 1876
 162 # https://www.mail-archive.com/search?l=mid&q=20200915233446.atwbyulny5gsbtyi%40tallinn
 163 export/examples/ru/Presentations/Beamer_lyx(16|20)
 164
 165
 166 # ==============================================================
 167 Sublabel: ert
 168 # Export failures due to "raw" LaTeX use in ERT or preamble code
 169 # ==============================================================
 170 #
 171 # "Wontfix" if demonstrating correct use and OK in the default output format.
 172
 173
 174 # ==============================================================
 175 Sublabel: ertroundtrip
 176 #
 177 # Export failures due to exporting ERT (or preamble code) in backwards
 178 # conversion and not parsing that ERT in forwards conversion. Often, it is not
 179 # worth the time and is complicated to support roundtrips of this nature.
 180
 181 # this might be an ertroundtrip issue, although it is not confirmed. In any
 182 # case, it doesn't seem worth the time to try to fix, considering that
 183 # the APA7 layout is not shipped with 2.2.x and 2.2.x is now quite old.
 184 # For more information, see the following ML thread:
 185 #   https://www.mail-archive.com/search?l=mid&q=20200824050236.pjrlijcn2hxnrmrw%40tallinn
 186 export/templates/Articles/American_Psychological_Association_%28APA%29,_v\._7_lyx22
 187
 188
 189 Sublabel: texissues
 190 # Export fails due to LaTeX limitations,
 191 # ================================================
 192 #
 193 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 194 # "Wontfix" if documents demonstrate correct use in the default output format.
 195
 196 # Xe/LuaTeX
 197 ###########
 198
 199 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 200 # This fails unless the inputencoding is set to utf-8, too.
 201 export/export/latex/languages/ru_auto-legacy-luatex.*_texF
 202
 203 # Babel-Ukrainian uses UTF-8 if it detects Xe/LuaTeX (for "\date").
 204 # With 8-bit TeX fonts this results in:
 205 # * garbled output with PDF (LuaTeX)
 206 # * missing glyphs with XeTeX and DVI (LuaTeX)
 207 # New in TL18 -> cf. unreliableTests.varying_versions.
 208 # Workaround: suppressing auto-date, setting inputenc to "utf8", or using
 209 #             date inset (new in LyX 2.4) in the source documents.
 210 export/export/latex/languages/uk-babel-date-missing-chars-with-ascii_dvi3_texF
 211
 212 # Babel with non-TeX fonts fails for some supported languages
 213 # Lithuanian: L7x font encoding also set with LuaTeX and non-TeX fonts
 214 # (error but output OK)
 215 export/export/latex/languages/supported-languages_babel_non-tex_(dvi3|pdf5)_systemF
 216
 217 # Babel-French fails with Xe/LuaTeX and TeX fonts
 218 #   LaTeX Error: Command \at already defined. (and a lot more)
 219 export/export/latex/languages/supported-languages_(dvi|pdf).*_texF
 220 export/export/latex/languages/supported-languages_babel_(dvi|pdf).*_texF
 221
 222 # Babel + XeTeX and system fonts fails due to a babel bug:
 223 # https://www.mail-archive.com/search?l=mid&q=20190831012945.zl76dbstyijfqgdh%40boogie
 224 # The error is the following, although remoing the referenced language just leads
 225 # to a different error:
 226 #
 227 #  ! File ended while scanning use of \bbl@inireader.
 228 #  <inserted text>
 229 #                  \par
 230 #  l.3 \input{babel-german-switzerland}
 231 #  I suspect you have forgotten a `}', causing me
 232 export/export/latex/languages/supported-languages_babel_non-tex_pdf4_systemF
 233
 234
 235 # Polyglossia + LuaTeX issue
 236 # Reported upstream here:
 237 # https://github.com/reutenauer/polyglossia/issues/163
 238 # These tests were broken at 3374b854
 239 # See discussion here:
 240 # https://www.mail-archive.com/search?l=mid&q=1478004223.2367.5.camel%40lyx.org
 241 #export/doc/(sk|nb)/Intro_(dvi3|pdf5)_systemF
 242 # some Polyglossia languages work only with XeTeX and fail with LuaTeX:
 243 # * The font "NotoSansEthiopic" cannot be found.
 244 # * sanskrit: ! Undefined control sequence.
 245 #             l.53 \newXeTeXintercharclass
 246 # * RTL-languages: ! Undefined control sequence.
 247 #             \setLR ->\@RTLfalse \luatexpardir
 248 export/export/latex/languages/supported-languages_polyglossia_XeTeX_(dvi3|pdf5)_systemF
 249
 250
 251 # Some packages fail with XeTeX/LuaTeX
 252 # Reported upstream (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html)
 253 # Is there a new version fixing the problem?
 254 export/examples/Articles/Astronomy_%26_Astrophysics_(dvi3|pdf5)_texF
 255
 256 # Gives the following error:
 257 # # ! Package hpstatement Error: H or P statement "H251"
 258 # # (hpstatement)                is not defined.
 259 # seems to be polyglossia-related (dvi3 worked with babel)
 260 export/examples/Modules/Hazard_and_Precautionary_Statements_.*_systemF
 261
 262 # These files use packages that are not compatible with the newest LuaTeX. We
 263 # could potentially fix these by loading the luatex85 package early in the
 264 # LyX-generated preamble, but it seems it's better to wait until the packages
 265 # fix the root issue themselves.
 266 # xy package:
 267 export/examples/(|fr/|ru/)Graphics_and_Insets/XY-(Pic|Figure)_pdf5.*
 268
 269 # fontspec errors with `slides` class:
 270 # LaTeX error: "kernel/command-already-defined"
 271 # Lines 2684 ... 2690 in fontspec-xetex.sty
 272 # Lines 2608 ... 2614 in fontspec-luatex.sty
 273 export/templates/Presentations/Slides_.*_systemF
 274
 275 # expl3.sty: Compilation errors with XeTeX, TeX-fonts, inputenc utf8
 276 # (TL 17 works).
 277 export/export/latex/inputenc-xetex-utf8-expl3-bug_pdf4_texF
 278
 279
 280 # Arabic
 281 #
 282 # Larger Arabic documents currently have non-TeX fonts and XeTeX
 283 # as default output. To fix pdfTeX export:
 284 # - set all non-Arab text parts to a different language (e.g. English)
 285 # - define alternatives for hyperref (e.g. with textorpdfstring)
 286 #   for correct handling of hyperref.
 287 # - solve problem with ToC:
 288 #      ! This can't happen (copying).
 289 #      \AtBegShi@Output ...ipout \box \AtBeginShipoutBox
 290 #                                                        \fi \fi
 291 #      l.62 \tableofcontents
 292 #                           {}
 293 #      I'm broken. Please show this to someone who can fix
 294 # see discussion at https://www.mail-archive.com/search?l=mid&q=20161114035123.s5lt4ib4x4obtptp%40steph
 295
 296 # Babel-Arabic loads "inputenc" which fails with LuaTeX
 297 export/.*/ar/.*_(dvi3|pdf5)_texF
 298 # no Arab charaters with luainputenc
 299 export/export/latex/languages/supported-languages_(dvi3|pdf5)_texF
 300 export/export/latex/languages/supported-languages_babel_auto-legacy_(dvi3|pdf5)_texF
 301
 302
 303 # Farsi
 304 # "invalid utf-8 sequence" with Babel-Farsi, LuaTeX, and TeX fonts.
 305 # (XeTeX works, if inputenc is set to "utf8")
 306 export/examples/fa/Welcome_(dvi3|pdf5)_texF
 307
 308 # Hebrew
 309 # babel-hebrew loads "rlbabel.def" which fails with LuaTeX + TeX fonts:
 310 # "! Right-to-Left Support Error: use TeX--XeT or e-TeX engine."
 311 # (XeTeX works, if inputenc is set to "utf8")
 312 export/.*/he/.*(dvi3|pdf5)_texF
 313 export/export/latex/languages/he-.*(dvi3|pdf5)_texF
 314 export/export/latex/languages/supported-languages_(dvi3|pdf5)_texF
 315 export/export/latex/languages/supported-languages_babel_(dvi3|pdf5)_texF
 316 export/templates/Articles/Hebrew_Article_%28KOMA-Script%29_(dvi3|pdf5)_texF
 317 #
 318 # DavidCLM is not found. Comments from Jürgen:
 319 #   luaotfload does not find "DavidCLM". In fact, at least on my system,
 320 #   there is no such font, only "DavidCLM Medium" (and other shapes). This
 321 #   one is found. Apparently, luaotfload cannot infer from the one to the
 322 #   other.
 323 #   As opposed to LuaTEX, XeTeX also queries TEXMF so maybe it just finds
 324 #   its font there.
 325 # See ML thread:
 326 # https://www.mail-archive.com/search?l=mid&q=60ee3809d30056c191d4b2e8c57a7eda60b3e382.camel%40lyx.org
 327 export/templates/Articles/Hebrew_Article_%28KOMA-Script%29_(dvi3|pdf5)_systemF
 328
 329
 330 # Ukrainian
 331 # See comment in unreliableTests
 332 export/export/latex/languages/uk-babel-date-missing-chars-with-ascii_pdf5_texF
 333
 334 # fail because of characters requiring menukeys package which conflicts with
 335 # recent TL "latex" package update.
 336 # Reported here and there is hope for a fix soon.
 337 # https://github.com/tweh/menukeys/issues/59
 338 export/export/latex/unicodesymbols/07[48]-.*
 339
 340
 341 # ================================================
 342 Sublabel: externalissues
 343 # Export fails due to non-LaTeX external tool,
 344 # ================================================
 345 #
 346 # e.g. a bug or missing feature in ps2pdf
 347
 348 # ps2pdf gives the following and exits with error:
 349 # Error: /invalidfileaccess in --file--
 350 # ps2pdf succeeds if the -dNOSAFER flag is used. For discussion, see:
 351 # https://www.mail-archive.com/search?l=mid&q=1506851183.3130.15.camel%40lyx.org
 352 export/examples/ja/Modules/LilyPond_Book_pdf
 353
 354
 355 # ======================================================================
 356 Sublabel: attic
 357 # Documents in the attic, kept for reference and format conversion test.
 358 # However, many problems here are "wontfix".
 359 # ======================================================================
 360
 361 # Fails because of missing .png graphic files.
 362 # They were replaced by .svgz, but, as this file is in the attic, we do not
 363 # convert to new lyx format. Plain latex and xetex create output (ignoring
 364 # missing files) while (pdf|lua)latex exits with != 0
 365 #export/doc/attic/eu_UserGuide_pdf[25].*
 366
 367 # Files in the attic with non-default output
 368 # (i.e. could be ERT, package incompatiblity, ...)
 369 export/doc/attic/it_(UserGuide_dvi3|UserGuide_pdf4)_systemF
 370 export/doc/attic/id_UserGuide_.*systemF
 371
 372 # ================================================
 373 Sublabel: dvips
 374 # Comment by Jürgen Spitzmüller
 375 # The document requests the dvips graphics driver,
 376 # and of course this fails with any other backend.
 377 #
 378 # The document compiles if one sets the graphics driver to "Automatic"
 379 # and remove the dvips class option. But then, the output is not correct
 380 # (rotation of foils does not work).
 381 export/examples/(|fr/)Presentations/Foils_pdf[45]_systemF
 382 export/examples/(|fr/)Presentations/Foils_pdf[25](_systemF|_texF)?
 383
 384 # ================================================
 385 Sublabel: varioref
 386 # Comment by Jürgen Spitzmüller
 387 # The problem, at least with the UserGuide, is that
 388 # varioref is not working with XeTeX/LuaTeX for Russian, as it uses some
 389 # char macros which are not defined for these engines.
 390 export/doc/ru/UserGuide_(dvi3|pdf[45])_(system|tex)F
 391 export/doc/ru/(Math|Additional)_(dvi3|pdf[45])_systemF
 392
 393
 394 # ================================================
 395 # DocBook
 396 Sublabel: docbook
 397 # Specific things that are not expected to work.
 398 # - No real content apart from metadata (forbidden in DocBook).
 399 export/export/mixing_inTitle_layouts_docbook5
 400 # - Uses a book class, but has no chapters (forbidden in DocBook).
 401 export/doc/DummyDocument.*_docbook5
 402 export/doc/de/DummyDocument.*_docbook5
 403 export/doc/es/DocumentoPostizo.*_docbook5
 404 export/doc/fr/DocumentBidon.*_docbook5
 405 export/doc/ja/DummyDocument.*_docbook5
 406 export/export/MissingEndLayoutBetweenTables_docbook5
 407 export/export/latex/languages/ja-listings-uncodable-error_docbook5
 408 export/export/latex/lyxbugs-resolved/9633-languagenesting_enumerate_and_lyxcode_docbook5
 409 export/export/latex/lyxbugs-resolved/9633-languagenesting_index_inset_docbook5
 410 export/export/latex/lyxbugs-resolved/9633-languagenesting1_docbook5
 411 export/export/latex/lyxbugs-resolved/9633-languagenesting2_docbook5
 412 export/export/xhtml/MissingEndTagDiv_docbook5
 413 export/export/xhtml/zh_CN_Tutorial_docbook5
 414 # - No proper document title (should be fixable).
 415 export/export/latex/inputenc-.*_docbook5
 416 export/export/latex/textcyr-textgreek-test_docbook5
 417 export/examples/.*/Graphics_and_Insets/XY-Figure_docbook5
 418 # - Formula in <code> tags.
 419 export/examples/.*/Graphics_and_Insets/XY-Pic_docbook5
 420 # - Math macros not implemented.
 421 export/mathmacros/testcases_speed_docbook5
 422 export/mathmacros/testcases_environments_docbook5
 423 export/mathmacros/masterOfSpace_docbook5
 424 # - Many templates are too complex for automatic conversion to work reliably.
 425 #   The resulting documents should still be easy to fully convert into DocBook.
 426 #   - AASTeX.
 427 export/export/docbook/bibliography_precooked_aastex_docbook5
 428 #   - Springer. (The svmono_light should still pass.)
 429 export/templates/Books/Springer_Monographs_%28svmono%29/.*_docbook5
 430 export/export/docbook/svmono_docbook5
 431 #   - scrbook with too many customisations.
 432 export/templates/Theses/PhD_Thesis/.*_docbook5
 433 # - Branches may cause problems (especially when mixing with parts that must go in <info>).
 434 export/export/latex/languages/supported-languages_docbook5
 435
 436 Sublabel: docbook poster
 437 # Posters cannot be properly exported, the LyX documents are too far from
 438 # DocBook expectations (but should have XML-valid output).
 439 export/examples/Posters/Beamerposter_docbook5
 440 export/export/docbook/A0_Poster_Simple_docbook5
 441 export/export/docbook/SciPoster_docbook5
 442 export/export/xhtml/A0_Poster_Simple_docbook5
 443 export/templates/Posters/.*_docbook5
 444
 445 Sublabel: docbook beamer
 446 # Beamer is not yet implemented.
 447 export/examples/Presentations/.*_docbook5
 448 export/templates/Presentations/.*_docbook5
 449 export/templates/.*/Presentations/Beamer_docbook5