development/autotests/invertedTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-property 'WILL_FAIL', i.e.
   7 # they are reported as failing if the export works without error.
   8 # https://cmake.org/cmake/help/v3.0/prop_test/WILL_FAIL.html
   9
  10 # ======================================================================
  11 Sublabel: todo
  12 # LyX bugs and problems with the sample documents that require attention
  13 # ======================================================================
  14 # * minor issues to explore and properly sort,
  15 # * easyfix issues,
  16 # * LyX bugs to report at trac (move pattern to section "lyxbugs" once done).
  17
  18 # Error in Japanese document if LyX-logo is preceded by foreign language
  19 export/export/latex/ja_wrong_auto_encoding_(dvi|pdf(|3)).*
  20
  21 # missing character: There is no ^^A in font [lmroman12-regular]
  22 # and all the line down to ^^Z and beyond...
  23 # XeTeX artifact? works with LuaTeX, explore:
  24 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
  25
  26 # iconv fails, if a nomenclature inset contains an uncodable character
  27 export/export/latex/iconv-error-nomenclature_pdf2
  28
  29 # `acmart` document class:
  30 # (see also lyxbugs below and ignoredTests)
  31 # issues with listsof, reported to the maintainer
  32 # https://www.mail-archive.com/search?l=mid&q=of84gj%24l6b%241%40blaine.gmane.org
  33 # LyX gives the following terminal message:
  34 #
  35 #    TextClass.cpp (1385): The layout does not provide a list command for
  36 #      the float `sidebar'. LyX will not be able to produce a float list.
  37 #
  38 # which makes "check_load" and "lyx2lyx" fail (lyx2lyx for < 2.3 is ignored).
  39 check_load/templates/Articles/Association_for_Computing_Machinery_.*
  40 export/templates/Articles/Association_for_Computing_Machinery_.*_lyx23
  41
  42 # Failing LyX2LyX conversions for old versions:
  43 #
  44 # "beamer" lyx2lyx fails sometimes for versions < 2.1
  45 # Back-conversion results in some layouts without name ("\begin_layout \n")
  46 # which trigger a warning message leading to test failure.
  47 export/examples/(|de/|fr/|ja/)Presentations/Beamer_lyx(16|20)
  48 export/examples/Presentations/Beamer_.Complex._lyx(16|20)
  49 export/templates/(|de/|es/|fr/|ja/)Presentations/Beamer_lyx(16|20)
  50 #
  51 # modernCV fails for versions < 2.1
  52 # * reversed order of \end_layout and \end_inset results in corrupt LyX file
  53 # * reversed order of command arguments results in incompilable LaTeX
  54 export/examples/(|es/)Curricula_Vitae/Modern_CV_(lyx(16|20)|dvi|dvi3.*F|pdf|pdf3)
  55 export/examples/(|es/)Curricula_Vitae/Europe_CV_(dvi|dvi3.*F|pdf|pdf3)
  56 #
  57 # back-conversion fails for rotated float inset in a list
  58 export/export/lyx2lyx/lyx_2_3_test_lyx(16|20|21|22)
  59
  60
  61 # CJK
  62 # Korean legacy encoding fails (missing fonts)
  63 export/export/latex/CJK/ko_default_pdf2
  64
  65 # New problem with TL18: endless loop?
  66 #    ! TeX capacity exceeded, sorry [input stack +size=5000].
  67 export/export/latex/luainputenc-utf8_pdf5_texF
  68
  69 # nonstandard tests failing for unknown reason:
  70 export/templates/Obsolete/ACM_SIGGGRAPH.*_pdf5_(texF|systemF)
  71 export/templates/Articles/International_Union_of_Crystallography.*_pdf4_systemF
  72 export/templates/Articles/R_Journal_(dvi3|pdf[45])_systemF
  73 #export/templates/Articles/Kluwer_.*_systemF
  74
  75 # Babel and fontenc not fails for some supported languages
  76 # * check BabelPremble definitions in lib/languages
  77 # * fails also due to #11522, see "lyxbugs" below.
  78 export/export/latex/supported-languages_.*_systemF
  79
  80 # dvipdfm fails (missing Hebrew font DavidCLM-Medium.pfa)
  81 # also many warnings
  82 #  xdvipdfmx:warning: Interpreting PS code failed!!! Output might be broken!!!
  83 #  xdvipdfmx:warning: Interpreting special command ps: (ps:) failed.
  84 # maybe due to the Hebrew vocalisation using Postscript 3 specials
  85 export/export/latex/supported-languages_pdf3
  86
  87 # ================================================
  88 Sublabel: lyxbugs
  89 # LyX bugs with a Trac number.
  90 # ================================================
  91
  92 #6197: „amssymb” with Polish babel name clash \lll ("<<<" vs. "ł")
  93 # Wrong output with pdflatex (-> unreliableTests),
  94 # missing character with XeTeX/LuaTeX and Babel (OK with Polyglossia)
  95 export/export/latex/6197-polish-amssymb_pdf._texF
  96
  97 #8035 work around a Polyglossia bug:
  98 # An error is reported if the document font does not announce support for a
  99 # script (Cyrillic, Greek, ...) which Polyglossia thinks is required to
 100 # typeset the document language. This is not required with LyX's check for
 101 # missing characters and results in many false positives:
 102 # a) with fonts including the required characters but
 103 #    not the tag tested by Polyglossia,
 104 # b) if the document language is "Serbian (Latin Script)",
 105 #    the Cyrillic script is not required yet Polyglossia tests for support.
 106 # The document "sr/Braille.lyx" is an example of case b).
 107 # (For some reason, the false positive error is not thrown with PDF (luatex).)
 108 export/examples/sr/Modules/Braille_(dvi3|pdf4)_systemF
 109
 110 # Missing 8-bit fonts (see unreliableTests)
 111 # After reinstalling culmus under the TL19 control, it compiles
 112 #export/export/latex/unicodesymbols/012-31-hebrew_he-.*_pdf2
 113
 114 #9871 LyX sends invalid Unicode to iconv when converting to ASCII
 115 # most probably due to BabelPreamble code (language specific headings for
 116 # theorems, problems , ... are written in the language's default encoding
 117 # if they contain non-ASCII characters)
 118 # Error 84 returned from iconv when converting from UCS-4LE to ascii:
 119 # Invalid or incomplete multibyte or wide character
 120 export/doc/(es|fr)/Additional_pdf4_texF
 121 export/doc/(de|es|fr)/EmbeddedObjects_pdf4_texF
 122 export/doc/es/Customization_pdf4_texF
 123 # see also the discussion at:
 124 # https://www.mail-archive.com/search?l=mid&q=20170228190738.cgs3tl3ny2bxiegk%40steph
 125 export/examples/es/Modules/Linguistics_pdf4_texF
 126 export/export/latex/bug9871-slovak-ascii-preambleencoding_pdf2
 127
 128 #10355 xmllint detects failures
 129 export/doc/attic/eu_UserGuide_xhtml
 130 export/doc/(es|ja)/UserGuide_xhtml
 131 export/examples/External_Material/Spreadsheet_xhtml
 132 export/export/WrongDfnTagHandling_xhtml
 133
 134 #10371 Compilation error if longest label marker in labeling style
 135 # contains underscores etc.
 136 export/export/latex/LongestLabelWithUnderscore.*
 137
 138 #11455 "Unable to process argument!" with multiple 1.6.x roundtrips
 139 export/templates/Articles/IEEE_Transactions_Journal_lyx16
 140
 141 #10600 forced use of "ascii" inputenc with XeTeX
 142 # Non-ASCII in ERT, fails with inputenc==ASCII
 143 #   Could not find LaTeX command for character 'í' (code point 0xed)
 144 export/doc/(de|es)/Additional_pdf4_texF
 145 export/export/latex/xetex-inputenc-utf8_pdf4_texF
 146 # no unicodesymbols replacements for Arab charaters
 147 export/export/latex/supported-languages_pdf4_texF
 148
 149 #11520 "listerrors" fails with pdflatex, lualatex, and xelatex
 150 # Example for lib/scripts/listerrors
 151 # Requires noweb. Seems to be restricted to plain "latex".
 152 # Find out why and whether the script could be improved.
 153 export/examples/Modules/Noweb_Listerrors_(pdf[245]).*
 154
 155 #11521 Font encoding "LAE" required with farsi.
 156 # The Farsi font encoding LAE must be added also to a custom font encoding
 157 # (similar to the Greek and Cyrillic font encodings LGR and T2A).
 158 export/export/latex/fa-OT1_pdf2
 159
 160 #11522 Support specification of complementing non-TeX fonts
 161 # More than one non-TeX font required for the character set in many documents
 162 # to prevent "missing character" errors with non-TeX fonts
 163 export/export/latex/luainputenc-utf8_pdf5_systemF
 164 export/export/latex/xetex-inputenc.*_pdf4_systemF
 165 #
 166 export/doc/(|de/|es/|fr/)Math.*systemF
 167 # minimal example for Math.lyx:
 168 export/export/latex/systemfonts-Math-missingchars.*systemF
 169 #
 170 # CJK-quotes examples (missing in most Latin-script fonts)
 171 export/doc/(|de/|es/|fr/)UserGuide_(dvi3|pdf4|pdf5)_systemF
 172 #
 173 #
 174 # Arabic (see also "texissues")
 175 # "! Extra \else" and missing glyph "no ␣ in font Scheherazade":
 176 # (the lyx2lyx test also tests compilation after round-trip)
 177 export/doc/ar/UserGuide_pdf4_systemF
 178 export/doc/ar/UserGuide_lyx(22|23)
 179 #
 180 # Juergen Spitzmueller: They do not have problems with xunicode, but without.
 181 # The reason is that the asterisk glyph is not included in the arabic font
 182 # (Scheherazade), but apparently, xunicode defines an extra asterisk
 183 # glyph (for a different purpose) that is being used here. Clearly the
 184 # problem should be fixed somewhere else.
 185 # Günter Milde: works in TeXLive17 (Debian/stretch)
 186 # export/doc/ar/Intro_pdf4_systemF
 187
 188 #11532 inputencoding desynchronisation
 189 export/export/latex/misplaced-inputenc-switch_pdf2
 190
 191
 192 # ==============================================================
 193 Sublabel: ert
 194 # Export failures due to "raw" LaTeX use in ERT or preamble code
 195 # ==============================================================
 196 #
 197 # "Wontfix" if demonstrating correct use and OK in the default output format.
 198
 199
 200 # ================================================
 201 Sublabel: texissues
 202 # Export fails due to LaTeX limitations,
 203 # ================================================
 204 #
 205 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 206 # "Wontfix" if documents demonstrate correct use in the default output format.
 207
 208 # Non-ASCII char in verbatim environment.
 209 # Fails with ASCII (and hence also with XeTeX).
 210 export/doc/(|de/|es/|fr/)UserGuide_pdf4_texF
 211
 212 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 213 # This fails unless the inputencoding is set to utf-8, too.
 214 export/doc/ru/(Intro|Tutorial)_(dvi3|pdf[45])_texF
 215 export/examples/ru/(example_lyxified|Welcome)_(dvi3|pdf[45])_texF
 216
 217 # Babel-Ukrainian uses UTF-8 if it detects Xe/LuaTeX (for "\date").
 218 # With 8-bit TeX fonts this results in:
 219 # * garbled output with PDF (LuaTeX)
 220 # * missing chars with XeTeX and DVI (LuaTeX)
 221 # New in TL18 -> cf. unreliableTests.varying_versions.
 222 # Workaround: suppressing auto-date or using date inset (new in LyX 2.4)
 223 #             in the source documents.
 224 export/export/latex/uk-babel-date-missing-chars-with-ascii_(pdf4|dvi3)_texF
 225 # the "dvi3" tests for these pass, but have wrong output.
 226 export/(doc|examples)/uk/(Intro|Welcome)_(pdf4)_texF
 227
 228 # Fails with XeTeX/LuaTeX
 229 # Reported upstream (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html)
 230 # Is there a new version fixing the problem?
 231 export/examples/Articles/Astronomy_%26_Astrophysics_(dvi3|pdf[45])_.*
 232 export/templates/Articles/Astronomy_%26_Astrophysics_(dvi3|pdf[45])_.*
 233
 234 # Gives the following error:
 235 # # ! Package hpstatement Error: H or P statement "H251"
 236 # # (hpstatement)                is not defined.
 237 # seems to be polyglossia-related (dvi3 worked with babel)
 238 export/examples/Modules/Hazard_and_Precautionary_Statements_.*_systemF
 239
 240 # These files use packages that are not compatible with the newest LuaTeX. We
 241 # could potentially fix these by loading the luatex85 package early in the
 242 # LyX-generated preamble, but it seems it's better to wait until the packages
 243 # fix the root issue themselves.
 244 # xy package:
 245 export/examples/(|fr/)Graphics_and_Insets/XY-(Pic|Figure)_pdf5.*
 246
 247 # Problem with Check and Slovak Babel support.
 248 # (reported per mail to Petr Tesa\v{r}\'ik, 2016-09-06)
 249 # All exports using babel fail.
 250 # Without the Czech or Slovak text it compiles
 251 # No problem with inserted German (or other foreign language) text
 252 # No problem if the table is Slovak, too
 253 export/export/latex/TableErrorIfSlovakTextInserted_(dvi|pdf[23]?|.*_texF)
 254
 255 # Polyglossia + LuaTeX issue
 256 # Reported upstream here:
 257 # https://github.com/reutenauer/polyglossia/issues/163
 258 # These tests were broken at 3374b854
 259 # See discussion here:
 260 # https://www.mail-archive.com/search?l=mid&q=1478004223.2367.5.camel%40lyx.org
 261 export/doc/(sk|nb)/Intro_(dvi3|pdf5)_systemF
 262
 263 # fontspec errors with `slides` class:
 264 # LaTeX error: "kernel/command-already-defined"
 265 # Lines 2684 ... 2690 in fontspec-xetex.sty
 266 # Lines 2608 ... 2614 in fontspec-luatex.sty
 267 export/templates/Presentations/Slides_.*_systemF
 268
 269 # Beamer: conflicts with some combinations of packages/settings/languages
 270 export/templates/ja/Presentations/Beamer_(pdf2|pdf[45]).*
 271 export/templates/es/Presentations/Beamer_pdf4_texF
 272
 273 # Arabic
 274 #
 275 # Larger Arabic documents currently have non-TeX fonts and XeTeX
 276 # as default output. To fix pdfTeX export:
 277 # - set all non-Arab text parts to a different language (e.g. English)
 278 # - define alternatives for hyperref (e.g. with textorpdfstring)
 279 #   for correct handling of hyperref.
 280 # - solve problem with ToC:
 281 #      ! This can't happen (copying).
 282 #      \AtBegShi@Output ...ipout \box \AtBeginShipoutBox
 283 #                                                        \fi \fi
 284 #      l.62 \tableofcontents
 285 #                           {}
 286 #      I'm broken. Please show this to someone who can fix can fix
 287 #
 288 # see discussion at https://www.mail-archive.com/search?l=mid&q=20161114035123.s5lt4ib4x4obtptp%40steph
 289 #
 290 # Babel-Arabic loads "inputenc" which fails with Xe/LuaTeX:
 291 export/.*/ar/.*_texF
 292 # Polyglossia bug with LuaTeX and LTR languages (also Hebrew and Farsi):
 293 # Undefined control sequences "\luatexpardir" and "\luatextextdir".
 294 export/.*/ar/.*(dvi3|pdf5)_systemF
 295 # no Arab charaters with luainputenc
 296 export/export/latex/supported-languages_(dvi3|pdf5)_texF
 297
 298 # Farsi
 299 # Polyglossia problem with LuaTeX (undefined command) (cf. Arabic)
 300 # https://github.com/reutenauer/polyglossia/commit/ccb0e9e2c6411170ad779b05ff5076f1193cc323
 301 export/examples/fa/Welcome_(dvi3|pdf5)_systemF
 302 # Missing characters (em space and "English" quotes) with XeTeX + system fonts.
 303 export/examples/fa/Welcome_pdf4_systemF
 304 # missing ASCII replacements (required by XeTeX + TeX fonts)
 305 export/examples/fa/Welcome_pdf4_texF
 306 # "invalid utf-8 sequence" with Babel-Farsi, LuaTeX, and TeX fonts.
 307 export/examples/fa/Welcome_(dvi3|pdf5)_texF
 308
 309 # Hebrew
 310 # does not currently work with LuaTeX (undefined command) (cf. Arabic)
 311 # terminal message: "Language hebrew not found in language.dat.lua"
 312 export/.*/he/.*(dvi3|pdf5)_systemF
 313 # Babel-Arabic loads "inputenc" which fails with Xe/LuaTeX
 314 # additionally: "! Right-to-Left Support Error: use TeX--XeT or e-TeX engine."
 315 # and (with XeTeX) missing ASCII replacements.
 316 export/.*/he/.*_texF
 317
 318 # CJKutf8 does not work with XeTeX and LuaTeX (and 8-bit fonts)
 319 export/examples/ja/Multilingual_Typesetting_.*_texF
 320 export/export/latex/CJK/zh_CN-toc_.*_texF
 321
 322 # See comment in unreliableTests
 323 export/export/latex/uk-babel-date-missing-chars-with-ascii_pdf5_texF
 324
 325
 326 # ================================================
 327 Sublabel: externalissues
 328 # Export fails due to non-LaTeX external tool,
 329 # ================================================
 330 #
 331 # e.g. a bug or missing feature in ps2pdf
 332
 333 # ps2pdf gives the following and exits with error:
 334 # Error: /invalidfileaccess in --file--
 335 # ps2pdf succeeds if the -dNOSAFER flag is used. For discussion, see:
 336 # https://www.mail-archive.com/search?l=mid&q=1506851183.3130.15.camel%40lyx.org
 337 export/examples/ja/Modules/LilyPond_Book_pdf
 338
 339 # ps2pdf gives the following error on updated TL18:
 340 #   Error: /undefined in d7Z
 341 # For previous TL versions, there is no error but the output is incorrect
 342 # (jibberish instead of Japanese characters).
 343 export/doc/ja/UserGuide_pdf
 344 # Simliar situation for this document, with the following error:
 345 #   Error: /undefined in =52+WsoG&
 346 export/doc/ja/Additional_pdf
 347
 348
 349
 350 # ======================================================================
 351 Sublabel: attic
 352 # Documents in the attic, kept for reference and format conversion test.
 353 # However, many problems here are "wontfix".
 354 # ======================================================================
 355
 356 # Fails because of missing .png graphic files.
 357 # They were replaced by .svgz, but, as this file is in the attic, we do not
 358 # convert to new lyx format. Plain latex and xetex create output (ignoring
 359 # missing files) while (pdf|lua)latex exits with != 0
 360 #export/doc/attic/eu_UserGuide_pdf[25].*
 361
 362 # Files in the attic with non-default output
 363 # (i.e. could be ERT, package incompatiblity, ...)
 364 export/doc/attic/it_(UserGuide_dvi3|UserGuide_pdf4)_systemF
 365 export/doc/attic/sk_UserGuide_pdf4_texF
 366 export/doc/attic/id_UserGuide_.*systemF