development/autotests/invertedTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-property 'WILL_FAIL', i.e.
   7 # they are reported as failing if the export works without error.
   8 # https://cmake.org/cmake/help/v3.0/prop_test/WILL_FAIL.html
   9
  10 # ======================================================================
  11 Sublabel: todo
  12 # LyX bugs and problems with the sample documents that require attention
  13 # ======================================================================
  14 # * minor issues to explore and properly sort,
  15 # * easyfix issues,
  16 # * LyX bugs to report at trac (move pattern to section "lyxbugs" once done).
  17
  18 # Error in Japanese document if LyX-logo is preceded by foreign language
  19 export/export/latex/ja_wrong_auto_encoding_(dvi|pdf(|3)).*
  20
  21 # Missing characters with Unicode fonts
  22 # For details see the file "systemfonts-Math-missingchars.lyx"
  23 export/doc/(|de/|es/|fr/)Math.*systemF
  24 export/export/latex/systemfonts-Math-missingchars.*systemF
  25
  26 # missing character: There is no ^^A in font [lmroman12-regular]
  27 # and all the line down to ^^Z and beyond...
  28 # XeTeX artifact? works with LuaTeX, explore:
  29 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
  30
  31
  32 # Example for lib/scripts/listerrors
  33 # Requires noweb. Seems to be restricted to plain "latex".
  34 # Find out why and whether the script could be improved.
  35 export/examples/listerrors_(pdf[245]).*
  36
  37 # iconv fails, if a nomenclature inset contains an uncodable character
  38 export/export/latex/iconv-error-nomenclature_pdf2
  39
  40 # `acmart` document class:
  41 # (see also lyxbugs below and ignoredTests)
  42 # issues with listsof, reported to the maintainer
  43 # https://www.mail-archive.com/search?l=mid&q=of84gj%24l6b%241%40blaine.gmane.org
  44 # LyX gives the following terminal message:
  45 #
  46 #    TextClass.cpp (1385): The layout does not provide a list command for
  47 #      the float `sidebar'. LyX will not be able to produce a float list.
  48 #
  49 # which makes "check_load" and "lyx2lyx" fail (lyx2lyx for < 2.3 is ignored).
  50 check_load/templates/acmart
  51 export/templates/acmart_lyx23
  52
  53 # Failing LyX2LyX conversions for old versions:
  54 #
  55 # "beamer" lyx2lyx fails sometimes for versions < 2.1
  56 # Back-conversion results in some layouts without name ("\begin_layout \n")
  57 # which trigger a warning message leading to test failure.
  58 export/examples/(|de/|fr/|ja/)beamer_lyx(16|20)
  59 export/templates/.*beamer-conference-ornate-20min_lyx(16|20)
  60 export/examples/beamerlyxexample1_lyx(16|20)
  61 #
  62 # modernCV fails for versions < 2.1
  63 # * reversed order of \end_layout and \end_inset results in corrupt LyX file
  64 # * reversed order of command arguments results in incompilable LaTeX
  65 export/examples/(|es/)modernCV_lyx(16|20)
  66
  67 # Farsi font encoding LAE should be added also to custom font encoding
  68 # (similar to the Greek font encoding LGR).
  69 export/export/latex/fa-OT1_pdf2
  70
  71 # CJK for multilingual documents:
  72 #
  73 # input-encoding "utf8" should work for documents using a CJK language
  74 # also if the main language does not require CJK:
  75 export/export/latex/CJK/en-de-el-ru-.*_utf8_pdf2
  76 #
  77 # some "language default" legacy encodings fail (missing fonts)
  78 export/export/latex/CJK/ko_default_pdf2
  79
  80 # Arabic (see also "texissues")
  81 # "! Extra \else" and missing glyph "no ␣ in font Scheherazade":
  82 export/doc/ar/UserGuide_pdf4_systemF
  83 # the lyx2lyx test also tests compilation after round-trip:
  84 export/doc/ar/UserGuide_lyx(22|23)
  85
  86
  87 # Common Unicode fonts don't support all characters supported by
  88 # lib/unicodesymbols in one font. (This shows that there are use cases for
  89 # 8-bit fonts or GUI support for selecting more than one system font.)
  90 # Write an enhancement ticket and move to lyxissues (together with other
  91 # "missing symbols" tests in the LyX documentation).
  92 export/export/latex/luainputenc-utf8_pdf5_systemF
  93
  94 # New problem with TL18: endless loop?
  95 #    ! TeX capacity exceeded, sorry [input stack +size=5000].
  96 export/export/latex/luainputenc-utf8_pdf5_texF
  97
  98
  99 # input encoding tests
 100 # --------------------
 101 # Please test and correct!
 102
 103 # Failing for unknown reason
 104 # Hebrew
 105 export/export/latex/unicodesymbols/008-greek-and-coptic-with-textalpha_cp862_pdf2
 106 export/export/latex/unicodesymbols/008-greek-and-coptic_cp862_pdf2
 107 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp1255_pdf2
 108 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp862_pdf2
 109 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_iso8859-8_pdf2
 110 export/export/latex/unicodesymbols/074-76-letterlike-numberforms-arrows_cp862_pdf2
 111 # Arabic:
 112 export/export/latex/unicodesymbols/005-7-ipa-modifiers-combining_cp1256_pdf2
 113 export/export/latex/unicodesymbols/008-greek-and-coptic-with-textalpha_cp1256_pdf2
 114 export/export/latex/unicodesymbols/069-greek-extended-textalpha_cp1256_pdf2
 115 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp1256_pdf2
 116 export/export/latex/unicodesymbols/074-76-letterlike-numberforms-arrows_cp1256_pdf2
 117
 118 # pLaTeX
 119 export/export/latex/unicodesymbols/.*_euc-jp-platex_pdf2
 120 export/export/latex/unicodesymbols/.*_jis-platex_pdf2
 121 export/export/latex/unicodesymbols/.*_shift-jis-platex_pdf2
 122 export/export/latex/unicodesymbols/.*_utf8-platex_pdf2
 123
 124
 125 # nonstandard tests failing for unknown reason:
 126 export/examples/aa_sample_(dvi3|pdf[45])_.*
 127 export/templates/obsolete/ACM-siggraph_pdf5_(texF|systemF)
 128 export/templates/IUCr-article_pdf4_systemF
 129 export/templates/RJournal_(dvi3|pdf[45])_systemF
 130 export/templates/aa_(dvi3|pdf[45])_.*
 131 export/templates/kluwer_.*_systemF
 132
 133 # lyx2lyx tests:
 134 # back-conversion fails for rotated float inset in a list
 135 export/export/lyx2lyx/lyx_2_3_test_lyx(16|20|21|22)
 136
 137
 138 # ================================================
 139 Sublabel: lyxbugs
 140 # LyX bugs with a Trac number.
 141 # ================================================
 142
 143 #6197: „amssymb” with Polish babel name clash \lll ("<<<" vs. "ł")
 144 # Wrong output with pdflatex (-> unreliableTests),
 145 # missing character with XeTeX/LuaTeX and Babel (OK with Polyglossia)
 146 export/export/latex/6197-polish-amssymb_pdf._texF
 147
 148 #8035 work around a Polyglossia bug:
 149 # An error is reported if the document font does not announce support for a
 150 # script (Cyrillic, Greek, ...) which Polyglossia thinks is required to
 151 # typeset the document language. This is not required with LyX's check for
 152 # missing characters and results in many false positives:
 153 # a) with fonts including the required characters but
 154 #    not the tag tested by Polyglossia,
 155 # b) if the document language is "Serbian (Latin Script)",
 156 #    the Cyrillic script is not required yet Polyglossia tests for support.
 157 # The document "sr/Braille.lyx" is an example of case b).
 158 # (For some reason, the false positive error is not thrown with PDF (luatex).)
 159 export/examples/sr/Braille_(dvi3|pdf4)_systemF
 160
 161 #9681 Run-together words in Greek and Cyrillic documents
 162 # no-termination of replacement macros can lead to non-existing macros if
 163 # unencodable or force-converted Greek or Cyrillic letters are immediately
 164 # followed by Latin letters. See also unreliableTests.
 165 export/export/latex/textcyr-textgreek-test_pdf2
 166
 167 #9871 LyX sends invalid Unicode to iconv when converting to ASCII
 168 # most probably due to BabelPreamble code (language specific headings for
 169 # theorems, problems , ... are written in the language's default encoding
 170 # if they contain non-ASCII characters)
 171 # Error 84 returned from iconv when converting from UCS-4LE to ascii:
 172 # Invalid or incomplete multibyte or wide character
 173 export/doc/(es|fr)/Additional_pdf4_texF
 174 export/doc/(de|es|fr)/EmbeddedObjects_pdf4_texF
 175 export/doc/es/Customization_pdf4_texF
 176 # see also the discussion at:
 177 # https://www.mail-archive.com/search?l=mid&q=20170228190738.cgs3tl3ny2bxiegk%40steph
 178 export/examples/es/linguistics_pdf4_texF
 179 export/export/latex/bug9871-slovak-ascii-preambleencoding_pdf2
 180
 181 #10355 xmllint detects failures
 182 export/doc/attic/eu_UserGuide_xhtml
 183 export/doc/(es|ja)/UserGuide_xhtml
 184 export/examples/spreadsheet_xhtml
 185 export/export/WrongDfnTagHandling_xhtml
 186
 187 #10371 Compilation error if longest label marker in labeling style
 188 # contains underscores etc.
 189 export/export/latex/LongestLabelWithUnderscore.*
 190
 191 #11455 "Unable to process argument!" with multiple 1.6.x roundtrips
 192 export/templates/IEEEtran-Journal_lyx16
 193
 194
 195 # ==============================================================
 196 Sublabel: ert
 197 # Export failures due to "raw" LaTeX use in ERT or preamble code
 198 # ==============================================================
 199 #
 200 # "Wontfix" if demonstrating correct use and OK in the default output format.
 201
 202 # Non-ASCII in ERT, fails with inputenc==ASCII (e.g. XeTeX with tex-fonts)
 203 #   Could not find LaTeX command for character 'í' (code point 0xed)
 204 export/doc/(de|es)/Additional_pdf4_texF
 205
 206
 207 # ================================================
 208 Sublabel: texissues
 209 # Export fails due to LaTeX limitations,
 210 # ================================================
 211 #
 212 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 213 # "Wontfix" if documents demonstrate correct use in the default output format.
 214
 215 # Non-ASCII char in verbatim environment.
 216 # Fails with ASCII (and hence also with XeTeX).
 217 export/doc/(|de/|es/|fr/)UserGuide_pdf4_texF
 218
 219 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 220 # This fails unless the inputencoding is set to utf-8, too.
 221 export/doc/ru/(Intro|Tutorial)_(dvi3|pdf[45])_texF
 222 export/examples/ru/(example_lyxified|splash)_(dvi3|pdf[45])_texF
 223
 224 # Babel-Ukrainian uses UTF-8 if it detects Xe/LuaTeX (for "\date").
 225 # With 8-bit TeX fonts this results in:
 226 # * garbled output with PDF (LuaTeX)
 227 # * missing chars with XeTeX and DVI (LuaTeX)
 228 # New in TL18 -> cf. unreliableTests.varying_versions.
 229 # Workaround: suppressing auto-date or using date inset (new in LyX 2.4)
 230 #             in the source documents.
 231 export/export/latex/uk-babel-date-missing-chars-with-ascii_(pdf4|dvi3)_texF
 232 export/(doc|examples)/uk/(Intro|splash)_(pdf4|dvi3)_texF
 233
 234
 235 # Gives the following error:
 236 # # ! Package hpstatement Error: H or P statement "H251"
 237 # # (hpstatement)                is not defined.
 238 # seems to be polyglossia-related (dvi3 worked with babel)
 239 export/examples/H-P-statements_.*_systemF
 240
 241 # These files use packages that are not compatible with the newest LuaTeX. We
 242 # could potentially fix these by loading the luatex85 package early in the
 243 # LyX-generated preamble, but it seems it's better to wait until the packages
 244 # fix the root issue themselves.
 245 # xy package:
 246 .*(|fr/)xy(pic|figure).*pdf5.*
 247
 248 # Problem with Check and Slovak Babel support.
 249 # (reported per mail to Petr Tesa\v{r}\'ik, 2016-09-06)
 250 # All exports using babel fail.
 251 # Without the Czech or Slovak text it compiles
 252 # No problem with inserted German (or other foreign language) text
 253 # No problem if the table is Slovak, too
 254 export/export/latex/TableErrorIfSlovakTextInserted_(dvi|pdf[23]?|.*_texF)
 255
 256 # Polyglossia + LuaTeX issue
 257 # Reported upstream here:
 258 # https://github.com/reutenauer/polyglossia/issues/163
 259 # These tests were broken at 3374b854
 260 # See discussion here:
 261 # https://www.mail-archive.com/search?l=mid&q=1478004223.2367.5.camel%40lyx.org
 262 export/doc/(sk|nb)/Intro_(dvi3|pdf5)_systemF
 263
 264 # fontspec errors with `slides` class:
 265 # LaTeX error: "kernel/command-already-defined"
 266 # Lines 2684 ... 2690 in fontspec-xetex.sty
 267 # Lines 2608 ... 2614 in fontspec-luatex.sty
 268 export/templates/slides_.*_systemF
 269
 270 # Beamer: conflicts with some combinations of packages/settings/languages
 271 export/templates/ja_beamer-conference-ornate-20min_(pdf2|pdf[45]).*
 272 export/templates/es_beamer-conference-ornate-20min_pdf4_texF
 273
 274 # Arabic
 275 #
 276 # Larger Arabic documents currently have non-tex-fonts and XeTeX as default
 277 # output. To fix pdfTeX export:
 278 # - set all non-Arab text parts to a different language (e.g. English)
 279 # - define alternatives for hyperref (e.g. with textorpdfstring)
 280 #   for correct handling of hyperref.
 281 # - solve problem with ToC:
 282 #      ! This can't happen (copying).
 283 #      \AtBegShi@Output ...ipout \box \AtBeginShipoutBox
 284 #                                                        \fi \fi
 285 #      l.62 \tableofcontents
 286 #                           {}
 287 #      I'm broken. Please show this to someone who can fix can fix
 288 #
 289 # see discussion at https://www.mail-archive.com/search?l=mid&q=20161114035123.s5lt4ib4x4obtptp%40steph
 290 #
 291 # Babel-Arabic loads "inputenc" which fails with Xe/LuaTeX:
 292 export/.*/ar/.*_texF
 293 # Polyglossia bug with LuaTeX and LTR languages (also Hebrew and Farsi):
 294 # Undefined control sequences "\luatexpardir" and "\luatextextdir".
 295 export/.*/ar/.*(dvi3|pdf5)_systemF
 296
 297 # Farsi
 298 # Polyglossia problem with LuaTeX (undefined command) (cf. Arabic)
 299 # https://github.com/reutenauer/polyglossia/commit/ccb0e9e2c6411170ad779b05ff5076f1193cc323
 300 export/examples/fa/splash_(dvi3|pdf5)_systemF
 301 # Missing characters (em space and "English" quotes) with XeTeX + system fonts.
 302 export/examples/fa/splash_pdf4_systemF
 303 # missing ASCII replacements (required by XeTeX + TeX fonts)
 304 export/examples/fa/splash_pdf4_texF
 305 # "invalid utf-8 sequence" with Babel-Farsi, LuaTeX, and TeX fonts.
 306 export/examples/fa/splash_(dvi3|pdf5)_texF
 307
 308 # Hebrew
 309 # does not currently work with LuaTeX (undefined command) (cf. Arabic)
 310 # terminal message: "Language hebrew not found in language.dat.lua"
 311 export/.*/he/.*(dvi3|pdf5)_systemF
 312 # Babel-Arabic loads "inputenc" which fails with Xe/LuaTeX
 313 # additionally: "! Right-to-Left Support Error: use TeX--XeT or e-TeX engine."
 314 # and (with XeTeX) missing ASCII replacements.
 315 export/.*/he/.*_texF
 316
 317 # CJKutf8 does not work with XeTeX and LuaTeX (and 8-bit fonts)
 318 export/examples/ja/multilingual_.*_texF
 319 export/export/latex/CJK/zh_CN-toc_.*_texF
 320
 321 # See comment in unreliableTests
 322 export/export/latex/uk-babel-date-missing-chars-with-ascii_pdf5_texF
 323
 324
 325 # ================================================
 326 Sublabel: externalissues
 327 # Export fails due to non-LaTeX external tool,
 328 # ================================================
 329 #
 330 # e.g. a bug or missing feature in ps2pdf
 331
 332 # ps2pdf gives the following and exits with error:
 333 # Error: /invalidfileaccess in --file--
 334 # ps2pdf succeeds if the -dNOSAFER flag is used. For discussion, see:
 335 # https://www.mail-archive.com/search?l=mid&q=1506851183.3130.15.camel%40lyx.org
 336 export/examples/ja/lilypond_pdf
 337
 338 # ps2pdf gives the following error on updated TL18:
 339 #   Error: /undefined in d7Z
 340 # For previous TL versions, there is no error but the output is incorrect
 341 # (jibberish instead of Japanese characters).
 342 export/doc/ja/UserGuide_pdf
 343 # Simliar situation for this document, with the following error:
 344 #   Error: /undefined in =52+WsoG&
 345 export/doc/ja/Additional_pdf
 346
 347
 348
 349 # ======================================================================
 350 Sublabel: attic
 351 # Documents in the attic, kept for reference and format conversion test.
 352 # However, many problems here are "wontfix".
 353 # ======================================================================
 354
 355 # Fails because of missing .png graphic files.
 356 # They were replaced by .svgz, but, as this file is in the attic, we do not
 357 # convert to new lyx format. Plain latex and xetex create output (ignoring
 358 # missing files) while (pdf|lua)latex exits with != 0
 359 #export/doc/attic/eu_UserGuide_pdf[25].*
 360
 361 # Files in the attic with non-default output
 362 # (i.e. could be ERT, package incompatiblity, ...)
 363 export/doc/attic/it_(UserGuide_dvi3|UserGuide_pdf4)_systemF
 364 export/doc/attic/sk_UserGuide_pdf4_texF
 365 export/doc/attic/id_UserGuide_.*systemF