development/autotests/invertedTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-property 'WILL_FAIL', i.e.
   7 # they are reported as failing if the export works without error.
   8 # https://cmake.org/cmake/help/v3.0/prop_test/WILL_FAIL.html
   9
  10 # ======================================================================
  11 Sublabel: todo
  12 # LyX bugs and problems with the sample documents that require attention
  13 # ======================================================================
  14 # * minor issues to explore and properly sort,
  15 # * easyfix issues,
  16 # * LyX bugs to report at trac (move pattern to section "lyxbugs" once done).
  17
  18 # Error in Japanese document if LyX-logo is preceded by foreign language
  19 export/export/latex/ja_wrong_auto_encoding_(dvi|pdf(|3)).*
  20
  21 # Missing characters with Unicode fonts
  22 # (the "hidden" replacement with FreeSerif does not help and results in bad
  23 # typography for mathematical content):
  24 # For details see the file "systemfonts-Math-missingchars.lyx"
  25 export/doc/(|de/|es/|fr/)Math.*systemF
  26 export/export/latex/systemfonts-Math-missingchars.*systemF
  27
  28 # missing character: There is no ^^A in font [lmroman12-regular]
  29 # and all the line down to ^^Z and beyond...
  30 # XeTeX artifact? works with LuaTeX, explore:
  31 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
  32
  33 # Changes in TeX Live 2014 (see git blame for info) fixed
  34 # IEEEtran-CompSoc_pdf4_systemF but not others.
  35 # TODO Investigate if others can be fixed?
  36 # * IEEEtran-Journal_pdf4_systemF compiles here (GM)
  37 # * All IEEEtran-TransMag.* exports fail here:
  38 #   missing commands \IEEEtitleabstractindextext, \IEEEdisplaynontitleabstractindextext
  39 #   -> adapt template and style (GM)
  40 export/templates/IEEEtran-(Journal|TransMag)_pdf4_systemF
  41
  42 # Example for lib/scripts/listerrors
  43 # Requires noweb. Seems to be restricted to plain "latex".
  44 # Find out why and whether the script could be improved.
  45 export/examples/listerrors_(pdf[245]).*
  46
  47 # iconv fails, if a nomenclature inset contains an uncodable character
  48 export/export/latex/iconv-error-nomenclature_pdf2
  49
  50 # `acmart` document class:
  51 # (see also lyxbugs below and ignoredTests)
  52 # issues with listsof, reported to the maintainer
  53 # https://www.mail-archive.com/search?l=mid&q=of84gj%24l6b%241%40blaine.gmane.org
  54 # LyX gives the following terminal message:
  55 #
  56 #    TextClass.cpp (1385): The layout does not provide a list command for
  57 #      the float `sidebar'. LyX will not be able to produce a float list.
  58 #
  59 check_load/templates/acmart
  60
  61
  62 # input encoding tests
  63 # --------------------
  64 # Please test and correct!
  65
  66 # Failing for unknown reason
  67 # Hebrew
  68 export/export/latex/unicodesymbols/001-4-latin_cp1255_pdf2
  69 export/export/latex/unicodesymbols/001-4-latin_cp862_pdf2
  70 export/export/latex/unicodesymbols/008-greek-and-coptic-with-textalpha_cp862_pdf2
  71 export/export/latex/unicodesymbols/008-greek-and-coptic_cp862_pdf2
  72 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp1255_pdf2
  73 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp862_pdf2
  74 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_iso8859-8_pdf2
  75 export/export/latex/unicodesymbols/074-76-letterlike-numberforms-arrows_cp862_pdf2
  76 # Arabic:
  77 export/export/latex/unicodesymbols/001-4-latin_cp1256_pdf2
  78 export/export/latex/unicodesymbols/001-4-latin_iso8859-6_pdf2
  79 export/export/latex/unicodesymbols/005-7-ipa-modifiers-combining_cp1256_pdf2
  80 export/export/latex/unicodesymbols/008-greek-and-coptic-with-textalpha_cp1256_pdf2
  81 export/export/latex/unicodesymbols/008-greek-and-coptic_cp1256_pdf2
  82 export/export/latex/unicodesymbols/069-greek-extended-textalpha_cp1256_pdf2
  83 export/export/latex/unicodesymbols/069-greek-extended_cp1256_pdf2
  84 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp1256_pdf2
  85 export/export/latex/unicodesymbols/074-76-letterlike-numberforms-arrows_cp1256_pdf2
  86
  87 # CJK
  88 # with 8-bit encodings: missing "\usepackage[<encoding(s)>]{inputenc}"
  89 # leads to #   ! Undefined control sequence.
  90 #                   \inputencoding
  91 #                         {latin9}
  92 # if there is a non-CJK language in the document.
  93 export/export/latex/unicodesymbols/.*_euc-cn_pdf2
  94 export/export/latex/unicodesymbols/.*_gbk_pdf2
  95 export/export/latex/unicodesymbols/.*_jis_pdf2
  96 export/export/latex/unicodesymbols/.*_euc-kr_pdf2
  97 export/export/latex/unicodesymbols/.*_euc-tw_pdf2
  98 export/export/latex/unicodesymbols/.*_euc-jp_pdf2
  99
 100 # pLaTeX
 101 export/export/latex/unicodesymbols/.*_euc-jp-platex_pdf2
 102 export/export/latex/unicodesymbols/.*_jis-platex_pdf2
 103 export/export/latex/unicodesymbols/.*_shift-jis-platex_pdf2
 104 export/export/latex/unicodesymbols/.*_utf8-platex_pdf2
 105
 106 # Arabic
 107 # If we want to try to get it to work with pdfTeX:
 108 # - set all non-Arab text parts to a different language (e.g. English)
 109 # - define alternatives for hyperref (e.g. with textorpdfstring)
 110 #     for correct handling of hyperref.
 111 # see discussion here:
 112 # https://www.mail-archive.com/search?l=mid&q=20161114035123.s5lt4ib4x4obtptp%40steph
 113 export/doc/ar/(Intro|Shortcuts|Tutorial|UserGuide)_pdf4_texF
 114 # This simple example doc is meant to test Arabic export of pdf2
 115 export/export/latex/arabic_simple_(dvi3|pdf5)_(texF|systemF)
 116 export/export/latex/arabic_simple_pdf4_texF
 117 # See note about "Missing ␣" in file "ignoreLatexErrorsTests".
 118 export/doc/ar/UserGuide_lyx(22|23)
 119
 120 # Polyglossia + LuaTeX does not support Farsi yet. See:
 121 #     https://github.com/reutenauer/polyglossia/commit/ccb0e9e2c6411170ad779b05ff5076f1193cc323
 122 # Why does farsi fail with Babel?
 123 export/examples/fa/splash_(dvi|pdf).*
 124
 125 # nonstandard tests failing for unknown reason:
 126 export/examples/aa_sample_(dvi3|pdf[45])_.*
 127 export/templates/obsolete/ACM-siggraph_pdf5_(texF|systemF)
 128 export/templates/IUCr-article_pdf4_systemF
 129 export/templates/RJournal_(dvi3|pdf[45])_systemF
 130 export/templates/aa_(dvi3|pdf[45])_.*
 131 export/templates/kluwer_.*_systemF
 132
 133 # lyx2lyx tests:
 134 # back-conversion fails for rotated float inset in a list
 135 export/export/lyx2lyx/lyx_2_3_test_lyx(16|20|21|22)
 136
 137
 138 # ================================================
 139 Sublabel: lyxbugs
 140 # LyX bugs with a Trac number.
 141 # ================================================
 142
 143 #6463 font encoding changes and combining accents
 144 # problem remains for Cyrillic in a non-Cyrillic-using language
 145 export/export/latex/cyrillic-accent-ascii_pdf2
 146
 147 #9871 LyX sends invalid Unicode to iconv when converting to ASCII
 148 # most probably due to BabelPreamble code (language specific headings for
 149 # theorems, problems , ... are written in the language's default encoding
 150 # if they contain non-ASCII characters)
 151 # Error 84 returned from iconv when converting from UCS-4LE to ascii:
 152 # Invalid or incomplete multibyte or wide character
 153 export/doc/(es|fr)/Additional_pdf4_texF
 154 export/doc/(de|es|fr)/EmbeddedObjects_pdf4_texF
 155 export/doc/es/Customization_pdf4_texF
 156 # see also the discussion at:
 157 # https://www.mail-archive.com/search?l=mid&q=20170228190738.cgs3tl3ny2bxiegk%40steph
 158 export/examples/es/linguistics_pdf4_texF
 159 export/latex/bug9871-slovak-ascii-preambleencoding
 160
 161 #10355 xmllint detects failures
 162 export/doc/attic/eu_UserGuide_xhtml
 163 export/doc/(es|ja)/UserGuide_xhtml
 164 export/examples/spreadsheet_xhtml
 165 export/export/WrongDfnTagHandling_xhtml
 166
 167 #10371 Compilation error if longest label marker in labeling style
 168 # contains underscores etc.
 169 export/export/latex/LongestLabelWithUnderscore.*
 170
 171 #11454 luainputenc must be loaded after textcomp
 172 export/export/latex/luainputenc-utf8_pdf5_texF
 173 # (The version with Unicode fonts fails because some symbols are missing
 174 # in LatinModern as well as DejaVu. This shows that there are use cases
 175 # for traditional 8-bit fonts.)
 176 export/export/latex/luainputenc-utf8_pdf5_systemF
 177
 178 #11455 "Unable to process argument!" with multiple 1.6.x roundtrips
 179 export/templates/IEEEtran-Journal_lyx16
 180
 181
 182 # ==============================================================
 183 Sublabel: ert
 184 # Export failures due to "raw" LaTeX use in ERT or preamble code
 185 # ==============================================================
 186 #
 187 # "Wontfix" if demonstrating correct use and OK in the default output format.
 188
 189 # Non-ASCII in ERT, fails with inputenc==ASCII (e.g. XeTeX with tex-fonts)
 190 #   Could not find LaTeX command for character 'í' (code point 0xed)
 191 export/doc/(de|es)/Additional_pdf4_texF
 192
 193
 194 # ================================================
 195 Sublabel: texissues
 196 # Export fails due to LaTeX limitations,
 197 # ================================================
 198 #
 199 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 200 # "Wontfix" if documents demonstrate correct use in the default output format.
 201
 202 # Non-ASCII char in verbatim environment.
 203 # Fails with ASCII (and hence also with XeTeX).
 204 export/doc/(|de/|es/|fr/)UserGuide_pdf4_texF
 205
 206 # Hebrew docs do not currently work with LuaTeX (will be fixed in TeXLive-16)
 207 # TODO: set working system fonts in the lyx sources
 208 export/.*/he/.*(dvi3|pdf5).*
 209
 210 # ... nor with XeTeX and 8-bit TeX fonts (due to missing ASCII replacements)
 211 export/.*/he/.*pdf4_texF
 212
 213 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 214 # This fails unless the inputencoding is set to utf-8, too.
 215 export/doc/ru/(Intro|Tutorial)_(dvi3|pdf[45])_texF
 216 export/examples/ru/(example_lyxified|splash)_(dvi3|pdf[45])_texF
 217
 218 # Babel-Spanish uses  UTF-8 for auto-strings if it detects Xe/LuaTeX.
 219 # This leads to wrong output (see unreliableTests) and fails in some cases
 220 # unless the inputencoding is set to utf-8, too.
 221 # ! Undefined control sequence.
 222 # <argument> ...art {link}{\Hy@tocdestname }{\nonumberline Ã\8d
 223 #                                                   ndice alfabÃ©tico}\hyper...
 224 export/doc/es/(UserGuide|Math|EmbeddedObjects)_(dvi3|pdf5)_texF
 225
 226 # Gives the following error:
 227 # # ! Package hpstatement Error: H or P statement "H251"
 228 # # (hpstatement)                is not defined.
 229 # seems to be polyglossia-related (dvi3 worked with babel)
 230 export/examples/H-P-statements_.*_systemF
 231
 232 # These files use packages that are not compatible with the newest LuaTeX. We
 233 # could potentially fix these by loading the luatex85 package early in the
 234 # LyX-generated preamble, but it seems it's better to wait until the packages
 235 # fix the root issue themselves.
 236 # xy package:
 237 .*(|fr/)xy(pic|figure).*pdf5.*
 238
 239 # Problem with Check and Slovak Babel support.
 240 # (reported per mail to Petr Tesa\v{r}\'ik, 2016-09-06)
 241 # All exports using babel fail.
 242 # Without the Czech or Slovak text it compiles
 243 # No problem with inserted German (or other foreign language) text
 244 # No problem if the table is Slovak, too
 245 export/export/latex/TableErrorIfSlovakTextInserted_(dvi|pdf[23]?|.*_texF)
 246
 247 # Polyglossia + LuaTeX issue
 248 # Reported upstream here:
 249 # https://github.com/reutenauer/polyglossia/issues/163
 250 # These tests were broken at 3374b854
 251 # See discussion here:
 252 # https://www.mail-archive.com/search?l=mid&q=1478004223.2367.5.camel%40lyx.org
 253 export/doc/(sk|nb)/Intro_(dvi3|pdf5)_systemF
 254
 255 # fontspec errors with `slides` class:
 256 # LaTeX error: "kernel/command-already-defined"
 257 # Lines 2684 ... 2690 in fontspec-xetex.sty
 258 # Lines 2608 ... 2614 in fontspec-luatex.sty
 259 export/templates/slides_.*_systemF
 260
 261 # Beamer: conflicts with some combinations of packages/settings/languages
 262 export/templates/ja_beamer-conference-ornate-20min_(pdf2|pdf[45]).*
 263 export/templates/es_beamer-conference-ornate-20min_pdf4_texF
 264
 265 # Arabic only works with XeTeX + system fonts (pdf4_systemF)
 266 export/examples/ar/splash_(dvi.*|pdf|pdf[^4].*)
 267 export/examples/ar/splash_pdf4_texF
 268
 269
 270 # ================================================
 271 Sublabel: externalissues
 272 # Export fails due to non-LaTeX external tool,
 273 # ================================================
 274 #
 275 # e.g. a bug or missing feature in ps2pdf
 276
 277 # ps2pdf gives the following and exits with error:
 278 # Error: /invalidfileaccess in --file--
 279 # ps2pdf succeeds if the -dNOSAFER flag is used. For discussion, see:
 280 # https://www.mail-archive.com/search?l=mid&q=1506851183.3130.15.camel%40lyx.org
 281 export/examples/ja/lilypond_pdf
 282
 283
 284 # ======================================================================
 285 Sublabel: attic
 286 # Documents in the attic, kept for reference and format conversion test.
 287 # However, many problems here are "wontfix".
 288 # ======================================================================
 289
 290 # Fails because of missing .png graphic files.
 291 # They were replaced by .svgz, but, as this file is in the attic, we do not
 292 # convert to new lyx format. Plain latex and xetex create output (ignoring
 293 # missing files) while (pdf|lua)latex exits with != 0
 294 #export/doc/attic/eu_UserGuide_pdf[25].*
 295
 296 # Files in the attic with non-default output
 297 # (i.e. could be ERT, package incompatiblity, ...)
 298 export/doc/attic/it_(UserGuide_dvi3|UserGuide_pdf4)_systemF
 299 export/doc/attic/sk_UserGuide_pdf4_texF
 300 export/doc/attic/id_UserGuide_.*systemF