development/autotests/invertedTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-property 'WILL_FAIL', i.e.
   7 # they are reported as failing if the export works without error.
   8 # https://cmake.org/cmake/help/v3.0/prop_test/WILL_FAIL.html
   9
  10 # ======================================================================
  11 Sublabel: todo
  12 # LyX bugs and problems with the sample documents that require attention
  13 # ======================================================================
  14 # * minor issues to explore and properly sort,
  15 # * easyfix issues,
  16 # * LyX bugs to report at trac (move pattern to section "lyxbugs" once done).
  17
  18 # Error in Japanese document if LyX-logo is preceded by foreign language
  19 export/export/latex/ja_wrong_auto_encoding_(dvi|pdf(|3)).*
  20
  21 # Missing characters with Unicode fonts
  22 # (the "hidden" replacement with FreeSerif does not help and results in bad
  23 # typography for mathematical content):
  24 # For details see the file "systemfonts-Math-missingchars.lyx"
  25 export/doc/(|de/|es/|fr/)Math.*systemF
  26 export/export/latex/systemfonts-Math-missingchars.*systemF
  27
  28 # missing character: There is no ^^A in font [lmroman12-regular]
  29 # and all the line down to ^^Z and beyond...
  30 # XeTeX artifact? works with LuaTeX, explore:
  31 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
  32
  33 # Changes in TeX Live 2014 (see git blame for info) fixed
  34 # IEEEtran-CompSoc_pdf4_systemF but not others.
  35 # TODO Investigate if others can be fixed?
  36 # * IEEEtran-Journal_pdf4_systemF compiles here (GM)
  37 # * All IEEEtran-TransMag.* exports fail here:
  38 #   missing commands \IEEEtitleabstractindextext, \IEEEdisplaynontitleabstractindextext
  39 #   -> adapt template and style (GM)
  40 export/templates/IEEEtran-(Journal|TransMag)_pdf4_systemF
  41
  42 # Example for lib/scripts/listerrors
  43 # Requires noweb. Seems to be restricted to plain "latex".
  44 # Find out why and whether the script could be improved.
  45 export/examples/listerrors_(pdf[245]).*
  46
  47 # Requires CJK.
  48 # Why does it fail with pdflatex and dvipdfm? CJK restriction? Workarounds?
  49 # (Also fails with Xe/LuaTeX and TeX-fonts -- as expected, see ignoredTests)
  50 export/examples/ko/splash_(dvi||pdf[23]?)
  51
  52 # input encoding tests
  53 # --------------------
  54 # Please test and correct!
  55
  56 # Failing for unknown reason
  57 # Hebrew
  58 export/export/latex/unicodesymbols/001-4-latin_cp1255_pdf2
  59 export/export/latex/unicodesymbols/001-4-latin_cp862_pdf2
  60 export/export/latex/unicodesymbols/008-greek-and-coptic-with-textalpha_cp862_pdf2
  61 export/export/latex/unicodesymbols/008-greek-and-coptic_cp862_pdf2
  62 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp1255_pdf2
  63 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp862_pdf2
  64 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_iso8859-8_pdf2
  65 export/export/latex/unicodesymbols/074-76-letterlike-numberforms-arrows_cp862_pdf2
  66 # Arabic:
  67 export/export/latex/unicodesymbols/001-4-latin_cp1256_pdf2
  68 export/export/latex/unicodesymbols/001-4-latin_iso8859-6_pdf2
  69 export/export/latex/unicodesymbols/005-7-ipa-modifiers-combining_cp1256_pdf2
  70 export/export/latex/unicodesymbols/008-greek-and-coptic-with-textalpha_cp1256_pdf2
  71 export/export/latex/unicodesymbols/008-greek-and-coptic_cp1256_pdf2
  72 export/export/latex/unicodesymbols/069-greek-extended-textalpha_cp1256_pdf2
  73 export/export/latex/unicodesymbols/069-greek-extended_cp1256_pdf2
  74 export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp1256_pdf2
  75 export/export/latex/unicodesymbols/074-76-letterlike-numberforms-arrows_cp1256_pdf2
  76
  77 # CJK:
  78 # Unicode-blocks 008 and 009 work fine with utf8-cjk
  79 # everything else fails (special documentclass required?)
  80 export/export/latex/unicodesymbols/00[15].*_utf8-cjk_pdf2
  81 export/export/latex/unicodesymbols/0?[^0].*_utf8-cjk_pdf2
  82 export/export/latex/unicodesymbols/.*_euc-cn_pdf2
  83 export/export/latex/unicodesymbols/.*_gbk_pdf2
  84 export/export/latex/unicodesymbols/.*_jis_pdf2
  85 export/export/latex/unicodesymbols/.*_euc-kr_pdf2
  86 export/export/latex/unicodesymbols/.*_euc-tw_pdf2
  87 export/export/latex/unicodesymbols/.*_euc-jp_pdf2
  88 # pLaTeX
  89 export/export/latex/unicodesymbols/.*_euc-jp-platex_pdf2
  90 export/export/latex/unicodesymbols/.*_jis-platex_pdf2
  91 export/export/latex/unicodesymbols/.*_shift-jis-platex_pdf2
  92 export/export/latex/unicodesymbols/.*_utf8-platex_pdf2
  93
  94
  95 # Arabic
  96 # If we want to try to get it to work with pdfTeX:
  97 # - set all non-Arab text parts to a different language (e.g. English)
  98 # - define alternatives for hyperref (e.g. with textorpdfstring)
  99 #     for correct handling of hyperref.
 100 # see discussion here:
 101 # https://www.mail-archive.com/search?l=mid&q=20161114035123.s5lt4ib4x4obtptp%40steph
 102 export/doc/ar/(Intro|Shortcuts|Tutorial)_pdf4_texF
 103 # This simple example doc is meant to test Arabic export of pdf2
 104 export/export/latex/arabic_simple_(dvi3|pdf5)_(texF|systemF)
 105 export/export/latex/arabic_simple_pdf4_texF
 106
 107
 108 # ================================================
 109 Sublabel: lyxbugs
 110 # LyX bugs with a Trac number.
 111 # ================================================
 112
 113 #8823 documents requiring pre-processing fail with Japanese
 114 export/examples/ja/(knitr|lilypond|sweave)_(dvi|pdf3?)
 115
 116 #10355 xmllint detects failures
 117 export/doc/attic/eu_UserGuide_xhtml
 118 export/doc/(es|ja)/UserGuide_xhtml
 119 export/examples/spreadsheet_xhtml
 120 export/export/WrongDfnTagHandling_xhtml
 121
 122 #10371 Compilation error if longest label marker in labeling style
 123 # contains underscores etc.
 124 export/export/latex/LongestLabelWithUnderscore.*
 125
 126 #9871 LyX sends invalid Unicode to iconv when converting to ASCII
 127 # most probably due to BabelPreamble code (language specific headings for
 128 # theorems, problems , ... are written in the language's default encoding
 129 # if they contain non-ASCII characters)
 130 export/doc/(es|fr)/Additional_pdf4_texF
 131
 132 #9637 textgreek and textcyr depend on font-encoding, not input encoding
 133 #6463 font encoding changes and combining accents
 134 # this leads to failure of ru/Intro with XeTeX (pdf4_texF)
 135 export/export/latex/ru-accent-ascii.*
 136
 137 #9681 textgreek and textcyr also required for encodable characters
 138 # Greek fails with utf8 and utf8x,
 139 # Cyrillic fails with utf8 and cyrillic encodings:
 140 export/export/latex/unicodesymbols/008-greek-and-coptic(|_utf8x)_pdf2
 141 export/export/latex/unicodesymbols/009-cyrillic(|_utf8x)_pdf2
 142 export/export/latex/unicodesymbols/009-cyrillic_(cp855|cp866|cp1251|koi8-r|koi8-u|iso8859-5|pt154)_pdf2
 143 export/export/latex/unicodesymbols/069-greek-extended(|_utf8x)_pdf2
 144 export/export/latex/unicodesymbols/069-greek-extended-textalpha_utf8x_pdf2
 145
 146
 147 # ==============================================================
 148 Sublabel: ert
 149 # Export failures due to "raw" LaTeX use in ERT or preamble code
 150 # ==============================================================
 151 #
 152 # "Wontfix" if demonstrating correct use and OK in the default output format.
 153
 154 # Non-ASCII in ERT, fails with inputenc==ASCII (e.g. XeTeX with tex-fonts)
 155 export/doc/(de|es)/Additional_pdf4_texF
 156
 157 # inputencoding="utf8-plain" with Xe/LuaTeX: characters with
 158 # Unicode point > 256 lead to errors with 8-bit fonts
 159 # (We keep this option for power users setting Unicode fonts in the preamble
 160 # or document class file).
 161 export/export/latex/utf8-plain-with-tex-fonts_.*_texF
 162
 163
 164 # ================================================
 165 Sublabel: texissues
 166 # Export fails due to LaTeX limitations,
 167 # ================================================
 168 #
 169 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 170 # "Wontfix" if documents demonstrate correct use in the default output format.
 171
 172 # Non-ASCII char in verbatim environment.
 173 # Fails with ASCII (and hence also with XeTeX).
 174 export/doc/(|de/|es/|fr/)UserGuide_pdf4_texF
 175
 176 # Hebrew docs do not currently work with LuaTeX (will be fixed in TeXLive-16)
 177 # TODO: set working system fonts in the lyx sources
 178 export/.*/he/.*(dvi3|pdf5).*
 179
 180 # ... nor with XeTeX and 8-bit TeX fonts (due to missing ASCII replacements)
 181 export/.*/he/.*pdf4_texF
 182
 183 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 184 # This fails unless the inputencoding is set to utf-8, too.
 185 export/doc/ru/(Intro|Tutorial)_(dvi3|pdf[45])_texF
 186 export/examples/ru/splash_(dvi3|pdf[45])_texF
 187
 188 # Babel-Spanish uses  UTF-8 for auto-strings if it detects Xe/LuaTeX.
 189 # This leads to wrong output (see unreliableTests) and fails in some cases
 190 # unless the inputencoding is set to utf-8, too.
 191 #
 192 # ! Undefined control sequence.
 193 # <argument> ...art {link}{\Hy@tocdestname }{\nonumberline Ã\8d
 194 #                                                   ndice alfabÃ©tico}\hyper...
 195 # l.393 ... Ã\8dndice alfabÃ©tico}{175}{chapter*.10}
 196 export/doc/es/UserGuide_(dvi3|pdf5)_systemF
 197
 198
 199 # Gives the following error:
 200 # # ! Package hpstatement Error: H or P statement "H251"
 201 # # (hpstatement)                is not defined.
 202 # seems to be polyglossia-related (dvi3 worked with babel)
 203 export/examples/H-P-statements_.*_systemF
 204
 205 # tufte (partially) incompatible with latex and xelatex:
 206 # \MakeTextUppercase requires microtype.
 207 # http://tex.stackexchange.com/questions/202142/problems-compiling-tufte-title-page-in-xelatex
 208 export/examples/(|de/|es/)tufte-(book|handout)_(dvi.*|pdf|pdf3|pdf4.*)
 209
 210 # These files use packages that are not compatible with the newest LuaTeX. We
 211 # could potentially fix these by loading the luatex85 package early in the
 212 # LyX-generated preamble, but it seems it's better to wait until the packages
 213 # fix the root issue themselves.
 214 # xy package:
 215 .*(|fr/)xy(pic|figure).*pdf5.*
 216
 217 # command \textipa not defined with LuaTeX and Unicode fonts:
 218 export/examples/(|de/|es/|fr/)linguistics_(dvi3|pdf5)_systemF
 219
 220
 221 # Problem with Check and Slovak Babel support.
 222 # (reported per mail to Petr Tesa\v{r}\'ik, 2016-09-06)
 223 # All exports using babel fail.
 224 # Without the Czech or Slovak text it compiles
 225 # No problem with inserted German (or other foreign language) text
 226 # No problem if the table is Slovak, too
 227 export/export/latex/TableErrorIfSlovakTextInserted_(dvi|pdf[23]?|.*_texF)
 228
 229 # Polyglossia + LuaTeX issue
 230 # Reported upstream here:
 231 # https://github.com/reutenauer/polyglossia/issues/163
 232 # These tests were broken at 3374b854
 233 # See discussion here:
 234 # https://www.mail-archive.com/search?l=mid&q=1478004223.2367.5.camel%40lyx.org
 235 export/doc/(sk|nb)/Intro_(dvi3|pdf5)_systemF
 236
 237 # fontspec errors with slides class:
 238 # LaTeX error: "kernel/command-already-defined"
 239 # Lines 2684 ... 2690 in fontspec-xetex.sty
 240 # Lines 2608 ... 2614 in fontspec-luatex.sty
 241 export/templates/slides_.*_systemF
 242
 243
 244
 245 # ================================================
 246 Sublabel: attic
 247 # ================================================
 248 #
 249 # Documents in the attic are kept for reference and format conversion test.
 250 # However, many problems here are "wontfix".
 251
 252 # Fails because of missing .png graphic files.
 253 # They were replaced by .svgz, but, as this file is in the attic, we do not
 254 # convert to new lyx format. Plain latex and xetex create output (ignoring
 255 # missing files) while (pdf|lua)latex exits with != 0
 256 export/doc/attic/eu_UserGuide_pdf[25].*
 257
 258 # Files in the attic with non-default output
 259 # (i.e. could be ERT, package incompatiblity, ...)
 260 export/doc/attic/it_(Customization_pdf5|UserGuide_dvi3|UserGuide_pdf4)_systemF
 261 export/doc/attic/sk_UserGuide_pdf4_texF
 262 export/doc/attic/id_UserGuide_.*systemF
 263
 264
 265 Sublabel: RESET
 266 # ==============================================================
 267 # See file unreliableTests for why these exports fail
 268 # ==============================================================
 269
 270 export/doc/de/EmbeddedObjects_pdf4_texF
 271 export/doc/es/EmbeddedObjects_.*texF
 272 export/doc/es/Customization_pdf4_texF
 273 export/doc/es/(UserGuide|Math)_(dvi3|pdf5)_texF
 274 export/examples/aa_sample_(dvi3|pdf[45])_.*
 275 export/examples/es/linguistics_pdf4_texF
 276 export/examples/fa/splash_(dvi|pdf|pdf[23]|(dvi3|pdf4|pdf5)_(texF|systemF))
 277 export/templates/ACM-siggraph_pdf5_(texF|systemF)
 278 export/templates/IUCr-article_pdf4_systemF
 279 export/templates/RJournal_(dvi3|pdf[45])_systemF
 280 export/templates/aa_(dvi3|pdf[45])_.*
 281 export/templates/ja_beamer-conference-ornate-20min_(pdf2|pdf[45]).*
 282 export/templates/es_beamer-conference-ornate-20min_pdf4_texF
 283 export/templates/kluwer_.*_systemF