development/autotests/suspiciousTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-feature 'inverted', i.e.
   7 # they are reported as failing if the export works without error.
   8
   9 # See http://www.lyx.org/trac/ticket/8823
  10 export/examples/ja/(lilypond|sweave|knitr)_pdf
  11
  12 # 1.) Unknown Japanese char in section if previous
  13 #     paragraph ended in non-Japaneese language
  14 #     This is the same error as in export/export/ja/wrong_auto_encoding (unreliableTests)
  15 # 2.) unknown chars üß in selected encoding in 'This is a German word: Tschüß'
  16 #
  17 # Both reasons invalid since the commit 6b0632eea288348b912f98b79bc871830b6a3d98
  18 #export/doc/ja/EmbeddedObjects_(dvi|pdf|pdf3)
  19 #
  20 # The following documents likely fail because of excessive preamble code that
  21 # is only targeted at (pdf)latex. TODO these .lyx files could be fixed. Although
  22 # it is unlikely that a user would want to use system fonts to view LyX's
  23 # documents, fixing these would provide further tests for LyX's handling of
  24 # XeTeX/LuaTeX with system fonts.
  25 #export/doc/es/Tutorial_pdf4_systemF
  26 export/doc/gl/Tutorial_dvi3_systemF
  27 export/doc/(nb|sk)/Intro_pdf4_systemF
  28 #
  29 export/examples/es/ejemplo_con_lyx_dvi3_systemF
  30 export/examples/eu/adibide_lyx-atua_(dvi3)_systemF
  31 export/examples/fr/ListesPuces_pdf4_systemF
  32 export/examples/gl/exemplo_lyxificado_(dvi3)_systemF
  33 export/templates/RJournal_(dvi3|pdf[45])_systemF
  34 # Changes in TeX Live 2014 (see git blame for info) fixed IEEEtran-CompSoc
  35 # pdf4_systemF but not others. TODO Investigate if others can be fixed?
  36 export/templates/IEEEtran-(Journal|TransMag)_pdf4_systemF
  37 #
  38 # There is no Chinese LuaTeX or XeTeX TeX font support yet.
  39 export/.*/zh_CN/.*(pdf[45]|dvi3)_texF
  40 #
  41 # These started failing after we implemented tests for formats
  42 # that are in the complement set to the default format (7ecbb068).
  43 # TODO it might be worth it to take a look at each individually and
  44 # see whether they are supposed to fail or if there is something LyX
  45 # can do to add support for exporting them.
  46 export/doc/hu/Tutorial_dvi3_.*F
  47 export/examples/(chessgame|chess-article|powerdot-example)_pdf[25].*
  48 export/examples/(docbook_article)_(pdf[245]|dvi3).*
  49 export/examples/instant_preview_(dvi3|pdf4)_systemF
  50 export/examples/instant_preview_pdf[25].*
  51 export/examples/listerrors_(pdf[245]).*
  52 export/examples/(|de/|es/)tufte-(book|handout)_(dvi.*|pdf|pdf3|pdf4.*)
  53 export/examples/fr/exemple-powerdot_pdf[25].*
  54 export/examples/ja/(knitr|lilypond|sweave)_(dvi|pdf3)
  55 export/examples/ko/splash_(dvi||pdf[23]?)
  56 export/templates/DocBook_article_(dvi3_|pdf2|pdf[45]_).*
  57 export/templates/JSS-article_(dvi|dvi3_.*|pdf3?)
  58 export/templates/ctex_(pdf[23]?|pdf4_texF)
  59 #
  60 # The following exports worked with TeX Live 2013, but not in 2014.
  61 # For a workaround, see:
  62 # https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html
  63 export/examples/aa_sample_(dvi3|pdf4|pdf5)_(texF|systemF)
  64 export/templates/aa_(dvi3|pdf4|pdf5)_(texF|systemF)
  65 #
  66 # These exports correctly fail now on TeX Live 2014. Although they compiled
  67 # without error on TeX Live 2013, the resulting PDFs had gibberish.
  68 export/doc/he/(Intro|Tutorial)_pdf4_texF
  69 export/examples/he/(example_lyxified|example_raw|splash)_pdf4_texF
  70 #
  71
  72 export/templates/IUCr-article_pdf4_systemF
  73 #
  74 # Gives the following error:
  75 # # ! Package hpstatement Error: H or P statement "H251"
  76 # # (hpstatement)                is not defined.
  77 # 1580:export/examples/H-P-statements_pdf5_systemF
  78 export/examples/H-P-statements_pdf[45]_systemF
  79
  80 # TODO: We need to determine the correct reason for failure (most probably
  81 # incompatible packages) or state that we don't know it.
  82 export/doc/de/Additional_pdf4_texF
  83
  84 export/examples/linguistics_(dvi3|pdf[45])_systemF
  85 #
  86 # GM: Missing character: There is no 砋 (U+780B) in font
  87 #     "file:lmroman10-regular:script=latn;+trep;+tlig;"!
  88 # Character '砋' (30731, 0x780B) is not in my list of known Unicode points,
  89 # don't know where it comes from. On first inspection, the output looks OK.
  90 # Explore later.
  91 export/examples/(|es/)(europe|modern)CV_(dvi3|pdf5)_(texF|systemF)
  92
  93 # GM: Non-ASCII in ERT
  94 export/doc/fr/Additional_pdf4_texF
  95 #
  96 # GM: language nesting error (polyglossia) (known bug)
  97 export/doc/nb/Intro_pdf5_systemF
  98
  99 export/doc/sk/Intro_pdf5_systemF
 100 export/examples/(|de/|fr/)PDF-comment_pdf5_texF
 101 export/examples/aas_sample_(dvi3|pdf5)_(texF|systemF)
 102
 103 # Following mathmacros tests fail
 104 export/mathmacros/testcases_speed_(lyx16|dvi|pdf|pdf[23]|(dvi3|pdf[45])_(texF|systemF))
 105 check_load/mathmacros/testcases_speed
 106
 107 # Language nesting, document is OK, fails because of a bug in LyX
 108 # document is still worng, did only fail because of latin language
 109 # (problem in my TeX installation)
 110 # export/export/languagenesting1_(pdf4_systemF|pdf5_systemF)
 111
 112 # But this one fails fails because of a bug in LyX
 113 # Probably language mess
 114 export/export/ja/wrong_auto_encoding_(dvi|pdf(|3))
 115
 116 Sublabel: todo
 117
 118 # LyX bugs and problems with the sample documents that require attention.
 119 # (LyX bugs with a ticket number go to sublabel: bug.)
 120
 121 # LyX index sorting fails with ASCII (and hence also with XeTeX).
 122 # (! >20 popup windows!)
 123 export/doc/(es|fr)/UserGuide_pdf4_texF
 124
 125 # the ukrainean splash has preamble code loading russian babel
 126 # in the preamble (Why?)
 127 # TODO: remove the LaTeX preamble code:
 128 # fixes the inverted tests below,
 129 # side-effects: Ukrainean instead of Russian date, different hyphenation.
 130 export/examples/uk/splash_(dvi3|pdf[45])_texF
 131
 132 # missing commands (polyglossia?)
 133 # Explore! (works with dvi3 or language_package==babel)
 134 export/doc/fr/UserGuide_pdf[45]_systemF
 135
 136 # Wrong language name for LuaTeX
 137 # After LyX 2.1 is released, apply the patch and remove these
 138 # See http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg181595.html
 139 # ! LuaTeX error ...e/2015/texmf-dist/tex/luatex/hyph-utf8/luatex-hyphen.lua:53: luatex-hyphen: no entry in language.dat.lua for this language: bahasa
 140 export/doc/attic/id_UserGuide_dvi3.*
 141 export/doc/attic/id_UserGuide_pdf5.*
 142 export/(doc|examples)/id/.*_dvi3.*
 143 export/(doc|examples)/id/.*_pdf5_texF
 144
 145 # Hungarian: Similar to the Indonesian support, see
 146 # http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg181595.html
 147 export/.*/hu/.*(dvi3)_.*
 148 export/.*/hu/.*(pdf5)_texF
 149
 150 # False positive: even with fonts that have all required characters
 151 # (e.g. LinuxLibertine and LinuxBiolinum) polyglossia throws the error:
 152 #  ! Package polyglossia Error: The current roman font does not contain the
 153 #  Hebrew script!
 154 export/examples/he/splash_pdf5_systemF
 155
 156 # Bug in Babel-Spanish with Xe/LuaTeX and Unicode fonts
 157 # (Babel is required for Spanish math functions like \sen)
 158 # add "\@ifpackageloaded{fontspec}{\unaccentedoperators}{}" to the preamble!
 159 export/doc/es/UserGuide_.*_systemF
 160
 161 # Missing characters ( ͡ (U+0361), ṡ (U+1E61) in LM, use different system font?
 162 # + language nesting problem (may disappear after completed translation)
 163 export/doc/(de/|es/|fr/)Customization_pdf[45]_systemF
 164
 165 Sublabel: TeXlimit
 166
 167 # Export fails due to LaTeX limitations,
 168 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 169 # "wontfix" if documents demonstrate correct use in the default output format.
 170
 171 # Non-ASCII char in in listings: "Tschüß".
 172 # Fails with XeTeX due to limiation to ASCII (no LICR in listings possible).
 173 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
 174
 175 # Non-ASCII char in verbatim environment.
 176 # Fails with ASCII (and hence also with XeTeX).
 177 export/doc/(|de/|es/|fr/)UserGuide_pdf4_texF
 178
 179 # chemgreek incompatible with LuaTeX and TeX fonts
 180 export/examples/achemso_(dvi3|pdf5)_texF
 181 # Math depends on the mhchem package which loads chemgreek
 182 export/doc/(|de/|es/|fr/)Math_(dvi3|pdf5)_texF
 183
 184 # Missing characters (212B ANGSTROM SIGN, e with cedilla, ...)
 185 # with system fonts:
 186 export/doc/(|de/|es/|fr/)Math.*systemF
 187
 188 # Inside these two files, we state that they should only be expected
 189 # to work with pdflatex and possibly lualatex.
 190 export/examples/PDF-form_(dvi.*|pdf[^25]*)
 191 export/examples/(|de/|fr/)PDF-comment_dvi3_.*F
 192 export/examples/(|de/|fr/)PDF-comment_pdf5_texF
 193
 194 # Hebrew docs do not currently work with LuaTeX
 195 export/.*/he/.*(pdf5|dvi3).*
 196 # ... nor with XeTeX and 8-bit TeX fonts
 197 # These exports correctly fail now on TeX Live 2014. Although they compiled
 198 # without error on TeX Live 2013, the resulting PDFs had gibberish.
 199 export/.*/he/.*pdf4_texF
 200
 201 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 202 # This fails unless the inputencoding is set to utf-8, too.
 203 export/doc/ru/(Intro|Tutorial)_(dvi3|pdf[45])_texF
 204 export/examples/ru/splash_(dvi3|pdf[45])_texF
 205
 206 # dvi3 uses Babel. Autostrings use Cyrillic LICRs,
 207 # however these are missing in xunicode.sty. 2 solutions:
 208 #  LuX: use polyglossia also with dvi3 (LuaTeX) and non-TeX fonts,
 209 #  LaTeX: define Cyrillic LICRs for EU1 and EU2 (similar to greek-euenc.def)
 210 export/doc/uk/Intro_dvi3_systemF
 211
 212
 213 Sublabel: multilingual
 214
 215 # Without the Czech or Slovak text it compiles
 216 # No problem with inserted German (or other foreign language) text
 217 # No problem if the table is Slovak too
 218 # Seems to be a problem with Check and Slovak Babel support. File a bug there.
 219 export/export/TableErrorIfSlovakTextInserted_(dvi|pdf|pdf[23]|pdf[45]_texF|dvi3_.*F)
 220
 221
 222 Sublabel: attic
 223
 224 # Documents in the attic.
 225 # Kept for reference and format conversion test.
 226 # However, most problems here are "wontfix".
 227
 228 # Fails because of missing .png graphic files.
 229 # They were replaced by .svgz, but, as this file is in the attic, we do not
 230 # convert to new lyx format. latex creates output (and ignores missing files)
 231 # while (pdf|lua|xe)latex exits with != 0
 232 export/doc/attic/eu_UserGuide_pdf.*
 233
 234 # Files in the attic with non-default output
 235 # (i.e. could be ERT, package incompatiblity, ...)
 236 export/doc/attic/it_(Customization_pdf5|UserGuide_dvi3|UserGuide_pdf4)_systemF
 237 export/doc/attic/sk_UserGuide_pdf4_texF
 238 export/doc/attic/id_UserGuide_pdf[45]_systemF