development/autotests/suspiciousTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-feature 'inverted', i.e.
   7 # they are reported as failing if the export works without error.
   8
   9 # Hebrew docs do not currently work with LuaTeX
  10 export/.*/he/(Intro|Tutorial|example).*(pdf5|dvi3)_.*
  11 export/.*/he/(splash).*(dvi3)_.*
  12 export/examples/he/splash_pdf5_texF
  13 #
  14 # FIXME
  15 # After LyX 2.1 is released, apply the patch and remove these
  16 # See http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg181595.html
  17 export/.*/id_.*(dvi3)_.*
  18 export/.*/id_.*(pdf5)_texF
  19 export/doc/attic/id_UserGuide_pdf[45]_systemF
  20 #
  21 # FIXME
  22 # Similar to the Indonesian support, see:
  23 # http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg181595.html
  24 export/.*/hu/.*(dvi3)_.*
  25 export/.*/hu/.*(pdf5)_texF
  26
  27 # See http://www.lyx.org/trac/ticket/8823
  28 export/examples/ja/(lilypond|sweave|knitr)_pdf
  29
  30 # 1.) Unknown Japanese char in section if previous
  31 #     paragraph ended in non-Japaneese language
  32 #     This is the same error as in export/export/ja/wrong_auto_encoding (unreliableTests)
  33 # 2.) unknown chars üß in selected encoding in 'This is a German word: Tschüß'
  34 export/doc/ja/EmbeddedObjects_(dvi|pdf|pdf3)
  35 #
  36 # There is no non-TeX support for Ukrainian with LuaTeX. See:
  37 # https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg181690.html
  38 export/doc/uk/Intro_dvi3_systemF
  39 #
  40 # The following documents likely fail because of excessive preamble code that
  41 # is only targeted at (pdf)latex. TODO these .lyx files could be fixed. Although
  42 # it is unlikely that a user would want to use system fonts to view LyX's
  43 # documents, fixing these would provide further tests for LyX's handling of
  44 # XeTeX/LuaTeX with system fonts.
  45 export/doc/(es|fr)/UserGuide_pdf4_systemF
  46 export/doc/es/UserGuide_dvi3_systemF
  47 #export/doc/es/Tutorial_pdf4_systemF
  48 export/doc/gl/Tutorial_dvi3_systemF
  49 export/doc/(nb|sk)/Intro_pdf4_systemF
  50 # GM: Seems to be a case of the polyglossia + language-nesting problem
  51 export/doc/(de/|es/|fr/)Customization_pdf4_systemF
  52 export/doc/es/Customization_pdf5_systemF
  53 #
  54 export/examples/es/ejemplo_con_lyx_dvi3_systemF
  55 export/examples/eu/adibide_lyx-atua_(dvi3)_systemF
  56 export/examples/fr/ListesPuces_pdf4_systemF
  57 export/examples/gl/exemplo_lyxificado_(dvi3)_systemF
  58 export/templates/RJournal_(dvi3|pdf[45])_systemF
  59 # Changes in TeX Live 2014 (see git blame for info) fixed IEEEtran-CompSoc
  60 # pdf4_systemF but not others. TODO Investigate if others can be fixed?
  61 export/templates/IEEEtran-(Journal|TransMag)_pdf4_systemF
  62 #
  63 # There is no Chinese LuaTeX or XeTeX TeX font support yet.
  64 export/.*/zh_CN/.*(pdf[45]|dvi3)_texF
  65 #
  66 # These started failing after we implemented tests for formats
  67 # that are in the complement set to the default format (7ecbb068).
  68 # TODO it might be worth it to take a look at each individually and
  69 # see whether they are supposed to fail or if there is something LyX
  70 # can do to add support for exporting them.
  71 export/doc/hu/Tutorial_dvi3_.*F
  72 export/examples/(chessgame|chess-article|powerdot-example)_pdf[25].*
  73 export/examples/(docbook_article)_(pdf[245]|dvi3).*
  74 export/examples/instant_preview_(dvi3|pdf4)_systemF
  75 export/examples/instant_preview_pdf[25].*
  76 export/examples/listerrors_(pdf[245]).*
  77 export/examples/(|de/|es/)tufte-(book|handout)_(dvi.*|pdf|pdf3|pdf4.*)
  78 export/examples/fr/exemple-powerdot_pdf[25].*
  79 export/examples/ja/(knitr|lilypond|sweave)_(dvi|pdf3)
  80 export/examples/ko/splash_(dvi||pdf[23]?)
  81 export/templates/DocBook_article_(dvi3_|pdf2|pdf[45]_).*
  82 export/templates/JSS-article_(dvi|dvi3_.*|pdf3?)
  83 export/templates/ctex_(pdf[23]?|pdf4_texF)
  84 #
  85 # The following exports worked with TeX Live 2013, but not in 2014.
  86 # For a workaround, see:
  87 # https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html
  88 export/examples/aa_sample_(dvi3|pdf4|pdf5)_(texF|systemF)
  89 export/templates/aa_(dvi3|pdf4|pdf5)_(texF|systemF)
  90 #
  91 # These exports correctly fail now on TeX Live 2014. Although they compiled
  92 # without error on TeX Live 2013, the resulting PDFs had gibberish.
  93 export/doc/he/(Intro|Tutorial)_pdf4_texF
  94 export/examples/he/(example_lyxified|example_raw|splash)_pdf4_texF
  95 #
  96 # GM: False positive: if the font is e.g. set to
  97 # LinuxLibertine and LinuxBiolinum, there are no missing characters but
  98 # polyglossia anyway throws the error:
  99 #
 100 #  ! Package polyglossia Error: The current roman font does not contain the
 101 #  Hebrew script!
 102 export/examples/he/splash_pdf5_systemF
 103 #
 104 # Inside these two files, we state that they should only be expected
 105 # to work with pdflatex and possibly lualatex.
 106 export/examples/PDF-(form)_(dvi.*|pdf[^25]*)
 107 # PDF comments in DVI? No wonder we have:
 108 # ! Package zref Error: \pdfsavepos is not supported in DVI mode
 109 export/examples/(|de/|fr/)PDF-comment_dvi3_.*F
 110 #
 111 export/templates/IUCr-article_pdf4_systemF
 112 #
 113 # Gives the following error:
 114 # # ! Package hpstatement Error: H or P statement "H251"
 115 # # (hpstatement)                is not defined.
 116 # 1580:export/examples/H-P-statements_pdf5_systemF
 117 export/examples/H-P-statements_pdf[45]_systemF
 118 #
 119 # The math document now depends on the mhchem package which produces wrong
 120 # output with XeTeX/LuaTeX and both TeX fonts and non-TeX fonts:
 121 # https://www.mail-archive.com/search?l=mid&q=n0sne9%24iis%241%40ger.gmane.org
 122 export/doc(|/de|/es|/fr)/Math.*systemF
 123 export/doc/(|de/|es/|fr/)Math_(dvi3|pdf5)_texF
 124 #
 125 # GM: Non-ASCII char in verbatim environment.
 126 # Fails with ASCII (and hence also with XeTeX).
 127 export/doc/UserGuide_pdf4_texF
 128 #
 129 # TODO: We need to determine the correct reason for failure (most probably
 130 # incompatible packages, maybe also loading of lmodern.sty in the user
 131 # preamble) or state that we don't know it.
 132 export/doc/de/(Additional|UserGuide)_pdf4_texF
 133 export/doc/de/(Customization_pdf5|EmbeddedObjects_pdf4)_systemF
 134 #
 135 # GM: Babel's Russian language definition file has the same
 136 # problem as LyX 2.0: it does not care for the combi Xe/Lua + TeX fonts: after
 137 # testing the engine, it switches to "unicode modus".
 138 export/examples/(ru|uk)/splash_(dvi3|pdf[45])_texF
 139 #
 140
 141 export/examples/linguistics_(dvi3|pdf[45])_systemF
 142 #
 143 # GM: Missing character: There is no 砋 (U+780B) in font
 144 #     "file:lmroman10-regular:script=latn;+trep;+tlig;"!
 145 # Character '砋' (30731, 0x780B) is not in my list of known Unicode points,
 146 # don't know where it comes from. On first inspection, the output looks OK.
 147 # Explore later.
 148 export/examples/(|es/)(europe|modern)CV_(dvi3|pdf5)_(texF|systemF)
 149 #
 150 # GM: * lmodern.sty
 151 #     * missing commands and missing characters
 152 export/doc/es/(EmbeddedObjects_pdf4|UserGuide_pdf5)_systemF
 153 #
 154 # GM: Non-ASCII in ERT
 155 export/doc/fr/Additional_pdf4_texF
 156 #
 157 # GM: Non-ASCII in verbatim and index entries
 158 export/doc/fr/UserGuide_pdf4_texF
 159 #
 160 # GM: lmodern.sty? + maybe more
 161 export/doc/fr/(Customization_pdf5|EmbeddedObjects_pdf4|UserGuide_pdf5)_systemF
 162 #
 163 # GM: language nesting error (polyglossia) (known bug)
 164 export/doc/nb/Intro_pdf5_systemF
 165 #
 166 # GM: Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 167 # This fails unless the inputencoding is set to utf-8, too.
 168 export/doc/ru/(Intro|Tutorial)_(dvi3|pdf[45])_texF
 169 export/doc/(ru|uk)/splash_(dvi3|pdf[45])_texF
 170 #
 171 # GM: chemgreek incompatible with LuaTeX (cf. Math.lyx)
 172 # for now inverted
 173 Sublabel: 3chemgreek
 174 export/doc/sk/Intro_pdf5_systemF
 175 export/examples/(|de/|fr/)PDF-comment_pdf5_texF
 176 export/examples/aas_sample_(dvi3|pdf5)_(texF|systemF)
 177 export/examples/achemso_(dvi3|pdf5)_texF
 178 Sublabel: RESET
 179
 180 # Following mathmacros tests fail
 181 export/mathmacros/testcases_speed_(dvi|pdf|pdf[23]|(dvi3|pdf[45])_(texF|systemF))
 182
 183 # Language nesting, document is OK, fails because of a bug in LyX
 184 # document is still worng, did only fail because of latin language
 185 # (problem in my TeX installation)
 186 # export/export/languagenesting1_(pdf4_systemF|pdf5_systemF)
 187
 188 # But this one fails fails because of a bug in LyX
 189 # Probably language mess
 190 export/export/ja/wrong_auto_encoding_(dvi|pdf(|3))
 191
 192 # lualatex has problems
 193 # ! LuaTeX error ...e/2015/texmf-dist/tex/luatex/hyph-utf8/luatex-hyphen.lua:53: luatex-hyphen: no entry in language.dat.lua for this language: bahasa
 194 export/(doc|examples)/id/.*_dvi3_.*F
 195 export/(doc|examples)/id/.*_pdf5_texF
 196
 197 Sublabel: assert-fail
 198 # Exports that should fail.
 199 #
 200 # Example of "high bit" chars in listings. Fails with XeTeX due to
 201 # limiation to ASCII (no LICR in listings possible). Gives correct warning.
 202 export/doc/EmbeddedObjects_pdf4_systemF
 203
 204 Sublabel: attic
 205
 206 # Documents in the attic.
 207 # Kept for reference and format conversion test.
 208 # However, most problems here are "wontfix".
 209
 210 # Fails because of missing .png graphic files.
 211 # They were replaced by .svgz, but, as this file is in the attic, we do not
 212 # convert to new lyx format. latex creates output (and ignores missing files)
 213 # while (pdf|lua|xe)latex exits with != 0
 214 export/doc/attic/eu_UserGuide_pdf.*
 215
 216 # Files in the attic with non-default output
 217 # (i.e. could be ERT, package incompatiblity, ...)
 218 export/doc/attic/it_(Customization_pdf5|UserGuide_dvi3|UserGuide_pdf4)_systemF
 219 export/doc/attic/sk_UserGuide_pdf4_texF
 220 export/doc/attic/id_UserGuide_pdf4_systemF