development/autotests/suspiciousTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-feature 'inverted', i.e.
   7 # they are reported as failing if the export works without error.
   8
   9
  10 Sublabel: todo
  11 #
  12 # LyX bugs and problems with the sample documents that require attention.
  13 # * minor issues to explore and properly sort,
  14 # * easyfix issues,
  15 # * LyX bugs to report at trac (move pattern to section "lyxbugs" once done).
  16
  17 # the ukrainean splash has preamble code loading russian babel
  18 # in the preamble (Why?)
  19 # TODO: remove the LaTeX preamble code:
  20 # fixes the inverted tests below,
  21 # side-effects: Ukrainean instead of Russian date, different hyphenation.
  22 export/examples/uk/splash_(dvi3|pdf[45])_texF
  23
  24 # missing commands (polyglossia?)
  25 # Explore! (works with language_package==babel)
  26 export/doc/fr/UserGuide_.*_systemF
  27
  28 # Bug in Babel-Spanish with Xe/LuaTeX and Unicode fonts:
  29 #
  30 # Babel is required for es/UserGuide as it explains Babel-defined Spanish
  31 # mathematical functions like \sen
  32 # Workaround: add a line to the user-preamble
  33 #   \@ifpackageloaded{fontspec}{\unaccentedoperators}{}
  34 export/doc/es/UserGuide_.*_systemF
  35
  36 # Missing characters (U+0361, U+1E61) in LM,
  37 # set different system font in the source?
  38 # + language nesting problem (may disappear after completed translation)
  39 export/doc/(de/|es/|fr/)Customization_.*_systemF
  40
  41 # Probably language mess
  42 export/export/ja/wrong_auto_encoding_(dvi|pdf(|3))
  43
  44 # Missing characters with Latin Modern Unicode:
  45 # 0000 NULL           (where does this come from?)
  46 # 212B ANGSTROM SIGN  (literal character in the source, replace with 00C5)
  47 # The following are due to ERT commands for characters missing in LM
  48 # in chapter 16.2 "Accents in Text":
  49 # \t   -> 0361 COMBINING DOUBLE INVERTED BREVE
  50 # \c e -> 0229 LATIN SMALL LETTER E WITH CEDILLA
  51 export/doc/(|de/|es/|fr/)Math.*systemF
  52
  53 # missing character: There is no ^^A in font [lmroman12-regular]
  54 # and all the line down to ^^Z and beyond...
  55 # XeTeX artifact? works with LuaTeX, explore:
  56 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
  57
  58 # Work with the fonts substituted "silently" by the test script.
  59 # TODO: set the system fonts in the lyx source
  60 #export/examples/he/splash_pdf5_systemF
  61
  62 # Changes in TeX Live 2014 (see git blame for info) fixed
  63 # IEEEtran-CompSoc_pdf4_systemF but not others.
  64 # TODO Investigate if others can be fixed?
  65 # * IEEEtran-Journal_pdf4_systemF compiles here (GM)
  66 # * All IEEEtran-TransMag.* exports fail here:
  67 #   missing commands \IEEEtitleabstractindextext, \IEEEdisplaynontitleabstractindextext
  68 #   -> adapt template and style (GM)
  69 export/templates/IEEEtran-(Journal|TransMag)_pdf4_systemF
  70
  71 # requires knitr, requires rjournal.sty (not on CTAN)
  72 # incompatible with fontspec?
  73 export/templates/RJournal_(dvi3|pdf[45])_systemF
  74
  75 # Requires ctex (Chinese).
  76 # Default output format is XeTeX. -> Only system fonts?
  77 #    Does (dvi|pdf3_texF|dvi3_texF) produce sensible results?
  78 export/templates/ctex_(pdf[23]?|pdf4_texF)
  79
  80 # Requires aa.cls (not on CTAN).
  81 # Fails with XeTeX/LuaTeX
  82 # Reported upstream (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html)
  83 # Is there a new version fixing the problem?
  84 # Move to unreliable:nonstandard?
  85 export/examples/aa_sample_(dvi3|pdf[45])_.*
  86 export/templates/aa_(dvi3|pdf[45])_.*
  87
  88 # Requires iucr.cls (not on CTAN)
  89 # Is there a new version fixing the problem?
  90 # Does LuaTeX produce sensible results?
  91 export/templates/IUCr-article_pdf4_systemF
  92
  93 # Example for lib/scripts/listerrors
  94 # Requires noweb. Seems to be restricted to plain "latex".
  95 # Find out why and whether the script could be improved.
  96 export/examples/listerrors_(pdf[245]).*
  97
  98 # "Dangerous" setting "language default (no inpuentc)
  99 # non-ASCII characters fail with LuaTeX
 100 # (work "per accident" with other routes)
 101 # set to "language default" to use inputenc/luainputenc!
 102 export/examples/aas_sample_(dvi3|pdf5)_(texF|systemF)
 103
 104 # Requires CJK.
 105 # Why does it fail with pdflatex and dvipdfm? CJK restriction? Workarounds?
 106 # (Also fails with Xe/LuaTeX and TeX-fonts -- as expected, see ignoredTests)
 107 export/examples/ko/splash_(dvi||pdf[23]?)
 108
 109 # Following mathmacros tests fail
 110 # Why? -> sort and comment
 111 export/mathmacros/testcases_speed_(lyx16|lyx21|dvi|pdf|pdf[23]|(dvi3|pdf[45])_(texF|systemF))
 112 check_load/mathmacros/testcases_speed
 113
 114
 115
 116
 117 Sublabel: lyxbugs
 118 #
 119 # LyX bugs with a Trac number.
 120
 121 # Language nesting and polyglossia #9633
 122 export/doc/(nb|sk)/Intro.*systemF
 123 # language nesting (may disappear after completed translation)
 124 export/examples/fr/linguistics_.*_systemF
 125 export/doc/(de/|es/|fr/)Customization_.*_systemF
 126
 127 # use LuaTeX-compatible language names #9910
 128 # Wrong language name for LuaTeX (with Babel, no error with Polyglossia)
 129 # After LyX 2.1 is released, apply the patch and remove these
 130 # See http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg181595.html
 131 # ! LuaTeX error ...e/2015/texmf-dist/tex/luatex/hyph-utf8/luatex-hyphen.lua:53: luatex-hyphen: no entry in language.dat.lua for this language: bahasa
 132 export/doc/attic/id_UserGuide_dvi3.*
 133 export/doc/attic/id_UserGuide_pdf5.*
 134 export/(doc|examples)/id/.*_(dvi3|pdf5)_texF
 135 export/.*/hu/.*(dvi3|pdf5)_texF
 136
 137 # documents requiring pre-processing fail with Japanese #8823
 138 export/examples/ja/(knitr|lilypond|sweave)_(dvi|pdf3?)
 139
 140
 141 Sublabel: ert
 142 #
 143 # Export failures due to "raw" LaTeX use in ERT or preamble code.
 144 # "Wontfix" if demonstrating correct use and OK in the default output format.
 145
 146 # Non-ASCII in ERT, fails with inputenc==ASCII (e.g. XeTeX with tex-fonts)
 147 export/doc/(de|es|fr)/Additional_pdf4_texF
 148
 149 # \ding{58} and \ding{171} not supported with XeTeX and system fonts:
 150 export/examples/fr/ListesPuces_pdf4_systemF
 151
 152
 153 Sublabel: texissues
 154 #
 155 # Export fails due to LaTeX limitations,
 156 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 157 # "Wontfix" if documents demonstrate correct use in the default output format.
 158
 159 # Non-ASCII char in verbatim environment.
 160 # Fails with ASCII (and hence also with XeTeX).
 161 export/doc/(|de/|es/|fr/)UserGuide_pdf4_texF
 162
 163 # chemgreek incompatible with LuaTeX and TeX fonts
 164 # fixed in TeXLive 2016-01-07 (add to unreliable?)
 165 #export/examples/achemso_(dvi3|pdf5)_texF
 166 # Math depends on the mhchem package which loads chemgreek
 167 #export/doc/(|de/|es/|fr/)Math_(dvi3|pdf5)_texF
 168
 169 # Inside these two files, we state that they should only be expected
 170 # to work with pdflatex and possibly lualatex.
 171 export/examples/PDF-form_(dvi.*|pdf[^25]*)
 172 export/examples/(|de/|fr/)PDF-comment_dvi3_.*F
 173 export/examples/(|de/|fr/)PDF-comment_pdf5_texF
 174
 175 # Hebrew docs do not currently work with DVI (LuaTeX)
 176 export/.*/he/.*dvi3.*
 177 # ... nor with XeTeX and 8-bit TeX fonts (due to missing ASCII replacements)
 178 export/.*/he/.*pdf4_texF
 179
 180 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 181 # This fails unless the inputencoding is set to utf-8, too.
 182 export/doc/ru/(Intro|Tutorial)_(dvi3|pdf[45])_texF
 183 export/examples/ru/splash_(dvi3|pdf[45])_texF
 184
 185 # LuaTeX fails for an \mbox in an index, e.g. $a_{\mbox{a}}$.
 186 # This construct appears in the included bib file biblioExample.bib in
 187 # the entry Eisenstein2005. Error message is
 188 #   Missing character: There is no (U+6035) in font rm-lmr12!
 189 # (with system fonts: 602D and 6039)
 190 export/examples/(|es/)(europe|modern)CV_(dvi3|pdf5)_(texF|systemF)
 191
 192 # Document uses Postscript specials
 193 # Does not compile with pdflatex (see note in the document source).
 194 export/examples/instant_preview_(dvi3|pdf4)_systemF
 195 export/examples/instant_preview_pdf[25].*
 196 export/examples/(chessgame|chess-article|powerdot-example)_pdf[25].*
 197 export/examples/fr/exemple-powerdot_pdf[25].*
 198
 199 # Gives the following error:
 200 # # ! Package hpstatement Error: H or P statement "H251"
 201 # # (hpstatement)                is not defined.
 202 # seems to be polyglossia-related (dvi3 worked with babel)
 203 export/examples/H-P-statements_.*_systemF
 204
 205 # requires jss.cls (not on CTAN)
 206 # "All documents need to be processed by pdflatex" [jss.pdf]
 207 export/templates/JSS-article_(dvi|dvi3_.*|pdf3?)
 208
 209 # tufte (partially) incompatible with latex and xelatex:
 210 # \MakeTextUppercase requires microtype.
 211 # http://tex.stackexchange.com/questions/202142/problems-compiling-tufte-title-page-in-xelatex
 212 export/examples/(|de/|es/)tufte-(book|handout)_(dvi.*|pdf|pdf3|pdf4.*)
 213
 214
 215 Sublabel: multilingual
 216 #
 217 # Without the Czech or Slovak text it compiles
 218 # No problem with inserted German (or other foreign language) text
 219 # No problem if the table is Slovak too
 220 # Seems to be a problem with Check and Slovak Babel support. File a bug there.
 221 # All exports using babel fail:
 222 export/export/TableErrorIfSlovakTextInserted_(dvi|pdf[23]?|.*_texF)
 223
 224
 225 Sublabel: attic
 226 #
 227 # Documents in the attic.
 228 # Kept for reference and format conversion test.
 229 # However, most problems here are "wontfix".
 230
 231 # Fails because of missing .png graphic files.
 232 # They were replaced by .svgz, but, as this file is in the attic, we do not
 233 # convert to new lyx format. Plain latex creates output (and ignores missing
 234 #  files) while (pdf|lua|xe)latex exits with != 0
 235 export/doc/attic/eu_UserGuide_pdf.+
 236
 237 # Files in the attic with non-default output
 238 # (i.e. could be ERT, package incompatiblity, ...)
 239 export/doc/attic/it_(Customization_pdf5|UserGuide_dvi3|UserGuide_pdf4)_systemF
 240 export/doc/attic/sk_UserGuide_pdf4_texF
 241 export/doc/attic/id_UserGuide_pdf[45]_systemF