development/autotests/suspiciousTests

   1 # Regular expressions for tests that are known to fail
   2 #
   3 # Patterns will be automatically enclosed with '^' and '$'.
   4 # Matching tests get the label "inverted"
   5 # or (if also matching a pattern in "suspendedTests") "suspended".
   6 # They get also the test-feature 'inverted', i.e.
   7 # they are reported as failing if the export works without error.
   8
   9
  10 # These started failing after we implemented tests for formats
  11 # that are in the complement set to the default format (7ecbb068).
  12 # TODO it might be worth it to take a look at each individually and
  13 # see whether they are supposed to fail or if there is something LyX
  14 # can do to add support for exporting them.
  15 export/examples/listerrors_(pdf[245]).*
  16 export/examples/ko/splash_(dvi||pdf[23]?)
  17
  18 # The following exports worked with TeX Live 2013, but not in 2014.
  19 # For a workaround, see:
  20 # https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html
  21 export/examples/aa_sample_(dvi3|pdf4|pdf5)_(texF|systemF)
  22 export/templates/aa_(dvi3|pdf4|pdf5)_(texF|systemF)
  23
  24 export/templates/IUCr-article_pdf4_systemF
  25
  26 export/examples/aas_sample_(dvi3|pdf5)_(texF|systemF)
  27
  28 # Following mathmacros tests fail
  29 export/mathmacros/testcases_speed_(lyx16|lyx21|dvi|pdf|pdf[23]|(dvi3|pdf[45])_(texF|systemF))
  30 check_load/mathmacros/testcases_speed
  31
  32 Sublabel: todo
  33 #
  34 # LyX bugs and problems with the sample documents that require attention.
  35 # * minor issues to explore and properly sort,
  36 # * easyfix issues,
  37 # * LyX bugs to report at trac (move pattern to section "lyxbugs" once done).
  38
  39 # LyX index sorting fails with ASCII (and hence also with XeTeX).
  40 # (! >20 popup windows!)
  41 export/doc/(es|fr)/UserGuide_pdf4_texF
  42
  43 # the ukrainean splash has preamble code loading russian babel
  44 # in the preamble (Why?)
  45 # TODO: remove the LaTeX preamble code:
  46 # fixes the inverted tests below,
  47 # side-effects: Ukrainean instead of Russian date, different hyphenation.
  48 export/examples/uk/splash_(dvi3|pdf[45])_texF
  49
  50 # missing commands (polyglossia?)
  51 # Explore! (works with language_package==babel)
  52 export/doc/fr/UserGuide_.*_systemF
  53
  54 # Bug in Babel-Spanish with Xe/LuaTeX and Unicode fonts:
  55 #
  56 # Babel is required for es/UserGuide as it explains Babel-defined Spanish
  57 # mathematical functions like \sen
  58 # Workaround: add a line to the user-preamble
  59 #   \@ifpackageloaded{fontspec}{\unaccentedoperators}{}
  60 export/doc/es/UserGuide_.*_systemF
  61
  62 # Missing characters (U+0361, U+1E61) in LM,
  63 # set different system font in the source?
  64 # + language nesting problem (may disappear after completed translation)
  65 export/doc/(de/|es/|fr/)Customization_.*_systemF
  66
  67 # Probably language mess
  68 export/export/ja/wrong_auto_encoding_(dvi|pdf(|3))
  69
  70 # Missing characters with Latin Modern Unicode:
  71 # 0000 NULL           (where does this come from?)
  72 # 212B ANGSTROM SIGN  (literal character in the source, replace with 00C5)
  73 # The following are due to ERT commands for characters missing in LM
  74 # in chapter 16.2 "Accents in Text":
  75 # \t   -> 0361 COMBINING DOUBLE INVERTED BREVE
  76 # \c e -> 0229 LATIN SMALL LETTER E WITH CEDILLA
  77 export/doc/(|de/|es/|fr/)Math.*systemF
  78
  79 # missing character: There is no ^^A in font [lmroman12-regular]
  80 # and all the line down to ^^Z and beyond...
  81 # XeTeX artifact? works with LuaTeX, explore:
  82 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
  83
  84 # Work with the fonts substituted "silently" by the test script.
  85 # TODO: set the system fonts in the lyx source
  86 #export/examples/he/splash_pdf5_systemF
  87
  88 # Changes in TeX Live 2014 (see git blame for info) fixed
  89 # IEEEtran-CompSoc_pdf4_systemF but not others.
  90 # TODO Investigate if others can be fixed?
  91 # * IEEEtran-Journal_pdf4_systemF compiles here (GM)
  92 # * All IEEEtran-TransMag.* exports fail here:
  93 #   missing commands \IEEEtitleabstractindextext, \IEEEdisplaynontitleabstractindextext
  94 #   -> adapt template and style (GM)
  95 export/templates/IEEEtran-(Journal|TransMag)_pdf4_systemF
  96
  97 # requires knitr, requires rjournal.sty (not on CTAN)
  98 # incompatible with fontspec?
  99 export/templates/RJournal_(dvi3|pdf[45])_systemF
 100
 101 # Default output format is XeTeX
 102 # -> Only system fonts?
 103 #    Does (dvi|pdf3_texF|dvi3_texF) produce sensible results?
 104 export/templates/ctex_(pdf[23]?|pdf4_texF)
 105
 106
 107 Sublabel: lyxbugs
 108 #
 109 # LyX bugs with a Trac number.
 110
 111 # Language nesting and polyglossia #9633
 112 export/doc/(nb|sk)/Intro.*systemF
 113 # language nesting (may disappear after completed translation)
 114 export/examples/fr/linguistics_.*_systemF
 115 export/doc/(de/|es/|fr/)Customization_.*_systemF
 116
 117 # use LuaTeX-compatible language names #9910
 118 # Wrong language name for LuaTeX (with Babel, no error with Polyglossia)
 119 # After LyX 2.1 is released, apply the patch and remove these
 120 # See http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg181595.html
 121 # ! LuaTeX error ...e/2015/texmf-dist/tex/luatex/hyph-utf8/luatex-hyphen.lua:53: luatex-hyphen: no entry in language.dat.lua for this language: bahasa
 122 export/doc/attic/id_UserGuide_dvi3.*
 123 export/doc/attic/id_UserGuide_pdf5.*
 124 export/(doc|examples)/id/.*_(dvi3|pdf5)_texF
 125 export/.*/hu/.*(dvi3|pdf5)_texF
 126
 127 # documents requiring pre-processing fail with Japanese #8823
 128 export/examples/ja/(knitr|lilypond|sweave)_(dvi|pdf3?)
 129
 130
 131 Sublabel: ert
 132 #
 133 # Export failures due to "raw" LaTeX use in ERT or preamble code.
 134 # "Wontfix" if demonstrating correct use and OK in the default output format.
 135
 136 # Non-ASCII in ERT, fails with inputenc==ASCII (e.g. XeTeX with tex-fonts)
 137 export/doc/(de|es|fr)/Additional_pdf4_texF
 138
 139 # \ding{58} and \ding{171} not supported with XeTeX and system fonts:
 140 export/examples/fr/ListesPuces_pdf4_systemF
 141
 142
 143 Sublabel: texissues
 144 #
 145 # Export fails due to LaTeX limitations,
 146 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 147 # "Wontfix" if documents demonstrate correct use in the default output format.
 148
 149 # Non-ASCII char in verbatim environment.
 150 # Fails with ASCII (and hence also with XeTeX).
 151 export/doc/(|de/|es/|fr/)UserGuide_pdf4_texF
 152
 153 # chemgreek incompatible with LuaTeX and TeX fonts
 154 export/examples/achemso_(dvi3|pdf5)_texF
 155 # Math depends on the mhchem package which loads chemgreek
 156 export/doc/(|de/|es/|fr/)Math_(dvi3|pdf5)_texF
 157
 158 # Inside these two files, we state that they should only be expected
 159 # to work with pdflatex and possibly lualatex.
 160 export/examples/PDF-form_(dvi.*|pdf[^25]*)
 161 export/examples/(|de/|fr/)PDF-comment_dvi3_.*F
 162 export/examples/(|de/|fr/)PDF-comment_pdf5_texF
 163
 164 # Hebrew docs do not currently work with DVI (LuaTeX)
 165 export/.*/he/.*dvi3.*
 166 # ... nor with XeTeX and 8-bit TeX fonts (due to missing ASCII replacements)
 167 export/.*/he/.*pdf4_texF
 168
 169 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 170 # This fails unless the inputencoding is set to utf-8, too.
 171 export/doc/ru/(Intro|Tutorial)_(dvi3|pdf[45])_texF
 172 export/examples/ru/splash_(dvi3|pdf[45])_texF
 173
 174 # LuaTeX fails for an \mbox in an index, e.g. $a_{\mbox{a}}$.
 175 # This construct appears in the included bib file biblioExample.bib in
 176 # the entry Eisenstein2005. Error message is
 177 #   Missing character: There is no (U+6035) in font rm-lmr12!
 178 # (with system fonts: 602D and 6039)
 179 export/examples/(|es/)(europe|modern)CV_(dvi3|pdf5)_(texF|systemF)
 180
 181 # Document uses Postscript specials
 182 # Does not compile with pdflatex (see note in the document source).
 183 export/examples/instant_preview_(dvi3|pdf4)_systemF
 184 export/examples/instant_preview_pdf[25].*
 185 export/examples/(chessgame|chess-article|powerdot-example)_pdf[25].*
 186 export/examples/fr/exemple-powerdot_pdf[25].*
 187
 188 # Gives the following error:
 189 # # ! Package hpstatement Error: H or P statement "H251"
 190 # # (hpstatement)                is not defined.
 191 # seems to be polyglossia-related (dvi3 worked with babel)
 192 export/examples/H-P-statements_.*_systemF
 193
 194 # requires jss.cls (not on CTAN)
 195 # "All documents need to be processed by pdflatex" [jss.pdf]
 196 export/templates/JSS-article_(dvi|dvi3_.*|pdf3?)
 197
 198 # tufte (partially) incompatible with latex and xelatex:
 199 # \MakeTextUppercase requires microtype.
 200 # http://tex.stackexchange.com/questions/202142/problems-compiling-tufte-title-page-in-xelatex
 201 export/examples/(|de/|es/)tufte-(book|handout)_(dvi.*|pdf|pdf3|pdf4.*)
 202
 203
 204 Sublabel: multilingual
 205 #
 206 # Without the Czech or Slovak text it compiles
 207 # No problem with inserted German (or other foreign language) text
 208 # No problem if the table is Slovak too
 209 # Seems to be a problem with Check and Slovak Babel support. File a bug there.
 210 # All exports using babel fail:
 211 export/export/TableErrorIfSlovakTextInserted_(dvi|pdf[23]?|.*_texF)
 212
 213
 214 Sublabel: attic
 215 #
 216 # Documents in the attic.
 217 # Kept for reference and format conversion test.
 218 # However, most problems here are "wontfix".
 219
 220 # Fails because of missing .png graphic files.
 221 # They were replaced by .svgz, but, as this file is in the attic, we do not
 222 # convert to new lyx format. Plain latex creates output (and ignores missing
 223 #  files) while (pdf|lua|xe)latex exits with != 0
 224 export/doc/attic/eu_UserGuide_pdf.+
 225
 226 # Files in the attic with non-default output
 227 # (i.e. could be ERT, package incompatiblity, ...)
 228 export/doc/attic/it_(Customization_pdf5|UserGuide_dvi3|UserGuide_pdf4)_systemF
 229 export/doc/attic/sk_UserGuide_pdf4_texF
 230 export/doc/attic/id_UserGuide_pdf[45]_systemF