development/autotests/ignoredTests

   1 # Regular expressions for test combinations known to fail permanently
   2 # or to be irrelevant
   3 #
   4 # Patterns will be automatically enclosed with '^' and '$'.
   5 # Combinations matching these patterns will be skipped
   6 # by the cmake test configuration.
   7
   8
   9 # ================================================
  10 Sublabel: problematic
  11 # Documents that cause problems for the test suite
  12 # ================================================
  13
  14 # problems exporting to lyx16x
  15 export/examples/Modules/Noweb_lyx16
  16 export/examples/Modules/Noweb2LyX_lyx16
  17
  18 # Ignore MergedManuals_xhtml because the test is very time-consuming
  19 # and the underlying subdocuments are already tested
  20 # Ignore MergedManuals_lyx2[2-9] too
  21 # due to following xhtml export of converted file
  22 export/doc/(ja/|)MergedManuals_(xhtml|lyx2[2-9])
  23
  24 # Legacy encoding cp858 only supported by some iconv variants.
  25 # (Gnu iconv only supports it, if configured with "--enable-extra-encodings"
  26 #  see https://www.gnu.org/software/libiconv/)
  27 export/export/latex/inputenc-cp858_pdf2
  28
  29 # Korean legacy encoding fails (missing fonts)
  30 # 2019-05-17: This is a minor issue since we default to utf8 now.
  31 export/export/latex/CJK/ko_default_pdf2
  32
  33
  34 # ================================================
  35 Sublabel: lyx_wontfix
  36 # Tests that would fail because of LyX bugs or missing features. Not worth it
  37 # to invert because would take up testing time for issues that are not likely
  38 # to be fixed.
  39 # ================================================
  40
  41 # lyx2lyx roundtrip does not converge in these cases because ERT is added on
  42 # each backwards export. The exports still compile; it is just that there is
  43 # no convergence.
  44 # Simplified example: \textbf{hello} -> \textbf{\textbf{hello}} -> ...
  45 #
  46 # (currently no tests in this category, but we expect some in the future)
  47
  48 # (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg218237.html)
  49 # These are old problems. One is related to a questionable nomencl change
  50 # which we addressed in master but not in stable, see
  51 # https://www.lyx.org/trac/ticket/10634#comment:2
  52 # The other is due to CJK quotation marks which are not supported in 2.3.
  53 #
  54 # TODO: unignore these tests after they are not used for compilation anymore
  55 #       (we only use "recent" lyx2lyx roundtrip to test compilation.)
  56 export/doc/de/UserGuide_lyx2(2|3)
  57
  58 # perhaps related to the above de/UserGuide issue:
  59 # gives the following index error:
  60 # ERROR: CHAR: index 0 should be less than the length of the string
  61 # TODO: unignore these tests after they are not used for compilation anymore
  62 #       (we only use "recent" lyx2lyx roundtrip to test compilation.)
  63 export/doc/fr/EmbeddedObjects_lyx2(2|3)
  64
  65 # (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg218252.html)
  66 # from Kornel:
  67 # Exporting to 2.3 format and exporting from the exported differ in extra lines and
  68 # in changed sequence of 2 lines at begin.
  69 #
  70 # $ diff doc/fr/UserGuide.23.lyx fr/UserGuide.23.23.lyx
  71 export/doc/fr/UserGuide_lyx2(2|3)
  72
  73
  74 # ===========================================
  75 Sublabel: special
  76 # Documents that do not work with all exports
  77 # ===========================================
  78
  79 # XeTeX with TeX fonts
  80 ######################
  81 # XeTeX with TeX-fonts works only for input encodings "utf8-plain" and "ascii".
  82 # Ignore all (except dedicated XeTeX tests):
  83 export/export/latex/lyxbugs/wrong_output_3059-rtl-tables-xetex_pdf4_texF
  84 !export/export/.*xetex.*_pdf4_texF
  85 export/.*/(|ar|ca|cs|da|de|en|el|es|eu|fa|fr|gl|he|hu|id|it|lt|nb||nl|pl|pt|pt_BR|pt_PT|ro|ru|sk|sl|sr|sv|uk).*_pdf4_texF
  86
  87 # Only PDFLaTeX
  88 ###############
  89 # Inside these two files, we state that they should only be expected
  90 # to work with pdflatex and possibly lualatex.
  91 export/examples/Modules/PDF_Form_(dvi.*|pdf[^25]*)
  92 export/examples/(|de/|fr/)Modules/PDF_Comments_dvi3_.*F
  93 export/examples/(|de/|fr/)Modules/PDF_Comments_pdf5_texF
  94
  95 # jss.cls (not on CTAN)
  96 # "All documents need to be processed by pdflatex" [jss.pdf]
  97 export/templates/Articles/Journal_of_Statistical_Software_.*(dvi|dvi3_.*|pdf3?)
  98
  99 # No dvipdf[m]
 100 ##############
 101 # Beamer does not work with dvipdf[m] (wrong output or compilation errors).
 102 # See `texdoc beamer`.
 103 # TODO: Should the export do PDF (dvipdfm) be made unavailable for Beamer or
 104 # just a warning be given in the example or documentation?
 105 export/.*/(|de/|es/|fr/|ja/).*Beamer.*pdf3
 106
 107 # Only Postscript (and ps2pdf)
 108 #################
 109 # Document uses Postscript specials
 110 # Does not compile with pdflatex or non-TeX fonts (see note in the document source).
 111 export/examples/Graphics_and_Insets/Instant_Preview_pdf[25].*
 112 export/examples/Graphics_and_Insets/Instant_Preview_(dvi3|pdf4)_systemF
 113
 114 export/examples/Articles/Chess/Game_2_pdf[25].*
 115 export/examples/(|fr/)Presentations/Powerdot_pdf[25].*
 116 export/examples/Modules/Chessboard_(lyx(16|20|21|22|23)|(pdf5|dvi3)_texF)
 117
 118 # pLaTeX
 119 ########
 120 # ignore with pdflatex and Xe/LuaTeX with 8-bit fonts:
 121 #
 122 export/export/latex/.*platex.*(pdf2|texF)
 123 export/export/latex/languages/ja[-_].*_(pdf2|texF)
 124 #
 125 # Most Japanese documents use language "japanese" which is tied to "platex"
 126 # (automatically invoked instead of "latex" to create a DVI file).
 127 # For a discussion of alternatives for Japanese with LaTeX , see also
 128 # https://tex.stackexchange.com/questions/320021/xelatex-using-japanese-ldf-for-babel-causes-invalid-characters-errors
 129 #
 130 export/examples/Language_Support/Mixing_Japanese_with_other_Languages_%28with_platex%29_pdf2
 131 # Exceptions:
 132 # The "!" means: "Protect these tests from being matched by future patterns in this file".
 133 # Export by plain- and pdflatex engines works with language "japanese-cjk", e.g.
 134 !export/examples/Language_Support/Mixing_Japanese_with_other_Languages_.*(dvi|pdf[23]?)
 135 export/examples/Language_Support/Mixing_Japanese_with_other_Languages_.*systemF
 136 # the rest:
 137 export/.*/ja/.*_(pdf2|texF)
 138
 139 # Japanese knitr.lyx and sweave.lyx support only XeLaTeX with system fonts
 140 # because they use the "bxjsarticle" class and non-TeX fonts
 141 !export/examples/ja/Modules/Rnw.*knitr.*_(lyx.*|xhtml|pdf4_systemF)
 142 export/examples/ja/Modules/Rnw.*knitr.*
 143 !export/examples/ja/Modules/Sweave.*_(lyx.*|xhtml|pdf4_systemF)
 144 export/examples/ja/Modules/Sweave.*
 145
 146 # The LuaTeX-ja package, which is loaded by bxjs* class, is not designed
 147 # to be used with dvilua(la)tex:
 148 #   https://www.mail-archive.com/search?l=mid&q=20200917155146.ec1bd9f9b5d5f5936513e5dd%40yahoo.co.jp
 149 # These started to fail due to a "luatex" package update in the TL20 cycle.
 150 export/.*/(ja|zh_CN)/.*_dvi3_systemF
 151 export/export/latex/CJK/zh_CN-toc.*_dvi3_systemF
 152
 153 # CJK fails (sometimes) with Xe/LuaTeX and 8-bit fonts:
 154 #####
 155 export/examples/Language_Support/Mixing_Japanese_with_other_Languages_.*(dvi3|pdf5)_texF
 156 export/.*/(ko|zh_CN)/.*(dvi3|pdf[45])_texF
 157 export/export/latex/CJK/zh_CN-toc_*.(dvi3|pdf[45])_texF
 158 export/export/latex/CJK/en-de-el-ru-ko_utf8_.*_texF
 159
 160 # export of minted documents to 2.2.x is not guaranteed to work (and currently
 161 # fails for our two minted example files), as explained here:
 162 # https://www.mail-archive.com/search?l=mid&q=20190113085555.GA7928%40GIOVE
 163 export/examples/Insets/Minted.*lyx22
 164
 165 # Subdocuments that are not expected to work as stand-alone documents:
 166 ##############
 167 export/mathmacros/Spacechild[123].*
 168 # chapters of Springer books (svmono, svmult) (except 00_Main_File)
 169 export/templates/Books/Springer_.*/(0[^0]|1.)_.*
 170 check_load/templates/Books/Springer_.*/(0[^0]|1.)_.*
 171 export/templates/Theses/PhD_Thesis/(Acknowledgments|Appendix|Summary|Bibliography|Chapter_[12])_lyx.*
 172 # Used only as include file for some tests
 173 .*/export/IncludeMissingEndTagDiv.*
 174
 175 # Bibliography.lyx is not expected to compile. See the following for discussion:
 176 #   https://www.mail-archive.com/search?l=mid&q=20190104195414.opgeuggeqakxl2fo%40barna
 177 # Ignore all formats except xhtml export
 178 export/templates/Theses/PhD_Thesis/Bibliography_[^x].*
 179
 180 # `acmart` and `copernicus` are not supported by LyX < 2.3
 181 export/templates/Articles/Association_for_Computing_Machinery.*_lyx(16|20|21|22)
 182 export/templates/Articles/Copernicus_Publications_.*_lyx(16|20|21|22)
 183 # Seems, like only latex and pdflatex compilations work
 184 #! Missing number, treated as zero.
 185 # in copernicus.cls:199
 186 # \ifnum\pdfoutput=\z@
 187 export/templates/Articles/Copernicus_.*_(texF|systemF)
 188
 189
 190
 191 # ============================================================
 192 Sublabel: obsolete
 193 # Documents relying on no longer available packages or classes
 194 # ============================================================
 195
 196 # aastex6.cls is obsoleted by aastex62.cls
 197 export/attic/examples/Articles/American_Astronomical_Society_.*v._6%29.*
 198 check_load/attic/examples/Articles/American_Astronomical_Society_.*v._6%29
 199 export/templates/Obsolete/American_Astronomical_Society_.*v._6%29.*
 200 check_load/templates/Obsolete/American_Astronomical_Society_.*v._6%29
 201 # Version 6.2 is not supported in LyX 1.6
 202 export/examples/Articles/American_Astronomical_Society_.*v._6.2.*_lyx16
 203 export/templates/Articles/American_Astronomical_Society_.*v._6.2.*_lyx16
 204
 205 # latex8.sty is obsoleted by IEEEconf
 206 export/templates/Obsolete/Latex8_Article.*(dvi|pdf|lyx2[23]).*
 207
 208 # ==============================================================
 209 Sublabel: irrelevant
 210 # Dedicated test samples that don't need testing in all variants
 211 # ==============================================================
 212
 213 # LaTeX
 214 # don't check loading, lyx2lyx, or export to other LyX versions or HTML
 215 check_load/export/latex/.*
 216 lyx2lyx/export/latex/.*
 217 export/export/latex/.*(lyx..|xhtml)
 218
 219 # don't test with non-TeX fonts:
 220 export/export/latex/inputenc-.*_systemF # 11522 still open but already tested
 221 export/export/latex/languages/supported-languages_babel_(pdf|dvi)._systemF
 222 export/export/latex/languages/supported-languages_babel_auto-legacy_.*_systemF
 223 export/export/latex/lyxbugs/6197-polish-amssymb_pdf5_systemF
 224 export/export/latex/languages/nested-inputenc_auto-legacy_.*_systemF
 225 export/export/latex/languages/cyrillic-languages-conflict_.*_systemF
 226 export/export/latex/languages/th-en_utf8_.*_systemF
 227
 228 # wrong output but does not fail:
 229 export/export/latex/lyxbugs/3059-language-in-tables_.*_systemF
 230
 231 # don't test with TeX fonts:
 232 export/export/latex/languages/supported-languages_babel_non-tex_.*(dvi|pdf.?|texF)
 233 export/export/latex/languages/supported-languages_polyglossia_.*(dvi|pdf.?|texF)
 234 export/export/latex/languages/supported-languages_XeTeX_.*(dvi|pdf.?|texF)
 235 export/export/latex/languages/supported-languages_(dvi3|pdf5).*_texF
 236 export/export/latex/lyxbugs-resolved/9633-.*(dvi|pdf.?|texF)
 237 export/export/latex/lyxbugs/11522-systemfonts-Math-missingchars_pdf5_texF
 238 export/templates/Articles/American_Psychological_Association_%28APA%29,_v\._7_(dvi3|pdf5)_texF
 239 export/export/latex/languages/latinErt_(dvi3|pdf5)_texF
 240 export/export/latex/languages/mixed_ltr-art_arabi-standard-font_(dvi3|pdf5)_texF
 241
 242 # TeXLive does not set up Hebrew 8-bit TeX fonts
 243 export/export/latex/unicodesymbols/152-modifiers-presentation_he_.*_pdf2
 244 # Tests which are not expected to succeed, because used
 245 # as a child
 246 export/export/latex/languages/supported-languages_(dvi|pdf).*
 247
 248 # lyx2lyx
 249 # dedicated lyx2lyx tests
 250 !export/export/lyx2lyx/.*lyx..
 251 export/export/lyx2lyx/.*
 252
 253
 254 # HTML
 255 # don't check loading, lyx2lyx, or export to other LyX versions or DVI/PDF
 256 check_load/export/xhtml/.*
 257 lyx2lyx/export/xhtml/.*
 258 export/export/xhtml/.*(lyx..|dvi.*|pdf.*)
 259
 260 # DocBook
 261 # not expected to successful compile
 262 check_load/export/docbook/.*
 263 lyx2lyx/export/docbook/.*
 264 export/export/docbook/.*(lyx..|dvi.*|pdf.*)
 265
 266 # ================================================
 267 # epub
 268 Sublabel: lyx_later
 269 # Tests ignored for now since a lot of them are
 270 # failing (and are not regressions).
 271 export/.*/(ar|ca|cs|da|de|el|es|eu|fa|fr|gl|he|hu|id|it|ja|ko|lt|nb|nl|pl|pt|pt_BR|pt_PT|ro|ru|sk|sl|sr|sv|uk|zh_CN|).*_epub
 272
 273 # For zh_CN: Jürgen pointed out that it might be due to this issue:
 274 #   https://tex.stackexchange.com/questions/548139/
 275 # TODO: and that we might want to report it here:
 276 #   https://www.nongnu.org/cjk/
 277 # ML discussion was here:
 278 #   https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg217924.html
 279 export/doc/zh_CN/Tutorial_(lyx22|lyx23|dvi|pdf|pdf2|pdf3)