development/autotests/unreliableTests

   1 # Regular expressions for tests that should not be executed with
   2 # ctest -L export or ctest -L inverted because they do not work as expected
   3 # (either unreliable or invalid).
   4 #
   5 # Patterns will be automatically enclosed with '^' and '$'.
   6 # Matching tests get the label "unreliable" and do not get the label "export".
   7 #
   8 # TODO: Name problem: *invalid* tests (wrong output) are not *unreliable*.
   9 #   Use "unfit" or "unapplicable" as better label and name of pattern file?
  10
  11
  12 Sublabel: nonstandard
  13 #####################
  14 # Documents with additional requirements,
  15 # e.g. a class or package file not in TeXLive.
  16 # TODO: rename to "extra" or "exotic"?
  17
  18 export/templates/IUCr-article_(dvi|pdf).*
  19 export/templates/kluwer_.*_systemF
  20 export/templates/ectaart_(dvi3|pdf5).*
  21
  22 # requires knitr, requires rjournal.sty (not in TeXLive)
  23 # incompatible with fontspec?
  24 export/templates/RJournal_(dvi3|pdf[45])_systemF
  25
  26 # Requires aa.cls (not in TeXLive).
  27 # Fails with XeTeX/LuaTeX
  28 # Reported upstream (https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html)
  29 # Is there a new version fixing the problem?
  30 export/examples/aa_sample_(dvi3|pdf[45])_.*
  31 export/templates/aa_(dvi3|pdf[45])_.*
  32
  33 # Requires iucr.cls (not in TeXLive)
  34 # Is there a new version fixing the problem?
  35 # Does LuaTeX produce sensible results?
  36 export/templates/IUCr-article_pdf4_systemF
  37
  38 # Requires acmsiggraph.cls (not in TeXLive)
  39 # see http://wiki.lyx.org/Examples/AcmSiggraph
  40 export/templates/obsolete/ACM-siggraph/ACM-siggraph_(dvi|pdf).*
  41
  42 Sublabel: erratic
  43 #################
  44 # Tests depending on local configuration, or the phase of the moon.
  45
  46 # Manual export fails the first time but works the second time. (Why?)
  47 export/doc/es/(Customization|Intro)_pdf4_texF
  48
  49 # Missing Cyrillic LICR commands (on first run after changing from tex-fonts)
  50 # (leftover *.aux file?)
  51 export/doc/uk/Intro_pdf4_texF
  52
  53
  54
  55 Sublabel: varying_versions
  56 ##########################
  57 # Test depending on e.g. OS or version of a non-TeX-Live dependency.
  58 # Note that a full, up-to-date TeX Live installation is required so this
  59 # sublabel is about versions of other dependencies.
  60
  61 # Encoding cp858 only supported by some iconv variants
  62 # Gnu iconv only supports it, if configured with "--enable-extra-encodings"
  63 # (see https://www.gnu.org/software/libiconv/)
  64 export/export/latex/cp858_pdf2
  65
  66 # Seminar export with LaTeX fails in latest TeXLive:
  67 export/examples/(|fr/)seminar_(dvi|pdf).*
  68
  69 # since TeXLive18, 8-bit LaTeX defaults to utf-8
  70 # ----------------------------------------------
  71
  72 # `acmart` calls "libertine" as default font.
  73 # With TeXLive < 18, this clashes with LyX setting up 8-bit TeX fonts
  74 # PDF (luatex) and PDF (xetex) (compilation error or wrong fonts).
  75 # See also #9744 allow parallel configuration of TeX and non-TeX fonts.
  76 export/templates/acmart_pdf[45]_texF
  77
  78
  79 Sublabel: wrong_output
  80 ######################
  81 # Export does not fail but the resulting document has errors.
  82 #
  83 # These tests are actually not "unreliable" (different result for different
  84 # runs) but *invalid* (not measuring what they should measure).
  85
  86 # seminar.sty uses Postscript specials or PGF resulting in problems with slide
  87 # size and orientation depending on the output format and viewing application.
  88 # For details see Troubleshooting and the Appendix in examples/seminar.lyx.
  89 export/examples/(|fr/)seminar_(dvi|pdf).*
  90
  91 # Babel-Spanish uses UTF-8 encoded strings if it detects Xe/LuaTeX.
  92 # With "language default" (=="latin9"), Babel strings  come out wrong
  93 # when compiling with Xe/LuaTeX and TeX-fonts.
  94 # - The problem is generic to all Spanish documents but only manifests itself
  95 #   if Babel strings with non-ASCII chars are actually used
  96 #   (the ToC heading, e.g., becomes "ÃŊndice" instead of "Índice").
  97 # - In some cases, export fails
  98 #   (see invertedTests, some more tests fail with TeXLive versions < 18).
  99 # Should we set inputenc to utf8 in the documents to work around the problem?
 100 # (Changing the default in lib/languages requires more tests for utf8 first.)
 101 export/examples/es/(ejemplo_con_lyx|tufte_book)_(pdf5|dvi3)_texF
 102 export/doc/es/.*_(pdf5|dvi3)_texF
 103
 104 # LyX issues
 105 # **********
 106
 107 #6197: „amssymb” with Polish babel: name clash \lll ("<<<" vs. "ł")
 108 # Wrong output with pdflatex
 109 # missing character with XeTeX/LuaTeX and Babel (-> invertedTests)
 110 export/export/latex/6197-polish-amssymb_(dvi|pdf).?
 111
 112 #9681 Run-together words if language is set to Greek
 113 # if inputenc is 8-bit "language default".
 114 # See https://www.lyx.org/trac/ticket/9681#comment:6
 115 # TODO: add separate bug for:
 116 # Definition of "\LyX" needs "\textlatin" in Greek (printed as "ΛΨΞ").
 117 export/.*/el/.*(_texF|(dvi|pdf.?))
 118
 119 # Non-ASCII char in verbatim environment is dropped (with a warning when
 120 # doing this interactively) with ASCII (and hence also with XeTeX).
 121 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_texF
 122
 123 # The following document mixes inTitle layouts and leads to
 124 # likely unintended output. See #10347
 125 export/export/mixing_inTitle_layouts_(pdf|dvi).*
 126
 127 # Characters with accents are not output
 128 # Reported to LuaTeX mailing list here:
 129 # https://www.mail-archive.com/search?l=mid&q=20160831134006.4fewxothddqfeyw4%40steph
 130 # (not expecting much attention because DVI is not given high priority)
 131 export/doc/es/Customization_dvi3_systemF
 132 export/examples/(|es/)(europe|modern)CV_dvi3_systemF
 133
 134 # No termination of LICR macros when textcyr and textgreek is not required
 135 # Cf. #9637 textgreek and textcyr depend on font-encoding, not input encoding
 136 # -> original problem fixed but run-together words in Russian (and Greek)
 137 export/export/latex/ru-accent-ascii_pdf2
 138 export/export/latex/unicodesymbols/009-cyrillic_ru_euc-cn_pdf2
 139
 140 # `acmart` requires PDFlatex:
 141 # * Missing page number in DVI, Postscript, and PDF (ps2pdf)
 142 # * "PDF (ps2pdf)" fails (problem with Postscript) in TeXLive < 2018
 143 export/templates/acmart_dvi.*
 144 #export/templates/acmart_ps # not tested by ctest autotests
 145 export/templates/acmart_pdf
 146
 147 # lyx2lyx back-conversion of "Date" info-inset writes
 148 # the name of the day in English instead of Japanese.
 149 export/examples/ja/multilingual_lyx.*
 150
 151 # No localization of auto-strings with Chinese language under 8-bit TeX
 152 # (ctex font issue with texlive-lang-chinese (from Debian) under pdflatex)
 153 # and only partial localization with non-tex-fonts:
 154 export/export/latex/CJK/zh_CN-toc.*
 155 export/doc/zh_CN/(Intro|Tutorial)_(dvi|pdf).?
 156
 157 # Missing Chinese characters in the DVI (LuaTex)
 158 export/doc/zh_CN/(Intro|Tutorial)_dvi3_systemF
 159
 160 # CJK languages don't change/reset the "language" (which is problematic for
 161 # documents in a language that uses a non-standard font encoding)
 162 # In a Greek document, Latin letters in a text part set to "Chinese"
 163 # come out as Greek letters:
 164 export/export/latex/CJK/el-zh_CN_utf8-cjk.*