]> git.lyx.org Git - lyx.git/blobdiff - development/autotests/invertedTests
ctests: uninvert LuaTeX texF es/EmbeddedObjects
[lyx.git] / development / autotests / invertedTests
index 8dab99120a6e0745cd3d1062a6b63986ccd93642..933cfba0b318c014ef4f6a8ac9bb09709813e2d4 100644 (file)
 # they are reported as failing if the export works without error.
 # https://cmake.org/cmake/help/v3.0/prop_test/WILL_FAIL.html
 
+# ======================================================================
 Sublabel: todo
-#
-# LyX bugs and problems with the sample documents that require attention.
+# LyX bugs and problems with the sample documents that require attention
+# ======================================================================
 # * minor issues to explore and properly sort,
 # * easyfix issues,
 # * LyX bugs to report at trac (move pattern to section "lyxbugs" once done).
 
-# Missing characters (U+0361, U+1E61) in LM,
-# set different system font in the source?
-# + language nesting problem (may disappear after completed translation)
-export/doc/(de/|fr/)Customization_.*_systemF
-
 # Error in Japanese document if LyX-logo is preceded by foreign language
 export/export/latex/ja_wrong_auto_encoding_(dvi|pdf(|3)).*
 
-# Missing characters with Latin Modern Unicode:
-# 0000 NULL           (where does this come from?)
-# 212B ANGSTROM SIGN  (literal character in the source, replace with 00C5)
-# The following are due to ERT commands for characters missing in LM
-# in chapter 16.2 "Accents in Text":
-# \t   -> 0361 COMBINING DOUBLE INVERTED BREVE
-# \c e -> 0229 LATIN SMALL LETTER E WITH CEDILLA
+# Missing characters with Unicode fonts
+# (the "hidden" replacement with FreeSerif does not help and results in bad
+# typography for mathematical content):
+# For details see the file "systemfonts-Math-missingchars.lyx"
 export/doc/(|de/|es/|fr/)Math.*systemF
+export/export/latex/systemfonts-Math-missingchars.*systemF
 
 # missing character: There is no ^^A in font [lmroman12-regular]
 # and all the line down to ^^Z and beyond...
 # XeTeX artifact? works with LuaTeX, explore:
 export/doc/(|de/|es/|fr/)EmbeddedObjects_pdf4_systemF
 
-# Changes in TeX Live 2014 (see git blame for info) fixed
-# IEEEtran-CompSoc_pdf4_systemF but not others.
-# TODO Investigate if others can be fixed?
-# * IEEEtran-Journal_pdf4_systemF compiles here (GM)
-# * All IEEEtran-TransMag.* exports fail here:
-#   missing commands \IEEEtitleabstractindextext, \IEEEdisplaynontitleabstractindextext
-#   -> adapt template and style (GM)
-export/templates/IEEEtran-(Journal|TransMag)_pdf4_systemF
+# missing character error after a TL 2016 update
+# TUenc.def converts \textcompwordmark to ZWNJ which is missing in LM.
+# for discussion on how to handle this problem see:
+# https://www.mail-archive.com/search?l=mid&q=20170225203955.nas2qopy4l4ukyqq%40steph
+export/export/latex/languagenesting2_pdf5_systemF
 
-# Requires ctex (Chinese).
-# Default output format is XeTeX. -> Only system fonts?
-#    Does (dvi|pdf3_texF|dvi3_texF) produce sensible results?
-export/templates/ctex_(pdf[23]?|pdf4_texF)
 
 # Example for lib/scripts/listerrors
 # Requires noweb. Seems to be restricted to plain "latex".
 # Find out why and whether the script could be improved.
 export/examples/listerrors_(pdf[245]).*
 
-# Requires CJK.
-# Why does it fail with pdflatex and dvipdfm? CJK restriction? Workarounds?
-# (Also fails with Xe/LuaTeX and TeX-fonts -- as expected, see ignoredTests)
-export/examples/ko/splash_(dvi||pdf[23]?)
-
-# Following mathmacros tests fail
-# Why? -> sort and comment
-export/mathmacros/testcases_speed_(lyx16|lyx21|dvi|pdf|pdf[23]|(dvi3|pdf[45])_(texF|systemF))
-check_load/mathmacros/testcases_speed
+# iconv fails, if a nomenclature inset contains an uncodable character
+export/export/latex/iconv-error-nomenclature_pdf2
 
+# `acmart` document class:
+# (see also lyxbugs below and ignoredTests)
+# issues with listsof, reported to the maintainer
+# https://www.mail-archive.com/search?l=mid&q=of84gj%24l6b%241%40blaine.gmane.org
+# LyX gives the following terminal message:
+#
+#    TextClass.cpp (1385): The layout does not provide a list command for
+#      the float `sidebar'. LyX will not be able to produce a float list.
+#
+# which makes "check_load" and "lyx2lyx" fail (lyx2lyx for < 2.3 is ignored).
+check_load/templates/acmart
+export/templates/acmart_lyx23
 
-Sublabel: lyxbugs
+# Failing LyX2LyX conversions for old versions:
 #
-# LyX bugs with a Trac number.
+# "beamer" lyx2lyx fails sometimes for versions < 2.1
+# Back-conversion results in some layouts without name ("\begin_layout \n")
+# which trigger a warning message leading to test failure.
+export/examples/(|de/|fr/|ja/)beamer_lyx(16|20)
+export/templates/.*beamer-conference-ornate-20min_lyx(16|20)
+export/examples/beamerlyxexample1_lyx(16|20)
+#
+# modernCV fails for versions < 2.1
+# * reversed order of \end_layout and \end_inset results in corrupt LyX file
+# * reversed order of command arguments results in incompilable LaTeX
+export/examples/(|es/)modernCV_lyx(16|20)
 
-#9633 Language nesting and polyglossia
-export/doc/(nb|sk)/Intro.*systemF
-# in index insets
-export/export/latex/languagenesting_index_inset_.*_systemF
-# in enumerate and lyxcode
-export/export/latex/languagenesting_enumerate_and_lyxcode.*_systemF
-# these instances may disappear after completed translation
-export/examples/fr/linguistics_.*_systemF
-export/doc/(de/|fr/)Customization_.*_systemF
+# Farsi font encoding LAE should be added also to custom font encoding
+# (similar to the Greek font encoding LGR).
+export/export/latex/fa-OT1_pdf2
 
-#8823 documents requiring pre-processing fail with Japanese
-export/examples/ja/(knitr|lilypond|sweave)_(dvi|pdf3?)
+# CJK for multilingual documents:
+#
+# input-encoding "utf8" should work for documents using a CJK language:
+#export/export/latex/CJK/.*-en-de-el-ru_utf8_pdf2
+#
+# but that is not so easy if the main language does not require CJK:
+export/export/latex/CJK/en-de-el-ru-.*_utf8_pdf2
+#
+# some "language default" legacy encodings fail (missing fonts)
+export/export/latex/CJK/ko_default_pdf2
+
+# Arabic (see also "texissues")
+# "! Extra \else" and missing glyph "no ␣ in font Scheherazade":
+export/doc/ar/UserGuide_pdf4_systemF
+# the lyx2lyx test also tests compilation after round-trip:
+export/doc/ar/UserGuide_lyx(22|23)
+
+
+# input encoding tests
+# --------------------
+# Please test and correct!
+
+# Failing for unknown reason
+# Hebrew
+export/export/latex/unicodesymbols/008-greek-and-coptic-with-textalpha_cp862_pdf2
+export/export/latex/unicodesymbols/008-greek-and-coptic_cp862_pdf2
+export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp1255_pdf2
+export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp862_pdf2
+export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_iso8859-8_pdf2
+export/export/latex/unicodesymbols/074-76-letterlike-numberforms-arrows_cp862_pdf2
+# Arabic:
+export/export/latex/unicodesymbols/005-7-ipa-modifiers-combining_cp1256_pdf2
+export/export/latex/unicodesymbols/008-greek-and-coptic-with-textalpha_cp1256_pdf2
+export/export/latex/unicodesymbols/069-greek-extended-textalpha_cp1256_pdf2
+export/export/latex/unicodesymbols/070-72-general-punctuation-sub-super-currency_cp1256_pdf2
+export/export/latex/unicodesymbols/074-76-letterlike-numberforms-arrows_cp1256_pdf2
+
+# pLaTeX
+export/export/latex/unicodesymbols/.*_euc-jp-platex_pdf2
+export/export/latex/unicodesymbols/.*_jis-platex_pdf2
+export/export/latex/unicodesymbols/.*_shift-jis-platex_pdf2
+export/export/latex/unicodesymbols/.*_utf8-platex_pdf2
+
+
+# nonstandard tests failing for unknown reason:
+export/examples/aa_sample_(dvi3|pdf[45])_.*
+export/templates/obsolete/ACM-siggraph_pdf5_(texF|systemF)
+export/templates/IUCr-article_pdf4_systemF
+export/templates/RJournal_(dvi3|pdf[45])_systemF
+export/templates/aa_(dvi3|pdf[45])_.*
+export/templates/kluwer_.*_systemF
+
+# lyx2lyx tests:
+# back-conversion fails for rotated float inset in a list
+export/export/lyx2lyx/lyx_2_3_test_lyx(16|20|21|22)
+
+
+# ================================================
+Sublabel: lyxbugs
+# LyX bugs with a Trac number.
+# ================================================
+
+#6197: „amssymb” with Polish babel name clash \lll ("<<<" vs. "ł")
+# Wrong output with pdflatex (-> unreliableTests),
+# missing character with XeTeX/LuaTeX and Babel (OK with Polyglossia)
+export/export/latex/6197-polish-amssymb_pdf._texF
+
+#6463 font encoding changes and combining accents
+# problem remains for Cyrillic in a non-Cyrillic-using language
+export/export/latex/cyrillic-accent-ascii_pdf2
+
+#9871 LyX sends invalid Unicode to iconv when converting to ASCII
+# most probably due to BabelPreamble code (language specific headings for
+# theorems, problems , ... are written in the language's default encoding
+# if they contain non-ASCII characters)
+# Error 84 returned from iconv when converting from UCS-4LE to ascii:
+# Invalid or incomplete multibyte or wide character
+export/doc/(es|fr)/Additional_pdf4_texF
+export/doc/(de|es|fr)/EmbeddedObjects_pdf4_texF
+export/doc/es/Customization_pdf4_texF
+# see also the discussion at:
+# https://www.mail-archive.com/search?l=mid&q=20170228190738.cgs3tl3ny2bxiegk%40steph
+export/examples/es/linguistics_pdf4_texF
+export/export/latex/bug9871-slovak-ascii-preambleencoding_pdf2
+
+#8035 work around a Polyglossia bug:
+# An error is reported if the document font does not announce support for a
+# script (Cyrillic, Greek, ...) which Polyglossia thinks is required to
+# typeset the document language. This is not required with LyX's check for
+# missing characters and results in many false positives:
+# a) with fonts including the required characters but
+#    not the tag tested by Polyglossia,
+# b) if the document language is "Serbian (Latin Script)",
+#    the Cyrillic script is not required yet Polyglossia tests for support.
+# The document "sr/Braille.lyx" is an example of case b).
+# (For some reason, the false positive error is not thrown with PDF (luatex).)
+export/examples/sr/Braille_(dvi3|pdf4)_systemF
 
 #10355 xmllint detects failures
 export/doc/attic/eu_UserGuide_xhtml
@@ -93,23 +184,32 @@ export/export/WrongDfnTagHandling_xhtml
 # contains underscores etc.
 export/export/latex/LongestLabelWithUnderscore.*
 
+# Common Unicode fonts don't support all characters supported by
+# lib/unicodesymbols. (This shows that there are use cases for 8-bit fonts
+# or GUI support for selecting more than one system font.)
+export/export/latex/luainputenc-utf8_pdf5_systemF
+
+#11455 "Unable to process argument!" with multiple 1.6.x roundtrips
+export/templates/IEEEtran-Journal_lyx16
+
+
+# ==============================================================
 Sublabel: ert
+# Export failures due to "raw" LaTeX use in ERT or preamble code
+# ==============================================================
 #
-# Export failures due to "raw" LaTeX use in ERT or preamble code.
 # "Wontfix" if demonstrating correct use and OK in the default output format.
 
 # Non-ASCII in ERT, fails with inputenc==ASCII (e.g. XeTeX with tex-fonts)
-export/doc/(de|es|fr)/Additional_pdf4_texF
+#   Could not find LaTeX command for character 'í' (code point 0xed)
+export/doc/(de|es)/Additional_pdf4_texF
 
-# inputencoding="utf8-plain" with Xe/LuaTeX: characters with
-# Unicode point > 256 lead to errors with 8-bit fonts
-# (We keep this option for power users setting Unicode fonts in the preamble
-# or document class file).
-export/export/latex/utf8-plain-with-tex-fonts_.*_texF
 
+# ================================================
 Sublabel: texissues
-#
 # Export fails due to LaTeX limitations,
+# ================================================
+#
 # e.g. non-ASCII in verbatim or listings, incompatible packages, ...
 # "Wontfix" if documents demonstrate correct use in the default output format.
 
@@ -117,36 +217,18 @@ Sublabel: texissues
 # Fails with ASCII (and hence also with XeTeX).
 export/doc/(|de/|es/|fr/)UserGuide_pdf4_texF
 
-# chemgreek incompatible with LuaTeX and TeX fonts
-# fixed in TeXLive 2016-01-07 (add to unreliable?)
-#export/examples/achemso_(dvi3|pdf5)_texF
-# Math depends on the mhchem package which loads chemgreek
-#export/doc/(|de/|es/|fr/)Math_(dvi3|pdf5)_texF
-
-# Inside these two files, we state that they should only be expected
-# to work with pdflatex and possibly lualatex.
-export/examples/PDF-form_(dvi.*|pdf[^25]*)
-export/examples/(|de/|fr/)PDF-comment_dvi3_.*F
-export/examples/(|de/|fr/)PDF-comment_pdf5_texF
-
-# Hebrew docs do not currently work with LuaTeX (will be fixed in TeXLive-16)
-# TODO: set working system fonts in the lyx sources
-export/.*/he/.*(dvi3|pdf5).*
-
-# ... nor with XeTeX and 8-bit TeX fonts (due to missing ASCII replacements)
-export/.*/he/.*pdf4_texF
-
 # Babel-Russian uses UTF-8 for auto-strings if it detects Xe/LuaTeX.
 # This fails unless the inputencoding is set to utf-8, too.
 export/doc/ru/(Intro|Tutorial)_(dvi3|pdf[45])_texF
-export/examples/ru/splash_(dvi3|pdf[45])_texF
+export/examples/ru/(example_lyxified|splash)_(dvi3|pdf[45])_texF
 
-# Document uses Postscript specials
-# Does not compile with pdflatex (see note in the document source).
-export/examples/instant_preview_(dvi3|pdf4)_systemF
-export/examples/instant_preview_pdf[25].*
-export/examples/(chessgame|chess-article|powerdot-example)_pdf[25].*
-export/examples/fr/exemple-powerdot_pdf[25].*
+# Babel-Ukrainean uses UTF-8 if it detects Xe/LuaTeX (for "\date").
+# * garbled output with LuaTeX + TeX fonts, see unreliableTests.wrong_output,
+# * since TL18, see unreliableTests.varying_versions.
+# * missing chars with XeTeX + TeX fonts:
+#   (workaround: suppressing auto-date or date inset in documents).
+export/export/latex/uk-babel-date-missing-chars-with-ascii_pdf4_texF
+export/(doc|examples)/uk/(Intro|splash)_pdf4_texF
 
 # Gives the following error:
 # # ! Package hpstatement Error: H or P statement "H251"
@@ -154,21 +236,6 @@ export/examples/fr/exemple-powerdot_pdf[25].*
 # seems to be polyglossia-related (dvi3 worked with babel)
 export/examples/H-P-statements_.*_systemF
 
-# requires jss.cls (not on CTAN)
-# "All documents need to be processed by pdflatex" [jss.pdf]
-export/templates/JSS-article_(dvi|dvi3_.*|pdf3?)
-
-# tufte (partially) incompatible with latex and xelatex:
-# \MakeTextUppercase requires microtype.
-# http://tex.stackexchange.com/questions/202142/problems-compiling-tufte-title-page-in-xelatex
-export/examples/(|de/|es/)tufte-(book|handout)_(dvi.*|pdf|pdf3|pdf4.*)
-
-# Wasysym - LuaTeX incompatibility
-# Missing character reported for $_\sun$
-# (the sun-character is printed in \normalsize (i.e. not scaled)
-# with any export format -- only LuaTeX reports a missing character).
-export/examples/aas_sample_(dvi3|pdf5)_(texF|systemF)
-
 # These files use packages that are not compatible with the newest LuaTeX. We
 # could potentially fix these by loading the luatex85 package early in the
 # LyX-generated preamble, but it seems it's better to wait until the packages
@@ -176,13 +243,6 @@ export/examples/aas_sample_(dvi3|pdf5)_(texF|systemF)
 # xy package:
 .*(|fr/)xy(pic|figure).*pdf5.*
 
-# Polyglossia + LuaTeX + \verb bug with Cyrillic and Greek:
-# when compiling with LuaTeX, the "verb" and "url" macros trigger a false
-# error (also with fonts supporting Cyrillic!) and spurious output
-# See https://github.com/reutenauer/polyglossia/issues/160
-export/examples/(ru|uk)/splash_(dvi3|pdf5)_systemF
-export/doc/(ru|uk)/Intro_(dvi3|pdf5)_systemF
-
 # Problem with Check and Slovak Babel support.
 # (reported per mail to Petr Tesa\v{r}\'ik, 2016-09-06)
 # All exports using babel fail.
@@ -191,22 +251,98 @@ export/doc/(ru|uk)/Intro_(dvi3|pdf5)_systemF
 # No problem if the table is Slovak, too
 export/export/latex/TableErrorIfSlovakTextInserted_(dvi|pdf[23]?|.*_texF)
 
+# Polyglossia + LuaTeX issue
+# Reported upstream here:
+# https://github.com/reutenauer/polyglossia/issues/163
+# These tests were broken at 3374b854
+# See discussion here:
+# https://www.mail-archive.com/search?l=mid&q=1478004223.2367.5.camel%40lyx.org
+export/doc/(sk|nb)/Intro_(dvi3|pdf5)_systemF
+
+# fontspec errors with `slides` class:
+# LaTeX error: "kernel/command-already-defined"
+# Lines 2684 ... 2690 in fontspec-xetex.sty
+# Lines 2608 ... 2614 in fontspec-luatex.sty
+export/templates/slides_.*_systemF
+
+# Beamer: conflicts with some combinations of packages/settings/languages
+export/templates/ja_beamer-conference-ornate-20min_(pdf2|pdf[45]).*
+export/templates/es_beamer-conference-ornate-20min_pdf4_texF
+
+# Arabic
+#
+# Larger Arabic documents currently have non-tex-fonts and XeTeX as default
+# output. To fix pdfTeX export:
+# - set all non-Arab text parts to a different language (e.g. English)
+# - define alternatives for hyperref (e.g. with textorpdfstring)
+#   for correct handling of hyperref.
+# - solve problem with ToC:
+#      ! This can't happen (copying).
+#      \AtBegShi@Output ...ipout \box \AtBeginShipoutBox
+#                                                        \fi \fi
+#      l.62 \tableofcontents
+#                           {}
+#      I'm broken. Please show this to someone who can fix can fix
+#
+# see discussion at https://www.mail-archive.com/search?l=mid&q=20161114035123.s5lt4ib4x4obtptp%40steph
+#
+# Babel-Arabic loads "inputenc" which fails with Xe/LuaTeX:
+export/.*/ar/.*_texF
+# Polyglossia problem with LuaTeX (see also Hebrew and Farsi):
+# Undefined control sequences "\luatexpardir" and "\luatextextdir".
+export/.*/ar/.*(dvi3|pdf5)_systemF
+
+# Farsi
+# Polyglossia problem with LuaTeX (undefined command) (cf. Arabic)
+# https://github.com/reutenauer/polyglossia/commit/ccb0e9e2c6411170ad779b05ff5076f1193cc323
+export/examples/fa/splash_(dvi3|pdf5)_systemF
+# Missing characters (em space and "English" quotes) with XeTeX + system fonts.
+export/examples/fa/splash_pdf4_systemF
+# missing ASCII replacements (required by XeTeX + TeX fonts)
+export/examples/fa/splash_pdf4_texF
+# "invalid utf-8 sequence" with Babel-Farsi, LuaTeX, and TeX fonts.
+export/examples/fa/splash_(dvi3|pdf5)_texF
+
+# Hebrew
+# does not currently work with LuaTeX
+export/.*/he/.*(dvi3|pdf5)_systemF
+# ... nor with XeTeX and 8-bit TeX fonts (missing ASCII replacements)
+export/.*/he/.*pdf4_texF
 
-Sublabel: attic
+
+# CJKutf8 does not work with XeTeX and LuaTeX (and 8-bit fonts)
+export/examples/ja/multilingual_.*_texF
+export/export/latex/CJK/zh_CN-toc_.*_texF
+
+
+# ================================================
+Sublabel: externalissues
+# Export fails due to non-LaTeX external tool,
+# ================================================
 #
-# Documents in the attic.
-# Kept for reference and format conversion test.
-# However, most problems here are "wontfix".
+# e.g. a bug or missing feature in ps2pdf
+
+# ps2pdf gives the following and exits with error:
+# Error: /invalidfileaccess in --file--
+# ps2pdf succeeds if the -dNOSAFER flag is used. For discussion, see:
+# https://www.mail-archive.com/search?l=mid&q=1506851183.3130.15.camel%40lyx.org
+export/examples/ja/lilypond_pdf
+
+
+# ======================================================================
+Sublabel: attic
+# Documents in the attic, kept for reference and format conversion test.
+# However, many problems here are "wontfix".
+# ======================================================================
 
 # Fails because of missing .png graphic files.
 # They were replaced by .svgz, but, as this file is in the attic, we do not
 # convert to new lyx format. Plain latex and xetex create output (ignoring
 # missing files) while (pdf|lua)latex exits with != 0
-export/doc/attic/eu_UserGuide_pdf[25].*
+#export/doc/attic/eu_UserGuide_pdf[25].*
 
 # Files in the attic with non-default output
 # (i.e. could be ERT, package incompatiblity, ...)
-export/doc/attic/it_(Customization_pdf5|UserGuide_dvi3|UserGuide_pdf4)_systemF
+export/doc/attic/it_(UserGuide_dvi3|UserGuide_pdf4)_systemF
 export/doc/attic/sk_UserGuide_pdf4_texF
-# for LuaTeX tests, the problem is 'Language bahasai not found in language.dat.lua'
 export/doc/attic/id_UserGuide_.*systemF