Add NewlineCmd InsetLayout and Argument option

This allows to specific an alternative macro for newlines

Fixes: #10407

Add MenuString to InsetLayout

Fixes: #8818

Amend [f2029fb3/lyxgit]

The fix for #11552 was reintroducing #9348. This commit makes sure
it stays fixed.

Fix bug #11552

Do not insert a brace inset when we know that LyX wrote the braces.

This commit amends [503f7db2/lyxgit].

ctest fixes.

RELEASE-NOTES update

Don't switch encodings if in search modus

language support update (tests and workaround for Thai).

Rename legacy input encoding settings.

Format incremented to 573

Select the whole paragraph with tripple-left-click

Fixes #9175

Also added new function: paragraph-select.

Revert "Make math autocorrrect work with more than 2 chars"

This reverts commit 144e7d715938af7cadd9073f4afc30f3744a226a.

Revert "Allow to undo partly math autocorrect"

This reverts commit f7a11ca7115064710b98bedc64d724ca15362527.

Rewrite the code that sets caret height in mathed

Instead of remembering the caret ascent and descent for the cell that contains the cursor, the new code remembers caret dimension for each MathRow object. This makes the code much less fragile (ans slightly smaller).

This fixes caret size issues when the Update::SinglePar flag is active.

Fixes bug #11541.

Allow to undo partly math autocorrect

To this end, introduce Undo::splitUndoGroup, which ends currently
group and creates a new one with same nesting level.

Make math autocorrrect work with more than 2 chars

Properly fix #9616

Now all symbols in the unicodesymbols file having a mathcommand
are not wrapped in a \text inset anymore.

Revert "Correctly classify arrows as math symbols"

This reverts commit c56adfc8ec633145703111d6cce8831e7995e1ca.

I am reverting this because LyX uses an italic font for representing
mathalpha symbols and it is funny when a vertical arrow looks like
a leaning tower.

Correctly classify arrows as math symbols

The unicodesymbols file should be audited in order to add the
mathalpha flag to all symbols having a math representation.
If the flag is missing, when pasting in mathed a given symbol
with a math definition, one gets \text{\ensuremath{\symbname}}
because LyX assumes that the symbol is a textmode one by default.

     Update fr.po : translations of new strings, shortcuts untested

bg.po: fix escaping

credits: add Veselin and update Sergei Winitzki's entry.

Listings: language updates

Patch by Sergei Winitzki

bg.po: rebase

Bulgarian po update by Veso

Note that this is still under the 50% treshold, so it's not active yet.

ctests: fix some test failures reported by Kornel.

Document languages with new polyglossia support.

ctests: update tagging rules

Don't generally ignore Japanese documents with non-TeX fonts,
as some of them compile.

Set non-TeX fonts supporting Japanese in Japanese documents.

Update language support documentation and comments.

ctest update: Japanese documents (should) work with non-TeX fonts.

* do not ignore Japanese (platex) with system fonts.

* CJK can be used with XeTeX and TeX-fonts if the input encoding is utf8.
  do not ignore.

* TODO: set non-TeX fonts and uninvert where possible.

Japanese (platex) works fine with fontenc.

While not required for hyphenation, using T1 as default font encoding
helps with text in Latin script (pre-composed accented characters,
Nordic letters "eth" and "thorn").

Do not switch the input encoding inside documents using platex.

Fixes wrong and missing characters in text parts in other languages
(platex does not support "inputenc").

Fixes compilation errors due to desynchronized encoding switches.

platex input encodings: move handling of some "force" exceptions to unicodesymbols.

ctests: update ignoredTests patterns and comments.

Ctests: Invert some Spanish tests using non-ascii in references

These tests fail at the combination luatex + tex fonts.

platex fixes.

* Force unicodesymbols conversion for all *-platex input encodings,
* except some characters that work well in utf8.
* Use platex if document language is "japanese" and input encoding is "utf8".

ctest: update tagging scripts.

Force unicodesymbols conversion with uf8-platex.

Fixes Japanese (platex) documents with text parts in other languages.

Typographical corrections.

ctest: update/fix tag rules.

Use LatinRoman for Latin text parts in Japanese documentation.

unicodesymbols: support Thai characters.

Also update the ctests.

Improve and document use of Thai language.

Fix bold-like characters when selecting bidi text

In painter, restrting paining regions does not really work when region is empty.

Fixes bug #11198.

ctests: update names of included files in input encoding samples for Xe/LuaTeX.

Cmake export tests: Do not compile Minted files converted to lyx22 format

Amend e55ed79d: Extend handling of Noto fonts

Also renamed
        known_roman_fonts -> known_roman_font_packages
        known_sans_fonts -> known_sans_font_packages
        known_typewriter_fonts -> known_typewriter_font_packages
        known_math_fonts -> known_math_font_packages

Cmake tests: Converted to new format, to insert \use_non_tex_fonts variable set

Do not attempt to show module info for category headers

Update sk.po

Adapt tex2lyx to the noto fonts extension

Update tex2lyx tests due to format change

tabular-style-insert: add rows also for 1x and 2x tables

Fixes: #11537

de.po

GuiDocument: Sort available modules by category

Also improve display of module information

Module re-categorization, part 2

Re-categorize remaining modules

Improve categorization

Give some modules a more descriptive name.

Extend handling of Noto fonts

Added the possibility to use options Regular, Medium, Thin, Light, Extralight

ctests: adapt regex for "Obsolete/Latex8_.*"

Do not change input encoding globally for Kazakh language.

The global change
* is no longer required since the last fixes to the "textcyrillic" feature,
* is wrong for documents with only parts in Kazakh.

update lib/languages

* add workarounds for problematic definitions in Albanian and Lithuanian

* Babel-Serbian is fixed since version 3.0 (2019-01-12).

ctests: examples/uk/Welcome.lyx still fails with XeTeX on TeXLive19.

Tenacious bug in babel-ukrainian:
The date-string uses literal unicode characters (not present in TeX-fonts)
that somehow bypass inputenc's utf8 decoding.

Fix crash in GuiBibtex

Amend 6def81f30ff4f73. Never switch encodings with XeTeX or LuaTeX.

GuiDocument: Add filter to modules selection

Sorting by category is needs more work, since the GuiIdListModel is
not suitable for trees.

Resolve some implicit conversion warnings.

AASTeX layout:  Normalize layout name of \thebibliography.

Allows easy sharing of reference entries between documents
using different classes or switching document classes.

Update sk.po

Make module categories (almost) great again

The category tag was rarely used and thus not very useful. This adds
categorization to most modules (the rest will follow) and uses the
\DeclareCategory tag we use in layouts rather than the extra syntax
we used in modules. Categories are now added to the po files and
translated.

Note that this is work in progress: the current categories are still
subject to change.

The ultimate goal of this is to sort the modules in the GUI by category
as we do with layouts, examples and templates (and add a filter to search
for specific modules)

As it is now (with the many modules we accumulated), the module selector
is not really usable anymore. If you don't happen to know how exactly a
module is named, selecting a module is really a PITA.

Fix for Mac Command-0 zoom-buffer binding

Amends fix to #10455

Fix for #11476: Icons have spurious squares

Prevent multiplication of preamble code

Fixes rest of #8229

tex2lyx: improve module support

The current heuristics only considered modules with styles that defined
a searched command in their preamble, and only for commands/environments
that were defined in the document's preamble. This limited the module
support drastically.

The new heuristics also checks for commands coming from packages. If the
command is not (re-)defined in the document preamble, it checks modules
that provide a style with a matching LaTeXName, checks for their
requirements and matches those with the packages loaded by the document.

If no module provides a searched style, but we found modules that load
packages that are loaded in the imported tex file, and if those packages
are not auto-loaded by LyX anyway, we also load this module.

fixes: #11259, part of #8229

update tex2lyx tests

\cmidrule(lr) now natively imported.

tex2lyx: support for cmidrule trimming

Update tex2lyx tests

Disable TABLUAR_STYLE_INSERT with TABULAR_INSERT

Initialize TabularCreate dialog enabled.

As pointed out in #10105.

Fixed \origin

Next amend of d3ec77c6: Reorganize templates and example folders

Fix a path

Next amend of d3ec77c6: Reorganize templates and example folders

Update sk.po

Some doc updates

Improve error message

* Take preceding line break out of the l10n range. This is bound to get
  lost in translation
* Display encoding names that people actually find in the GUI

de.po

Add formal table templates with and without footlines

See discussion in #10105

booktabs trimming: fix some thinkos

Fix cmidline trimming with multicolumns

Fix #10600: XeTeX with 8-bit TeX fonts requires input encodings "utf8" or "ascii".

* New: support also utf8 (working around false positive test in "inputenc.sty").

* Do not force the change of input encoding to "ascii".

  Deny compilation with XeTeX if a document uses TeX fonts and a non-supported input encoding.

Update (formal) table documentation

Fixup 283ac91a: Forgotten test for null pointer

Document itemize bullets

Make the unicode value explicit as we do elsewhere.

Also change the value used for labeliv, since the current one may be
square with some fonts.

Put end label on own row after display inset

This corresponds to what is done on display. The same should be done
for start label too (e.g. beginning of a proof), but this requires more
work.

This required to move the static function getEndLabel to Text.

Fixes bug #11536.

Remove obsolete comment.

ctest fixes.

Hebrew with "nikud" requires HE8 font encoding.
All tests requiring Hebrew 8-bit fonts are "nonstandard".

booktabs: support for \cmidrule trimming

This has probably still some rough edges, so please test thoroughly.

Fixes: #3072

ctest update.

* some Japanese (platex) documents fail with inputenc "utf8-platex"
  (missing characters in non-Japanese text parts), because the
  Unicodechar definitions from "inputenc" are not used.

* some Japanes (platex) documents show wrong output with "auto",
  because platex ignores the encoding switch for text parts
  in other languages.

* Japanese Beamer documents must set default output to "pdf",
  because dvipdfm(x) produces wrong output with document class "Beamer".

* update tagging/inverting rules.

* use HE8 font encoding for Hebrew in language test.

Ignore CJK-tests with Xe/LuaTeX and tex fonts.

The CJK package does not support this combination...

Fixup ad79ac40: reintroduce markers around delimiters

The reasoning behind this change was not correct.

Fixes bug #11516.

Do not force the use of the HE8 font encoding for Hebrew.

While HE8 provides more characters and prevents use of bitmap fonts,
forcing its use may break older installations.

The dedicated test file 012_hebrew_he_HE8.lyx provides an
example for use of HE8 encoded fonts with babel-hebrew.

Pass a pit to Text::isRTL(), not a paragraph

unicodesymbols: add Hebrew nikud symbols and presentation forms.

The "nikud" (vowel) signs, shindot, and shindot  are combining Unicode
characters. However, LaTeX-Hebrew expects them as postfix characters, not
accent macros (cf. www.cs.tau.ac.il/~stoledo/Bib/Pubs/vowels.pdf).