Typo

FindAdv: Try to add the possibility to search for accented characters in regex

The problem is the handling of regex as using math-mode. That is
any accented character is converted to a math macro.
For instance "ä" --> "\\ddot{a}".
Outside of math or regex it is not converted (if used xetex flavour),
but there are other chars which are converted in math and in text (but differently)
For instance "ů"
in math --> "\\mathring{u}"
in text --> "\\r{u}"

TODO: determine the still not handled conversions.
It would be nice, if we could persuade math factory to not convert
these characters, but I was unable to find the place where the
conversion actually takes place.

unicodesymbols: Add force flags for arabic codepage.

Minor documentation fix.

Fix AttributeError with Python 3.

At least since Python 3.5, `output` is already a
(unicode) string and does not have a "decode" method.

Don't switch encodings when a document wide encoding is specified.

Remove special code for CJK that is no longer required after
we use CJKutf8 document-wide with inputenc "utf8-cjk"
(and "utf8" for languages requiring CJK) (since 7bbf333fa100).

CJK characters can no longer be used with a document-wide 8-bit encoding.
(Hint: Use utf8-cjk or one of the CJK legacy encodings if your document contains CJK characters.)

FindAdv: Use isAlnumASCII() instead of std::isalnum()

Thanks Jean-Marc

Use || instead of or operator

It is more consistent and visual studio seems to dislike it anyway.

Amend aaffcd0b: Remove some remnants ...

FindAdv: Do not use data from included listing if in search mode

Fixes #11496  "Find and replace (advanced)" is too slow

FindAdv: Try to use a better algorithm to find begin of a searched string

ctest update

* Do not change font choices when testing with non-TeX fonts.
* Add "nonstandard" tag for documents with requirements outside TeXLive.
* Ignore missing character in legacy Basque document.

Update screen as needed when preferences are changed

This commit removes the adhoc code in GuiPrefs and moves it to LyXRC,
so that it triggers in every preference change.

The code has also been updated to trigger on more variables, e.g.
font_*_foundry.

Note that the actual function that are called have not been changed
(addPreviews and LFUN_SCREEN_FONT_UPDATE), although there are doubts
that they behave as needed (see FIXMEs).

Fixes bug #11498.

FindAdv: Partially revert e69f7022

The slowness returns, but the search works again

Amend 4028eefe: Make callstack printing useful and optional

Added the option to cmake too

Fix bad error message (bug 11486).

Make callstack printing useful and optional

When callback printing is enabled, link lyx with -rdynamic, so that
stacks have LyX symbols available.

Add option --disable-callstack-printing to configure.

Running "size" on binary:
 * with callstack printing support
   text    data     bss     dec     hex filename
20891684   34680  107796 21034160 140f4b0 src/lyx

 * without callstack printing support
    text    data     bss     dec     hex filename
17953640   34648  107796 18096084 1141fd4 src/lyx

Fix help message for --disable-qt5

Use range-based loops in BufferList

Change the way scrolled rows are tracked

The goal of this commit is to simplify the logic in TextMetrics::draw.
Now, rows are repainted depending on their changed() status.

Instead of checking whether rows have been scrolled horizontally at
draw time, the code marks the row as changed when testing for
horizontal scrolling.

To this end a new method TestMetrics::setRowChanged is added, that
searches a row in the text metrics cache and marks it changed if
found.

The old code that remembered the previously scrolled row can now be
removed.

FindAdv: Fix #11496 -- too slow find

Also added some more macros to handle

Move some TextMetrics code around.

No change intended.

ctest update.

* set required non-TeX fonts in the documents
* update comments for inverted tests
* update some tags

FindAdv: Correctly match '\[' and '\]' in regular expressions with format enabled

We have to check for instances of '{[}' and '{]}' and
omit removing the enclosing parentheses

Add few hints for varwidth module.

rebuild credits

FindAdv: debug info

1.) Fill the 'head'-member to easier recognize the macro. May be discarded
 later, although it does not take too much run-time
2.) Add some comment
3.) Ignore any macro inside the regex.

FindAdv: Discard \parbox, \input macros

The languge of these macros does not matter. What's more,
without removing them we may obtain wrong matching.

FindAdv: Handle \shortcut

Essentially remove the header and handle the language inside
\shortcut{...} appropriately

Honor Update::SinglePar properly

The SinglePar update flags has been a no-op for a long time without
naybody noticing. This means that the current paragraph was
always rebroken and redrawn, even when only moving the cursor around.

Now we only do that when Update::SinglePar has been specified. This
means that there may be cases where update will not be correct
anymore, because this flag has not been specified. These places will
have to be found and fixed.

Update PAINTING_ANALYSIS.

FindAdv: Added handling for latex environments

1.) Make sure the environment is mentioned in the string for search
  (Added the keyword \latexenvironment{...})
2.) Handle it similar to \textcolor{}

That way we can also search for 'conclusion*' or 'summary' etc
in Additional.lyx.

Findadv: Added handling for frontmatter macros

title, subtitle, author etc.

Fix bug #11490

Correctly add the branch name suffix when the stem
of the filename contains a dot.

Rename TextMetrics::dimension() to dim()

Do not use trailing underscore for local variable

Remove unused method

Rename Row::dimension() to dim()

This is what is done elsewhere.

Let tm be a reference here as elsewhere

DEPM: document that Freespacing implies KeepEmpty.

Do a round of DEPM after changing layout

DEPM: allow to delete empty paragraphs after deleting extra spaces

Remove return statement when spaces have been deleted.

Add an early return in part 2 when current paragraph is not empty.

Remove some comments that concern things that are OK now.

DEPM: do not strip explicitly leading spaces

For the local version of DEPM, only what was around old cursor should change

For the global version, leading spaces are already handled.

DEPM: replace loop by existing method

DEPM: reorganize a bit (no change intended)

Exit early if the cursor has not moved.

Place comments where they belong.

DEPM: handle undo when deleting spaces

Also, do not do any DEPM when the buffer is read-only.

Fix copy/paste error spotted by coverity.

Initialize member

Spotted by coverity

Basic support for biblatex-chicago

This uses a specific wrapper package that must be loaded instead of
biblatex.

Via "Requires biblatex-chicago", this is now possible.

For proper support, a citeengine file needs to be written

This commit here could also be backported to stable.

FindAdv: Handle more cases

Some macros need:
1.) Take care of case sensitivity
2.) Better handling of used argument values
3.) Cleaner list-environment search
4.) Remove superfluous '~' if searching for description or labeling env

FindAdv: Even more fine tuning

Intro.lyx: remove a "short title"

This short title removed a spaced, and when taking a look we decided
that the advantages of removing it (simplicity and consistency)
outweigh the benefits of having a shorter entry in the table of
contents and PDF bookmarks.

ctests: useSystemFonts.pl -- revert changes in 1879fbedfb67cc6.

ctests: "Uninvert" IEEE tests with non-TeX fonts. Fix missing characters.

Documents used deprecated or lookalike characters missing in
Latin Modern system fonts:

Customization.lyx: "figure dash" instead of "emdash".
revtex4-1: "Angstrom sign" instead of "latin letter A with ring".

FindAdv: More fine tuning

ctest update: Set non-TeX fonts in documents, update comments and tags.

ctests: update tagging rules.

FindAdv: Fine tuning

ctests: Ignore some MergedManual tests with permanent problems

Update comment.

Load "textcomp" and "pmboxdraw" before "(lua)inputenc" to fix #11454.

Prevents wrong or missing characters with LuaTeX and 8-bit fonts.

Also "uninvert" the corresponding test case and two other
no longer failing "unicodesymbols" exports.

unicodesymbols: even more "force" flags.

FindAdv: Try to find real start of found match

Sometime it happen that the selection contains area which was skipped
in splitOnKnownMacros().
So we check, if a shorter selection would give the same mach size.

Fix Visual C++ warnning

Win installer: remove no longer available package

Win installer: updates and fixes

- enable support for Georgian
- update file sizes
- re-introduce the dictionary download because it is necessary to step through several mirrors if necessary. This function was once added because as it is now, only one mirror is used, if it is dead the user won't get the dictionary
- update the mirror list

FindAdv: Add handling of begin{multicols}[...][...]{...}

Also
a.) try to speed up regex search using non-greedy mode (.*?)
b.) remove '\n' completely in searched strings if it is not surrounded with
aplanumerical chars

unicodesymbols: one more missing "force" flag.

Amend 1e3e30da15 (unicodesymbols) and uninvert tests that now compile.

Don't switch encodings to/from CJK if the document encoding is using the CJK package.

Also, since we return earlier if the document encoding is an utf8-variant
since fc0ab1283, the wrapper around "setEncoding" is no longer required.

ctests: uninvert a few Farsi splash tests

Thanks to changing the encoding at f82030d2, these exports now
succeed.

Findadv: Add handling for powerdot macros

With format enabled, these macros were hard to process:
lyxslide, twocolumn

Force "unicodesymbols" conversions for Hebrew and Arabic encodings.

Fixes wrong output with these encodings for Latin Unicode blocks.
Other Unicode blocks still need verification for correct output.

Fix algorithm for finding localized files

Now we search in priority with the GUI language, and then the
language(s) specified in the LANGUAGES environment variable.
Preoviously, the GUI language would only be considered when
LANGUAGES was not set (which was a bug).

Take this opportunity to remove old compatibility code from 2007.

Fix CJK preamble.

Don't load the CJK package with utf8x (feature clash).

Load CJK (not CJKutf8) with traditional Chinese and "language-default".

Amend 1c9d3da938 again: some more forced "unicodesymbols" conversions.

Comment: add matching parenthesis

Use braces for listings caption

Commit [3366c49f/lyxgit] intended to strip braces only for minted
but was actually stripping them also for listings. As the braces
are necessary for the listings package, reintroduce them.
This is a master-only issue.

Cmake build: Fix some warnings with cmake3.13

Wrong set() syntax

DEPM: fix infinite loop.

Check for CJK instead of CJKutf8.

The specific test was introduced in ef6be5f4 because
CJKutf8 was relatively new (cf. lyx.org/trac/ticket/5386).

10 years on, CJKutf8 is an established part of the CJK bundle
and we can skip the special test for CJKutf8 to make the logic
considerabely simpler to read, maintain and debug.

Prevent fallback to "utf8" if "inputenc" package is not loaded.

Since April 2018, pdflatex falls back to input-encoding utf8 if
it does not detect an input encoding setting.
https://www.latex-project.org/news/latex2e-news/ltnews28.pdf

This leads to failure with CJK legacy encodings and may not
be what you want if selecting "Language Default (no inputenc)"
as document input-encoding.

ctests: update Korean tests, add "language default" test including Chinese.

Set suitable non-TeX fonts in the test document.
Use "kotex" language package.

Amend 1c9d3da938: some more forced "unicodesymbols" conversions.

Findadv: Handle \lettrine{} in initials.module

The problem here is, that selecting any subset of a \lettrine{}
line always creates an initials header. That makes it impossible
to our search engine to find strings, because the regex does not
contain that info. So we have to discard the leading \lettrine part
completely.
We place now a marker (\endarguments) to determine that removable
part.

Do not rely on x_ when painting label

Additionally fixes a warning about unused value (from clang-analyzer).

Fix bug #11484

When splitting parameters at commas, take into account that
commas inside curly braces are not parameter separators.

Force "unicodesymbols" conversion for legacy CJK encodings where required.

ctests: invert test for #6197

Fix DEPM at end of paragraph

Remove special handling of spaces at end of paragraph. Now they are
handled like interword spaces by both DEPM methods.

Fix off-by-one error in loop when testing for end of paragraph.

Style: use Dociterator::lastpos() instead of Paragraph::size().

Part of bug #11412.

ctests: Update Chinese report example.

Do not use \inputencoding when the buffer input encoding is one of the "legacy" CJK encodings.

If Document>Settings>Language>Encoding is set to any value except "auto" or "default", we
expect the whole document to use this encoding. Wiht encodings from the CJK package, this means
one big "CJK" environment and no encoding switches.

Characters that are not handled by the CJK package need to be "forced" in lib/unicodesymbols.
This is completed for "euc-cn", the others will follow.

ctests: fix/update CJK tests.

Use "ctex" default fonts (FandongSol) with Xe/LuaTeX.

The default fonts provide a good match to LatinModern and
closer similarity to the look with 8-bit TeX fonts.

Also replace a box-drawing character in a heading with an em-dash.

Chinese localization in user preamble using "ctex" with non-TeX fonts
https://tex.stackexchange.com/questions/17611/how-does-one-type-chinese-in-latex

TODO: use "ctex" if the document language is Chinese.

Remove "\clearpage" workaround from documents
(not required after fix for #5386 in [5ebc0b3f432f468/lyxgit]).

ctests: Dedicated test and comments for "lyx2lyx.lyx_2_4.revert_fonts".

? and = must not be percent-encoded in hrefs

Fixes: #11482

DEPM: some factorization beween both versions

Additionally, correct the cursor by an offset equal to the variation of paragraph size : if change tracking is on, deleting a space may mean that it is just marked as deleted.

Part of bug #11412.

Amend a25b9702, lyx2lyx: Corrected handling of system-font-specs

In the lines specifying the font, e.g.
\font_typewriter "DejaVuSansMono" "DejaVu Sans Mono"
the system font specs may contain words separated by spaces

ctests: update tests after the last fixes.

Fix CJK environment nesting issue.

If the last paragraph is nested in an environment,
we'll have to \end that first.