Thinko

Fix command termination before line breaks.

Correctly handle the " \\fg" case.

Properly terminate quote macros by means of new textstream function

This prevents kerning destruction.

texstream: implement way to terminate a command depending on the context

i.e.,
* space if non terminating char follows
* {} if space follows
* nothing if \, { or } follow

Fix some thinkos in the revert_quotes routine

Update tex2lyx tests

Thanks Scott for the heads-up!

Do not use babel quotation mark macros with non-TeX fonts

These rely on [O]T1 font encoding.

Also, add some comments.

Fix xhtml output of French double guillemets (spacing)

Do not output quote TextCommand definitions for polyglossia

These are meant to be output for non-T1 8bit font encodings.

The extra space for French quotes only applies to guillemets.

Remove unused lyxrc.use_converter_wrappers that inadvertently slipped through [244de5d2/lyxgit].

revert_quotes: consider verbatim layouts and some forgotten insets.

Enable InsetQuote in verbatim and Hebrew

In this context, the inset outputs straight quotes in LaTeX.

File format change.

Fixes: #7309

Update it.po

Add a way to disable the poor man's profiler

Just define DISABLE_PMPROF _before_ #including the header.

Validate html

Qt html is based on html 4. </p> is in fact optional, but <p> is mandatory
around <tt>.

Fix compilation with MSVC

File format update after 418016bf792

Removing unsupported encoding "pt254" from \inputencoding values makes documents using this value invalid (J.S.).

Fix mis-nomer

Fix some quote inset bugs:

* Adjoining closing Single + double quote becomes double + single quote
  (for English, Swedish and German, LaTeX export as ''').

* French double quotes are converted to << >> in the LaTeX file and to
  double inverted question/interrogation marks in the output, if the font
  encoding is set to [None] or OT1 but the global default is T1. (test
  for lyxrc.fontenc instead of the document-specific fontenc setting in
  InsetQuotes.cpp).

* Quote type ignored for LyXHTML: always "English" quotes used.

See #10451

Verbatim, etc, can be used with IOP articles.
Fixes #10505.

Accept \kern and \mkern for math kerning

Also output the right one depending on whether the unit is "mu" or
not. Indeed, the two macros are identical, except that \mkern only
accepts unit mu, and kern does not accept it.

With this patch, both macros accept all units, but on writing beck,
the right one is used.

Handle negative values gracefully.

It may happen (for example with on the fly spell checking) that
GuiFontMetrics::pos2x is called with a negative pos value. Add a
special case for this situation.

Fixes bug #10506

Get rid of Inset::setDimCache

This helper method is used to set the inset dimension cache at metrics
time. However this is already done by the metrics code itself
(MathRow::metrics, TextMetrics::redoParagraph), so that there is no
need to do this same work again in a different place.

Also, InsetPhantom::metrics is removed, since it does not do anything
interesting.

This commit comes with a mild risk attached (it might be that some of
these calls were useful after all!), but all of this is fixable.

Get rid of Inset::setPosCache

This helper method is used to set the inset position cache at drawing
time. However this is already done by the drawing code itself
(MathRow::draw, RowPainter::paintInset), so that there is no need to
do this same work again in a different place.

Note that the inset positions are still set in InsetTabular::draw for
each cell.

This commit comes with a mild risk attached (it might be that some of
these calls were useful after all!), but all of this is fixable.

Remove unsupported encoding "pt254".

This encoding (modified Mac Cyrillic for Asian languages) is rarely used and not supported by Gnu iconv.

Update comments in lib/encodings.

Update ctests: Gnu iconv only supports cp858, if configured with "--enable-extra-encodings".

Now Inset::dimension is only an access to cache

Up to now Inset::dimension was either a helper function to access
CoordCache, or... something else. This created problems to properly
use it.

In particular, the definition of InsetText::dimension created problems
for child classes. Removing this definition (actually renaming it to
dimensionHelper) allows to streamline the code.

Introduce (Inset|InsetList|Paragraph)::resetBuffer

This avoids an ugly cast like
     setBuffer(*static_cast<Buffer *>(0));
that clang does not appreciate.

Update it.po

Cosmetic changes to the needauth dialogs

* Use rich text for this complicated message

* More concise

* Fix line breaking issues

* Remove "Do not show again" checkbox

GuiAlert: Convert html to plain text on console output

Improve prediction of block outside covered areas

Remove useless return leftover from earlier code

Remove unneeded templatization code from bformat().

Converters Prefs UI layout clarification.

GuiSymbols: Better handling of empty blocks

* endInsertRow was incorrectly placed before endResetModel, sometimes leading to
  bad access by the view before it was informed that the model was empty. In
  fact begin/endInsertRows were redundant with begin/endResetModel.

* Empty blocks are not supposed to be shown. This happened when moving the
  cursor. A valid block is now selected intead. Due to the design/optimisation
  of the model update, this requires a first update with an empty
  model. Simplify the old code.

GuiSymbols: fix char->block lookup

GuiSymbols: put ASCII chars first

Having À before A was weird. This only affects GuiSymbols.

GuiSymbols: show all symbols when UseNonTeXFonts

GuiSymbols: Improve the tooltip

Check the validity of an item before querying its tooltip

In case data() does not handle invalid items.

GuiSymbols: handle the case of an invalid data

The docs do not guarantee that the index must be valid

Enhance output of po_diff.pl to better see message-edges.

Add the perl-mode-line for emacs to perl scripts

Update sk.po

Cmake tests: Add a script to modify preferences prior to export testing

ctests: require up-to-date TeX Live for reliable

The unreliable sublabel varying_versions is now defined to be about
versions other than TeX Live, because we require a full and
up-to-date TeX Live installation for reliable tests.

For discussion, see:
https://www.mail-archive.com/search?l=mid&q=o1ovd9%24479%241%40blaine.gmane.org

Remove unused method in ArgumentProxy

Also reorder some methods.

Improve spacing of BOX elements

Tweak the algorithm so that a BOX math row element can have some
spacing. To this end, MathRow::before/after do not look at the type of
an element for deciding when to skip it, but rather to its math class.

In the new setting, the spacing algorithm works on all elements, but
skips the MC_UNKNOWN elements as if they were not present. As a
consequence, the two element types BEGIN and END have been replaced by
a single DUMMY (they can be recognized from their class).

To simply the code, add a new `mclass' argument to the
MathRow::Element constructor (default is MC_UNKNOWN).

Factor out the code that handles default macro arguments

Rewrite handling of macro nesting in math rows

Macro nesting is now recorded into the macro inset itself. This allows
the ArgumentProxy inset to determine whether it is editable or not by
looking at its macro.

Remove code in the metrics and draw methods of ArgumentProxy: this
code is AFAICS not active anymore, since arguments are linearized into
math rows.

Use Changer idiom to change locally the values of MecticsInfo::base.macro_nesting.

Reintroduce broken support for default macro arguments

This got forgotten in the math typesetting rewrite.

Fixes bug #10508.

ctests: invert ar/Tutorial_pdf4_texF

ar/Tutorial.lyx was recently added at f0bc4d43.

Inverting this test is consistent with ar/{Intro,Shortcuts}.

ctests: uninvert mathmacro tests

These tests now pass (uninverted), likely due to b14e9d52 and
e8f480e7.

Arabic Tutorial.lyx: new translation by Hatim

Fix display and output of math macros with optional arguments

This is a long standing issue, present since the new math macros
inception in version 1.6. It manifests as a display issue when a
macro with optional arguments appears in the optional argument of
another macro. In this case the display is messed up and it is
difficult, if not impossible, changing the arguments as they do not
appear on screen as related to a specific macro instance. It also
manifests as latex errors when compiling, even if the latex output
is formally correct, due to limitations of the xargs package used
to output the macros. Most probably, both aspects have the same
root cause, as simply enclosing in braces the macro and its
parameters solves both issues. However, when reloading a document,
lyx strips the outer braces enclosing a macro argument, thus
frustrating this possible workaround.

This commit solves the display issue by correctly accounting for
macros with optional arguments nested in the argument of another
macro, and circumvents the xargs package limitations causing errors
by enclosing in braces the macros with optional arguments appearing
in the argument of an outer macro when they are output. This means
that when loading an old document with such macros and saving it
again, the macro representation is updated and will have these
additional braces. However, as such braces are stripped by lyx on
loading, there is no risk that they accumulate.

See also this thread:
http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg197828.html

ctests: univert aas_sample with LuaTeX test.

The missing character problem is fixed upstream.

Also fix the scaling of the \sun-symbol-index by wrapping the symbol in \text.
(wasysym's \sun is valid in text and math mode. LyX  currently adds a spurious \ensuremath.)

Remove spurious body tags in macro test file.

As Enrico pointed out in http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg131411.html, the loading error of testcases_speed.lyx is caused by tags from a LyX development version that were later removed but never handled in lyx2lyx.

LaTeX export still fails with
! Argument of \xargs@grab@opt has an extra }.

Invert failing unreliable tests

These tests are "unreliable" and thus their export status contains
less information than reliable tests. However, it contains some
information and could still be used to find regressions. This commit
helps keep the output of a vanilla "ctest" command clean.

See discussion here:
https://www.mail-archive.com/search?l=mid&q=20161127205800.epvjxkeri5yoeqwj%40steph

Development.lyx, updated handling of unreliable tests.

Cmake tests: make unreliable tests independent of inverted tests

Tutorial.lyx: use a simple reference format for the Tutorial

The "<reference> on  <page>" reference format is too tricky for newbies, see e.g. bug #10494

- also update the corresponding example files

EmbeddedObjects.lyx: fix a typo spotted by a user

Win installer: fix a bug

Win installer: finish work for new installer version

Bump up RC fileformat after [244de5d2/lyxgit] for the new 'needauth' options.

Addressing #10481.

ctests: update invertedTests.

Improve ctesting of Arabic documents

- invert the currently failing tests
- add a new test document that shows LyX's support of pdf2

For more details, see the discussion here:
https://www.mail-archive.com/search?l=mid&q=20161114035123.s5lt4ib4x4obtptp%40steph

ctests: correct inversion pattern for utf8-cjk tests.

Better explanations to the user for [244de5d2/lyxgit] and
[830eb234/lyxgit] addressing #10481, so as to provide better clues as
to why the action is being forbidden or user authorization is needed.

Match the font in MathMacro::metrics with the font in MathMacro::draw

This fixes the "bad keming" of math ERT (in fact wrong metrics) which recently
was worsened by InsetMathChar substitutions and their MathClass spacing.

Also fix a small inefficiency: always prefer:

  Changer dummy = (currentMode() == TEXT_MODE)
    ? pi.base.font.changeShape(UP_SHAPE) : Changer();

over:

  Changer dummy = pi.base.font.changeShape((currentMode() == TEXT_MODE)
    ? UP_SHAPE : pi.base.font.shape());

The former only records and restores a value when the condition is satisfied,
and does not cost anything otherwise.

Let LyX remember what documents 'needauth' converters have been authorized to run over by the user.

This is done by moving Converters::auth_files_ into a new SessionSection
subclass, along with the same read/write paradigm, as per Enrico's hint.

Fix missing space in string from [244de5d2/lyxgit].

Fix header

Fix some warnings after 6c9207579

ctests: correct encoding tests

* Do not test encodings not supported by iconv (see #10502).
* uninvert export test that work.

Amend fix for #10428

- Allow using logical values for icon sizes as the standard sizes may
  differ among different icon sets
- Do not allow setting sizes smaller than smallIconSize

When the logical sizes differ and the icon set is changed, the correct
sizes are established only after a restart.

Update sk.po

Win installer major review of Packages.txt file

MiKTeX made a major package cleanup during the last 2 weeks. (Which caused a lot of troubles btw.) Many packages were removed and renamed. Now the list is complete again.

Add 'needauth' option to converters that need explicit user authorization.

Addressing #10481.

This patch adds the new 'needauth' option for converters launching
external programs that are capable of running arbitrary code on behalf
of the user. These converters won't be run unless the user gives explicit
authorization, which is asked on-demand when the converter is about to
be run (question is not asked if the file is cached and calling the
converter is not needed).

The user prompt has a 3rd button so that he/she's not prompted again
for (any converter over) the same document (identified through
buffer->absFileName()).

Two preference options are added:

lyxrc.use_converter_needauth_forbidden disables any converter with
the 'needauth' option, which is meant to force user to an explicit
action via the preferences pane, before being able to use advanced
converters that can potentially bring security threats;

lyxrc.use_converter_needauth enables prompting the user for 'needauth'
converters, or bypasses the check if not enabled, falling back to the
previous behavior.

So, the first option is for maximum security, the second is for
maximum usability.

Cmake build: Prepare for hardening use of external programs

Add select whole buffer shortcut to emacs.bind

Mark failing encodings. See #10502.

ctests: uninvert exports that work.

InsetMath: match the screen display with the EnsureMath behaviour in output

frac: Add line thickness to height

Correct on-screen kerning in math for non-mu units

The current math style should have no impact on \kern1mu. This is another
benefit of a9eb87a8.

Testcase:
\begin{align*}
 & \kern1em a\\
 & {\scriptscriptstyle \kern1em a}\\
 & \kern18mu a\\
 & {\scriptscriptstyle \kern18mu a}
\end{align*}

de.po

Add the icon-size to the toolbar menu

- Adds LFUNs for setting the icon size
- Adds icons sizes to the Toolbars menu
- Uses the Toolbars menu as application context menu
- The context menu can now be user defined in stdcontext.inc

Fixes ticket #10428.

Fix Polyglossia options for serbian

Script value is uppercase.

Clear temp cutstack before exiting LyX.

Otherwise it is done in the exit handler, which leads to crashes.

Amend b30f8d3c

Fix assertion. Thanks Scott for the bisect and the trace.

Fix display of nicefrac solidus

Let math mu skips scale with zoom

Amend ad7e2435cfd

InsetMathKern is also used for non-mu lengths.

Generalise the fix by moving to Length::inPixels (thanks Jaan-Marc).

mathedSymbolDim only needs a MathBase

Fix display of \slash inside different fonts

Also give slash a proper symbol

Improve fractions bar

* The bar grows with the zoom according to MetricsBase::solidLineThickness()

* The spacing around the bar grows with the font size.

Fix vertical alignment of fractions

Fractions and binoms are vartically aligned with -

Nicefracs are ascent-aligned with the surrounding text