Fix make check.

Support new languages in tex2lyx

I forgot that this was part of the file format update as well.
Also fix a mixup of "english" and "uppersorbian".

Missing file format bis from 0c3b88e3

Get rid of rtl_support preference

This variable was introduced to guard against any bad consequence of the then-new right-to-left
languages support. Let's be bold and get rid of it altogether!

Now right to left support is always enabled.

Remove LyXRC option force_paint_single_char

It was not honored anymore.

Move some text from the readme file to relevant source files

Reintroduce the code related to InsetEnvSeparator

This commits (tries to) reintroduce properly the code that was reverted at the beginning of this branch. This had to be done because these patches interefered with the big refactoring of TextMetrics.cpp.

This commit reintroduces the changes to TextMetrics.cpp contained in c668ebf6, c85dbfea9 and 061509bf.

Remove obsolete code to handle Hebrew and Arabic characters

This is handled by Qt now.

Note that a small optimization (do not draw text that is to the left
of WorkArea) is removed because it cannot be guaranteed to be exact
anymore. It was probably not very useful anyway, and would become
useless once the RowPainter is rewritten to use Row information.

Update 00README_STR_METRICS_BRANCH.

Do not split words at selection boundary

The display of partially-selected word is now done in a new Painter::text method
which displays the string twice with different clip settings. This allows to
catter for the case where Color_selectiontext is not black.

Morover, the code that uses unicode override characters to force the
direction of a string is moved to lstrings.h.

Fixes: #9116

Fix breaking of loooong word in RTL languages

Moreover, breaks row at insets when there is no suitable separator.

Also make the code of Row::shorten_if_needed somewhat simpler by using
iterators and factoring the code.

Fixes: #9120

Fix positionning of cursor

The old implementation of Row::Element::pos2x and x2pos did not work
correctly with Arabic text, because characters can have shapes that
depend on context.

This new implementation leverages QTextLayout in a simplified way,
since only one word is added to the layout.

This allows to make Row::Element::x2pos more readable.

Fixes: #9115.

Remove support for LyXRC::force_paint_single_char

This workaround is not necessary anymore, and it complicates the code.

The variable itself will be removed after the landing of the branch on
master.

Update description of what has been done in the branch.

Remove debug code from TextMetrics

After this, it is possible to remove one parameter to getPosNearX.

Speed-up drawing when text is not justified.

Do not cut strings at separators in RowPainter when text is not
justified. This speeds-up painting by reducing the number of strings
to draw.

Do also a modest cleanup of paintChar (remove dubious optimization).

Implement a better solution for painting of RTL text

Instead of relying on character range (Hebrew or Arabic) or character
direction, use RLO unicode character (Right-to-Left override) to force
painting in the direction indicated by the current font. This should
be as close as we can to the old LyX behavior (and requires less
code).

If this code works as intended, it will be possible to remove a lot of
code from Encodings.cpp.

Draw right-to-left text string-wise using Qt

We rely on Qt built-in unicode support for handling Arabic and Hebrew
compose characters. This allows to avoid to use our homegrown
machinery.

This  should provide a nice speedup at a low cost and
will eventually allow us to get rid of:
 * most of our Arabic/Hebrew machinery in Encodings.cpp,
 * Paragraph::transformChar,
 * and probably more.

Fix various selection-related problems

All these problems are related to what happens at the extreme points of rows

 * since VIRTUAL elements have a width but no contents, they have to
   be treated specially at some places. It would have been better to
   avoid testing for them explicitly, but I did not find a way.

 * Improve and cleanup the code in breakRow and fix in passing a crash
   when clicking on the right of an incomplete MARGIN_MANUAL
   paragraph.

 * improve the computation of row width in TextMetrics::computeRowMetrics.

 * handle properly the case where a position if not found on the row
   in both cursorX and getPosNearX (actually, this happens when
   selecting).

 * Some code cleanup and comments.

Fix bug #9040: In RtL documents end-of-paragraph marker shifts the row display

The fact that the bug was still present in the features/str-metrics
branch comes from a goof in the initial implementation of 'virtual'
row elements (completion and end-of-par markers). Now that this is
corrected, everything works as it should.

The fact that the bug is present in master is due to some other reason
that is not useful to investigate now.

Update README and do a small code cleanup

Change getColumnNearX to getPosNearX

The semantics was bad: the old implementation would return pos - row.pos(), and then all user of the function had to re-add row.pos().

Remove unneeded swap() (thanks Jean-Marc)

std::swap() does exactly the same thing, and avoiding code duplication is
always good.

Fix a bunch of small performance issues spotted by cppcheck

Most of these are about passing const strings parameters as references.

Fix possible bug spotted by cppcheck

I am not sure what this locking is really about, but the new code seems to be the right thing to do.

Fix typo spotted by cppcheck

Mark some singletons with FIXME THREAD

Make GraphicsConverter threadsafe

build_script() was already threadsafe, since it used a TempFile, and the
counter was basically not needed, but the new solution makes this obvious
and has the additional advantage that TempFile constructs the real output
file, not a dummy without extension which is not needed.

Fix uncodable author warning

The old code was not threadsafe, and the restriction to one message box per
author name did not work if more than two authors were uncodable.

Fix LaTeXFeatures::useLayout() recursion test

It was broken in two ways: It was not threadsafe, and it did never detect
any recursion, since the counter was decremented for each non-recursive call
and never incremented again.

Make LaTeX export threadsafe.

This is one of the more important threadsafety issues because of export in
thread and simultanous view source. The solution is ugly, but a better one
(see FIXME) would require major rework. These static variables should not
have been used in the first place IMHO.

Support for Swiss German (old spelling)

Make newUnnamedFile() threadsafe

Make BufferList::fileNames() threadsafe

Using a static variable here was premature optimization: fileNames() is only
called from GuiRef (directly or indirectly), and since this is a dialog the
copying of a FileNameList is not noticeable at all.

Make BufferParams::auto_packages() threadsafe

Make createBufferTmpDir() threadsafe

This must not use thread local storage, since the generated directories are
all in the same parent directory which is unique per running LyX instance.

Make DocFileName::mangledFileName() threadsafe

Make include and bibitem insets threadsafe

Using a mutex to ensure that the generated filenames and ids are still unique.

Make Formats::isZippedFile() threadsafe

In this case I use a mutex, so the zip status of files is shared between
threads. This is possible because a deadlock can't happen, and it should give
better performance.

Fix Tabular::CellData::operator=()

Don't create an intermediate copy (found by Jean-Marc).
I doubt that this has anything to do with the mystery crash, but it works, and
following the standard patterns is better anyway.

Make preview filename generation threadsafe

Threadsafety is ensured by the atomic file name generation in TempFile.

Make theWordList() thread safe.

Without this, you get crashes in a few second when you set the autosave
interval to one second and edit quickly (typing new words etc). The reason
is that the cloned buffer wants to insert words into the word list and
remove them again, but it lives in a different thread.

Make WordList noncopyable

To avoid unwanted double deletion of d.

Don't guess whether autosave succeeded

writeFile() tells whether it could save the file, so use the return value
instead of guessing.

Fix bug #9162: Missing \use_indices

The lyx2lyx conversion for format 352 was incomplete: It should have been
added the \use_indices setting, but it relied on the fact that the default in
LyX for missing \use_indices is the same as the old format without that
setting used. However, the default might change in the future, and later
lyx2lyx conversions rely on that setting as well.

* sk.po: New pdfcomment strings

Corrected tooltip search string.

This worked wrong in case where the text contained the string 'tooltip' too.

Document pdfcomment in LaTeXConfig.lyx

Add support for the pdfcomment package.

Fixes: #6975.

* sk.po: New poster strings

Some comments

Support for conference posters

The following poster classes are now supported:

* a0poster
* beamerposter
* sciposter

Add support for the sectionbox and tcolorbox packages.

They will be used by the conference poster classes that will be supported in a minute.

Babel now supports Swiss German

Polyglossia now supports Austrian German

ctests: un-invert some tests after updates

David Carlisle fixed some EuropeCV issues and other updates
on TeX Live 2014 fixed a few more exports.

Make IconvProcessor::Impl noncopyable

The compiler-generated copy-constructor and assigment operators would be wrong
for IconvProcessor::Impl, since cd would be copied, and iconv_close() could
thus be called twice on the same descriptor. The old code did work, but now
IconvProcessor::Impl cannot be copied by accident in the future.

Fix memory leak and assignment operator signature

The IconvProcessor assignment operator did not delete pimpl_ and used a
non-standard signature. If you want to know why the standard signature is
important, read "Effective C++" by Scott Meyers.

The flush should be done on either branch.

Update it.po

Restore compilation of AEA template for TeX Live

After the previous change this document failed to compile under
TeX Live 2013 and 2014. By using a different bib file, it
compiles. For more information, see
  https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg183786.html

AEA.lyx: update format

Work around MSVC warning

The statement
if (pos < from + lyxrc.completion_minlength)
triggers a signed vs. unsigned warning. I don't know why this happens, it
could be a MSVC bug, or related to LLP64 (windows) vs. LP64 (unix)
programming model, or the C++ standard might be ambigous in the section
defining the "usual arithmetic conversions". However, using a temporary
variable is safe and works on all compilers.

Small fixes to cursor positioning.

Two small fixed to Row::Element::x2pos:
* fix position for elements that are not strings
* make rounding match the old code

More fixes to cursorX

In Row::Element::pos2x, handle the boundaries in a cleaner way.

Some fixes related to RTL text

 * fix handling of boundary situations in Row::Elements::x2pos;

 * fix handling of boundary situations in TextMetrics::getColumnNearX;

 * make sure to always use Font::isVisibleRightToLeft instead of Font::isRightToLeft;

 * Improve debug messages.

New reverseRTL implementation

The old version was a bit complicated and wrong for RtL paragraphs
containing LtR text. THe new one is clearer.

Fix getColumnNearX for nested insets

The horizontal position of the inset was not taken in account.
The rounding is not always the same as with the old code, but this
is not really important.

Additional changes:

 * improve debug output of rows

 * remove Bidi& argument of the RowPainter constructor, since it is always
   an empty Bifi that is passed. This means that the Bidi class is not
   used at all any more in TextMetrics.cpp. The only remaining user is
   RowPainter.

Fix line breaking algorithm

Break words longer than the screen width. The code is more complicated
than I would like, but I have no better idea right now.

Implement properly the notion of a row broken by a display inset. This is useful in different places.

Also fix a bug with last line of a paragraph spotted by Kornel.

Handle boundary in getColumnNearX (and more)

Use proper font everywhere for end-of-par marker

Fix getColumnNearX for RTL text and for centered/right-justified paragraphs.

Let computeRowMetrics update the row width.

Re-implement getColumNearX using row elements

The code is now so much shorter that it is scary... Expect that
further changes will be necessary

Cursor boundary is not handled yet.

Get rid of ugly font metrics workarounds.

Now we have proper ligatures and kerning on screen...

Convert cursorX() and computeRowMetrics() to the new scheme

* convert cursorX to new scheme; old computation is still there for the sake of comparison.

* use Row to compute separator width in computeRowMetrics; again, the old code is retained for now.

* Get rid of rowWidth()

Small Inset isXXX methods cleanup

 * rename isStretchableSpace to isHfill
 * inline a trivial method
 * remove InsetIPAMacro::isLineSeparator, which has the same value as default.

Implement proper handling of RtL in Rows

Now the row elements are sorted according to RtL/LtR.

Some additional cleanup.

Store in the Row object the list of elements it contains

* Row now contains a vector of Elements
* replace Row::dump by a proper << operator
* the width is updated as elements are added
* breakRow is reimplmented to use this infrastructure

Implement real string width computation

Important features:
* widths are cached in a map
* old behavior is still used when lyxrc.force_paint_single_char is true.

Add a readme file describing the state of the branch

Change TextMetrics::rowHeight to setRowHeight

This new function takes a row as parameter.

Also, add direct access to Row::dim_

Cleanup TextMetrics::rowBreakPoint.

Collect properly all strings to compute string metrics

Some changes with respect to existing code
 - end of paragraph font is now the one of the text
 - words longer than a line are not broken anymore. I think this is not useful  if we have horizontal scrollbar

Other than that, the code is still compatible with rowWidth and friends.

Revert temporarily changes related to InsetSeparator

This is to avoid many conflicts with the str-metrics branch.

Remove an incorrect/expired FIXME

Both Richard and JMarc think it is incorrect. See
  https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184758.html

CMake: full path of an include needed for ver <3.0

Cmake tests: Optimizing the cmake configuration time

The configuration time suffers mostly on checking, which of the export tests
is to be reverted.
1.) There is a new configuration flag now, "LYX_ENABLE_EXOPRT_TESTS.
   If not set (default) no export tests are created.
2.) If set, then the optimization halves the time needed for creation of tests.

The effect on my side:
        a.) Until now the time was:        ~ 26 seconds
        b.) The optimized time is now:     ~ 16 seconds
        c.) With not enabled export tests: ~  5 seconds

ctests: Use regular expressions

Update ctests to reflect inputenc changes

There were changes to inputenc and luainputenc that are now
released in Tex Live 2014 that affect several exports. Some
exports that produced good PDFs now fail. Others that produced
incorrect PDFs (with gibberish) now correctly fail. Several
IEEEtran-* exports failed before and now export correct PDFs.

For more information, see

  http://tug.org/pipermail/tex-live/2014-May/035338.html
  https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html

Fix a comment

Give more tips in beamer-article.lyx

* sk.po: spellcheck changes

Fix license string according to http://spdx.org/licenses/.

https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184749.html

On Linux show in crash message box the backtrace

Select word on double click even when at boundary

Now when double clicking on a boundary of a word, the
word is selected. This also causes single-letter words
to now be selected (fixes #9159).

Fix checkmark on current entry for InsetSeparator context menu

The code supposed to do that contained a typo and was not completely correct.

French documentation files: port today's changes

Add comment and fix a typo

Cmake build: Symplify use of linking optional libraries found via find_package

Apple has builtin native spell checker, no need to warn for missing Aspell, hunspell or Enchant

Cmake tests: Added parser_tools test to the lyx2lyx group tests

Cmake build: Use LYX_USE_QT to determine if QT uses X11

Cmake build: Added magic library to some link commands.

Needed due to the use of magic_(open|load|error|file|close) after recent changes.

Make binary file detection more robust.

The magic library can detect the charset used by a file. While this
detection is not full proof, actually the library seems to be infallible
as regards the binary nature of a file. So, use libmagic for the detection
and fallback to the previous method if the library is not installed or
its database cannot be loaded.