Reintroduce the code related to InsetEnvSeparator

This commits (tries to) reintroduce properly the code that was reverted at the beginning of this branch. This had to be done because these patches interefered with the big refactoring of TextMetrics.cpp.

This commit reintroduces the changes to TextMetrics.cpp contained in c668ebf6, c85dbfea9 and 061509bf.

Remove obsolete code to handle Hebrew and Arabic characters

This is handled by Qt now.

Note that a small optimization (do not draw text that is to the left
of WorkArea) is removed because it cannot be guaranteed to be exact
anymore. It was probably not very useful anyway, and would become
useless once the RowPainter is rewritten to use Row information.

Update 00README_STR_METRICS_BRANCH.

Do not split words at selection boundary

The display of partially-selected word is now done in a new Painter::text method
which displays the string twice with different clip settings. This allows to
catter for the case where Color_selectiontext is not black.

Morover, the code that uses unicode override characters to force the
direction of a string is moved to lstrings.h.

Fixes: #9116

Fix breaking of loooong word in RTL languages

Moreover, breaks row at insets when there is no suitable separator.

Also make the code of Row::shorten_if_needed somewhat simpler by using
iterators and factoring the code.

Fixes: #9120

Fix positionning of cursor

The old implementation of Row::Element::pos2x and x2pos did not work
correctly with Arabic text, because characters can have shapes that
depend on context.

This new implementation leverages QTextLayout in a simplified way,
since only one word is added to the layout.

This allows to make Row::Element::x2pos more readable.

Fixes: #9115.

Remove support for LyXRC::force_paint_single_char

This workaround is not necessary anymore, and it complicates the code.

The variable itself will be removed after the landing of the branch on
master.

Update description of what has been done in the branch.

Remove debug code from TextMetrics

After this, it is possible to remove one parameter to getPosNearX.

Speed-up drawing when text is not justified.

Do not cut strings at separators in RowPainter when text is not
justified. This speeds-up painting by reducing the number of strings
to draw.

Do also a modest cleanup of paintChar (remove dubious optimization).

Implement a better solution for painting of RTL text

Instead of relying on character range (Hebrew or Arabic) or character
direction, use RLO unicode character (Right-to-Left override) to force
painting in the direction indicated by the current font. This should
be as close as we can to the old LyX behavior (and requires less
code).

If this code works as intended, it will be possible to remove a lot of
code from Encodings.cpp.

Draw right-to-left text string-wise using Qt

We rely on Qt built-in unicode support for handling Arabic and Hebrew
compose characters. This allows to avoid to use our homegrown
machinery.

This  should provide a nice speedup at a low cost and
will eventually allow us to get rid of:
 * most of our Arabic/Hebrew machinery in Encodings.cpp,
 * Paragraph::transformChar,
 * and probably more.

Fix various selection-related problems

All these problems are related to what happens at the extreme points of rows

 * since VIRTUAL elements have a width but no contents, they have to
   be treated specially at some places. It would have been better to
   avoid testing for them explicitly, but I did not find a way.

 * Improve and cleanup the code in breakRow and fix in passing a crash
   when clicking on the right of an incomplete MARGIN_MANUAL
   paragraph.

 * improve the computation of row width in TextMetrics::computeRowMetrics.

 * handle properly the case where a position if not found on the row
   in both cursorX and getPosNearX (actually, this happens when
   selecting).

 * Some code cleanup and comments.

Fix bug #9040: In RtL documents end-of-paragraph marker shifts the row display

The fact that the bug was still present in the features/str-metrics
branch comes from a goof in the initial implementation of 'virtual'
row elements (completion and end-of-par markers). Now that this is
corrected, everything works as it should.

The fact that the bug is present in master is due to some other reason
that is not useful to investigate now.

Update README and do a small code cleanup

Change getColumnNearX to getPosNearX

The semantics was bad: the old implementation would return pos - row.pos(), and then all user of the function had to re-add row.pos().

Small fixes to cursor positioning.

Two small fixed to Row::Element::x2pos:
* fix position for elements that are not strings
* make rounding match the old code

More fixes to cursorX

In Row::Element::pos2x, handle the boundaries in a cleaner way.

Some fixes related to RTL text

 * fix handling of boundary situations in Row::Elements::x2pos;

 * fix handling of boundary situations in TextMetrics::getColumnNearX;

 * make sure to always use Font::isVisibleRightToLeft instead of Font::isRightToLeft;

 * Improve debug messages.

New reverseRTL implementation

The old version was a bit complicated and wrong for RtL paragraphs
containing LtR text. THe new one is clearer.

Fix getColumnNearX for nested insets

The horizontal position of the inset was not taken in account.
The rounding is not always the same as with the old code, but this
is not really important.

Additional changes:

 * improve debug output of rows

 * remove Bidi& argument of the RowPainter constructor, since it is always
   an empty Bifi that is passed. This means that the Bidi class is not
   used at all any more in TextMetrics.cpp. The only remaining user is
   RowPainter.

Fix line breaking algorithm

Break words longer than the screen width. The code is more complicated
than I would like, but I have no better idea right now.

Implement properly the notion of a row broken by a display inset. This is useful in different places.

Also fix a bug with last line of a paragraph spotted by Kornel.

Handle boundary in getColumnNearX (and more)

Use proper font everywhere for end-of-par marker

Fix getColumnNearX for RTL text and for centered/right-justified paragraphs.

Let computeRowMetrics update the row width.

Re-implement getColumNearX using row elements

The code is now so much shorter that it is scary... Expect that
further changes will be necessary

Cursor boundary is not handled yet.

Get rid of ugly font metrics workarounds.

Now we have proper ligatures and kerning on screen...

Convert cursorX() and computeRowMetrics() to the new scheme

* convert cursorX to new scheme; old computation is still there for the sake of comparison.

* use Row to compute separator width in computeRowMetrics; again, the old code is retained for now.

* Get rid of rowWidth()

Small Inset isXXX methods cleanup

 * rename isStretchableSpace to isHfill
 * inline a trivial method
 * remove InsetIPAMacro::isLineSeparator, which has the same value as default.

Implement proper handling of RtL in Rows

Now the row elements are sorted according to RtL/LtR.

Some additional cleanup.

Store in the Row object the list of elements it contains

* Row now contains a vector of Elements
* replace Row::dump by a proper << operator
* the width is updated as elements are added
* breakRow is reimplmented to use this infrastructure

Implement real string width computation

Important features:
* widths are cached in a map
* old behavior is still used when lyxrc.force_paint_single_char is true.

Add a readme file describing the state of the branch

Change TextMetrics::rowHeight to setRowHeight

This new function takes a row as parameter.

Also, add direct access to Row::dim_

Cleanup TextMetrics::rowBreakPoint.

Collect properly all strings to compute string metrics

Some changes with respect to existing code
 - end of paragraph font is now the one of the text
 - words longer than a line are not broken anymore. I think this is not useful  if we have horizontal scrollbar

Other than that, the code is still compatible with rowWidth and friends.

Revert temporarily changes related to InsetSeparator

This is to avoid many conflicts with the str-metrics branch.

Remove an incorrect/expired FIXME

Both Richard and JMarc think it is incorrect. See
  https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184758.html

CMake: full path of an include needed for ver <3.0

Cmake tests: Optimizing the cmake configuration time

The configuration time suffers mostly on checking, which of the export tests
is to be reverted.
1.) There is a new configuration flag now, "LYX_ENABLE_EXOPRT_TESTS.
   If not set (default) no export tests are created.
2.) If set, then the optimization halves the time needed for creation of tests.

The effect on my side:
        a.) Until now the time was:        ~ 26 seconds
        b.) The optimized time is now:     ~ 16 seconds
        c.) With not enabled export tests: ~  5 seconds

ctests: Use regular expressions

Update ctests to reflect inputenc changes

There were changes to inputenc and luainputenc that are now
released in Tex Live 2014 that affect several exports. Some
exports that produced good PDFs now fail. Others that produced
incorrect PDFs (with gibberish) now correctly fail. Several
IEEEtran-* exports failed before and now export correct PDFs.

For more information, see

  http://tug.org/pipermail/tex-live/2014-May/035338.html
  https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184435.html

Fix a comment

Give more tips in beamer-article.lyx

* sk.po: spellcheck changes

Fix license string according to http://spdx.org/licenses/.

https://www.mail-archive.com/lyx-devel@lists.lyx.org/msg184749.html

On Linux show in crash message box the backtrace

Select word on double click even when at boundary

Now when double clicking on a boundary of a word, the
word is selected. This also causes single-letter words
to now be selected (fixes #9159).

Fix checkmark on current entry for InsetSeparator context menu

The code supposed to do that contained a typo and was not completely correct.

French documentation files: port today's changes

Add comment and fix a typo

Cmake build: Symplify use of linking optional libraries found via find_package

Apple has builtin native spell checker, no need to warn for missing Aspell, hunspell or Enchant

Cmake tests: Added parser_tools test to the lyx2lyx group tests

Cmake build: Use LYX_USE_QT to determine if QT uses X11

Cmake build: Added magic library to some link commands.

Needed due to the use of magic_(open|load|error|file|close) after recent changes.

Make binary file detection more robust.

The magic library can detect the charset used by a file. While this
detection is not full proof, actually the library seems to be infallible
as regards the binary nature of a file. So, use libmagic for the detection
and fallback to the previous method if the library is not installed or
its database cannot be loaded.

Set the default locale at startup.

On startup, the default locale is "C", meaning that all system
functions assume an ascii codeset. The environment's locale
settings should be selected by calling setlocale(LC_ALL,"").
This is done by Qt during the QCoreApplication initialization
but this inizialization is never performed for batch processing
and, as a result, LyX is not able to process files whose names
contain non-ascii characters. This is not an issue on Windows,
where the file names are always stored as UTF-16, so the call is
only performed for unix-like platforms (this also includes cygwin,
due to its own filenames management that allows using characters
which are forbidden to native programs).

Fix thinko in loop detection

Fix wrong "externally modified" message

This was a regression of 10364082c835.

Remove unsafe method FileName::tempName()

FileName::tempName() created a new temp file name by using qt to create a
temporary file with a unique name, and then deleting that file and returning
the name. This was unsafe, since other processes or even other threads of the
running LyX could create files with the same name between deletion and then
using the temp name.
This is fixed by using the TempFile class instead. As a side effect, a few
cases where the temp files were not deleted after usage were fixed as well.
The only place that is still unsafe is createTmpDir().

Don't double delete by making TempFile noncopyable

The compiler generated copy constructor and assignment operator are wrong.
This could easily be fixed by implementing them manually, but a) they are
not needed, and b) the semantics would be unclear (should the copy point
to a new temp file or not?), so it is better to forbid them.

Improve file saving strategy

- The TempFile class guarantees to generate a file name, we are not limited to
  100 tries of a predictable scheme anymore, which could break if LyX
  frequently crashes.
- The temp file name generation has no race condition against another LyX
  instance in the same directory anymore.
- Symlinks survive saving again (regression of 10364082c835).

Fix typo

Cmake build: Use LYX_COMBO() to select the qt-version to use.

Collaboration with Scott Kostyshak

Cmake build: Early check for wrong combo values

Combine OutlineIn and OutlineOut blocks

They differ only by adding/subtracting 1.

Cmake build: Add combo-values to the list of displayed lyx options

Explain why the binary detection works

Extracted from Enricos comment at bug 9146.

Document class file name rule

This rule was followed in practice, but not documented so far.

Cmake build: Select full path to library

Testing for QT_USES_X11 links ok now also if the the qt-libraries
are on some non-conform place. (Like self compiled but not installed).

Fix bug #7954 (now really)

Thanks to maciejr we know now what the remaining problem was with bug 7954:
My unicode symbol fallback works fine, the problem was that a font named
"Symbol" is available on OS X, but it does not use the font-specific encoding
we expect: Almost all glyphs are at their unicode code point.
Therefore the bug is fixed by re-enabling the unicode workaround and blocking
the Symbol font on OS X.

Cmake build: Added convenience macro LYX_COMBO

Will be used later to allow selection between multiple alternatives.

std::min/max are defined in <algorithm>

handle error in msvc12 when linking against msvc10 libs

build with mingw on Windows and Linux

Expand module names instead of buttons in settings

Maximizing the document settings window when on the modules pane,
the horizontal space is now given to the module names and so no
scrollbar is needed. Before, even when maximized, a scrollbar was
sometimes needed because the horizontal space was given to the
buttons in the middle, which did not provide an extra benefit.

The default sizeType was "Expanding" and is now changed to "Minimum"
for the horizontal spacer above the middle buttons.

Fix bug #9153 (Using mathpanel to insert matrix creates extra space on top)

The code was setting the current index before filling the
combo box items.

Refine fix for bug #9151.

Now the cursor in LyX jumps to the right spot instead of simply the
beginning of the paragraph. This is most useful for branch insets,
for example, which may contain long paragraphs.

Fix bug #9151 (Wrong reverse search for images and tables).

If the reverse position corresponds to an inset, its paragraph id
does not follow the main text numbering. Typically, an inset has
only a few paragraph, so that we would jump near the beginning of
the document. In this way we at least jump at the beginning of the
inset.

Fix bug #9146.

If LyX does not know about a given file format, it may easily
happen that the format is recognized as "latex" and this causes
bug #9146. This patch limits the check for a latex format to
non-binary files. The strategy for deciding that a file has
binary content is the same as that adopted by the "less" program.

sk.po: erroneous formats in strings

Fix crash when accepting change

The problem is the use of cursor movement methods to update cursor.
Cursor::forwardPos() steps into insets, which is not always what we
want. The problem here is that there is a math inset just after the
accepted change, and that the cursor steps into it for some reason.

This code is a nightmare anyway.

Fixes: bug #9145

Fix a regression reported at #9146

This regression was introduced by me at 8b66f9ce. I did not take
into account that a call to a python script containing $$s is embedded
within a separate python script. Thus, when commandPrep() is called it
only sees the call to the outer python script, and does not see the
$$s contained in that python script. It therefore did not substitute
for it. This fix simply calls commandPrep() directly before writing
the embedded command.

Detect binary EPS files correctly (bug #9146)

The Adobe EPS file format specification (TN-5002, currently available at
http://partners.adobe.com/public/developer/en/ps/5002.EPSF_Spec.pdf) specifies
a binary version of EPS files with integrated preview, sometimes also called
DOS EPS binary files. LyX 2.0 did recognize these files unreliably by
extension, but since f4eae12d they are misdetected as latex (bug #9146).
This change adds proper detection for these files using the officially
documented binary header.

Use a different naming scheme, per Enrico's suggestion.

Flush stream more often to help figure out where the mystery crash
originates.

* sk.po

Per a suggestion of JMarc's, first write the saved file to a
temporary name, then move it to its real location if we succeed.
This prevents our over-writing the existing file with a corrupt
one.

sk.po: Some shortcuts + new strings

Remove superfluous conversion

Whitespace

Fix compilation on Solaris after last boost upgrade.

Cleanup seminar.layout after the upgrade to format 50.

Add missing bits of layout file format update

This is needed so that the new format number is actually used. Since the
conversion is a noop I did not update the layout files (more updates will
come).

Update layouts with separators to format 50

Include lyx2lyx test in tarball

Make layout test compile

Execute lyx2lyx unit test when running tests

Actually lyx2lyx has a tiny unit test. Add it to the autotools test machinery
and fix it: Since nobody knew about it the test was of course broken.

Fix the fix

MAC-style (pre-OS X) line ends were not recognized anymore

Add layout tag that determines if/when a paragraph can be indented.

Fixes: #7327, #7458, #8670

Add some SVG versions of self-made icons found here on my box

Do not corrupt documents without newline at EOF

trim_eol() assumes that a line always ends either with \n, \r, or \r\n.
This assumption is always valid except for the last line of a document, since it
may miss the trailing newline. LyX does not create such documents, bu they may
result from automatic creation tools, and LyX can read them, so lyx2lyx should
be able to read them as well.

Avoid processing multiple times the same paragraph when converting latex arguments.

Fix an off-by-one error in the reversion of beamer documents.