]> git.lyx.org Git - lyx.git/blobdiff - src/TextMetrics.cpp
Revert "Fix display of a math hull inset in a tight inset"
[lyx.git] / src / TextMetrics.cpp
index c7d9e18acbcaedf593076d9cea5c03ec82a2c02f..4692918e8ef2175f68b5f0f8cec16c18790bf342 100644 (file)
 #include "MetricsInfo.h"
 #include "ParagraphParameters.h"
 #include "RowPainter.h"
+#include "Session.h"
 #include "Text.h"
 #include "TextClass.h"
 #include "VSpace.h"
 
+#include "insets/InsetSeparator.h"
 #include "insets/InsetText.h"
 
-#include "mathed/InsetMathMacroTemplate.h"
+#include "mathed/MacroTable.h"
 
 #include "frontends/FontMetrics.h"
 #include "frontends/NullPainter.h"
 
-#include "support/convert.h"
 #include "support/debug.h"
 #include "support/lassert.h"
-#include "support/lyxlib.h"
-#include "support/RefChanger.h"
+#include "support/Changer.h"
 
 #include <stdlib.h>
 #include <cmath>
@@ -107,14 +107,9 @@ int numberOfHfills(Row const & row, ParagraphMetrics const & pm,
 
 
 TextMetrics::TextMetrics(BufferView * bv, Text * text)
-       : bv_(bv), text_(text)
-{
-       LBUFERR(bv_);
-       max_width_ = bv_->workWidth();
-       dim_.wid = max_width_;
-       dim_.asc = 10;
-       dim_.des = 10;
-}
+       : bv_(bv), text_(text), dim_(bv_->workWidth(), 10, 10),
+         max_width_(dim_.wid), tight_(false)
+{}
 
 
 bool TextMetrics::contains(pit_type pit) const
@@ -217,18 +212,18 @@ void TextMetrics::newParMetricsUp()
 }
 
 
-bool TextMetrics::metrics(MetricsInfo const & mi, Dimension & dim, int min_width,
-                         bool const expand_on_multipars)
+bool TextMetrics::metrics(MetricsInfo const & mi, Dimension & dim, int min_width)
 {
        LBUFERR(mi.base.textwidth > 0);
        max_width_ = mi.base.textwidth;
+       tight_ = mi.tight_insets;
        // backup old dimension.
        Dimension const old_dim = dim_;
        // reset dimension.
        dim_ = Dimension();
        dim_.wid = min_width;
        pit_type const npar = text_->paragraphs().size();
-       if (npar > 1 && expand_on_multipars)
+       if (npar > 1 && !tight_)
                // If there is more than one row, expand the text to
                // the full allowable width.
                dim_.wid = max_width_;
@@ -294,55 +289,64 @@ void TextMetrics::applyOuterFont(Font & font) const
 }
 
 
+// This is an arbitrary magic value
+static const pos_type force_label = -12345;
+
+// if pos == force_label, this function will return the label font instead.
+// This undocumented and only for use by labelDisplayFont()
 Font TextMetrics::displayFont(pit_type pit, pos_type pos) const
 {
-       LASSERT(pos >= 0, { static Font f; return f; });
+       LASSERT(pos >= 0 || pos == force_label, { static Font f; return f; });
 
        ParagraphList const & pars = text_->paragraphs();
        Paragraph const & par = pars[pit];
        Layout const & layout = par.layout();
        Buffer const & buffer = bv_->buffer();
        // FIXME: broken?
-       BufferParams const & params = buffer.params();
-       pos_type const body_pos = par.beginOfBody();
+       BufferParams const & bparams = buffer.params();
+       bool const label = pos < par.beginOfBody() || pos == force_label;
+
+       Font f = (pos == force_label) ? Font(inherit_font, bparams.language)
+                                     : par.getFontSettings(bparams, pos);
+       FontInfo const & lf = label ? layout.labelfont : layout.font;
 
        // We specialize the 95% common case:
        if (!par.getDepth()) {
-               Font f = par.getFontSettings(params, pos);
                if (!text_->isMainText())
                        applyOuterFont(f);
-               bool lab = layout.labeltype == LABEL_MANUAL && pos < body_pos;
 
-               FontInfo const & lf = lab ? layout.labelfont : layout.font;
-               FontInfo rlf = lab ? layout.reslabelfont : layout.resfont;
+               FontInfo rlf = label ? layout.reslabelfont : layout.resfont;
 
                // In case the default family has been customized
                if (lf.family() == INHERIT_FAMILY)
-                       rlf.setFamily(params.getFont().fontInfo().family());
+                       rlf.setFamily(bparams.getFont().fontInfo().family());
                f.fontInfo().realize(rlf);
                return f;
        }
 
-       // The uncommon case need not be optimized as much
-       FontInfo const & layoutfont = pos < body_pos ?
-               layout.labelfont : layout.font;
-
-       Font font = par.getFontSettings(params, pos);
-       font.fontInfo().realize(layoutfont);
+       // The uncommon case need not be optimized as much.
+       // FIXME : the two code paths seem different in function.
+       f.fontInfo().realize(lf);
 
        if (!text_->isMainText())
-               applyOuterFont(font);
+               applyOuterFont(f);
 
        // Realize against environment font information
        // NOTE: the cast to pit_type should be removed when pit_type
        // changes to a unsigned integer.
        if (pit < pit_type(pars.size()))
-               font.fontInfo().realize(text_->outerFont(pit).fontInfo());
+               f.fontInfo().realize(text_->outerFont(pit).fontInfo());
 
        // Realize with the fonts of lesser depth.
-       font.fontInfo().realize(params.getFont().fontInfo());
+       f.fontInfo().realize(bparams.getFont().fontInfo());
+
+       return f;
+}
 
-       return font;
+
+Font TextMetrics::labelDisplayFont(pit_type pit) const
+{
+       return displayFont(pit, force_label);
 }
 
 
@@ -440,7 +444,7 @@ bool TextMetrics::redoParagraph(pit_type const pit, bool const align_rows)
        // environment? I think the answer is: when paragraphs are merged;
        // when layout is set; when material is pasted.
        if (par.brokenBiblio()) {
-               Cursor & cur = const_cast<Cursor &>(bv_->cursor());
+               Cursor & cur = bv_->cursor();
                // In some cases, we do not know how to record undo
                if (&cur.inset() == &text_->inset())
                        cur.recordUndo(pit, pit);
@@ -497,10 +501,11 @@ bool TextMetrics::redoParagraph(pit_type const pit, bool const align_rows)
 
                // If there is an end of paragraph marker, its size should be
                // substracted to the available width. The logic here is
-               // almost the same as in breakRow, remember keep them in sync.
+               // almost the same as in tokenizeParagraph, remember keep them in sync.
                int eop = 0;
-               if (lyxrc.paragraph_markers && e.pos + 1 == par.size()
-                   && size_type(pit + 1) < text_->paragraphs().size()) {
+               if (e.pos + 1 == par.size()
+                     && (lyxrc.paragraph_markers || par.lookupChange(par.size()).changed())
+                     && size_type(pit + 1) < text_->paragraphs().size()) {
                        Font f(text_->layoutFont(pit));
                        // ΒΆ U+00B6 PILCROW SIGN
                        eop = theFontMetrics(f).width(char_type(0x00B6));
@@ -513,7 +518,8 @@ bool TextMetrics::redoParagraph(pit_type const pit, bool const align_rows)
                Font const & font = e.inset->inheritFont() ?
                        displayFont(pit, e.pos) : bufferfont;
                MacroContext mc(&buffer, parPos);
-               MetricsInfo mi(bv_, font.fontInfo(), w, mc, e.pos == 0);
+               MetricsInfo mi(bv_, font.fontInfo(), w, mc, e.pos == 0, tight_);
+               mi.base.outer_font = displayFont(pit, e.pos).fontInfo();
                e.inset->metrics(mi, dim);
                if (!insetCache.has(e.inset) || insetCache.dim(e.inset) != dim) {
                        insetCache.add(e.inset, dim);
@@ -521,66 +527,76 @@ bool TextMetrics::redoParagraph(pit_type const pit, bool const align_rows)
                }
        }
 
-       pos_type first = 0;
-       size_t row_index = 0;
-       bool need_new_row = false;
-       // maximum pixel width of a row
-       do {
-               if (row_index == pm.rows().size())
-                       pm.rows().push_back(Row());
-               else
-                       pm.rows()[row_index] = Row();
-               Row & row = pm.rows()[row_index];
-               row.pit(pit);
-               row.pos(first);
-               need_new_row = breakRow(row, right_margin);
+       // Transform the paragraph into a single row containing all the elements.
+       Row const bigrow = tokenizeParagraph(pit);
+       // Split the row in several rows fitting in available width
+       pm.rows() = breakParagraph(bigrow);
+
+       /* If there is more than one row, expand the text to the full
+        * allowable width. This setting here is needed for the
+        * setRowAlignment() below. We do nothing when tight insets are
+        * requested.
+        */
+       if (pm.rows().size() > 1 && !tight_ && dim_.wid < max_width_)
+                       dim_.wid = max_width_;
+
+       // Compute height and alignment of the rows.
+       for (Row & row : pm.rows()) {
                setRowHeight(row);
-               row.changed(true);
-               if ((row_index || row.endpos() < par.size() || row.right_boundary())
-                   && par.inInset().lyxCode() != CELL_CODE) {
-                       /* If there is more than one row or the row has been
-                        * broken by a display inset or a newline, expand the text
-                        * to the full allowable width. This setting here is
-                        * needed for the setRowAlignment() below.
-                        * We do nothing when inside a table cell.
-                        */
-                       if (dim_.wid < max_width_)
-                               dim_.wid = max_width_;
-               }
                if (align_rows)
                        setRowAlignment(row, max(dim_.wid, row.width()));
-               first = row.endpos();
-               ++row_index;
 
-               pm.dim().wid = max(pm.dim().wid, row.width());
+               pm.dim().wid = max(pm.dim().wid, row.width() + row.right_margin);
                pm.dim().des += row.height();
-       } while (first < par.size() || need_new_row);
+       }
 
-       if (row_index < pm.rows().size())
-               pm.rows().resize(row_index);
+       // This type of margin can only be handled at the global paragraph level
+       if (par.layout().margintype == MARGIN_RIGHT_ADDRESS_BOX) {
+               int offset = 0;
+               if (par.isRTL(buffer.params())) {
+                       // globally align the paragraph to the left.
+                       int minleft = max_width_;
+                       for (Row const & row : pm.rows())
+                               minleft = min(minleft, row.left_margin);
+                       offset = right_margin - minleft;
+               } else {
+                       // globally align the paragraph to the right.
+                       int maxwid = 0;
+                       for (Row const & row : pm.rows())
+                               maxwid = max(maxwid, row.width());
+                       offset = max_width_ - right_margin - maxwid;
+               }
 
-       // The space above and below the paragraph.
-       int const top = parTopSpacing(pit);
-       pm.rows().front().dim().asc += top;
-       int const bottom = parBottomSpacing(pit);
-       pm.rows().back().dim().des += bottom;
-       pm.dim().des += top + bottom;
+               for (Row & row : pm.rows()) {
+                       row.left_margin += offset;
+                       row.dim().wid += offset;
+               }
+       }
 
-       pm.dim().asc += pm.rows()[0].ascent();
-       pm.dim().des -= pm.rows()[0].ascent();
+       // The space above and below the paragraph.
+       int top = parTopSpacing(pit);
+       int bottom = parBottomSpacing(pit);
 
        // Top and bottom margin of the document (only at top-level)
        // FIXME: It might be better to move this in another method
        // specially tailored for the main text.
        if (text_->isMainText()) {
                if (pit == 0)
-                       pm.dim().asc += bv_->topMargin();
-               ParagraphList const & pars = text_->paragraphs();
-               if (pit + 1 == pit_type(pars.size())) {
-                       pm.dim().des += bv_->bottomMargin();
+                       top += bv_->topMargin();
+               if (pit + 1 == pit_type(text_->paragraphs().size())) {
+                       bottom += bv_->bottomMargin();
                }
        }
 
+       // Add the top/bottom space to rows and paragraph metrics
+       pm.rows().front().dim().asc += top;
+       pm.rows().back().dim().des += bottom;
+       pm.dim().des += top + bottom;
+
+       // Move the pm ascent to be the same as the first row ascent
+       pm.dim().asc += pm.rows().front().ascent();
+       pm.dim().des -= pm.rows().front().ascent();
+
        changed |= old_dim.height() != pm.dim().height();
 
        return changed;
@@ -614,10 +630,10 @@ LyXAlignment TextMetrics::getAlign(Paragraph const & par, Row const & row) const
 
        // Display-style insets should always be on a centered row
        if (Inset const * inset = par.getInset(row.pos())) {
-               if (inset->rowFlags() & Inset::Display) {
-                       if (inset->rowFlags() & Inset::AlignLeft)
-                               align = LYX_ALIGN_BLOCK;
-                       else if (inset->rowFlags() & Inset::AlignRight)
+               if (inset->rowFlags() & Display) {
+                       if (inset->rowFlags() & AlignLeft)
+                               align = LYX_ALIGN_LEFT;
+                       else if (inset->rowFlags() & AlignRight)
                                align = LYX_ALIGN_RIGHT;
                        else
                                align = LYX_ALIGN_CENTER;
@@ -680,7 +696,7 @@ void TextMetrics::setRowAlignment(Row & row, int width) const
        // We don't have to look at the alignment if the row is already
        // larger then the permitted width as then we force the
        // LEFT_ALIGN'edness!
-       if (int(row.width()) >= max_width_)
+       if (row.width() >= max_width_)
                return;
 
        if (nh == 0) {
@@ -781,31 +797,6 @@ int TextMetrics::labelFill(Row const & row) const
 }
 
 
-#if 0
-// Not used, see TextMetrics::breakRow
-// this needs special handling - only newlines count as a break point
-static pos_type addressBreakPoint(pos_type i, Paragraph const & par)
-{
-       pos_type const end = par.size();
-
-       for (; i < end; ++i)
-               if (par.isNewline(i))
-                       return i + 1;
-
-       return end;
-}
-#endif
-
-
-int TextMetrics::labelEnd(pit_type const pit) const
-{
-       // labelEnd is only needed if the layout fills a flushleft label.
-       if (text_->getPar(pit).layout().margintype != MARGIN_MANUAL)
-               return 0;
-       // return the beginning of the body
-       return leftMargin(pit);
-}
-
 namespace {
 
 /**
@@ -864,49 +855,47 @@ private:
 
 } // namespace
 
-/** This is the function where the hard work is done. The code here is
- * very sensitive to small changes :) Note that part of the
- * intelligence is also in Row::shortenIfNeeded.
- */
-bool TextMetrics::breakRow(Row & row, int const right_margin) const
+
+Row TextMetrics::tokenizeParagraph(pit_type const pit) const
 {
-       LATTEST(row.empty());
-       Paragraph const & par = text_->getPar(row.pit());
+       Row row;
+       row.pit(pit);
+       Paragraph const & par = text_->getPar(pit);
+       Buffer const & buf = text_->inset().buffer();
+       BookmarksSection::BookmarkPosList bpl =
+               theSession().bookmarks().bookmarksInPar(buf.fileName(), par.id());
+
        pos_type const end = par.size();
-       pos_type const pos = row.pos();
        pos_type const body_pos = par.beginOfBody();
-       bool const is_rtl = text_->isRTL(row.pit());
-       bool need_new_row = false;
-
-       row.left_margin = leftMargin(row.pit(), pos);
-       row.right_margin = right_margin;
-       if (is_rtl)
-               swap(row.left_margin, row.right_margin);
-       // Remember that the row width takes into account the left_margin
-       // but not the right_margin.
-       row.dim().wid = row.left_margin;
-       // the width available for the row.
-       int const width = max_width_ - row.right_margin;
-
-#if 0
-       //FIXME: As long as leftMargin() is not correctly implemented for
-       // MARGIN_RIGHT_ADDRESS_BOX, we should also not do this here.
-       // Otherwise, long rows will be painted off the screen.
-       if (par.layout().margintype == MARGIN_RIGHT_ADDRESS_BOX)
-               return addressBreakPoint(pos, par);
-#endif
 
        // check for possible inline completion
        DocIterator const & ic_it = bv_->inlineCompletionPos();
        pos_type ic_pos = -1;
-       if (ic_it.inTexted() && ic_it.text() == text_ && ic_it.pit() == row.pit())
+       if (ic_it.inTexted() && ic_it.text() == text_ && ic_it.pit() == pit)
                ic_pos = ic_it.pos();
 
        // Now we iterate through until we reach the right margin
        // or the end of the par, then build a representation of the row.
-       pos_type i = pos;
-       FontIterator fi = FontIterator(*this, par, row.pit(), pos);
-       while (i < end && (i == pos || row.width() <= width)) {
+       pos_type i = 0;
+       FontIterator fi = FontIterator(*this, par, pit, 0);
+       // The real stopping condition is a few lines below.
+       while (true) {
+               // Firstly, check whether there is a bookmark here.
+               if (lyxrc.bookmarks_visibility == LyXRC::BMK_INLINE)
+                       for (auto const & bp_p : bpl)
+                               if (bp_p.second == i) {
+                                       Font f = *fi;
+                                       f.fontInfo().setColor(Color_bookmark);
+                                       // βΆ U+2776 DINGBAT NEGATIVE CIRCLED DIGIT ONE
+                                       char_type const ch = 0x2775 + bp_p.first;
+                                       row.addVirtual(i, docstring(1, ch), f, Change());
+                               }
+
+               // The stopping condition is here so that the display of a
+               // bookmark can take place at paragraph start too.
+               if (i >= end)
+                       break;
+
                char_type c = par.getChar(i);
                // The most special cases are handled first.
                if (par.isInset(i)) {
@@ -914,26 +903,22 @@ bool TextMetrics::breakRow(Row & row, int const right_margin) const
                        Dimension dim = bv_->coordCache().insets().dim(ins);
                        row.add(i, ins, dim, *fi, par.lookupChange(i));
                } else if (c == ' ' && i + 1 == body_pos) {
-                       // There is a space at i, but it should not be
-                       // added as a separator, because it is just
-                       // before body_pos. Instead, insert some spacing to
-                       // align text
+                       // This space is an \item separator. Represent it with a
+                       // special space element, which dimension will be computed
+                       // in breakRow.
                        FontMetrics const & fm = theFontMetrics(text_->labelFont(par));
-                       // this is needed to make sure that the row width is correct
-                       row.finalizeLast();
-                       int const add = max(fm.width(par.layout().labelsep),
-                                           labelEnd(row.pit()) - row.width());
-                       row.addSpace(i, add, *fi, par.lookupChange(i));
+                       int const wid = fm.width(par.layout().labelsep);
+                       row.addMarginSpace(i, wid, *fi, par.lookupChange(i));
                } else if (c == '\t')
                        row.addSpace(i, theFontMetrics(*fi).width(from_ascii("    ")),
-                                    *fi, par.lookupChange(i));
+                                    *fi, par.lookupChange(i));
                else if (c == 0x2028 || c == 0x2029) {
                        /**
                         * U+2028 LINE SEPARATOR
                         * U+2029 PARAGRAPH SEPARATOR
 
                         * These are special unicode characters that break
-                        * lines/pragraphs. Not handling them lead to trouble wrt
+                        * lines/pragraphs. Not handling them leads to trouble wrt
                         * Qt QTextLayout formatting. We add a visible character
                         * on screen so that the user can see that something is
                         * happening.
@@ -944,6 +929,7 @@ bool TextMetrics::breakRow(Row & row, int const right_margin) const
                        char_type const screen_char = (c == 0x2028) ? 0x2936 : 0x00B6;
                        row.add(i, screen_char, *fi, par.lookupChange(i));
                } else
+                       // row elements before body are unbreakable
                        row.add(i, c, *fi, par.lookupChange(i));
 
                // add inline completion width
@@ -961,76 +947,228 @@ bool TextMetrics::breakRow(Row & row, int const right_margin) const
                        row.addVirtual(i + 1, comp.substr(uniqueTo), f, Change());
                }
 
-               // Handle some situations that abruptly terminate the row
-               // - Before an inset with BreakBefore
-               // - After an inset with BreakAfter
-               Inset const * prevInset = !row.empty() ? row.back().inset : 0;
-               Inset const * nextInset = (i + 1 < end) ? par.getInset(i + 1) : 0;
-               if ((nextInset && nextInset->rowFlags() & Inset::BreakBefore)
-                   || (prevInset && prevInset->rowFlags() & Inset::BreakAfter)) {
-                       row.flushed(true);
-                       // Force a row creation after this one if it is ended by
-                       // an inset that either
-                       // - has row flag RowAfter that enforces that;
-                       // - or (1) did force the row breaking, (2) is at end of
-                       //   paragraph and (3) the said paragraph has an end label.
-                       need_new_row = prevInset &&
-                               (prevInset->rowFlags() & Inset::RowAfter
-                                || (prevInset->rowFlags() & Inset::BreakAfter && i + 1 == end
-                                    && text_->getEndLabel(row.pit()) != END_LABEL_NO_LABEL));
-                       ++i;
-                       break;
-               }
-
                ++i;
                ++fi;
        }
        row.finalizeLast();
-       row.endpos(i);
+       row.endpos(end);
 
-       // End of paragraph marker. The logic here is almost the
+       // End of paragraph marker, either if LyXRc requires it, or there
+       // is an end of paragraph change. The logic here is almost the
        // same as in redoParagraph, remember keep them in sync.
        ParagraphList const & pars = text_->paragraphs();
-       Change const & change = par.lookupChange(i);
-       if ((lyxrc.paragraph_markers || change.changed())
-           && !need_new_row
-           && i == end && size_type(row.pit() + 1) < pars.size()) {
+       Change const & endchange = par.lookupChange(end);
+       if (endchange.changed())
+               row.needsChangeBar(true);
+       if ((lyxrc.paragraph_markers || endchange.changed())
+           && size_type(pit + 1) < pars.size()) {
                // add a virtual element for the end-of-paragraph
                // marker; it is shown on screen, but does not exist
                // in the paragraph.
-               Font f(text_->layoutFont(row.pit()));
+               Font f(text_->layoutFont(pit));
                f.fontInfo().setColor(Color_paragraphmarker);
-               BufferParams const & bparams
-                       = text_->inset().buffer().params();
-               f.setLanguage(par.getParLanguage(bparams));
+               f.setLanguage(par.getParLanguage(buf.params()));
                // ΒΆ U+00B6 PILCROW SIGN
-               row.addVirtual(end, docstring(1, char_type(0x00B6)), f, change);
+               row.addVirtual(end, docstring(1, char_type(0x00B6)), f, endchange);
        }
 
-       // Is there a end-of-paragaph change?
-       if (i == end && par.lookupChange(end).changed() && !need_new_row)
-               row.needsChangeBar(true);
+       return row;
+}
+
+
+namespace {
+
+/** Helper template flexible_const_iterator<T>
+ * A way to iterate over a const container, but insert fake elements in it.
+ * In the case of a row, we will have to break some elements, which
+ * create new ones. This class allows to abstract this.
+ * Only the required parts are implemented for now.
+ */
+template<class T>
+class flexible_const_iterator {
+       typedef typename T::value_type value_type;
+public:
+
+       //
+       flexible_const_iterator & operator++() {
+               if (pile_.empty())
+                       ++cit_;
+               else
+                       pile_.pop_back();
+               return *this;
+       }
+
+       value_type operator*() const { return pile_.empty() ? *cit_ : pile_.back(); }
+
+       value_type const * operator->() const { return pile_.empty() ? &*cit_ : &pile_.back(); }
 
-       // if the row is too large, try to cut at last separator. In case
-       // of success, reset indication that the row was broken abruptly.
-       int const next_width = max_width_ - leftMargin(row.pit(), row.endpos())
-               - rightMargin(row.pit());
+       void put(value_type const & e) { pile_.push_back(e); }
 
-       if (row.shortenIfNeeded(body_pos, width, next_width))
-               row.flushed(false);
-       row.right_boundary(!row.empty() && row.endpos() < end
-                          && row.back().endpos == row.endpos());
-       // Last row in paragraph is flushed
-       if (row.endpos() == end)
-               row.flushed(true);
+       // Put a sequence of elements on the pile (in reverse order!)
+       void put(vector<value_type> const & elts) {
+               pile_.insert(pile_.end(), elts.rbegin(), elts.rend());
+       }
+
+// This should be private, but declaring the friend functions is too much work
+//private:
+       typename T::const_iterator cit_;
+       // A vector that is used as like a pile to store the elements to
+       // consider before incrementing the underlying iterator.
+       vector<value_type> pile_;
+};
 
+
+template<class T>
+flexible_const_iterator<T> flexible_begin(T const & t)
+{
+       return { t.begin(), vector<typename T::value_type>() };
+}
+
+
+template<class T>
+flexible_const_iterator<T> flexible_end(T const & t)
+{
+       return { t.end(), vector<typename T::value_type>() };
+}
+
+
+// Equality is only possible if respective piles are empty
+template<class T>
+bool operator==(flexible_const_iterator<T> const & t1,
+                flexible_const_iterator<T> const & t2)
+{
+       return t1.cit_ == t2.cit_ && t1.pile_.empty() && t2.pile_.empty();
+}
+
+
+Row newRow(TextMetrics const & tm, pit_type pit, pos_type pos, bool is_rtl)
+{
+       Row nrow;
+       nrow.pit(pit);
+       nrow.pos(pos);
+       nrow.left_margin = tm.leftMargin(pit, pos);
+       nrow.right_margin = tm.rightMargin(pit);
+       nrow.setRTL(is_rtl);
+       if (is_rtl)
+               swap(nrow.left_margin, nrow.right_margin);
+       // Remember that the row width takes into account the left_margin
+       // but not the right_margin.
+       nrow.dim().wid = nrow.left_margin;
+       return nrow;
+}
+
+
+void cleanupRow(Row & row, bool at_end)
+{
+       if (row.empty()) {
+               row.endpos(row.pos());
+               return;
+       }
+
+       row.endpos(row.back().endpos);
+       // remove trailing spaces on row break
+       if (!at_end && !row.flushed())
+               row.back().rtrim();
+       // boundary exists when there was no space at the end of row
+       row.end_boundary(!at_end && row.back().endpos == row.endpos());
        // make sure that the RTL elements are in reverse ordering
-       row.reverseRTL(is_rtl);
-       //LYXERR0("breakrow: row is " << row);
+       row.reverseRTL();
+}
 
-       return need_new_row;
+
+// Implement the priorities described in RowFlags.h.
+bool needsRowBreak(int f1, int f2)
+{
+       if (f1 & AlwaysBreakAfter /*|| f2 & AlwaysBreakBefore*/)
+               return true;
+       if (f1 & NoBreakAfter || f2 & NoBreakBefore)
+               return false;
+       if (f1 & BreakAfter || f2 & BreakBefore)
+               return true;
+       return false;
 }
 
+
+}
+
+
+RowList TextMetrics::breakParagraph(Row const & bigrow) const
+{
+       RowList rows;
+       bool const is_rtl = text_->isRTL(bigrow.pit());
+       bool const end_label = text_->getEndLabel(bigrow.pit()) != END_LABEL_NO_LABEL;
+       int const next_width = max_width_ - leftMargin(bigrow.pit(), bigrow.endpos())
+               - rightMargin(bigrow.pit());
+
+       int width = 0;
+       flexible_const_iterator<Row> fcit = flexible_begin(bigrow);
+       flexible_const_iterator<Row> const end = flexible_end(bigrow);
+       while (true) {
+               bool const row_empty = rows.empty() || rows.back().empty();
+               // The row flags of previous element, if there is one.
+               // Otherwise we use NoBreakAfter to avoid an empty row before
+               // e.g. a displayed equation.
+               int const f1 = row_empty ? NoBreakAfter : rows.back().back().row_flags;
+               // The row flags of next element, if there is one.
+               // Otherwise we use NoBreakBefore (see above), unless the
+               // paragraph has an end label (for which an empty row is OK).
+               int const f2 = (fcit == end) ? (end_label ? Inline : NoBreakBefore)
+                                            : fcit->row_flags;
+               if (rows.empty() || needsRowBreak(f1, f2)) {
+                       if (!rows.empty()) {
+                               // Flush row as requested by row flags
+                               rows.back().flushed((f1 & Flush) || (f2 & FlushBefore));
+                               cleanupRow(rows.back(), false);
+                       }
+                       pos_type pos = rows.empty() ? 0 : rows.back().endpos();
+                       rows.push_back(newRow(*this, bigrow.pit(), pos, is_rtl));
+                       // the width available for the row.
+                       width = max_width_ - rows.back().right_margin;
+               }
+
+               // The stopping condition is here because we may need a new
+               // empty row at the end.
+               if (fcit == end)
+                       break;
+
+               // Next element to consider is either the top of the temporary
+               // pile, or the place when we were in main row
+               Row::Element elt = *fcit;
+               Row::Elements tail;
+               elt.splitAt(width - rows.back().width(), next_width, Row::FIT, tail);
+               Row & rb = rows.back();
+               if (elt.type == Row::MARGINSPACE)
+                       elt.dim.wid = max(elt.dim.wid, leftMargin(bigrow.pit()) - rb.width());
+               rb.push_back(elt);
+               rb.finalizeLast();
+               if (rb.width() > width) {
+                       // Keep the tail for later; this ought to be rare, but play safe.
+                       if (!tail.empty())
+                               fcit.put(tail);
+                       // if the row is too large, try to cut at last separator.
+                       tail = rb.shortenIfNeeded(width, next_width);
+               }
+
+               // Go to next element
+               ++fcit;
+
+               // Handle later the elements returned by splitAt or shortenIfNeeded.
+               fcit.put(tail);
+       }
+
+       if (!rows.empty()) {
+               // Last row in paragraph is flushed
+               rows.back().flushed(true);
+               cleanupRow(rows.back(), true);
+               // Is there an end-of-paragraph change?
+               if (bigrow.needsChangeBar())
+                       rows.back().needsChangeBar(true);
+       }
+
+       return rows;
+}
+
+
 int TextMetrics::parTopSpacing(pit_type const pit) const
 {
        Paragraph const & par = text_->getPar(pit);
@@ -1080,7 +1218,10 @@ int TextMetrics::parTopSpacing(pit_type const pit) const
            && prevpar.getLabelWidthString() == par.getLabelWidthString()) {
                layoutasc = layout.itemsep * dh;
        } else if (pit != 0 && layout.topsep > 0)
-               layoutasc = layout.topsep * dh;
+               // combine the separation between different layouts (with same depth)
+               layoutasc = max(0.0,
+                       prevpar.getDepth() != par.getDepth() ? layout.topsep
+                       : layout.topsep - prevpar.layout().bottomsep) * dh;
 
        asc += int(layoutasc * 2 / (2 + pars[pit].getDepth()));
 
@@ -1133,20 +1274,39 @@ void TextMetrics::setRowHeight(Row & row) const
 {
        Paragraph const & par = text_->getPar(row.pit());
        Layout const & layout = par.layout();
-       double const spacing_val = layout.spacing.getValue() * text_->spacing(par);
+       // leading space (line spacing) factor based on current paragraph
+       double spacing_val = layout.spacing.getValue() * text_->spacing(par);
+
+       // if this is the first row but not the first paragraph, take into
+       // account the spacing of the previous paragraph.
+       if (row.pos() == 0 && row.pit() > 0) {
+               // for the first row in the paragraph,
+               // use previous paragraphs line spacing if it is larger
+               Paragraph const & previousPar = text_->getPar(row.pit() - 1);
+               Layout const & previousLayout = previousPar.layout();
+               // leading space factor based on previous paragraph
+               double const previous_spacing_val
+                       = previousLayout.spacing.getValue() * text_->spacing(previousPar);
+               if (previous_spacing_val > spacing_val)
+                       spacing_val = previous_spacing_val;
+       }
 
        // Initial value for ascent (useful if row is empty).
        Font const font = displayFont(row.pit(), row.pos());
        FontMetrics const & fm = theFontMetrics(font);
-       int maxasc = int(fm.maxAscent() * spacing_val);
-       int maxdes = int(fm.maxDescent() * spacing_val);
+       int maxasc = int(fm.maxAscent()
+               // add leading space
+               + fm.maxHeight() * (spacing_val - 1));
+       int maxdes = int(fm.maxDescent());
 
        // Take label string into account (useful if labelfont is large)
        if (row.pos() == 0 && layout.labelIsInline()) {
                FontInfo const labelfont = text_->labelFont(par);
                FontMetrics const & lfm = theFontMetrics(labelfont);
-               maxasc = max(maxasc, int(lfm.maxAscent() * spacing_val));
-               maxdes = max(maxdes, int(lfm.maxDescent() * spacing_val));
+               maxasc = max(maxasc, int(lfm.maxAscent()
+                       // add leading space
+                       + lfm.maxHeight() * (spacing_val - 1)));
+               maxdes = max(maxdes, int(lfm.maxDescent()));
        }
 
        // Find the ascent/descent of the row contents
@@ -1156,8 +1316,10 @@ void TextMetrics::setRowHeight(Row & row) const
                        maxdes = max(maxdes, e.dim.descent());
                } else {
                        FontMetrics const & fm2 = theFontMetrics(e.font);
-                       maxasc = max(maxasc, int(fm2.maxAscent() * spacing_val));
-                       maxdes = max(maxdes, int(fm2.maxDescent() * spacing_val));
+                       maxasc = max(maxasc, int(fm2.maxAscent()
+                               // add leading space
+                               + fm2.maxHeight() * (spacing_val - 1)));
+                       maxdes = max(maxdes, int(fm2.maxDescent()));
                }
        }
 
@@ -1167,6 +1329,9 @@ void TextMetrics::setRowHeight(Row & row) const
 
        row.dim().asc = maxasc;
        row.dim().des = maxdes;
+
+       // This is useful for selections
+       row.contents_dim() = row.dim();
 }
 
 
@@ -1240,7 +1405,7 @@ pos_type TextMetrics::getPosNearX(Row const & row, int & x,
                              || inset->lyxCode() == SEPARATOR_CODE))
                        pos = row.back().pos;
                else
-                       boundary = row.right_boundary();
+                       boundary = row.end_boundary();
        }
 
        x += xo - offset;
@@ -1270,7 +1435,7 @@ pit_type TextMetrics::getPitNearY(int y)
 {
        LASSERT(!text_->paragraphs().empty(), return -1);
        LASSERT(!par_metrics_.empty(), return -1);
-       LYXERR(Debug::DEBUG, "y: " << y << " cache size: " << par_metrics_.size());
+       LYXERR(Debug::PAINTING, "y: " << y << " cache size: " << par_metrics_.size());
 
        // look for highest numbered paragraph with y coordinate less than given y
        pit_type pit = -1;
@@ -1282,7 +1447,7 @@ pit_type TextMetrics::getPitNearY(int y)
 
        ParagraphMetrics const & pm = it->second;
 
-       if (y < it->second.position() - int(pm.ascent())) {
+       if (y < it->second.position() - pm.ascent()) {
                // We are looking for a position that is before the first paragraph in
                // the cache (which is in priciple off-screen, that is before the
                // visible part.
@@ -1297,7 +1462,7 @@ pit_type TextMetrics::getPitNearY(int y)
 
        ParagraphMetrics const & pm_last = par_metrics_[last->first];
 
-       if (y >= last->second.position() + int(pm_last.descent())) {
+       if (y >= last->second.position() + pm_last.descent()) {
                // We are looking for a position that is after the last paragraph in
                // the cache (which is in priciple off-screen), that is before the
                // visible part.
@@ -1311,18 +1476,18 @@ pit_type TextMetrics::getPitNearY(int y)
        }
 
        for (; it != et; ++it) {
-               LYXERR(Debug::DEBUG, "examining: pit: " << it->first
+               LYXERR(Debug::PAINTING, "examining: pit: " << it->first
                        << " y: " << it->second.position());
 
                ParagraphMetrics const & pm2 = par_metrics_[it->first];
 
-               if (it->first >= pit && int(it->second.position()) - int(pm2.ascent()) <= y) {
+               if (it->first >= pit && it->second.position() - pm2.ascent() <= y) {
                        pit = it->first;
                        yy = it->second.position();
                }
        }
 
-       LYXERR(Debug::DEBUG, "found best y: " << yy << " for pit: " << pit);
+       LYXERR(Debug::PAINTING, "found best y: " << yy << " for pit: " << pit);
 
        return pit;
 }
@@ -1333,7 +1498,7 @@ Row const & TextMetrics::getPitAndRowNearY(int & y, pit_type & pit,
 {
        ParagraphMetrics const & pm = par_metrics_[pit];
 
-       int yy = pm.position() - pm.rows().front().ascent();
+       int yy = pm.position() - pm.ascent();
        LBUFERR(!pm.rows().empty());
        RowList::const_iterator rit = pm.rows().begin();
        RowList::const_iterator rlast = pm.rows().end();
@@ -1436,27 +1601,27 @@ void TextMetrics::setCursorFromCoordinates(Cursor & cur, int const x, int const
        ParagraphMetrics const & pm = par_metrics_[pit];
 
        int yy = pm.position() - pm.rows().front().ascent();
-       LYXERR(Debug::DEBUG, "x: " << x << " y: " << y <<
+       LYXERR(Debug::PAINTING, "x: " << x << " y: " << y <<
                " pit: " << pit << " yy: " << yy);
 
        int r = 0;
        LBUFERR(pm.rows().size());
        for (; r < int(pm.rows().size()) - 1; ++r) {
                Row const & row = pm.rows()[r];
-               if (int(yy + row.height()) > y)
+               if (yy + row.height() > y)
                        break;
                yy += row.height();
        }
 
        Row const & row = pm.rows()[r];
 
-       LYXERR(Debug::DEBUG, "row " << r << " from pos: " << row.pos());
+       LYXERR(Debug::PAINTING, "row " << r << " from pos: " << row.pos());
 
        bool bound = false;
        int xx = x;
        pos_type const pos = getPosNearX(row, xx, bound);
 
-       LYXERR(Debug::DEBUG, "setting cursor pit: " << pit << " pos: " << pos);
+       LYXERR(Debug::PAINTING, "setting cursor pit: " << pit << " pos: " << pos);
 
        text_->setCursor(cur, pit, pos, true, bound);
        // remember new position.
@@ -1470,18 +1635,18 @@ InsetList::Element * TextMetrics::checkInsetHit(pit_type pit, int x, int y)
        Paragraph const & par = text_->paragraphs()[pit];
        CoordCache::Insets const & insetCache = bv_->coordCache().getInsets();
 
-       LYXERR(Debug::DEBUG, "x: " << x << " y: " << y << "  pit: " << pit);
+       LYXERR(Debug::PAINTING, "x: " << x << " y: " << y << "  pit: " << pit);
 
        for (InsetList::Element const & e : par.insetList()) {
-               LYXERR(Debug::DEBUG, "examining inset " << e.inset);
+               LYXERR(Debug::PAINTING, "examining inset " << e.inset);
 
                if (insetCache.covers(e.inset, x, y)) {
-                       LYXERR(Debug::DEBUG, "Hit inset: " << e.inset);
+                       LYXERR(Debug::PAINTING, "Hit inset: " << e.inset);
                        return const_cast<InsetList::Element *>(&e);
                }
        }
 
-       LYXERR(Debug::DEBUG, "No inset hit. ");
+       LYXERR(Debug::PAINTING, "No inset hit. ");
        return nullptr;
 }
 
@@ -1600,6 +1765,8 @@ void TextMetrics::deleteLineForward(Cursor & cur)
 
 int TextMetrics::leftMargin(pit_type pit) const
 {
+       // FIXME: what is the semantics? It depends on whether the
+       // paragraph is empty!
        return leftMargin(pit, text_->paragraphs()[pit].size());
 }
 
@@ -1612,7 +1779,10 @@ int TextMetrics::leftMargin(pit_type const pit, pos_type const pos) const
        LASSERT(pit < int(pars.size()), return 0);
        Paragraph const & par = pars[pit];
        LASSERT(pos >= 0, return 0);
-       LASSERT(pos <= par.size(), return 0);
+       // We do not really care whether pos > par.size(), since we do not
+       // access the data. It can be actually useful, when querying the
+       // margin without indentation (see leftMargin(pit_type).
+
        Buffer const & buffer = bv_->buffer();
        //lyxerr << "TextMetrics::leftMargin: pit: " << pit << " pos: " << pos << endl;
        DocumentClass const & tclass = buffer.params().documentClass();
@@ -1657,11 +1827,13 @@ int TextMetrics::leftMargin(pit_type const pit, pos_type const pos) const
                }
        }
 
-       // This happens after sections or environments in standard classes.
-       // We have to check the previous layout at same depth.
+       // Check for reasons to remove indentation.
+       // First, at document level.
        if (buffer.params().paragraph_separation ==
                        BufferParams::ParagraphSkipSeparation)
                parindent.erase();
+       // This happens after sections or environments in standard classes.
+       // We have to check the previous layout at same depth.
        else if (pit > 0 && pars[pit - 1].getDepth() >= par.getDepth()) {
                pit_type prev = text_->depthHook(pit, par.getDepth());
                if (par.layout() == pars[prev].layout()) {
@@ -1671,6 +1843,15 @@ int TextMetrics::leftMargin(pit_type const pit, pos_type const pos) const
                } else if (pars[prev].layout().nextnoindent)
                        parindent.erase();
        }
+       // The previous paragraph may have ended with a separator inset.
+       if (pit > 0) {
+               Paragraph const & ppar = pars[pit - 1];
+               if (ppar.size() > 0) {
+                       auto * in = dynamic_cast<InsetSeparator const *>(ppar.getInset(ppar.size() - 1));
+                       if (in != nullptr && in->nextnoindent())
+                               parindent.erase();
+               }
+       }
 
        FontInfo const labelfont = text_->labelFont(par);
        FontMetrics const & lfm = theFontMetrics(labelfont);
@@ -1727,25 +1908,10 @@ int TextMetrics::leftMargin(pit_type const pit, pos_type const pos) const
                }
                break;
 
-       case MARGIN_RIGHT_ADDRESS_BOX: {
-#if 0
-               // The left margin depends on the widest row in this paragraph.
-               // This code is wrong because it depends on the rows, but at the
-               // same time this function is used in redoParagraph to construct
-               // the rows.
-               ParagraphMetrics const & pm = par_metrics_[pit];
-               int minfill = max_width_;
-               for (row : pm.rows())
-                       if (row.fill() < minfill)
-                               minfill = row.fill();
-               l_margin += bfm.signedWidth(layout.leftmargin);
-               l_margin += minfill;
-#endif
-               // also wrong, but much shorter.
-               l_margin += max_width_ / 2;
+       case MARGIN_RIGHT_ADDRESS_BOX:
+               // This is handled globally in redoParagraph().
                break;
        }
-       }
 
        if (!par.params().leftIndent().zero())
                l_margin += par.params().leftIndent().inPixels(max_width_, lfm.em());
@@ -1766,8 +1932,8 @@ int TextMetrics::leftMargin(pit_type const pit, pos_type const pos) const
            && !text_->inset().neverIndent()
            // display style insets do not need indentation
            && !(!par.empty()
-                && par.isInset(pos)
-                && par.getInset(pos)->rowFlags() & Inset::Display)
+                && par.isInset(0)
+                && par.getInset(0)->rowFlags() & Display)
            && (!(tclass.isDefaultLayout(par.layout())
                || tclass.isPlainLayout(par.layout()))
                || buffer.params().paragraph_separation
@@ -1814,8 +1980,8 @@ void TextMetrics::drawParagraph(PainterInfo & pi, pit_type const pit, int const
                return;
        size_t const nrows = pm.rows().size();
        // Remember left and right margin for drawing math numbers
-       Changer changeleft = make_change(pi.leftx, x + leftMargin(pit));
-       Changer changeright = make_change(pi.rightx, x + width() - rightMargin(pit));
+       Changer changeleft = changeVar(pi.leftx, x + leftMargin(pit));
+       Changer changeright = changeVar(pi.rightx, x + width() - rightMargin(pit));
 
        // Use fast lane in nodraw stage.
        if (pi.pain.isNull()) {
@@ -1865,6 +2031,9 @@ void TextMetrics::drawParagraph(PainterInfo & pi, pit_type const pit, int const
        if (text_->isRTL(pit))
                swap(pi.leftx, pi.rightx);
 
+       BookmarksSection::BookmarkPosList bpl =
+               theSession().bookmarks().bookmarksInPar(bv_->buffer().fileName(), pm.id());
+
        for (size_t i = 0; i != nrows; ++i) {
 
                Row const & row = pm.rows()[i];
@@ -1909,6 +2078,9 @@ void TextMetrics::drawParagraph(PainterInfo & pi, pit_type const pit, int const
                        // Paint only the insets if the text itself is
                        // unchanged.
                        rp.paintOnlyInsets();
+                       rp.paintTooLargeMarks(
+                               row_x + row.left_x() < bv_->leftMargin(),
+                               row_x + row.right_x() > bv_->workWidth() - bv_->rightMargin());
                        row.changed(false);
                        y += row.descent();
                        continue;
@@ -1918,18 +2090,10 @@ void TextMetrics::drawParagraph(PainterInfo & pi, pit_type const pit, int const
                // already cleared because of a full repaint.
                if (!pi.full_repaint && row.changed()) {
                        LYXERR(Debug::PAINTING, "Clear rect@("
-                              << max(row_x, 0) << ", " << y - row.ascent() << ")="
+                              << x << ", " << y - row.ascent() << ")="
                               << width() << " x " << row.height());
-                       // FIXME: this is a hack. We clear an amount equal to
-                       // cursor width. This will not work if the caret has a
-                       // ridiculous width like 6. (see ticket #10797)
-                       // This is the same formula as in GuiWorkArea.
-                       int const caret_width = lyxrc.cursor_width
-                               ? lyxrc.cursor_width
-                               : 1 + int((lyxrc.currentZoom + 50) / 200.0);
-                       pi.pain.fillRectangle(max(row_x, 0), y - row.ascent(),
-                                             width() + caret_width,
-                                             row.height(), pi.background_color);
+                       pi.pain.fillRectangle(x, y - row.ascent(),
+                                             width(), row.height(), pi.background_color);
                }
 
                // Instrumentation for testing row cache (see also
@@ -1959,8 +2123,15 @@ void TextMetrics::drawParagraph(PainterInfo & pi, pit_type const pit, int const
                if (i == nrows - 1)
                        rp.paintLast();
                rp.paintText();
-               rp.paintTooLargeMarks(row_x + row.left_x() < 0,
-                                     row_x + row.right_x() > bv_->workWidth());
+               rp.paintTooLargeMarks(
+                       row_x + row.left_x() < bv_->leftMargin(),
+                       row_x + row.right_x() > bv_->workWidth() - bv_->rightMargin());
+               // indicate bookmarks presence in margin
+               if (lyxrc.bookmarks_visibility == LyXRC::BMK_MARGIN)
+                       for (auto const & bp_p : bpl)
+                               if (bp_p.second >= row.pos() && bp_p.second < row.endpos())
+                                       rp.paintBookmark(bp_p.first);
+
                y += row.descent();
 
 #if 0