]> git.lyx.org Git - lyx.git/blobdiff - src/Text2.cpp
fix a visual cursor edge-case:
[lyx.git] / src / Text2.cpp
index 45fb9dfe6910b6e275cb64b6e2712cdf7cebad7b..b7dc9a13d60373425bf835bd9eebf70d52594ef0 100644 (file)
 
 #include "Text.h"
 
+#include "Bidi.h"
 #include "Buffer.h"
 #include "buffer_funcs.h"
 #include "BufferList.h"
 #include "BufferParams.h"
 #include "BufferView.h"
-#include "bufferview_funcs.h"
-#include "Bullet.h"
-#include "CoordCache.h"
+#include "Changes.h"
 #include "Cursor.h"
 #include "CutAndPaste.h"
-#include "debug.h"
 #include "DispatchResult.h"
 #include "ErrorList.h"
 #include "FuncRequest.h"
-#include "gettext.h"
 #include "Language.h"
-#include "Color.h"
+#include "Layout.h"
+#include "Lexer.h"
 #include "LyXFunc.h"
 #include "LyXRC.h"
-#include "Row.h"
 #include "Paragraph.h"
-#include "TextMetrics.h"
 #include "paragraph_funcs.h"
 #include "ParagraphParameters.h"
-#include "ParIterator.h"
-#include "Server.h"
-#include "ServerSocket.h"
-#include "Undo.h"
+#include "TextClass.h"
+#include "TextMetrics.h"
 #include "VSpace.h"
 
-#include "frontends/FontMetrics.h"
-
 #include "insets/InsetEnvironment.h"
 
 #include "mathed/InsetMathHull.h"
 
+#include "support/debug.h"
+#include "support/gettext.h"
 #include "support/textutils.h"
 
-#include <boost/current_function.hpp>
+#include <boost/next_prior.hpp>
 
 #include <sstream>
 
+using namespace std;
 
 namespace lyx {
 
-using std::endl;
-using std::ostringstream;
-using std::string;
-using std::max;
-using std::min;
-
-
 Text::Text()
-       : current_font(Font::ALL_INHERIT),
-         background_color_(Color::background),
-         autoBreakRows_(false)
+       : autoBreakRows_(false)
 {}
 
 
@@ -87,193 +73,55 @@ bool Text::isMainText(Buffer const & buffer) const
 }
 
 
-//takes screen x,y coordinates
-Inset * Text::checkInsetHit(BufferView & bv, int x, int y)
-{
-       pit_type pit = getPitNearY(bv, y);
-       BOOST_ASSERT(pit != -1);
-
-       Paragraph const & par = pars_[pit];
-
-       LYXERR(Debug::DEBUG)
-               << BOOST_CURRENT_FUNCTION
-               << ": x: " << x
-               << " y: " << y
-               << "  pit: " << pit
-               << endl;
-       InsetList::const_iterator iit = par.insetlist.begin();
-       InsetList::const_iterator iend = par.insetlist.end();
-       for (; iit != iend; ++iit) {
-               Inset * inset = iit->inset;
-#if 1
-               LYXERR(Debug::DEBUG)
-                       << BOOST_CURRENT_FUNCTION
-                       << ": examining inset " << inset << endl;
-
-               if (bv.coordCache().getInsets().has(inset))
-                       LYXERR(Debug::DEBUG)
-                               << BOOST_CURRENT_FUNCTION
-                               << ": xo: " << inset->xo(bv) << "..."
-                               << inset->xo(bv) + inset->width()
-                               << " yo: " << inset->yo(bv) - inset->ascent()
-                               << "..."
-                               << inset->yo(bv) + inset->descent()
-                               << endl;
-               else
-                       LYXERR(Debug::DEBUG)
-                               << BOOST_CURRENT_FUNCTION
-                               << ": inset has no cached position" << endl;
-#endif
-               if (inset->covers(bv, x, y)) {
-                       LYXERR(Debug::DEBUG)
-                               << BOOST_CURRENT_FUNCTION
-                               << ": Hit inset: " << inset << endl;
-                       return inset;
-               }
-       }
-       LYXERR(Debug::DEBUG)
-               << BOOST_CURRENT_FUNCTION
-               << ": No inset hit. " << endl;
-       return 0;
-}
-
-
-
-// Gets the fully instantiated font at a given position in a paragraph
-// Basically the same routine as Paragraph::getFont() in Paragraph.cpp.
-// The difference is that this one is used for displaying, and thus we
-// are allowed to make cosmetic improvements. For instance make footnotes
-// smaller. (Asger)
-Font Text::getFont(Buffer const & buffer, Paragraph const & par,
-               pos_type const pos) const
-{
-       BOOST_ASSERT(pos >= 0);
-
-       Layout_ptr const & layout = par.layout();
-       // FIXME: broken?
-       BufferParams const & params = buffer.params();
-       pos_type const body_pos = par.beginOfBody();
-
-       // We specialize the 95% common case:
-       if (!par.getDepth()) {
-               Font f = par.getFontSettings(params, pos);
-               if (!isMainText(buffer))
-                       applyOuterFont(buffer, f);
-               Font lf;
-               Font rlf;
-               if (layout->labeltype == LABEL_MANUAL && pos < body_pos) {
-                       lf = layout->labelfont;
-                       rlf = layout->reslabelfont;
-               } else {
-                       lf = layout->font;
-                       rlf = layout->resfont;
-               }
-               // In case the default family has been customized
-               if (lf.family() == Font::INHERIT_FAMILY)
-                       rlf.setFamily(params.getFont().family());
-               return f.realize(rlf);
-       }
-
-       // The uncommon case need not be optimized as much
-       Font layoutfont;
-       if (pos < body_pos)
-               layoutfont = layout->labelfont;
-       else
-               layoutfont = layout->font;
-
-       Font font = par.getFontSettings(params, pos);
-       font.realize(layoutfont);
-
-       if (!isMainText(buffer))
-               applyOuterFont(buffer, font);
-
-       // Find the pit value belonging to paragraph. This will not break
-       // even if pars_ would not be a vector anymore.
-       // Performance appears acceptable.
-
-       pit_type pit = pars_.size();
-       for (pit_type it = 0; it < pit; ++it)
-               if (&pars_[it] == &par) {
-                       pit = it;
-                       break;
-               }
-       // Realize against environment font information
-       // NOTE: the cast to pit_type should be removed when pit_type
-       // changes to a unsigned integer.
-       if (pit < pit_type(pars_.size()))
-               font.realize(outerFont(pit, pars_));
-
-       // Realize with the fonts of lesser depth.
-       font.realize(params.getFont());
-
-       return font;
-}
-
-// There are currently two font mechanisms in LyX:
-// 1. The font attributes in a lyxtext, and
-// 2. The inset-specific font properties, defined in an inset's
-// metrics() and draw() methods and handed down the inset chain through
-// the pi/mi parameters, and stored locally in a lyxtext in font_.
-// This is where the two are integrated in the final fully realized
-// font.
-void Text::applyOuterFont(Buffer const & buffer, Font & font) const {
-       Font lf(font_);
-       lf.reduce(buffer.params().getFont());
-       lf.realize(font);
-       lf.setLanguage(font.language());
-       font = lf;
-}
-
-
-Font Text::getLayoutFont(Buffer const & buffer, pit_type const pit) const
+FontInfo Text::getLayoutFont(Buffer const & buffer, pit_type const pit) const
 {
-       Layout_ptr const & layout = pars_[pit].layout();
+       LayoutPtr const & layout = pars_[pit].layout();
 
        if (!pars_[pit].getDepth())  {
-               Font lf = layout->resfont;
+               FontInfo lf = layout->resfont;
                // In case the default family has been customized
-               if (layout->font.family() == Font::INHERIT_FAMILY)
-                       lf.setFamily(buffer.params().getFont().family());
+               if (layout->font.family() == INHERIT_FAMILY)
+                       lf.setFamily(buffer.params().getFont().fontInfo().family());
                return lf;
        }
 
-       Font font = layout->font;
+       FontInfo font = layout->font;
        // Realize with the fonts of lesser depth.
        //font.realize(outerFont(pit, paragraphs()));
-       font.realize(buffer.params().getFont());
+       font.realize(buffer.params().getFont().fontInfo());
 
        return font;
 }
 
 
-Font Text::getLabelFont(Buffer const & buffer, Paragraph const & par) const
+FontInfo Text::getLabelFont(Buffer const & buffer, Paragraph const & par) const
 {
-       Layout_ptr const & layout = par.layout();
+       LayoutPtr const & layout = par.layout();
 
        if (!par.getDepth()) {
-               Font lf = layout->reslabelfont;
+               FontInfo lf = layout->reslabelfont;
                // In case the default family has been customized
-               if (layout->labelfont.family() == Font::INHERIT_FAMILY)
-                       lf.setFamily(buffer.params().getFont().family());
+               if (layout->labelfont.family() == INHERIT_FAMILY)
+                       lf.setFamily(buffer.params().getFont().fontInfo().family());
                return lf;
        }
 
-       Font font = layout->labelfont;
+       FontInfo font = layout->labelfont;
        // Realize with the fonts of lesser depth.
-       font.realize(buffer.params().getFont());
+       font.realize(buffer.params().getFont().fontInfo());
 
        return font;
 }
 
 
 void Text::setCharFont(Buffer const & buffer, pit_type pit,
-               pos_type pos, Font const & fnt)
+               pos_type pos, Font const & fnt, Font const & display_font)
 {
        Font font = fnt;
-       Layout_ptr const & layout = pars_[pit].layout();
+       LayoutPtr const & layout = pars_[pit].layout();
 
        // Get concrete layout font to reduce against
-       Font layoutfont;
+       FontInfo layoutfont;
 
        if (pos < pars_[pit].beginOfBody())
                layoutfont = layout->labelfont;
@@ -295,43 +143,33 @@ void Text::setCharFont(Buffer const & buffer, pit_type pit,
        // Inside inset, apply the inset's font attributes if any
        // (charstyle!)
        if (!isMainText(buffer))
-               layoutfont.realize(font_);
+               layoutfont.realize(display_font.fontInfo());
 
-       layoutfont.realize(buffer.params().getFont());
+       layoutfont.realize(buffer.params().getFont().fontInfo());
 
        // Now, reduce font against full layout font
-       font.reduce(layoutfont);
+       font.fontInfo().reduce(layoutfont);
 
        pars_[pit].setFont(pos, font);
 }
 
 
-void Text::setInsetFont(Buffer const & buffer, pit_type pit,
+void Text::setInsetFont(BufferView const & bv, pit_type pit,
                pos_type pos, Font const & font, bool toggleall)
 {
-       BOOST_ASSERT(pars_[pit].isInset(pos) &&
-                    pars_[pit].getInset(pos)->noFontChange());
-
        Inset * const inset = pars_[pit].getInset(pos);
-       DocIterator dit = doc_iterator_begin(*inset);
-       // start of the last cell
-       DocIterator end = dit;
-       end.idx() = end.lastidx();
-
-       while (true) {
-               Text * text = dit.text();
-               Inset * cell = dit.realInset();
-               if (text && cell) {
-                       DocIterator cellbegin = doc_iterator_begin(*cell);
+       BOOST_ASSERT(inset && inset->noFontChange());
+
+       CursorSlice::idx_type endidx = inset->nargs();
+       for (CursorSlice cs(*inset); cs.idx() != endidx; ++cs.idx()) {
+               Text * text = cs.text();
+               if (text) {
                        // last position of the cell
-                       DocIterator cellend = cellbegin;
+                       CursorSlice cellend = cs;
                        cellend.pit() = cellend.lastpit();
                        cellend.pos() = cellend.lastpos();
-                       text->setFont(buffer, cellbegin.top(), cellend.top(), font, toggleall);
+                       text->setFont(bv, cs, cellend, font, toggleall);
                }
-               if (dit == end)
-                       break;
-               dit.forwardIdx();
        }
 }
 
@@ -361,7 +199,7 @@ void Text::setLayout(Buffer const & buffer, pit_type start, pit_type end,
        BOOST_ASSERT(start != end);
 
        BufferParams const & bufparams = buffer.params();
-       Layout_ptr const & lyxlayout = bufparams.getTextClass()[layout];
+       LayoutPtr const & lyxlayout = bufparams.textClass()[layout];
 
        for (pit_type pit = start; pit != end; ++pit) {
                Paragraph & par = pars_[pit];
@@ -379,11 +217,11 @@ void Text::setLayout(Cursor & cur, docstring const & layout)
        BOOST_ASSERT(this == cur.text());
        // special handling of new environment insets
        BufferView & bv = cur.bv();
-       BufferParams const & params = bv.buffer()->params();
-       Layout_ptr const & lyxlayout = params.getTextClass()[layout];
+       BufferParams const & params = bv.buffer().params();
+       LayoutPtr const & lyxlayout = params.textClass()[layout];
        if (lyxlayout->is_environment) {
                // move everything in a new environment inset
-               LYXERR(Debug::DEBUG) << "setting layout " << to_utf8(layout) << endl;
+               LYXERR(Debug::DEBUG, "setting layout " << to_utf8(layout));
                lyx::dispatch(FuncRequest(LFUN_LINE_BEGIN));
                lyx::dispatch(FuncRequest(LFUN_LINE_END_SELECT));
                lyx::dispatch(FuncRequest(LFUN_CUT));
@@ -442,7 +280,7 @@ void Text::changeDepth(Cursor & cur, DEPTH_CHANGE type)
        BOOST_ASSERT(this == cur.text());
        pit_type const beg = cur.selBegin().pit();
        pit_type const end = cur.selEnd().pit() + 1;
-       recordUndoSelection(cur);
+       cur.recordUndoSelection();
        int max_depth = (beg != 0 ? pars_[beg - 1].getMaxDepthAfter() : 0);
 
        for (pit_type pit = beg; pit != end; ++pit) {
@@ -467,7 +305,7 @@ void Text::setFont(Cursor & cur, Font const & font, bool toggleall)
        BOOST_ASSERT(this == cur.text());
        // Set the current_font
        // Determine basis font
-       Font layoutfont;
+       FontInfo layoutfont;
        pit_type pit = cur.pit();
        if (cur.pos() < pars_[pit].beginOfBody())
                layoutfont = getLabelFont(cur.buffer(), pars_[pit]);
@@ -475,90 +313,60 @@ void Text::setFont(Cursor & cur, Font const & font, bool toggleall)
                layoutfont = getLayoutFont(cur.buffer(), pit);
 
        // Update current font
-       real_current_font.update(font,
+       cur.real_current_font.update(font,
                                        cur.buffer().params().language,
                                        toggleall);
 
        // Reduce to implicit settings
-       current_font = real_current_font;
-       current_font.reduce(layoutfont);
+       cur.current_font = cur.real_current_font;
+       cur.current_font.fontInfo().reduce(layoutfont);
        // And resolve it completely
-       real_current_font.realize(layoutfont);
+       cur.real_current_font.fontInfo().realize(layoutfont);
 
        // if there is no selection that's all we need to do
        if (!cur.selection())
                return;
 
        // Ok, we have a selection.
-       recordUndoSelection(cur);
+       cur.recordUndoSelection();
 
-       setFont(cur.buffer(), cur.selectionBegin().top(), 
+       setFont(cur.bv(), cur.selectionBegin().top(), 
                cur.selectionEnd().top(), font, toggleall);
 }
 
 
-void Text::setFont(Buffer const & buffer, CursorSlice const & begin,
+void Text::setFont(BufferView const & bv, CursorSlice const & begin,
                CursorSlice const & end, Font const & font,
                bool toggleall)
 {
+       Buffer const & buffer = bv.buffer();
+
        // Don't use forwardChar here as ditend might have
        // pos() == lastpos() and forwardChar would miss it.
        // Can't use forwardPos either as this descends into
        // nested insets.
        Language const * language = buffer.params().language;
        for (CursorSlice dit = begin; dit != end; dit.forwardPos()) {
-               if (dit.pos() != dit.lastpos()) {
-                       pit_type const pit = dit.pit();
-                       pos_type const pos = dit.pos();
-                       if (pars_[pit].isInset(pos) &&
-                           pars_[pit].getInset(pos)->noFontChange())
-                               // We need to propagate the font change to all
-                               // text cells of the inset (bug 1973).
-                               // FIXME: This should change, see documentation
-                               // of noFontChange in Inset.h
-                               setInsetFont(buffer, pit, pos, font, toggleall);
-                       Font f = getFont(buffer, dit.paragraph(), pos);
-                       f.update(font, language, toggleall);
-                       setCharFont(buffer, pit, pos, f);
+               if (dit.pos() == dit.lastpos())
+                       continue;
+               pit_type const pit = dit.pit();
+               pos_type const pos = dit.pos();
+               Inset * inset = pars_[pit].getInset(pos);
+               if (inset && inset->noFontChange()) {
+                       // We need to propagate the font change to all
+                       // text cells of the inset (bug 1973).
+                       // FIXME: This should change, see documentation
+                       // of noFontChange in Inset.h
+                       setInsetFont(bv, pit, pos, font, toggleall);
                }
+               TextMetrics const & tm = bv.textMetrics(this);
+               Font f = tm.getDisplayFont(pit, pos);
+               f.update(font, language, toggleall);
+               setCharFont(buffer, pit, pos, f, tm.font_);
        }
 }
 
 
-// the cursor set functions have a special mechanism. When they
-// realize you left an empty paragraph, they will delete it.
-
-bool Text::cursorHome(Cursor & cur)
-{
-       BOOST_ASSERT(this == cur.text());
-       ParagraphMetrics const & pm = cur.bv().parMetrics(this, cur.pit());
-       Row const & row = pm.getRow(cur.pos(),cur.boundary());
-       return setCursor(cur, cur.pit(), row.pos());
-}
-
-
-bool Text::cursorEnd(Cursor & cur)
-{
-       BOOST_ASSERT(this == cur.text());
-       // if not on the last row of the par, put the cursor before
-       // the final space exept if I have a spanning inset or one string
-       // is so long that we force a break.
-       pos_type end = cur.textRow().endpos();
-       if (end == 0)
-               // empty text, end-1 is no valid position
-               return false;
-       bool boundary = false;
-       if (end != cur.lastpos()) {
-               if (!cur.paragraph().isLineSeparator(end-1)
-                   && !cur.paragraph().isNewline(end-1))
-                       boundary = true;
-               else
-                       --end;
-       }
-       return setCursor(cur, cur.pit(), end, true, boundary);
-}
-
-
 bool Text::cursorTop(Cursor & cur)
 {
        BOOST_ASSERT(this == cur.text());
@@ -577,7 +385,8 @@ void Text::toggleFree(Cursor & cur, Font const & font, bool toggleall)
 {
        BOOST_ASSERT(this == cur.text());
        // If the mask is completely neutral, tell user
-       if (font == Font(Font::ALL_IGNORE)) {
+       if (font.fontInfo() == ignore_font && 
+               (font.language() == 0 || font.language() == ignore_language)) {
                // Could only happen with user style
                cur.message(_("No font change defined."));
                return;
@@ -589,7 +398,7 @@ void Text::toggleFree(Cursor & cur, Font const & font, bool toggleall)
        CursorSlice resetCursor = cur.top();
        bool implicitSelection =
                font.language() == ignore_language
-               && font.number() == Font::IGNORE
+               && font.fontInfo().number() == FONT_IGNORE
                && selectWordWhenUnderCursor(cur, WHOLE_WORD_STRICT);
 
        // Set font
@@ -609,60 +418,72 @@ docstring Text::getStringToIndex(Cursor const & cur)
 {
        BOOST_ASSERT(this == cur.text());
 
-       docstring idxstring;
        if (cur.selection())
-               idxstring = cur.selectionAsString(false);
-       else {
-               // Try implicit word selection. If there is a change
-               // in the language the implicit word selection is
-               // disabled.
-               Cursor tmpcur = cur;
-               selectWord(tmpcur, PREVIOUS_WORD);
-
-               if (!tmpcur.selection())
-                       cur.message(_("Nothing to index!"));
-               else if (tmpcur.selBegin().pit() != tmpcur.selEnd().pit())
-                       cur.message(_("Cannot index more than one paragraph!"));
-               else
-                       idxstring = tmpcur.selectionAsString(false);
-       }
-
-       return idxstring;
+               return cur.selectionAsString(false);
+
+       // Try implicit word selection. If there is a change
+       // in the language the implicit word selection is
+       // disabled.
+       Cursor tmpcur = cur;
+       selectWord(tmpcur, PREVIOUS_WORD);
+
+       if (!tmpcur.selection())
+               cur.message(_("Nothing to index!"));
+       else if (tmpcur.selBegin().pit() != tmpcur.selEnd().pit())
+               cur.message(_("Cannot index more than one paragraph!"));
+       else
+               return tmpcur.selectionAsString(false);
+       
+       return docstring();
 }
 
 
-void Text::setParagraph(Cursor & cur,
-                          Spacing const & spacing, LyXAlignment align,
-                          docstring const & labelwidthstring, bool noindent)
+void Text::setParagraphs(Cursor & cur, docstring arg, bool merge) 
 {
        BOOST_ASSERT(cur.text());
        // make sure that the depth behind the selection are restored, too
        pit_type undopit = undoSpan(cur.selEnd().pit());
        recUndo(cur, cur.selBegin().pit(), undopit - 1);
 
+       //FIXME UNICODE
+       string const argument = to_utf8(arg);
        for (pit_type pit = cur.selBegin().pit(), end = cur.selEnd().pit();
             pit <= end; ++pit) {
                Paragraph & par = pars_[pit];
-               ParagraphParameters & params = par.params();
-               params.spacing(spacing);
-
-               // does the layout allow the new alignment?
-               if (align & par.layout()->alignpossible)
-                       params.align(align);
-               par.setLabelWidthString(labelwidthstring);
-               params.noindent(noindent);
+               ParagraphParameters params = par.params();
+               params.read(argument, merge);
+               par.params().apply(params, *par.layout());
        }
 }
 
 
+//FIXME This is a little redundant now, but it's probably worth keeping,
+//especially if we're going to go away from using serialization internally
+//quite so much.
+void Text::setParagraphs(Cursor & cur, ParagraphParameters const & p) 
+{
+       BOOST_ASSERT(cur.text());
+       // make sure that the depth behind the selection are restored, too
+       pit_type undopit = undoSpan(cur.selEnd().pit());
+       recUndo(cur, cur.selBegin().pit(), undopit - 1);
+
+       for (pit_type pit = cur.selBegin().pit(), end = cur.selEnd().pit();
+            pit <= end; ++pit) {
+               Paragraph & par = pars_[pit];
+               Layout const & layout = *(par.layout());
+               par.params().apply(p, layout);
+       }       
+}
+
+
 // this really should just insert the inset and not move the cursor.
 void Text::insertInset(Cursor & cur, Inset * inset)
 {
        BOOST_ASSERT(this == cur.text());
        BOOST_ASSERT(inset);
-       cur.paragraph().insertInset(cur.pos(), inset, current_font,
-                                   Change(cur.buffer().params().trackChanges ?
-                                          Change::INSERTED : Change::UNCHANGED));
+       cur.paragraph().insertInset(cur.pos(), inset, cur.current_font,
+               Change(cur.buffer().params().trackChanges
+               ? Change::INSERTED : Change::UNCHANGED));
 }
 
 
@@ -670,7 +491,7 @@ void Text::insertInset(Cursor & cur, Inset * inset)
 void Text::insertStringAsLines(Cursor & cur, docstring const & str)
 {
        cur.buffer().insertStringAsLines(pars_, cur.pit(), cur.pos(),
-                                        current_font, str, autoBreakRows_);
+               cur.current_font, str, autoBreakRows_);
 }
 
 
@@ -704,9 +525,11 @@ void Text::insertStringAsParagraphs(Cursor & cur, docstring const & str)
 bool Text::setCursor(Cursor & cur, pit_type par, pos_type pos,
                        bool setfont, bool boundary)
 {
+       TextMetrics const & tm = cur.bv().textMetrics(this);
+       bool const update_needed = !tm.has(par);
        Cursor old = cur;
        setCursorIntern(cur, par, pos, setfont, boundary);
-       return cur.bv().checkDepm(cur, old);
+       return cur.bv().checkDepm(cur, old) || update_needed;
 }
 
 
@@ -741,200 +564,7 @@ void Text::setCursorIntern(Cursor & cur,
        cur.boundary(boundary);
        setCursor(cur.top(), par, pos);
        if (setfont)
-               setCurrentFont(cur);
-}
-
-
-void Text::setCurrentFont(Cursor & cur)
-{
-       BOOST_ASSERT(this == cur.text());
-       pos_type pos = cur.pos();
-       Paragraph & par = cur.paragraph();
-
-       // are we behind previous char in fact? -> go to that char
-       if (pos > 0 && cur.boundary())
-               --pos;
-
-       // find position to take the font from
-       if (pos != 0) {
-               // paragraph end? -> font of last char
-               if (pos == cur.lastpos())
-                       --pos;
-               // on space? -> look at the words in front of space
-               else if (pos > 0 && par.isSeparator(pos))       {
-                       // abc| def -> font of c
-                       // abc |[WERBEH], i.e. boundary==true -> font of c
-                       // abc [WERBEH]| def, font of the space
-                       if (!isRTLBoundary(cur.buffer(), par, pos))
-                               --pos;
-               }
-       }
-
-       // get font
-       BufferParams const & bufparams = cur.buffer().params();
-       current_font = par.getFontSettings(bufparams, pos);
-       real_current_font = getFont(cur.buffer(), par, pos);
-
-       // special case for paragraph end
-       if (cur.pos() == cur.lastpos()
-           && isRTLBoundary(cur.buffer(), par, cur.pos())
-           && !cur.boundary()) {
-               Language const * lang = par.getParLanguage(bufparams);
-               current_font.setLanguage(lang);
-               current_font.setNumber(Font::OFF);
-               real_current_font.setLanguage(lang);
-               real_current_font.setNumber(Font::OFF);
-       }
-}
-
-// y is screen coordinate
-pit_type Text::getPitNearY(BufferView & bv, int y) const
-{
-       BOOST_ASSERT(!paragraphs().empty());
-       BOOST_ASSERT(bv.coordCache().getParPos().find(this) != bv.coordCache().getParPos().end());
-       CoordCache::InnerParPosCache const & cc = bv.coordCache().getParPos().find(this)->second;
-       LYXERR(Debug::DEBUG)
-               << BOOST_CURRENT_FUNCTION
-               << ": y: " << y << " cache size: " << cc.size()
-               << endl;
-
-       // look for highest numbered paragraph with y coordinate less than given y
-       pit_type pit = 0;
-       int yy = -1;
-       CoordCache::InnerParPosCache::const_iterator it = cc.begin();
-       CoordCache::InnerParPosCache::const_iterator et = cc.end();
-       CoordCache::InnerParPosCache::const_iterator last = et; last--;
-
-       TextMetrics & tm = bv.textMetrics(this);
-       ParagraphMetrics const & pm = tm.parMetrics(it->first);
-
-       // If we are off-screen (before the visible part)
-       if (y < 0
-               // and even before the first paragraph in the cache.
-               && y < it->second.y_ - int(pm.ascent())) {
-               //  and we are not at the first paragraph in the inset.
-               if (it->first == 0)
-                       return 0;
-               // then this is the paragraph we are looking for.
-               pit = it->first - 1;
-               // rebreak it and update the CoordCache.
-               tm.redoParagraph(pit);
-               bv.coordCache().parPos()[this][pit] =
-                       Point(0, it->second.y_ - pm.descent());
-               return pit;
-       }
-
-       ParagraphMetrics const & pm_last = bv.parMetrics(this, last->first);
-
-       // If we are off-screen (after the visible part)
-       if (y > bv.workHeight()
-               // and even after the first paragraph in the cache.
-               && y >= last->second.y_ + int(pm_last.descent())) {
-               pit = last->first + 1;
-               //  and we are not at the last paragraph in the inset.
-               if (pit == int(pars_.size()))
-                       return last->first;
-               // then this is the paragraph we are looking for.
-               // rebreak it and update the CoordCache.
-               tm.redoParagraph(pit);
-               bv.coordCache().parPos()[this][pit] =
-                       Point(0, last->second.y_ + pm_last.ascent());
-               return pit;
-       }
-
-       for (; it != et; ++it) {
-               LYXERR(Debug::DEBUG)
-                       << BOOST_CURRENT_FUNCTION
-                       << "  examining: pit: " << it->first
-                       << " y: " << it->second.y_
-                       << endl;
-
-               ParagraphMetrics const & pm = bv.parMetrics(this, it->first);
-
-               if (it->first >= pit && int(it->second.y_) - int(pm.ascent()) <= y) {
-                       pit = it->first;
-                       yy = it->second.y_;
-               }
-       }
-
-       LYXERR(Debug::DEBUG)
-               << BOOST_CURRENT_FUNCTION
-               << ": found best y: " << yy << " for pit: " << pit
-               << endl;
-
-       return pit;
-}
-
-
-Row const & Text::getRowNearY(BufferView const & bv, int y, pit_type pit) const
-{
-       ParagraphMetrics const & pm = bv.parMetrics(this, pit);
-
-       int yy = bv.coordCache().get(this, pit).y_ - pm.ascent();
-       BOOST_ASSERT(!pm.rows().empty());
-       RowList::const_iterator rit = pm.rows().begin();
-       RowList::const_iterator const rlast = boost::prior(pm.rows().end());
-       for (; rit != rlast; yy += rit->height(), ++rit)
-               if (yy + rit->height() > y)
-                       break;
-       return *rit;
-}
-
-
-// x,y are absolute screen coordinates
-// sets cursor recursively descending into nested editable insets
-Inset * Text::editXY(Cursor & cur, int x, int y)
-{
-       if (lyxerr.debugging(Debug::WORKAREA)) {
-               lyxerr << "Text::editXY(cur, " << x << ", " << y << ")" << std::endl;
-               cur.bv().coordCache().dump();
-       }
-       pit_type pit = getPitNearY(cur.bv(), y);
-       BOOST_ASSERT(pit != -1);
-
-       Row const & row = getRowNearY(cur.bv(), y, pit);
-       bool bound = false;
-
-       TextMetrics const & tm = cur.bv().textMetrics(this);
-       int xx = x; // is modified by getColumnNearX
-       pos_type const pos = row.pos()
-               + tm.getColumnNearX(pit, row, xx, bound);
-       cur.pit() = pit;
-       cur.pos() = pos;
-       cur.boundary(bound);
-       cur.setTargetX(x);
-
-       // try to descend into nested insets
-       Inset * inset = checkInsetHit(cur.bv(), x, y);
-       //lyxerr << "inset " << inset << " hit at x: " << x << " y: " << y << endl;
-       if (!inset) {
-               // Either we deconst editXY or better we move current_font
-               // and real_current_font to Cursor
-               setCurrentFont(cur);
-               return 0;
-       }
-
-       Inset * insetBefore = pos? pars_[pit].getInset(pos - 1): 0;
-       //Inset * insetBehind = pars_[pit].getInset(pos);
-
-       // This should be just before or just behind the
-       // cursor position set above.
-       BOOST_ASSERT((pos != 0 && inset == insetBefore)
-               || inset == pars_[pit].getInset(pos));
-
-       // Make sure the cursor points to the position before
-       // this inset.
-       if (inset == insetBefore) {
-               --cur.pos();
-               cur.boundary(false);
-       }
-
-       // Try to descend recursively inside the inset.
-       inset = inset->editXY(cur, x, y);
-
-       if (cur.top().text() == this)
-               setCurrentFont(cur);
-       return inset;
+               cur.setCurrentFont();
 }
 
 
@@ -947,7 +577,7 @@ bool Text::checkAndActivateInset(Cursor & cur, bool front)
        if (!front && cur.pos() == 0)
                return false;
        Inset * inset = front ? cur.nextInset() : cur.prevInset();
-       if (!isHighlyEditableInset(inset))
+       if (!inset || inset->editable() != Inset::HIGHLY_EDITABLE)
                return false;
        /*
         * Apparently, when entering an inset we are expected to be positioned
@@ -963,7 +593,25 @@ bool Text::checkAndActivateInset(Cursor & cur, bool front)
 }
 
 
-bool Text::cursorLeft(Cursor & cur)
+bool Text::checkAndActivateInsetVisual(Cursor & cur, bool movingForward, bool movingLeft)
+{
+       if (cur.selection())
+               return false;
+       if (cur.pos() == -1)
+               return false;
+       if (cur.pos() == cur.lastpos())
+               return false;
+       Paragraph & par = cur.paragraph();
+       Inset * inset = par.isInset(cur.pos()) ? par.getInset(cur.pos()) : 0;
+       if (!inset || inset->editable() != Inset::HIGHLY_EDITABLE)
+               return false;
+       inset->edit(cur, movingForward, 
+               movingLeft ? Inset::ENTRY_DIRECTION_RIGHT : Inset::ENTRY_DIRECTION_LEFT);
+       return true;
+}
+
+
+bool Text::cursorBackward(Cursor & cur)
 {
        // Tell BufferView to test for FitCursor in any case!
        cur.updateFlags(Update::FitCursor);
@@ -1000,12 +648,192 @@ bool Text::cursorLeft(Cursor & cur)
 
        // move to the previous paragraph or do nothing
        if (cur.pit() > 0)
-               return setCursor(cur, cur.pit() - 1, getPar(cur.pit() - 1).size());
+               return setCursor(cur, cur.pit() - 1, getPar(cur.pit() - 1).size(), true, false);
        return false;
 }
 
 
-bool Text::cursorRight(Cursor & cur)
+bool Text::cursorVisLeft(Cursor & cur, bool skip_inset)
+{
+       pit_type new_pit = cur.pit(); // the paragraph to which we will move
+       pos_type new_pos; // the position we will move to
+       bool new_boundary; // will we move to a boundary position?
+       pos_type left_pos; // position visually left of current cursor
+       pos_type right_pos; // position visually right of current cursor
+       bool new_pos_is_RTL; // is new position we're moving to RTL?
+
+       cur.getSurroundingPos(left_pos, right_pos);
+
+       LYXERR(Debug::RTL, left_pos <<"|"<< right_pos << " (pos: "<<cur.pos()<<")");
+
+       // Are we at an inset?
+       Cursor temp_cur = cur;
+       temp_cur.pos() = left_pos;
+       temp_cur.boundary(false);
+       if (!skip_inset && 
+               checkAndActivateInsetVisual(temp_cur, left_pos >= cur.pos(), true)) {
+               LYXERR(Debug::RTL, "entering inset at: " << temp_cur.pos());
+               cur = temp_cur; // set the real cursor to new position inside inset!
+               return false;
+       }
+
+       // Are we already at leftmost pos in row?
+       if (left_pos == -1) {
+               
+               Cursor new_cur = cur;
+               if (!new_cur.posVisToNewRow(true)) {
+                       LYXERR(Debug::RTL, "not moving!");
+                       return false;
+               }
+               
+               // we actually move the cursor at the end of this function, for now 
+               // just keep track of the new position...
+               new_pit = new_cur.pit();
+               new_pos = new_cur.pos();
+               new_boundary = new_cur.boundary();
+
+               LYXERR(Debug::RTL, "left edge, moving: " << int(new_pit) << "," 
+                       << int(new_pos) << "," << (new_boundary ? 1 : 0));
+
+       }
+       // normal movement to the left
+       else {
+               // Recall, if the cursor is at position 'x', that means *before* 
+               // the character at position 'x'. In RTL, "before" means "to the 
+               // right of", in LTR, "to the left of". So currently our situation
+               // is this: the position to our left is 'left_pos' (i.e., we're 
+               // currently to the right of 'left_pos'). In order to move to the 
+               // left, it depends whether or not the character at 'left_pos' is RTL.
+               new_pos_is_RTL = cur.paragraph().getFontSettings(
+                       cur.bv().buffer().params(), left_pos).isVisibleRightToLeft();
+               // If the character at 'left_pos' *is* RTL, then in order to move to
+               // the left of it, we need to be *after* 'left_pos', i.e., move to
+               // position 'left_pos' + 1.
+               if (new_pos_is_RTL) {
+                       new_pos = left_pos + 1;
+                       // set the boundary to true in two situations:
+                       if (
+                       // 1. if new_pos is now lastpos (which means that we're moving left
+                       // to the end of an RTL chunk which is at the end of an LTR 
+                       // paragraph);
+                               new_pos == cur.lastpos()
+                       // 2. if the position *after* left_pos is not RTL (we want to be 
+                       // *after* left_pos, not before left_pos + 1!)
+                               || !cur.paragraph().getFontSettings(cur.bv().buffer().params(),
+                                               new_pos).isVisibleRightToLeft()
+                       )
+                               new_boundary = true;
+                       else // set the boundary to false
+                               new_boundary = false;
+               }
+               // Otherwise (if the character at position 'left_pos' is LTR), then
+               // moving to the left of it is as easy as setting the new position
+               // to 'left_pos'.
+               else {
+                       new_pos = left_pos;
+                       new_boundary = false;
+               }
+       
+       }
+
+       LYXERR(Debug::RTL, "moving to: " << new_pos 
+               << (new_boundary ? " (boundary)" : ""));
+
+       return setCursor(cur, new_pit, new_pos, true, new_boundary);
+}
+
+
+bool Text::cursorVisRight(Cursor & cur, bool skip_inset)
+{
+       pit_type new_pit = cur.pit(); // the paragraph to which we will move
+       pos_type new_pos; // the position we will move to
+       bool new_boundary; // will we move to a boundary position?
+       pos_type left_pos; // position visually left of current cursor
+       pos_type right_pos; // position visually right of current cursor
+       bool new_pos_is_RTL; // is new position we're moving to RTL?
+
+       cur.getSurroundingPos(left_pos, right_pos);
+
+       LYXERR(Debug::RTL, left_pos <<"|"<< right_pos << " (pos: "<<cur.pos()<<")");
+
+       // Are we at an inset?
+       Cursor temp_cur = cur;
+       temp_cur.pos() = right_pos;
+       temp_cur.boundary(false);
+       if (!skip_inset &&
+               checkAndActivateInsetVisual(temp_cur, right_pos >= cur.pos(), false)) {
+               LYXERR(Debug::RTL, "entering inset at: " << temp_cur.pos());
+               cur = temp_cur; // set the real cursor to new position inside inset!
+               return false;
+       }
+
+       // Are we already at rightmost pos in row?
+       if (right_pos == -1) {
+               
+               Cursor new_cur = cur;
+               if (!new_cur.posVisToNewRow(false)) {
+                       LYXERR(Debug::RTL, "not moving!");
+                       return false;
+               }
+               
+               // we actually move the cursor at the end of this function, for now 
+               // just keep track of the new position...
+               new_pit = new_cur.pit();
+               new_pos = new_cur.pos();
+               new_boundary = new_cur.boundary();
+
+               LYXERR(Debug::RTL, "right edge, moving: " << int(new_pit) << "," 
+                       << int(new_pos) << "," << (new_boundary ? 1 : 0));
+
+       }
+       // normal movement to the right
+       else {
+               // Recall, if the cursor is at position 'x', that means *before* 
+               // the character at position 'x'. In RTL, "before" means "to the 
+               // right of", in LTR, "to the left of". So currently our situation
+               // is this: the position to our right is 'right_pos' (i.e., we're 
+               // currently to the left of 'right_pos'). In order to move to the 
+               // right, it depends whether or not the character at 'right_pos' is RTL.
+               new_pos_is_RTL = cur.paragraph().getFontSettings(
+                       cur.bv().buffer().params(), right_pos).isVisibleRightToLeft();
+               // If the character at 'right_pos' *is* LTR, then in order to move to
+               // the right of it, we need to be *after* 'right_pos', i.e., move to
+               // position 'right_pos' + 1.
+               if (!new_pos_is_RTL) {
+                       new_pos = right_pos + 1;
+                       // set the boundary to true in two situations:
+                       if (
+                       // 1. if new_pos is now lastpos (which means that we're moving 
+                       // right to the end of an LTR chunk which is at the end of an
+                       // RTL paragraph);
+                               new_pos == cur.lastpos()
+                       // 2. if the position *after* right_pos is RTL (we want to be 
+                       // *after* right_pos, not before right_pos + 1!)
+                               || cur.paragraph().getFontSettings(cur.bv().buffer().params(),
+                                               new_pos).isVisibleRightToLeft()
+                       )
+                               new_boundary = true;
+                       else // set the boundary to false
+                               new_boundary = false;
+               }
+               // Otherwise (if the character at position 'right_pos' is RTL), then
+               // moving to the right of it is as easy as setting the new position
+               // to 'right_pos'.
+               else {
+                       new_pos = right_pos;
+                       new_boundary = false;
+               }
+       
+       }
+
+       LYXERR(Debug::RTL, "moving to: " << new_pos 
+               << (new_boundary ? " (boundary)" : ""));
+
+       return setCursor(cur, new_pit, new_pos, true, new_boundary);
+}
+
+
+bool Text::cursorForward(Cursor & cur)
 {
        // Tell BufferView to test for FitCursor in any case!
        cur.updateFlags(Update::FitCursor);
@@ -1016,10 +844,10 @@ bool Text::cursorRight(Cursor & cur)
                if (checkAndActivateInset(cur, true))
                        return false;
 
+               TextMetrics const & tm = cur.bv().textMetrics(this);
                // if left of boundary -> just jump to right side
-         // but for RTL boundaries don't, because: abc|DDEEFFghi -> abcDDEEF|Fghi
-         if (cur.boundary() && 
-                               !isRTLBoundary(cur.buffer(), cur.paragraph(), cur.pos()))
+               // but for RTL boundaries don't, because: abc|DDEEFFghi -> abcDDEEF|Fghi
+               if (cur.boundary() && !tm.isRTLBoundary(cur.pit(), cur.pos()))
                        return setCursor(cur, cur.pit(), cur.pos(), true, false);
 
                // next position is left of boundary, 
@@ -1048,7 +876,7 @@ bool Text::cursorRight(Cursor & cur)
                
                // in front of RTL boundary? Stay on this side of the boundary because:
                //   ab|cDDEEFFghi -> abc|DDEEFFghi
-               if (isRTLBoundary(cur.buffer(), cur.paragraph(), cur.pos() + 1))
+               if (tm.isRTLBoundary(cur.pit(), cur.pos() + 1))
                        return setCursor(cur, cur.pit(), cur.pos() + 1, true, true);
                
                // move right
@@ -1057,7 +885,7 @@ bool Text::cursorRight(Cursor & cur)
 
        // move to next paragraph
        if (cur.pit() != cur.lastpit())
-               return setCursor(cur, cur.pit() + 1, 0);
+               return setCursor(cur, cur.pit() + 1, 0, true, false);
        return false;
 }
 
@@ -1107,7 +935,7 @@ void Text::fixCursorAfterDelete(CursorSlice & cur, CursorSlice const & where)
 bool Text::deleteEmptyParagraphMechanism(Cursor & cur,
                Cursor & old, bool & need_anchor_change)
 {
-       //LYXERR(Debug::DEBUG) << "DEPM: cur:\n" << cur << "old:\n" << old << endl;
+       //LYXERR(Debug::DEBUG, "DEPM: cur:\n" << cur << "old:\n" << old);
 
        Paragraph & oldpar = old.paragraph();
 
@@ -1143,7 +971,8 @@ bool Text::deleteEmptyParagraphMechanism(Cursor & cur,
                    && old.pos() < oldpar.size()
                    && oldpar.isLineSeparator(old.pos())
                    && oldpar.isLineSeparator(old.pos() - 1)
-                   && !oldpar.isDeleted(old.pos() - 1)) {
+                   && !oldpar.isDeleted(old.pos() - 1)
+                   && !oldpar.isDeleted(old.pos())) {
                        oldpar.eraseChar(old.pos() - 1, cur.buffer().params().trackChanges);
 // FIXME: This will not work anymore when we have multiple views of the same buffer
 // In this case, we will have to correct also the cursors held by
@@ -1172,11 +1001,15 @@ bool Text::deleteEmptyParagraphMechanism(Cursor & cur,
 
        if (oldpar.empty() || (oldpar.size() == 1 && oldpar.isLineSeparator(0))) {
                // Delete old par.
-               recordUndo(old, Undo::ATOMIC,
+               old.recordUndo(ATOMIC_UNDO,
                           max(old.pit() - 1, pit_type(0)),
                           min(old.pit() + 1, old.lastpit()));
                ParagraphList & plist = old.text()->paragraphs();
+               bool const soa = oldpar.params().startOfAppendix();
                plist.erase(boost::next(plist.begin(), old.pit()));
+               // do not lose start of appendix marker (bug 4212)
+               if (soa && old.pit() < pit_type(plist.size()))
+                       plist[old.pit()].params().startOfAppendix(true);
 
                // see #warning (FIXME?) above 
                if (cur.depth() >= old.depth()) {
@@ -1249,13 +1082,13 @@ void Text::deleteEmptyParagraphMechanism(pit_type first, pit_type last, bool tra
 
 void Text::recUndo(Cursor & cur, pit_type first, pit_type last) const
 {
-       recordUndo(cur, Undo::ATOMIC, first, last);
+       cur.recordUndo(ATOMIC_UNDO, first, last);
 }
 
 
 void Text::recUndo(Cursor & cur, pit_type par) const
 {
-       recordUndo(cur, Undo::ATOMIC, par, par);
+       cur.recordUndo(ATOMIC_UNDO, par, par);
 }
 
 } // namespace lyx