]> git.lyx.org Git - lyx.git/blobdiff - src/mathed/MathExtern.cpp
Force a Buffer * argument to math insets constructor
[lyx.git] / src / mathed / MathExtern.cpp
index 94e5c330a3a165b7e3f6f2ce7ed91662ac5d173a..1f9356f8f241bdaf97de18bbf4f619b4e31f6749 100644 (file)
@@ -3,7 +3,7 @@
  * This file is part of LyX, the document processor.
  * Licence details can be found in the file COPYING.
  *
- * \author André Pönitz
+ * \author André Pönitz
  *
  * Full author contact details are available in file CREDITS.
  */
@@ -16,7 +16,7 @@
 
 #include "MathExtern.h"
 
-#include "support/debug.h"
+#include "InsetMathAMSArray.h"
 #include "InsetMathArray.h"
 #include "InsetMathChar.h"
 #include "InsetMathDelim.h"
 #include "MathParser.h"
 #include "MathStream.h"
 
+#include "Encoding.h"
+
+#include "support/debug.h"
 #include "support/docstream.h"
+#include "support/FileName.h"
 #include "support/filetools.h"
+#include "support/gettext.h"
 #include "support/lstrings.h"
-#include "support/lyxlib.h"
+#include "support/TempFile.h"
+#include "support/textutils.h"
+#include "support/unique_ptr.h"
 
 #include <algorithm>
 #include <sstream>
 #include <fstream>
+#include <memory>
 
 using namespace std;
 using namespace lyx::support;
 
 namespace lyx {
 
+namespace {
+
+enum ExternalMath {
+       HTML,
+       MAPLE,
+       MAXIMA,
+       MATHEMATICA,
+       MATHML,
+       OCTAVE
+};
+
+
 static char const * function_names[] = {
        "arccos", "arcsin", "arctan", "arg", "bmod",
        "cos", "cosh", "cot", "coth", "csc", "deg",
        "det", "dim", "exp", "gcd", "hom", "inf", "ker",
        "lg", "lim", "liminf", "limsup", "ln", "log",
        "max", "min", "sec", "sin", "sinh", "sup",
-       "tan", "tanh", "Pr", 0
+       "tan", "tanh", "Pr", nullptr
 };
 
 static size_t const npos = lyx::docstring::npos;
@@ -95,7 +115,8 @@ bool extractScript(MathData & ar,
 // try to extract an "argument" to some function.
 // returns position behind the argument
 MathData::iterator extractArgument(MathData & ar,
-       MathData::iterator pos, MathData::iterator last, bool function = false)
+       MathData::iterator pos, MathData::iterator last,
+       ExternalMath kind, bool function = false)
 {
        // nothing to get here
        if (pos == last)
@@ -104,7 +125,9 @@ MathData::iterator extractArgument(MathData & ar,
        // something delimited _is_ an argument
        if ((*pos)->asDelimInset()) {
                // leave out delimiters if this is a function argument
-               if (function) {
+               // unless we are doing MathML, in which case we do want
+               // the delimiters
+               if (function && kind != MATHML && kind != HTML) {
                        MathData const & arg = (*pos)->asDelimInset()->cell(0);
                        MathData::const_iterator cur = arg.begin();
                        MathData::const_iterator end = arg.end();
@@ -168,7 +191,7 @@ void extractStrings(MathData & ar)
                if (!ar[i]->asCharInset())
                        continue;
                docstring s = charSequence(ar.begin() + i, ar.end());
-               ar[i] = MathAtom(new InsetMathString(s));
+               ar[i] = MathAtom(new InsetMathString(ar.buffer(), s));
                ar.erase(i + 1, i + s.size());
        }
        //lyxerr << "\nStrings to: " << ar << endl;
@@ -180,20 +203,31 @@ void extractMatrices(MathData & ar)
        //lyxerr << "\nMatrices from: " << ar << endl;
        // first pass for explicitly delimited stuff
        for (size_t i = 0; i < ar.size(); ++i) {
-               if (!ar[i]->asDelimInset())
+               InsetMathDelim const * const inset = ar[i]->asDelimInset();
+               if (!inset)
                        continue;
-               MathData const & arr = ar[i]->asDelimInset()->cell(0);
+               MathData const & arr = inset->cell(0);
                if (arr.size() != 1)
                        continue;
                if (!arr.front()->asGridInset())
                        continue;
-               ar[i] = MathAtom(new InsetMathMatrix(*(arr.front()->asGridInset())));
+               ar[i] = MathAtom(new InsetMathMatrix(*(arr.front()->asGridInset()),
+                                inset->left_, inset->right_));
        }
 
        // second pass for AMS "pmatrix" etc
-       for (size_t i = 0; i < ar.size(); ++i)
-               if (ar[i]->asAMSArrayInset())
-                       ar[i] = MathAtom(new InsetMathMatrix(*(ar[i]->asGridInset())));
+       for (size_t i = 0; i < ar.size(); ++i) {
+               InsetMathAMSArray const * const inset = ar[i]->asAMSArrayInset();
+               if (inset) {
+                       string left = inset->name_left();
+                       if (left == "Vert")
+                               left = "[";
+                       string right = inset->name_right();
+                       if (right == "Vert")
+                               right = "]";
+                       ar[i] = MathAtom(new InsetMathMatrix(*inset, from_ascii(left), from_ascii(right)));
+               }
+       }
        //lyxerr << "\nMatrices to: " << ar << endl;
 }
 
@@ -246,39 +280,35 @@ bool extractFunctionName(MathAtom const & at, docstring & str)
 }
 
 
-// convert this inset somehow to a number
-bool extractNumber(MathData const & ar, int & i)
+bool testString(MathAtom const & at, docstring const & str)
 {
-       idocstringstream is(charSequence(ar.begin(), ar.end()));
-       is >> i;
-       return is;
+       docstring s;
+       return extractString(at, s) && str == s;
 }
 
 
-bool extractNumber(MathData const & ar, double & d)
+bool testString(MathAtom const & at, char const * const str)
 {
-       idocstringstream is(charSequence(ar.begin(), ar.end()));
-       is >> d;
-       return is;
+       return testString(at, from_ascii(str));
 }
 
 
-bool testString(MathAtom const & at, docstring const & str)
+bool testSymbol(MathAtom const & at, docstring const & name)
 {
-       docstring s;
-       return extractString(at, s) && str == s;
+       return at->asSymbolInset() && at->asSymbolInset()->name() == name;
 }
 
 
-bool testString(MathAtom const & at, char const * const str)
+bool testSymbol(MathAtom const & at, char const * const name)
 {
-       return testString(at, from_ascii(str));
+       return testSymbol(at, from_ascii(name));
 }
 
+
 // search end of nested sequence
 MathData::iterator endNestSearch(
        MathData::iterator it,
-       MathData::iterator last,
+       const MathData::iterator& last,
        TestItemFunc testOpen,
        TestItemFunc testClose
 )
@@ -300,9 +330,9 @@ void replaceNested(
        MathData & ar,
        TestItemFunc testOpen,
        TestItemFunc testClose,
-       ReplaceArgumentFunc replaceArg
-)
+       ReplaceArgumentFunc replaceArg)
 {
+       Buffer * buf = ar.buffer();
        // use indices rather than iterators for the loop  because we are going
        // to modify the array.
        for (size_t i = 0; i < ar.size(); ++i) {
@@ -317,7 +347,7 @@ void replaceNested(
                        continue;
 
                // replace the original stuff by the new inset
-               ar[i] = replaceArg(MathData(it + 1, jt));
+               ar[i] = replaceArg(MathData(buf, it + 1, jt));
                ar.erase(it + 1, jt + 1);
        }
 }
@@ -325,12 +355,13 @@ void replaceNested(
 
 
 //
-// split scripts into seperate super- and subscript insets. sub goes in
+// split scripts into separate super- and subscript insets. sub goes in
 // front of super...
 //
 
 void splitScripts(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\nScripts from: " << ar << endl;
        for (size_t i = 0; i < ar.size(); ++i) {
                InsetMathScript const * script = ar[i]->asScriptInset();
@@ -340,7 +371,7 @@ void splitScripts(MathData & ar)
                        continue;
 
                // we must have a nucleus if we only have a superscript
-               if (!script->hasDown() && script->nuc().size() == 0)
+               if (!script->hasDown() && script->nuc().empty())
                        continue;
 
                if (script->nuc().size() == 1) {
@@ -353,7 +384,7 @@ void splitScripts(MathData & ar)
 
                // create extra script inset and move superscript over
                InsetMathScript * p = ar[i].nucleus()->asScriptInset();
-               auto_ptr<InsetMathScript> q(new InsetMathScript(true));
+               auto q = make_unique<InsetMathScript>(buf, true);
                swap(q->up(), p->up());
                p->removeScript(true);
 
@@ -381,6 +412,7 @@ void splitScripts(MathData & ar)
 
 void extractExps(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\nExps from: " << ar << endl;
        for (size_t i = 0; i + 1 < ar.size(); ++i) {
                // is this 'e'?
@@ -393,7 +425,7 @@ void extractExps(MathData & ar)
                        continue;
 
                // create a proper exp-inset as replacement
-               ar[i] = MathAtom(new InsetMathExFunc(from_ascii("exp"), sup->cell(1)));
+               ar[i] = MathAtom(new InsetMathExFunc(buf, from_ascii("exp"), sup->cell(1)));
                ar.erase(i + 1);
        }
        //lyxerr << "\nExps to: " << ar << endl;
@@ -405,6 +437,7 @@ void extractExps(MathData & ar)
 //
 void extractDets(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\ndet from: " << ar << endl;
        for (MathData::iterator it = ar.begin(); it != ar.end(); ++it) {
                InsetMathDelim const * del = (*it)->asDelimInset();
@@ -412,7 +445,7 @@ void extractDets(MathData & ar)
                        continue;
                if (!del->isAbs())
                        continue;
-               *it = MathAtom(new InsetMathExFunc(from_ascii("det"), del->cell(0)));
+               *it = MathAtom(new InsetMathExFunc(buf, from_ascii("det"), del->cell(0)));
        }
        //lyxerr << "\ndet to: " << ar << endl;
 }
@@ -453,7 +486,7 @@ void extractNumbers(MathData & ar)
 
                docstring s = digitSequence(ar.begin() + i, ar.end());
 
-               ar[i] = MathAtom(new InsetMathNumber(s));
+               ar[i] = MathAtom(new InsetMathNumber(ar.buffer(), s));
                ar.erase(i + 1, i + s.size());
        }
        //lyxerr << "\nNumbers to: " << ar << endl;
@@ -479,7 +512,8 @@ bool testCloseParen(MathAtom const & at)
 
 MathAtom replaceParenDelims(const MathData & ar)
 {
-       return MathAtom(new InsetMathDelim(from_ascii("("), from_ascii(")"), ar));
+       return MathAtom(new InsetMathDelim(const_cast<Buffer *>(ar.buffer()),
+               from_ascii("("), from_ascii(")"), ar, true));
 }
 
 
@@ -497,16 +531,57 @@ bool testCloseBracket(MathAtom const & at)
 
 MathAtom replaceBracketDelims(const MathData & ar)
 {
-       return MathAtom(new InsetMathDelim(from_ascii("["), from_ascii("]"), ar));
+       return MathAtom(new InsetMathDelim(const_cast<Buffer *>(ar.buffer()),
+               from_ascii("["), from_ascii("]"), ar, true));
+}
+
+
+bool testOpenVert(MathAtom const & at)
+{
+       return testSymbol(at, "lvert");
+}
+
+
+bool testCloseVert(MathAtom const & at)
+{
+       return testSymbol(at, "rvert");
+}
+
+
+MathAtom replaceVertDelims(const MathData & ar)
+{
+       return MathAtom(new InsetMathDelim(const_cast<Buffer *>(ar.buffer()),
+               from_ascii("lvert"), from_ascii("rvert"), ar, true));
 }
 
 
-// replace '('...')' and '['...']' sequences by a real InsetMathDelim
+bool testOpenAngled(MathAtom const & at)
+{
+       return testSymbol(at, "langle");
+}
+
+
+bool testCloseAngled(MathAtom const & at)
+{
+       return testSymbol(at, "rangle");
+}
+
+
+MathAtom replaceAngledDelims(const MathData & ar)
+{
+       return MathAtom(new InsetMathDelim(const_cast<Buffer *>(ar.buffer()),
+               from_ascii("langle"), from_ascii("rangle"), ar, true));
+}
+
+
+// replace '('...')', '['...']', '|'...'|', and '<'...'>' sequences by a real InsetMathDelim
 void extractDelims(MathData & ar)
 {
        //lyxerr << "\nDelims from: " << ar << endl;
        replaceNested(ar, testOpenParen, testCloseParen, replaceParenDelims);
        replaceNested(ar, testOpenBracket, testCloseBracket, replaceBracketDelims);
+       replaceNested(ar, testOpenVert, testCloseVert, replaceVertDelims);
+       replaceNested(ar, testOpenAngled, testCloseAngled, replaceAngledDelims);
        //lyxerr << "\nDelims to: " << ar << endl;
 }
 
@@ -519,12 +594,17 @@ void extractDelims(MathData & ar)
 
 // replace 'f' '(...)' and 'f' '^n' '(...)' sequences by a real InsetMathExFunc
 // assume 'extractDelims' ran before
-void extractFunctions(MathData & ar)
+void extractFunctions(MathData & ar, ExternalMath kind)
 {
+       // FIXME From what I can see, this is quite broken right now, for reasons
+       // I will note below. (RGH)
+
        // we need at least two items...
        if (ar.size() < 2)
                return;
 
+       Buffer * buf = ar.buffer();
+
        //lyxerr << "\nFunctions from: " << ar << endl;
        for (size_t i = 0; i + 1 < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -533,9 +613,26 @@ void extractFunctions(MathData & ar)
                docstring name;
                // is it a function?
                // it certainly is if it is well known...
+
+               // FIXME This will never give us anything. When we get here, *it will
+               // never point at a string, but only at a character. I.e., if we are
+               // working on "sin(x)", then we are seeing:
+               // [char s mathalpha][char i mathalpha][char n mathalpha][delim ( ) [char x mathalpha]]
+               // and of course we will not find the function name "sin" in there, but
+               // rather "n(x)".
+               //
+               // It appears that we original ran extractStrings() before we ran
+               // extractFunctions(), but Andre changed this at f200be55, I think
+               // because this messed up what he was trying to do with "dx" in the
+               // context of integrals.
+               //
+               // This could be fixed by looking at a charSequence instead of just at
+               // the various characters, one by one. But I am not sure I understand
+               // exactly what we are trying to do here. And it involves a lot of
+               // guessing.
                if (!extractFunctionName(*it, name)) {
                        // is this a user defined function?
-                       // it it probably not, if it doesn't have a name.
+                       // probably not, if it doesn't have a name.
                        if (!extractString(*it, name))
                                continue;
                        // it is not if it has no argument
@@ -546,19 +643,20 @@ void extractFunctions(MathData & ar)
                        InsetMathDelim const * del = (*jt)->asDelimInset();
                        if (!del || del->cell(0).size() != 1)
                                continue;
-                       // fall trough into main branch
+                       // fall through into main branch
                }
 
                // do we have an exponent like in
                // 'sin' '^2' 'x' -> 'sin(x)' '^2'
-               MathData exp;
+               MathData exp(buf);
                extractScript(exp, jt, ar.end(), true);
 
                // create a proper inset as replacement
-               auto_ptr<InsetMathExFunc> p(new InsetMathExFunc(name));
+               auto p = lyx::make_unique<InsetMathExFunc>(buf, name);
 
                // jt points to the "argument". Get hold of this.
-               MathData::iterator st = extractArgument(p->cell(0), jt, ar.end(), true);
+               MathData::iterator st =
+                               extractArgument(p->cell(0), jt, ar.end(), kind, true);
 
                // replace the function name by a real function inset
                *it = MathAtom(p.release());
@@ -577,18 +675,6 @@ void extractFunctions(MathData & ar)
 // search integrals
 //
 
-bool testSymbol(MathAtom const & at, docstring const & name)
-{
-       return at->asSymbolInset() && at->asSymbolInset()->name() == name;
-}
-
-
-bool testSymbol(MathAtom const & at, char const * const name)
-{
-       return at->asSymbolInset() && at->asSymbolInset()->name() == from_ascii(name);
-}
-
-
 bool testIntSymbol(MathAtom const & at)
 {
        return testSymbol(at, from_ascii("int"));
@@ -600,7 +686,7 @@ bool testIntegral(MathAtom const & at)
        return
         testIntSymbol(at) ||
                ( at->asScriptInset()
-                 && at->asScriptInset()->nuc().size()
+                 && !at->asScriptInset()->nuc().empty()
                        && testIntSymbol(at->asScriptInset()->nuc().back()) );
 }
 
@@ -614,12 +700,14 @@ bool testIntDiff(MathAtom const & at)
 
 // replace '\int' ['_^'] x 'd''x'(...)' sequences by a real InsetMathExInt
 // assume 'extractDelims' ran before
-void extractIntegrals(MathData & ar)
+void extractIntegrals(MathData & ar, ExternalMath kind)
 {
        // we need at least three items...
        if (ar.size() < 3)
                return;
 
+       Buffer * buf = ar.buffer();
+
        //lyxerr << "\nIntegrals from: " << ar << endl;
        for (size_t i = 0; i + 1 < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -636,18 +724,18 @@ void extractIntegrals(MathData & ar)
                if (!testIntegral(*it))
                        continue;
 
-               // core ist part from behind the scripts to the 'd'
-               auto_ptr<InsetMathExInt> p(new InsetMathExInt(from_ascii("int")));
+               // core is part from behind the scripts to the 'd'
+               auto p = lyx::make_unique<InsetMathExInt>(buf, from_ascii("int"));
 
                // handle scripts if available
                if (!testIntSymbol(*it)) {
                        p->cell(2) = (*it)->asScriptInset()->down();
                        p->cell(3) = (*it)->asScriptInset()->up();
                }
-               p->cell(0) = MathData(it + 1, jt);
+               p->cell(0) = MathData(buf, it + 1, jt);
 
                // use the "thing" behind the 'd' as differential
-               MathData::iterator tt = extractArgument(p->cell(1), jt + 1, ar.end());
+               MathData::iterator tt = extractArgument(p->cell(1), jt + 1, ar.end(), kind);
 
                // remove used parts
                ar.erase(it + 1, tt);
@@ -698,7 +786,7 @@ bool testSum(MathAtom const & at)
        return
         testSumSymbol(at) ||
                ( at->asScriptInset()
-                 && at->asScriptInset()->nuc().size()
+                 && !at->asScriptInset()->nuc().empty()
                        && testSumSymbol(at->asScriptInset()->nuc().back()) );
 }
 
@@ -711,6 +799,8 @@ void extractSums(MathData & ar)
        if (ar.size() < 2)
                return;
 
+       Buffer * buf = ar.buffer();
+
        //lyxerr << "\nSums from: " << ar << endl;
        for (size_t i = 0; i + 1 < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -720,23 +810,23 @@ void extractSums(MathData & ar)
                        continue;
 
                // create a proper inset as replacement
-               auto_ptr<InsetMathExInt> p(new InsetMathExInt(from_ascii("sum")));
+               auto p = lyx::make_unique<InsetMathExInt>(buf, from_ascii("sum"));
 
                // collect lower bound and summation index
                InsetMathScript const * sub = ar[i]->asScriptInset();
                if (sub && sub->hasDown()) {
                        // try to figure out the summation index from the subscript
-                       MathData const & ar = sub->down();
+                       MathData const & md = sub->down();
                        MathData::const_iterator xt =
-                               find_if(ar.begin(), ar.end(), &testEqualSign);
-                       if (xt != ar.end()) {
+                               find_if(md.begin(), md.end(), &testEqualSign);
+                       if (xt != md.end()) {
                                // we found a '=', use everything in front of that as index,
                                // and everything behind as lower index
-                               p->cell(1) = MathData(ar.begin(), xt);
-                               p->cell(2) = MathData(xt + 1, ar.end());
+                               p->cell(1) = MathData(buf, md.begin(), xt);
+                               p->cell(2) = MathData(buf, xt + 1, md.end());
                        } else {
                                // use everything as summation index, don't use scripts.
-                               p->cell(1) = ar;
+                               p->cell(1) = md;
                        }
                }
 
@@ -777,7 +867,7 @@ bool testDiffItem(MathAtom const & at)
 
 bool testDiffArray(MathData const & ar)
 {
-       return ar.size() && testDiffItem(ar.front());
+       return !ar.empty() && testDiffItem(ar.front());
 }
 
 
@@ -792,6 +882,7 @@ bool testDiffFrac(MathAtom const & at)
 
 void extractDiff(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\nDiffs from: " << ar << endl;
        for (size_t i = 0; i < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -807,7 +898,7 @@ void extractDiff(MathData & ar)
                }
 
                // create a proper diff inset
-               auto_ptr<InsetMathDiff> diff(new InsetMathDiff);
+               auto diff = lyx::make_unique<InsetMathDiff>(buf);
 
                // collect function, let jt point behind last used item
                MathData::iterator jt = it + 1;
@@ -819,13 +910,13 @@ void extractDiff(MathData & ar)
                        // FIXME
                        //n = 1;
                        if (numer.size() > 2)
-                               diff->cell(0) = MathData(numer.begin() + 2, numer.end());
+                               diff->cell(0) = MathData(buf, numer.begin() + 2, numer.end());
                        else
                                jt = extractTerm(diff->cell(0), jt, ar.end());
                } else {
                        // simply d f(x) / d... or  d/d...
                        if (numer.size() > 1)
-                               diff->cell(0) = MathData(numer.begin() + 1, numer.end());
+                               diff->cell(0) = MathData(buf, numer.begin() + 1, numer.end());
                        else
                                jt = extractTerm(diff->cell(0), jt, ar.end());
                }
@@ -846,12 +937,16 @@ void extractDiff(MathData & ar)
                                int mult = 1;
                                if (extractNumber(script->up(), mult)) {
                                        //lyxerr << "mult: " << mult << endl;
-                                       for (int i = 0; i < mult; ++i)
-                                               diff->addDer(MathData(dt + 1, st));
+                                       if (mult < 0 || mult > 1000) {
+                                               lyxerr << "Cannot differentiate less than 0 or more than 1000 times !" << endl;
+                                               continue;
+                                       }
+                                       for (int ii = 0; ii < mult; ++ii)
+                                               diff->addDer(MathData(buf, dt + 1, st));
                                }
                        } else {
                                // just  d.../dx
-                               diff->addDer(MathData(dt + 1, et));
+                               diff->addDer(MathData(buf, dt + 1, et));
                        }
                        dt = et;
                }
@@ -880,6 +975,7 @@ bool testRightArrow(MathAtom const & at)
 // assume 'extractDelims' ran before
 void extractLims(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\nLimits from: " << ar << endl;
        for (size_t i = 0; i < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -900,18 +996,18 @@ void extractLims(MathData & ar)
                        continue;
 
                // the -> splits the subscript int x and x0
-               MathData x  = MathData(s.begin(), st);
-               MathData x0 = MathData(st + 1, s.end());
+               MathData x  = MathData(buf, s.begin(), st);
+               MathData x0 = MathData(buf, st + 1, s.end());
 
                // use something behind the script as core
-               MathData f;
+               MathData f(buf);
                MathData::iterator tt = extractTerm(f, it + 1, ar.end());
 
                // cleanup
                ar.erase(it + 1, tt);
 
                // create a proper inset as replacement
-               *it = MathAtom(new InsetMathLim(f, x, x0));
+               *it = MathAtom(new InsetMathLim(buf, f, x, x0));
        }
        //lyxerr << "\nLimits to: " << ar << endl;
 }
@@ -921,106 +1017,42 @@ void extractLims(MathData & ar)
 // combine searches
 //
 
-void extractStructure(MathData & ar)
+void extractStructure(MathData & ar, ExternalMath kind)
 {
        //lyxerr << "\nStructure from: " << ar << endl;
-       splitScripts(ar);
+       if (kind != MATHML && kind != HTML)
+               splitScripts(ar);
        extractDelims(ar);
-       extractIntegrals(ar);
-       extractSums(ar);
+       extractIntegrals(ar, kind);
+       if (kind != MATHML && kind != HTML)
+               extractSums(ar);
        extractNumbers(ar);
        extractMatrices(ar);
-       extractFunctions(ar);
-       extractDets(ar);
-       extractDiff(ar);
-       extractExps(ar);
-       extractLims(ar);
-       extractStrings(ar);
-       //lyxerr << "\nStructure to: " << ar << endl;
-}
-
-
-void write(MathData const & dat, WriteStream & wi)
-{
-       MathData ar = dat;
-       extractStrings(ar);
-       wi.firstitem() = true;
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it) {
-               (*it)->write(wi);
-               wi.firstitem() = false;
-       }
-}
-
-
-void normalize(MathData const & ar, NormalStream & os)
-{
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->normalize(os);
-}
-
-
-void octave(MathData const & dat, OctaveStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->octave(os);
-}
-
-
-void maple(MathData const & dat, MapleStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->maple(os);
-}
-
-
-void maxima(MathData const & dat, MaximaStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->maxima(os);
-}
-
-
-void mathematica(MathData const & dat, MathematicaStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->mathematica(os);
-}
-
-
-void mathmlize(MathData const & dat, MathStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       if (ar.size() == 0)
-               os << "<mrow/>";
-       else if (ar.size() == 1)
-               os << ar.front();
-       else {
-               os << MTag("mrow");
-               for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-                       (*it)->mathmlize(os);
-               os << ETag("mrow");
+       if (kind != MATHML && kind != HTML) {
+               extractFunctions(ar, kind);
+               extractDets(ar);
+               extractDiff(ar);
+               extractExps(ar);
+               extractLims(ar);
+               extractStrings(ar);
        }
+       //lyxerr << "\nStructure to: " << ar << endl;
 }
 
 
-
-
 namespace {
 
        string captureOutput(string const & cmd, string const & data)
        {
                // In order to avoid parsing problems with command interpreters
                // we pass input data through a file
-               FileName const cas_tmpfile(tempName(FileName(), "casinput"));
+               // Since the CAS is supposed to read the temp file we need
+               // to unlock it on windows (bug 10262).
+               unique_ptr<TempFile> tempfile(new TempFile("casinput"));
+               tempfile->setAutoRemove(false);
+               FileName const cas_tmpfile = tempfile->name();
+               tempfile.reset();
+
                if (cas_tmpfile.empty()) {
                        lyxerr << "Warning: cannot create temporary file."
                               << endl;
@@ -1035,7 +1067,7 @@ namespace {
                       << "\ninput: '" << data << "'" << endl;
                cmd_ret const ret = runCommand(command);
                cas_tmpfile.removeFile();
-               return ret.second;
+               return ret.result;
        }
 
        size_t get_matching_brace(string const & str, size_t i)
@@ -1123,9 +1155,9 @@ namespace {
 
                vector<string> tmp = getVectorFromString(out, "$$");
                if (tmp.size() < 2)
-                       return MathData();
+                       return MathData(nullptr);
 
-               out = subst(tmp[1], "\\>", string());
+               out = subst(subst(tmp[1], "\\>", string()), "{\\it ", "\\mathit{");
                lyxerr << "output: '" << out << "'" << endl;
 
                // Ugly code that tries to make the result prettier
@@ -1138,12 +1170,11 @@ namespace {
                        string mid = out.substr(i + 13, j - i - 13);
                        if (mid.find("\\over") != npos)
                                mid = '{' + mid + '}';
-                       out = out.substr(0,i)
+                       out = out.substr(0, i)
                                + mid
                                + out.substr(k + 1);
                        //lyxerr << "output: " << out << endl;
                        i = out.find("\\mathchoice", i);
-                       break;
                }
 
                i = out.find("\\over");
@@ -1154,15 +1185,15 @@ namespace {
                        size_t k = get_matching_brace(out, i + 5);
                        if (k == npos || k + 1 == out.size())
                                break;
-                       out = out.substr(0,j - 1)
+                       out = out.substr(0, j - 1)
                                + "\\frac"
-                               + out.substr(j,i - j)
-                               + out.substr(i + 5,k - i - 4)
+                               + out.substr(j, i - j)
+                               + out.substr(i + 5, k - i - 4)
                                + out.substr(k + 2);
                        //lyxerr << "output: " << out << endl;
                        i = out.find("\\over", i + 4);
                }
-               MathData res;
+               MathData res(nullptr);
                mathed_parse_cell(res, from_utf8(out));
                return res;
        }
@@ -1221,7 +1252,7 @@ namespace {
                        istringstream is(out);
                        string line;
                        getline(is, line);
-                       if (line.find("on line") != 0)
+                       if (!prefixIs(line, "on line"))
                                break; // error message not identified
                        getline(is, line);
                        size_t pos = line.find('^');
@@ -1240,7 +1271,7 @@ namespace {
                // change \_ into _
 
                //
-               MathData res;
+               MathData res(nullptr);
                mathed_parse_cell(res, from_utf8(out));
                return res;
        }
@@ -1253,7 +1284,8 @@ namespace {
                vs << ar;
                string expr = to_utf8(os.str());
                string out;
-
+               // FIXME const cast
+               Buffer * buf = const_cast<Buffer *>(ar.buffer());
                lyxerr << "pipe: ar: '" << ar << "'\n"
                       << "pipe: expr: '" << expr << "'" << endl;
 
@@ -1299,17 +1331,18 @@ namespace {
                // ansi control sequence before, such as '\033[?1034hans = '
                size_t i = out.find("ans = ");
                if (i == string::npos)
-                       return MathData();
+                       return MathData(nullptr);
                out = out.substr(i + 6);
 
                // parse output as matrix or single number
-               MathAtom at(new InsetMathArray(from_ascii("array"), from_utf8(out)));
+               MathAtom at(new InsetMathArray(buf, from_ascii("array"), from_utf8(out)));
                InsetMathArray const * mat = at->asArrayInset();
-               MathData res;
+               MathData res(buf);
                if (mat->ncols() == 1 && mat->nrows() == 1)
                        res.append(mat->cell(0));
                else {
-                       res.push_back(MathAtom(new InsetMathDelim(from_ascii("("), from_ascii(")"))));
+                       res.push_back(MathAtom(
+                               new InsetMathDelim(buf, from_ascii("("), from_ascii(")"))));
                        res.back().nucleus()->cell(0).push_back(at);
                }
                return res;
@@ -1383,7 +1416,7 @@ namespace {
                size_t pos2 = out.find("In[2]:=");
 
                if (pos1 == string::npos || pos2 == string::npos)
-                       return MathData();
+                       return MathData(nullptr);
 
                // get everything from pos1+17 to pos2
                out = out.substr(pos1 + 17, pos2 - pos1 - 17);
@@ -1394,11 +1427,266 @@ namespace {
                prettifyMathematicaOutput(out, "Muserfunction", true, false);
                prettifyMathematicaOutput(out, "Mvariable", false, false);
 
-               MathData res;
+               MathData res(nullptr);
                mathed_parse_cell(res, from_utf8(out));
                return res;
        }
 
+} // namespace
+
+} // namespace
+
+void write(MathData const & dat, TeXMathStream & wi)
+{
+       wi.firstitem() = true;
+       docstring s;
+       for (MathData::const_iterator it = dat.begin(); it != dat.end(); ++it) {
+               InsetMathChar const * const c = (*it)->asCharInset();
+               if (c)
+                       s += c->getChar();
+               else {
+                       if (!s.empty()) {
+                               writeString(s, wi);
+                               s.clear();
+                       }
+                       (*it)->write(wi);
+                       wi.firstitem() = false;
+               }
+       }
+       if (!s.empty()) {
+               writeString(s, wi);
+               wi.firstitem() = false;
+       }
+}
+
+
+void writeString(docstring const & s, TeXMathStream & os)
+{
+       if (!os.latex()) {
+               os << s;
+               return;
+       }
+
+       docstring str = s;
+       if (os.asciiOnly())
+               str = escape(s);
+
+       if (os.output() == TeXMathStream::wsSearchAdv) {
+               os << str;
+               return;
+       }
+
+       if (os.lockedMode()) {
+               bool space;
+               docstring cmd;
+               for (char_type c : str) {
+                       try {
+                               Encodings::latexMathChar(c, true, os.encoding(), cmd, space);
+                               os << cmd;
+                               os.pendingSpace(space);
+                       } catch (EncodingException const & e) {
+                               switch (os.output()) {
+                               case TeXMathStream::wsDryrun: {
+                                       os << "<" << _("LyX Warning: ")
+                                          << _("uncodable character") << " '";
+                                       os << docstring(1, e.failed_char);
+                                       os << "'>";
+                                       break;
+                               }
+                               case TeXMathStream::wsPreview: {
+                                       // indicate the encoding error by a boxed '?'
+                                       os << "{\\fboxsep=1pt\\fbox{?}}";
+                                       LYXERR0("Uncodable character" << " '"
+                                               << docstring(1, e.failed_char)
+                                               << "'");
+                                       break;
+                               }
+                               case TeXMathStream::wsDefault:
+                               default:
+                                       // throw again
+                                       throw;
+                               }
+                       }
+               }
+               return;
+       }
+
+       // We may already be inside an \ensuremath command.
+       bool in_forced_mode = os.pendingBrace();
+
+       // We will take care of matching braces.
+       os.pendingBrace(false);
+
+       for (char_type const c : str) {
+               bool mathmode = in_forced_mode ? os.textMode() : !os.textMode();
+               docstring command(1, c);
+               try {
+                       bool termination = false;
+                       if (isASCII(c) ||
+                           Encodings::latexMathChar(c, mathmode, os.encoding(), command, termination)) {
+                               if (os.textMode()) {
+                                       if (in_forced_mode) {
+                                               // we were inside \lyxmathsym
+                                               os << '}';
+                                               os.textMode(false);
+                                               in_forced_mode = false;
+                                       }
+                                       if (!isASCII(c) && os.textMode()) {
+                                               os << "\\ensuremath{";
+                                               os.textMode(false);
+                                               in_forced_mode = true;
+                                       }
+                               } else if (isASCII(c) && in_forced_mode) {
+                                       // we were inside \ensuremath
+                                       os << '}';
+                                       os.textMode(true);
+                                       in_forced_mode = false;
+                               }
+                       } else if (!os.textMode()) {
+                                       if (in_forced_mode) {
+                                               // we were inside \ensuremath
+                                               os << '}';
+                                               in_forced_mode = false;
+                                       } else {
+                                               os << "\\lyxmathsym{";
+                                               in_forced_mode = true;
+                                       }
+                                       os.textMode(true);
+                       }
+                       os << command;
+                       // We may need a space if the command contains a macro
+                       // and the last char is ASCII.
+                       if (termination)
+                               os.pendingSpace(true);
+               } catch (EncodingException const & e) {
+                       switch (os.output()) {
+                       case TeXMathStream::wsDryrun: {
+                               os << "<" << _("LyX Warning: ")
+                                  << _("uncodable character") << " '";
+                               os << docstring(1, e.failed_char);
+                               os << "'>";
+                               break;
+                       }
+                       case TeXMathStream::wsPreview: {
+                               // indicate the encoding error by a boxed '?'
+                               os << "{\\fboxsep=1pt\\fbox{?}}";
+                               LYXERR0("Uncodable character" << " '"
+                                       << docstring(1, e.failed_char)
+                                       << "'");
+                               break;
+                       }
+                       case TeXMathStream::wsDefault:
+                       default:
+                               // throw again
+                               throw;
+                       }
+               }
+       }
+
+       if (in_forced_mode && os.textMode()) {
+               // We have to care for closing \lyxmathsym
+               os << '}';
+               os.textMode(false);
+       } else {
+               os.pendingBrace(in_forced_mode);
+       }
+}
+
+
+void normalize(MathData const & ar, NormalStream & os)
+{
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->normalize(os);
+}
+
+
+void octave(MathData const & dat, OctaveStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, OCTAVE);
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->octave(os);
+}
+
+
+void maple(MathData const & dat, MapleStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, MAPLE);
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->maple(os);
+}
+
+
+void maxima(MathData const & dat, MaximaStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, MAXIMA);
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->maxima(os);
+}
+
+
+void mathematica(MathData const & dat, MathematicaStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, MATHEMATICA);
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->mathematica(os);
+}
+
+
+void mathmlize(MathData const & dat, MathMLStream & ms)
+{
+       MathData ar = dat;
+       extractStructure(ar, MATHML);
+       if (ar.empty()) {
+               if (!ms.inText())
+                       ms << CTag("mrow");
+       } else if (ar.size() == 1) {
+               ms << ar.front();
+       } else {
+               if (!ms.inText())
+                       ms << MTag("mrow");
+               for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+                       (*it)->mathmlize(ms);
+               if (!ms.inText())
+                       ms << ETag("mrow");
+       }
+}
+
+
+void htmlize(MathData const & dat, HtmlStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, HTML);
+       if (ar.empty())
+               return;
+       if (ar.size() == 1) {
+               os << ar.front();
+               return;
+       }
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->htmlize(os);
+}
+
+
+// convert this inset somehow to a number
+bool extractNumber(MathData const & ar, int & i)
+{
+       idocstringstream is(charSequence(ar.begin(), ar.end()));
+       is >> i;
+       // Do not convert is implicitly to bool, since that is forbidden in C++11.
+       return !is.fail();
+}
+
+
+bool extractNumber(MathData const & ar, double & d)
+{
+       idocstringstream is(charSequence(ar.begin(), ar.end()));
+       is >> d;
+       // Do not convert is implicitly to bool, since that is forbidden in C++11.
+       return !is.fail();
 }
 
 
@@ -1427,15 +1715,15 @@ MathData pipeThroughExtern(string const & lang, docstring const & extra,
        string data = to_utf8(os.str());
 
        // search external script
-       support::FileName const file = libFileSearch("mathed", "extern_" + lang);
+       FileName const file = libFileSearch("mathed", "extern_" + lang);
        if (file.empty()) {
                lyxerr << "converter to '" << lang << "' not found" << endl;
-               return MathData();
+               return MathData(nullptr);
        }
 
        // run external sript
-       string out = captureOutput(file.absFilename(), data);
-       MathData res;
+       string out = captureOutput(file.absFileName(), data);
+       MathData res(nullptr);
        mathed_parse_cell(res, from_utf8(out));
        return res;
 }