]> git.lyx.org Git - lyx.git/blobdiff - src/mathed/MathExtern.cpp
Fixed longstanding bug in Advanced Find&Replace, when dealing with documents containi...
[lyx.git] / src / mathed / MathExtern.cpp
index 50d5ab5a9bafc04a6822c364e8d9c79e189839b4..8d1df06f777ee1e78b3bfa8df57c035d5c939e6f 100644 (file)
@@ -3,7 +3,7 @@
  * This file is part of LyX, the document processor.
  * Licence details can be found in the file COPYING.
  *
- * \author André Pönitz
+ * \author André Pönitz
  *
  * Full author contact details are available in file CREDITS.
  */
 #include <config.h>
 
 #include "MathExtern.h"
+
+#include "InsetMathAMSArray.h"
 #include "InsetMathArray.h"
 #include "InsetMathChar.h"
 #include "InsetMathDelim.h"
-#include "MathData.h"
 #include "InsetMathDiff.h"
 #include "InsetMathExFunc.h"
 #include "InsetMathExInt.h"
 #include "InsetMathFrac.h"
 #include "InsetMathLim.h"
 #include "InsetMathMatrix.h"
-#include "MathStream.h"
 #include "InsetMathNumber.h"
 #include "InsetMathScript.h"
 #include "InsetMathString.h"
 #include "InsetMathSymbol.h"
+#include "MathData.h"
 #include "MathParser.h"
-#include "debug.h"
+#include "MathStream.h"
+
+#include "support/debug.h"
+#include "support/docstream.h"
+#include "support/FileName.h"
 #include "support/filetools.h"
 #include "support/lstrings.h"
-#include "support/lyxlib.h"
 
 #include <algorithm>
 #include <sstream>
 #include <fstream>
+#include <memory>
 
+using namespace std;
+using namespace lyx::support;
 
 namespace lyx {
 
-using support::cmd_ret;
-using support::getVectorFromString;
-using support::libFileSearch;
-using support::runCommand;
-using support::FileName;
-using support::quoteName;
-using support::tempName;
-using support::unlink;
-using support::subst;
-
-using std::auto_ptr;
-using std::endl;
-using std::find_if;
-using std::istringstream;
-using std::ostream;
-using std::swap;
-using std::string;
-using std::vector;
+namespace {
+
+enum ExternalMath {
+       HTML,
+       MAPLE,
+       MAXIMA,
+       MATHEMATICA,
+       MATHML,
+       OCTAVE
+};
+
 
 static char const * function_names[] = {
        "arccos", "arcsin", "arctan", "arg", "bmod",
@@ -109,7 +109,8 @@ bool extractScript(MathData & ar,
 // try to extract an "argument" to some function.
 // returns position behind the argument
 MathData::iterator extractArgument(MathData & ar,
-       MathData::iterator pos, MathData::iterator last, bool function = false)
+       MathData::iterator pos, MathData::iterator last, 
+       ExternalMath kind, bool function = false)
 {
        // nothing to get here
        if (pos == last)
@@ -118,7 +119,9 @@ MathData::iterator extractArgument(MathData & ar,
        // something delimited _is_ an argument
        if ((*pos)->asDelimInset()) {
                // leave out delimiters if this is a function argument
-               if (function) {
+               // unless we are doing MathML, in which case we do want
+               // the delimiters
+               if (function && kind != MATHML && kind != HTML) {
                        MathData const & arg = (*pos)->asDelimInset()->cell(0);
                        MathData::const_iterator cur = arg.begin();
                        MathData::const_iterator end = arg.end();
@@ -194,20 +197,31 @@ void extractMatrices(MathData & ar)
        //lyxerr << "\nMatrices from: " << ar << endl;
        // first pass for explicitly delimited stuff
        for (size_t i = 0; i < ar.size(); ++i) {
-               if (!ar[i]->asDelimInset())
+               InsetMathDelim const * const inset = ar[i]->asDelimInset();
+               if (!inset)
                        continue;
-               MathData const & arr = ar[i]->asDelimInset()->cell(0);
+               MathData const & arr = inset->cell(0);
                if (arr.size() != 1)
                        continue;
                if (!arr.front()->asGridInset())
                        continue;
-               ar[i] = MathAtom(new InsetMathMatrix(*(arr.front()->asGridInset())));
+               ar[i] = MathAtom(new InsetMathMatrix(*(arr.front()->asGridInset()), 
+                                inset->left_, inset->right_));
        }
 
        // second pass for AMS "pmatrix" etc
-       for (size_t i = 0; i < ar.size(); ++i)
-               if (ar[i]->asAMSArrayInset())
-                       ar[i] = MathAtom(new InsetMathMatrix(*(ar[i]->asGridInset())));
+       for (size_t i = 0; i < ar.size(); ++i) {
+               InsetMathAMSArray const * const inset = ar[i]->asAMSArrayInset();
+               if (inset) {
+                       string left = inset->name_left();
+                       if (left == "Vert")
+                               left = "[";
+                       string right = inset->name_right();
+                       if (right == "Vert")
+                               right = "]";
+                       ar[i] = MathAtom(new InsetMathMatrix(*inset, from_ascii(left), from_ascii(right)));
+               }
+       }
        //lyxerr << "\nMatrices to: " << ar << endl;
 }
 
@@ -260,23 +274,6 @@ bool extractFunctionName(MathAtom const & at, docstring & str)
 }
 
 
-// convert this inset somehow to a number
-bool extractNumber(MathData const & ar, int & i)
-{
-       idocstringstream is(charSequence(ar.begin(), ar.end()));
-       is >> i;
-       return is;
-}
-
-
-bool extractNumber(MathData const & ar, double & d)
-{
-       idocstringstream is(charSequence(ar.begin(), ar.end()));
-       is >> d;
-       return is;
-}
-
-
 bool testString(MathAtom const & at, docstring const & str)
 {
        docstring s;
@@ -314,9 +311,9 @@ void replaceNested(
        MathData & ar,
        TestItemFunc testOpen,
        TestItemFunc testClose,
-       ReplaceArgumentFunc replaceArg
-)
+       ReplaceArgumentFunc replaceArg)
 {
+       Buffer * buf = ar.buffer();
        // use indices rather than iterators for the loop  because we are going
        // to modify the array.
        for (size_t i = 0; i < ar.size(); ++i) {
@@ -331,7 +328,7 @@ void replaceNested(
                        continue;
 
                // replace the original stuff by the new inset
-               ar[i] = replaceArg(MathData(it + 1, jt));
+               ar[i] = replaceArg(MathData(buf, it + 1, jt));
                ar.erase(it + 1, jt + 1);
        }
 }
@@ -345,6 +342,7 @@ void replaceNested(
 
 void splitScripts(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\nScripts from: " << ar << endl;
        for (size_t i = 0; i < ar.size(); ++i) {
                InsetMathScript const * script = ar[i]->asScriptInset();
@@ -367,7 +365,7 @@ void splitScripts(MathData & ar)
 
                // create extra script inset and move superscript over
                InsetMathScript * p = ar[i].nucleus()->asScriptInset();
-               std::auto_ptr<InsetMathScript> q(new InsetMathScript(true));
+               auto_ptr<InsetMathScript> q(new InsetMathScript(buf, true));
                swap(q->up(), p->up());
                p->removeScript(true);
 
@@ -395,6 +393,7 @@ void splitScripts(MathData & ar)
 
 void extractExps(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\nExps from: " << ar << endl;
        for (size_t i = 0; i + 1 < ar.size(); ++i) {
                // is this 'e'?
@@ -407,7 +406,7 @@ void extractExps(MathData & ar)
                        continue;
 
                // create a proper exp-inset as replacement
-               ar[i] = MathAtom(new InsetMathExFunc(from_ascii("exp"), sup->cell(1)));
+               ar[i] = MathAtom(new InsetMathExFunc(buf, from_ascii("exp"), sup->cell(1)));
                ar.erase(i + 1);
        }
        //lyxerr << "\nExps to: " << ar << endl;
@@ -419,6 +418,7 @@ void extractExps(MathData & ar)
 //
 void extractDets(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\ndet from: " << ar << endl;
        for (MathData::iterator it = ar.begin(); it != ar.end(); ++it) {
                InsetMathDelim const * del = (*it)->asDelimInset();
@@ -426,7 +426,7 @@ void extractDets(MathData & ar)
                        continue;
                if (!del->isAbs())
                        continue;
-               *it = MathAtom(new InsetMathExFunc(from_ascii("det"), del->cell(0)));
+               *it = MathAtom(new InsetMathExFunc(buf, from_ascii("det"), del->cell(0)));
        }
        //lyxerr << "\ndet to: " << ar << endl;
 }
@@ -493,7 +493,8 @@ bool testCloseParen(MathAtom const & at)
 
 MathAtom replaceParenDelims(const MathData & ar)
 {
-       return MathAtom(new InsetMathDelim(from_ascii("("), from_ascii(")"), ar));
+       return MathAtom(new InsetMathDelim(const_cast<Buffer *>(ar.buffer()),
+               from_ascii("("), from_ascii(")"), ar));
 }
 
 
@@ -511,7 +512,8 @@ bool testCloseBracket(MathAtom const & at)
 
 MathAtom replaceBracketDelims(const MathData & ar)
 {
-       return MathAtom(new InsetMathDelim(from_ascii("["), from_ascii("]"), ar));
+       return MathAtom(new InsetMathDelim(const_cast<Buffer *>(ar.buffer()),
+               from_ascii("["), from_ascii("]"), ar));
 }
 
 
@@ -533,12 +535,14 @@ void extractDelims(MathData & ar)
 
 // replace 'f' '(...)' and 'f' '^n' '(...)' sequences by a real InsetMathExFunc
 // assume 'extractDelims' ran before
-void extractFunctions(MathData & ar)
+void extractFunctions(MathData & ar, ExternalMath kind)
 {
        // we need at least two items...
        if (ar.size() < 2)
                return;
 
+       Buffer * buf = ar.buffer();
+
        //lyxerr << "\nFunctions from: " << ar << endl;
        for (size_t i = 0; i + 1 < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -569,10 +573,11 @@ void extractFunctions(MathData & ar)
                extractScript(exp, jt, ar.end(), true);
 
                // create a proper inset as replacement
-               std::auto_ptr<InsetMathExFunc> p(new InsetMathExFunc(name));
+               auto_ptr<InsetMathExFunc> p(new InsetMathExFunc(buf, name));
 
                // jt points to the "argument". Get hold of this.
-               MathData::iterator st = extractArgument(p->cell(0), jt, ar.end(), true);
+               MathData::iterator st = 
+                               extractArgument(p->cell(0), jt, ar.end(), kind, true);
 
                // replace the function name by a real function inset
                *it = MathAtom(p.release());
@@ -628,12 +633,14 @@ bool testIntDiff(MathAtom const & at)
 
 // replace '\int' ['_^'] x 'd''x'(...)' sequences by a real InsetMathExInt
 // assume 'extractDelims' ran before
-void extractIntegrals(MathData & ar)
+void extractIntegrals(MathData & ar, ExternalMath kind)
 {
        // we need at least three items...
        if (ar.size() < 3)
                return;
 
+       Buffer * buf = ar.buffer();
+
        //lyxerr << "\nIntegrals from: " << ar << endl;
        for (size_t i = 0; i + 1 < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -651,17 +658,17 @@ void extractIntegrals(MathData & ar)
                        continue;
 
                // core ist part from behind the scripts to the 'd'
-               auto_ptr<InsetMathExInt> p(new InsetMathExInt(from_ascii("int")));
+               auto_ptr<InsetMathExInt> p(new InsetMathExInt(buf, from_ascii("int")));
 
                // handle scripts if available
                if (!testIntSymbol(*it)) {
                        p->cell(2) = (*it)->asScriptInset()->down();
                        p->cell(3) = (*it)->asScriptInset()->up();
                }
-               p->cell(0) = MathData(it + 1, jt);
+               p->cell(0) = MathData(buf, it + 1, jt);
 
                // use the "thing" behind the 'd' as differential
-               MathData::iterator tt = extractArgument(p->cell(1), jt + 1, ar.end());
+               MathData::iterator tt = extractArgument(p->cell(1), jt + 1, ar.end(), kind);
 
                // remove used parts
                ar.erase(it + 1, tt);
@@ -725,6 +732,8 @@ void extractSums(MathData & ar)
        if (ar.size() < 2)
                return;
 
+       Buffer * buf = ar.buffer();
+
        //lyxerr << "\nSums from: " << ar << endl;
        for (size_t i = 0; i + 1 < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -734,7 +743,7 @@ void extractSums(MathData & ar)
                        continue;
 
                // create a proper inset as replacement
-               auto_ptr<InsetMathExInt> p(new InsetMathExInt(from_ascii("sum")));
+               auto_ptr<InsetMathExInt> p(new InsetMathExInt(buf, from_ascii("sum")));
 
                // collect lower bound and summation index
                InsetMathScript const * sub = ar[i]->asScriptInset();
@@ -746,8 +755,8 @@ void extractSums(MathData & ar)
                        if (xt != ar.end()) {
                                // we found a '=', use everything in front of that as index,
                                // and everything behind as lower index
-                               p->cell(1) = MathData(ar.begin(), xt);
-                               p->cell(2) = MathData(xt + 1, ar.end());
+                               p->cell(1) = MathData(buf, ar.begin(), xt);
+                               p->cell(2) = MathData(buf, xt + 1, ar.end());
                        } else {
                                // use everything as summation index, don't use scripts.
                                p->cell(1) = ar;
@@ -806,6 +815,7 @@ bool testDiffFrac(MathAtom const & at)
 
 void extractDiff(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\nDiffs from: " << ar << endl;
        for (size_t i = 0; i < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -821,7 +831,7 @@ void extractDiff(MathData & ar)
                }
 
                // create a proper diff inset
-               std::auto_ptr<InsetMathDiff> diff(new InsetMathDiff);
+               auto_ptr<InsetMathDiff> diff(new InsetMathDiff(buf));
 
                // collect function, let jt point behind last used item
                MathData::iterator jt = it + 1;
@@ -833,13 +843,13 @@ void extractDiff(MathData & ar)
                        // FIXME
                        //n = 1;
                        if (numer.size() > 2)
-                               diff->cell(0) = MathData(numer.begin() + 2, numer.end());
+                               diff->cell(0) = MathData(buf, numer.begin() + 2, numer.end());
                        else
                                jt = extractTerm(diff->cell(0), jt, ar.end());
                } else {
                        // simply d f(x) / d... or  d/d...
                        if (numer.size() > 1)
-                               diff->cell(0) = MathData(numer.begin() + 1, numer.end());
+                               diff->cell(0) = MathData(buf, numer.begin() + 1, numer.end());
                        else
                                jt = extractTerm(diff->cell(0), jt, ar.end());
                }
@@ -861,11 +871,11 @@ void extractDiff(MathData & ar)
                                if (extractNumber(script->up(), mult)) {
                                        //lyxerr << "mult: " << mult << endl;
                                        for (int i = 0; i < mult; ++i)
-                                               diff->addDer(MathData(dt + 1, st));
+                                               diff->addDer(MathData(buf, dt + 1, st));
                                }
                        } else {
                                // just  d.../dx
-                               diff->addDer(MathData(dt + 1, et));
+                               diff->addDer(MathData(buf, dt + 1, et));
                        }
                        dt = et;
                }
@@ -894,6 +904,7 @@ bool testRightArrow(MathAtom const & at)
 // assume 'extractDelims' ran before
 void extractLims(MathData & ar)
 {
+       Buffer * buf = ar.buffer();
        //lyxerr << "\nLimits from: " << ar << endl;
        for (size_t i = 0; i < ar.size(); ++i) {
                MathData::iterator it = ar.begin() + i;
@@ -914,8 +925,8 @@ void extractLims(MathData & ar)
                        continue;
 
                // the -> splits the subscript int x and x0
-               MathData x  = MathData(s.begin(), st);
-               MathData x0 = MathData(st + 1, s.end());
+               MathData x  = MathData(buf, s.begin(), st);
+               MathData x0 = MathData(buf, st + 1, s.end());
 
                // use something behind the script as core
                MathData f;
@@ -925,7 +936,7 @@ void extractLims(MathData & ar)
                ar.erase(it + 1, tt);
 
                // create a proper inset as replacement
-               *it = MathAtom(new InsetMathLim(f, x, x0));
+               *it = MathAtom(new InsetMathLim(buf, f, x, x0));
        }
        //lyxerr << "\nLimits to: " << ar << endl;
 }
@@ -935,124 +946,54 @@ void extractLims(MathData & ar)
 // combine searches
 //
 
-void extractStructure(MathData & ar)
+void extractStructure(MathData & ar, ExternalMath kind)
 {
        //lyxerr << "\nStructure from: " << ar << endl;
-       splitScripts(ar);
+       if (kind != MATHML && kind != HTML)
+               splitScripts(ar);
        extractDelims(ar);
-       extractIntegrals(ar);
-       extractSums(ar);
+       extractIntegrals(ar, kind);
+       if (kind != MATHML && kind != HTML)
+               extractSums(ar);
        extractNumbers(ar);
        extractMatrices(ar);
-       extractFunctions(ar);
-       extractDets(ar);
-       extractDiff(ar);
-       extractExps(ar);
-       extractLims(ar);
-       extractStrings(ar);
-       //lyxerr << "\nStructure to: " << ar << endl;
-}
-
-
-void write(MathData const & dat, WriteStream & wi)
-{
-       MathData ar = dat;
-       extractStrings(ar);
-       wi.firstitem() = true;
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it) {
-               (*it)->write(wi);
-               wi.firstitem() = false;
-       }
-}
-
-
-void normalize(MathData const & ar, NormalStream & os)
-{
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->normalize(os);
-}
-
-
-void octave(MathData const & dat, OctaveStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->octave(os);
-}
-
-
-void maple(MathData const & dat, MapleStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->maple(os);
-}
-
-
-void maxima(MathData const & dat, MaximaStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->maxima(os);
-}
-
-
-void mathematica(MathData const & dat, MathematicaStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-               (*it)->mathematica(os);
-}
-
-
-void mathmlize(MathData const & dat, MathStream & os)
-{
-       MathData ar = dat;
-       extractStructure(ar);
-       if (ar.size() == 0)
-               os << "<mrow/>";
-       else if (ar.size() == 1)
-               os << ar.front();
-       else {
-               os << MTag("mrow");
-               for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
-                       (*it)->mathmlize(os);
-               os << ETag("mrow");
+       extractFunctions(ar, kind);
+       if (kind != MATHML && kind != HTML) {
+               extractDets(ar);
+               extractDiff(ar);
+               extractExps(ar);
+               extractLims(ar);
+               extractStrings(ar);
        }
+       //lyxerr << "\nStructure to: " << ar << endl;
 }
 
 
-
-
 namespace {
 
-       std::string captureOutput(std::string const & cmd, std::string const & data)
+       string captureOutput(string const & cmd, string const & data)
        {
                // In order to avoid parsing problems with command interpreters
                // we pass input data through a file
-               FileName const cas_tmpfile(tempName(FileName(), "casinput"));
+               FileName const cas_tmpfile = FileName::tempName("casinput");
                if (cas_tmpfile.empty()) {
                        lyxerr << "Warning: cannot create temporary file."
                               << endl;
-                       return std::string();
+                       return string();
                }
-               std::ofstream os(cas_tmpfile.toFilesystemEncoding().c_str());
+               ofstream os(cas_tmpfile.toFilesystemEncoding().c_str());
                os << data << endl;
                os.close();
-               std::string command =  cmd + " < "
+               string command =  cmd + " < "
                        + quoteName(cas_tmpfile.toFilesystemEncoding());
                lyxerr << "calling: " << cmd
                       << "\ninput: '" << data << "'" << endl;
                cmd_ret const ret = runCommand(command);
-               unlink(cas_tmpfile);
+               cas_tmpfile.removeFile();
                return ret.second;
        }
 
-       size_t get_matching_brace(std::string const & str, size_t i)
+       size_t get_matching_brace(string const & str, size_t i)
        {
                int count = 1;
                size_t n = str.size();
@@ -1070,7 +1011,7 @@ namespace {
                return npos;
        }
 
-       size_t get_matching_brace_back(std::string const & str, size_t i)
+       size_t get_matching_brace_back(string const & str, size_t i)
        {
                int count = 1;
                while (i > 0) {
@@ -1095,7 +1036,7 @@ namespace {
                docstring expr = os.str();
                docstring const header = from_ascii("simpsum:true;");
 
-               std::string out;
+               string out;
                for (int i = 0; i < 100; ++i) { // at most 100 attempts
                        // try to fix missing '*' the hard way
                        //
@@ -1115,7 +1056,7 @@ namespace {
 
                        // search line with "Incorrect syntax"
                        istringstream is(out);
-                       std::string line;
+                       string line;
                        while (is) {
                                getline(is, line);
                                if (line.find("Incorrect syntax") != npos)
@@ -1135,11 +1076,11 @@ namespace {
                        expr.insert(pos, from_ascii("*"));
                }
 
-               vector<std::string> tmp = getVectorFromString(out, "$$");
+               vector<string> tmp = getVectorFromString(out, "$$");
                if (tmp.size() < 2)
                        return MathData();
 
-               out = subst(tmp[1], "\\>", std::string());
+               out = subst(tmp[1], "\\>", string());
                lyxerr << "output: '" << out << "'" << endl;
 
                // Ugly code that tries to make the result prettier
@@ -1149,10 +1090,10 @@ namespace {
                        size_t k = get_matching_brace(out, j + 1);
                        k = get_matching_brace(out, k + 1);
                        k = get_matching_brace(out, k + 1);
-                       std::string mid = out.substr(i + 13, j - i - 13);
+                       string mid = out.substr(i + 13, j - i - 13);
                        if (mid.find("\\over") != npos)
                                mid = '{' + mid + '}';
-                       out = out.substr(0,i)
+                       out = out.substr(0, i)
                                + mid
                                + out.substr(k + 1);
                        //lyxerr << "output: " << out << endl;
@@ -1168,10 +1109,10 @@ namespace {
                        size_t k = get_matching_brace(out, i + 5);
                        if (k == npos || k + 1 == out.size())
                                break;
-                       out = out.substr(0,j - 1)
+                       out = out.substr(0, j - 1)
                                + "\\frac"
-                               + out.substr(j,i - j)
-                               + out.substr(i + 5,k - i - 4)
+                               + out.substr(j, i - j)
+                               + out.substr(i + 5, k - i - 4)
                                + out.substr(k + 2);
                        //lyxerr << "output: " << out << endl;
                        i = out.find("\\over", i + 4);
@@ -1184,7 +1125,7 @@ namespace {
 
        MathData pipeThroughMaple(docstring const & extra, MathData const & ar)
        {
-               std::string header = "readlib(latex):\n";
+               string header = "readlib(latex):\n";
 
                // remove the \\it for variable names
                //"#`latex/csname_font` := `\\it `:"
@@ -1212,11 +1153,11 @@ namespace {
                //"#`latex/latex/symbol` "
                //      " := subs((\\'_\\' = \\'`\\_`\\',eval(`latex/latex/symbol`)): ";
 
-               std::string trailer = "quit;";
+               string trailer = "quit;";
                odocstringstream os;
                MapleStream ms(os);
                ms << ar;
-               std::string expr = to_utf8(os.str());
+               string expr = to_utf8(os.str());
                lyxerr << "ar: '" << ar << "'\n"
                       << "ms: '" << expr << "'" << endl;
 
@@ -1267,7 +1208,8 @@ namespace {
                vs << ar;
                string expr = to_utf8(os.str());
                string out;
-
+               // FIXME const cast
+               Buffer * buf = const_cast<Buffer *>(ar.buffer());
                lyxerr << "pipe: ar: '" << ar << "'\n"
                       << "pipe: expr: '" << expr << "'" << endl;
 
@@ -1317,13 +1259,14 @@ namespace {
                out = out.substr(i + 6);
 
                // parse output as matrix or single number
-               MathAtom at(new InsetMathArray(from_ascii("array"), from_utf8(out)));
+               MathAtom at(new InsetMathArray(buf, from_ascii("array"), from_utf8(out)));
                InsetMathArray const * mat = at->asArrayInset();
-               MathData res;
+               MathData res(buf);
                if (mat->ncols() == 1 && mat->nrows() == 1)
                        res.append(mat->cell(0));
                else {
-                       res.push_back(MathAtom(new InsetMathDelim(from_ascii("("), from_ascii(")"))));
+                       res.push_back(MathAtom(
+                               new InsetMathDelim(buf, from_ascii("("), from_ascii(")"))));
                        res.back().nucleus()->cell(0).push_back(at);
                }
                return res;
@@ -1415,6 +1358,111 @@ namespace {
 
 }
 
+} // anon namespace
+
+void write(MathData const & dat, WriteStream & wi)
+{
+       MathData ar = dat;
+       extractStrings(ar);
+       wi.firstitem() = true;
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it) {
+               (*it)->write(wi);
+               wi.firstitem() = false;
+       }
+}
+
+
+void normalize(MathData const & ar, NormalStream & os)
+{
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->normalize(os);
+}
+
+
+void octave(MathData const & dat, OctaveStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, OCTAVE);
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->octave(os);
+}
+
+
+void maple(MathData const & dat, MapleStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, MAPLE);
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->maple(os);
+}
+
+
+void maxima(MathData const & dat, MaximaStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, MAXIMA);
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->maxima(os);
+}
+
+
+void mathematica(MathData const & dat, MathematicaStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, MATHEMATICA);
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->mathematica(os);
+}
+
+
+void mathmlize(MathData const & dat, MathStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, MATHML);
+       if (ar.size() == 0)
+               os << "<mrow/>";
+       else if (ar.size() == 1)
+               os << ar.front();
+       else {
+               os << MTag("mrow");
+               for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+                       (*it)->mathmlize(os);
+               os << ETag("mrow");
+       }
+}
+
+
+void htmlize(MathData const & dat, HtmlStream & os)
+{
+       MathData ar = dat;
+       extractStructure(ar, HTML);
+       if (ar.size() == 0) 
+               return;
+       if (ar.size() == 1) {
+               os << ar.front();
+               return;
+       }
+       for (MathData::const_iterator it = ar.begin(); it != ar.end(); ++it)
+               (*it)->htmlize(os);
+}
+
+
+// convert this inset somehow to a number
+bool extractNumber(MathData const & ar, int & i)
+{
+       idocstringstream is(charSequence(ar.begin(), ar.end()));
+       is >> i;
+       return is;
+}
+
+
+bool extractNumber(MathData const & ar, double & d)
+{
+       idocstringstream is(charSequence(ar.begin(), ar.end()));
+       is >> d;
+       return is;
+}
+
 
 MathData pipeThroughExtern(string const & lang, docstring const & extra,
        MathData const & ar)
@@ -1441,14 +1489,14 @@ MathData pipeThroughExtern(string const & lang, docstring const & extra,
        string data = to_utf8(os.str());
 
        // search external script
-       support::FileName const file = libFileSearch("mathed", "extern_" + lang);
+       FileName const file = libFileSearch("mathed", "extern_" + lang);
        if (file.empty()) {
                lyxerr << "converter to '" << lang << "' not found" << endl;
                return MathData();
        }
 
        // run external sript
-       string out = captureOutput(file.absFilename(), data);
+       string out = captureOutput(file.absFileName(), data);
        MathData res;
        mathed_parse_cell(res, from_utf8(out));
        return res;