]> git.lyx.org Git - lyx.git/blobdiff - src/tex2lyx/tex2lyx.cpp
tex2lyx: support tipa \t*{} macro.
[lyx.git] / src / tex2lyx / tex2lyx.cpp
index 3f98280cbef09ed0233c99cf8d9d2fd6c2dcf6b0..cbdd7500b6b9e0c4dcc7b03eec19d75b66a1cd71 100644 (file)
 #include "Preamble.h"
 #include "TextClass.h"
 
+#include "support/ConsoleApplication.h"
 #include "support/convert.h"
-#include "support/debug.h"
 #include "support/ExceptionMessage.h"
 #include "support/filetools.h"
 #include "support/lassert.h"
 #include "support/lstrings.h"
-#include "support/Messages.h"
 #include "support/os.h"
 #include "support/Package.h"
 #include "support/Systemcall.h"
 
 #include <cstdlib>
 #include <algorithm>
+#include <exception>
 #include <iostream>
 #include <string>
 #include <sstream>
@@ -49,53 +49,6 @@ using namespace lyx::support::os;
 
 namespace lyx {
 
-namespace frontend {
-namespace Alert {
-       void warning(docstring const & title, docstring const & message,
-                                bool const &)
-       {
-               LYXERR0(title);
-               LYXERR0(message);
-       }
-}
-}
-
-
-// Dummy texrow support
-void TexRow::newline()
-{}
-
-
-void TexRow::newlines(int)
-{}
-
-
-// Dummy LyXRC support
-class LyXRC {
-public:
-       string icon_set;
-} lyxrc;
-
-
-// Dummy translation support
-Messages messages_;
-Messages const & getMessages(std::string const &)
-{
-       return messages_;
-}
-
-
-Messages const & getGuiMessages()
-{
-       return messages_;
-}
-
-
-// Keep the linker happy on Windows
-void lyx_exit(int)
-{}
-
-
 string const trimSpaceAndEol(string const & a)
 {
        return trim(a, " \t\n\r");
@@ -254,7 +207,7 @@ typedef map<string, DocumentClassPtr> ModuleMap;
 ModuleMap modules;
 
 
-bool addModule(string const module, LayoutFile const & baseClass, LayoutModuleList & m, vector<string> & visited)
+bool addModule(string const module, LayoutFile const & baseClass, LayoutModuleList & m, vector<string> & visited)
 {
        // avoid endless loop for circular dependency
        vector<string>::const_iterator const vb = visited.begin();
@@ -329,10 +282,11 @@ void initModules()
                for (; it != end; ++it) {
                        string const module = it->getID();
                        LayoutModuleList m;
+                       LayoutModuleList c;
                        vector<string> v;
                        if (!addModule(module, baseClass, m, v))
                                continue;
-                       modules[module] = getDocumentClass(baseClass, m);
+                       modules[module] = getDocumentClass(baseClass, m, c);
                }
                init = false;
        }
@@ -358,7 +312,7 @@ bool addModule(string const & module)
        return false;
 }
 
-}
+} // namespace
 
 
 bool checkModule(string const & name, bool command)
@@ -531,19 +485,19 @@ void read_environment(Parser & p, string const & begin,
  * has almost all of them listed. For the same reason the reLyX-specific
  * reLyXre environment is ignored.
  */
-void read_syntaxfile(FileName const & file_name)
+bool read_syntaxfile(FileName const & file_name)
 {
        ifdocstream is(file_name.toFilesystemEncoding().c_str());
        if (!is.good()) {
                cerr << "Could not open syntax file \"" << file_name
                     << "\" for reading." << endl;
-               exit(2);
+               return false;
        }
        // We can use our TeX parser, since the syntax of the layout file is
        // modeled after TeX.
        // Unknown tokens are just silently ignored, this helps us to skip some
        // reLyX specific things.
-       Parser p(is);
+       Parser p(is, string());
        while (p.good()) {
                Token const & t = p.get_token();
                if (t.cat() == catEscape) {
@@ -563,11 +517,13 @@ void read_syntaxfile(FileName const & file_name)
                        }
                }
        }
+       return true;
 }
 
 
 string documentclass;
 string default_encoding;
+bool fixed_encoding = false;
 string syntaxfile;
 bool copy_files = false;
 bool overwrite_files = false;
@@ -578,14 +534,53 @@ int error_code = 0;
 typedef int (*cmd_helper)(string const &, string const &);
 
 
+class StopException : public exception
+{
+       public:
+               StopException(int status) : status_(status) {}
+               int status() const { return status_; }
+       private:
+               int status_;
+};
+
+
+/// The main application class
+class TeX2LyXApp : public ConsoleApplication
+{
+public:
+       TeX2LyXApp(int & argc, char * argv[])
+               : ConsoleApplication("tex2lyx" PROGRAM_SUFFIX, argc, argv),
+                 argc_(argc), argv_(argv)
+       {
+       }
+       void doExec()
+       {
+               try {
+                       int const exit_status = run();
+                       exit(exit_status);
+               }
+               catch (StopException & e) {
+                       exit(e.status());
+               }
+       }
+private:
+       void easyParse();
+       /// Do the real work
+       int run();
+       int & argc_;
+       char ** argv_;
+};
+
+
 int parse_help(string const &, string const &)
 {
-       cerr << "Usage: tex2lyx [options] infile.tex [outfile.lyx]\n"
+       cout << "Usage: tex2lyx [options] infile.tex [outfile.lyx]\n"
                "Options:\n"
                "\t-c textclass       Declare the textclass.\n"
                "\t-m mod1[,mod2...]  Load the given modules.\n"
                "\t-copyfiles         Copy all included files to the directory of outfile.lyx.\n"
                "\t-e encoding        Set the default encoding (latex name).\n"
+               "\t-fixedenc encoding Like -e, but ignore encoding changing commands while parsing.\n"
                "\t-f                 Force overwrite of .lyx files.\n"
                "\t-help              Print this message and quit.\n"
                "\t-n                 translate literate programming (noweb, sweave,... ) file.\n"
@@ -604,25 +599,24 @@ int parse_help(string const &, string const &)
                "\tand \"SYSDIR/layouts\" are searched for layout and module files.\n"
                "Check the tex2lyx man page for more details."
             << endl;
-       exit(error_code);
+       throw StopException(error_code);
 }
 
 
 int parse_version(string const &, string const &)
 {
-       lyxerr << "tex2lyx " << lyx_version
-              << " (" << lyx_release_date << ")" << endl;
-       lyxerr << "Built on " << __DATE__ << ", " << __TIME__ << endl;
+       cout << "tex2lyx " << lyx_version
+            << " (" << lyx_release_date << ")" << endl;
 
-       lyxerr << lyx_version_info << endl;
-       exit(error_code);
+       cout << lyx_version_info << endl;
+       throw StopException(error_code);
 }
 
 
 void error_message(string const & message)
 {
        cerr << "tex2lyx: " << message << "\n\n";
-       error_code = 1;
+       error_code = EXIT_FAILURE;
        parse_help(string(), string());
 }
 
@@ -654,6 +648,16 @@ int parse_encoding(string const & arg, string const &)
 }
 
 
+int parse_fixed_encoding(string const & arg, string const &)
+{
+       if (arg.empty())
+               error_message("Missing encoding string after -fixedenc switch");
+       default_encoding = arg;
+       fixed_encoding = true;
+       return 1;
+}
+
+
 int parse_syntaxfile(string const & arg, string const &)
 {
        if (arg.empty())
@@ -722,7 +726,7 @@ int parse_copyfiles(string const &, string const &)
 }
 
 
-void easyParse(int & argc, char * argv[])
+void TeX2LyXApp::easyParse()
 {
        map<string, cmd_helper> cmdmap;
 
@@ -735,6 +739,7 @@ void easyParse(int & argc, char * argv[])
        cmdmap["-c"] = parse_class;
        cmdmap["-m"] = parse_module;
        cmdmap["-e"] = parse_encoding;
+       cmdmap["-fixedenc"] = parse_fixed_encoding;
        cmdmap["-f"] = parse_force;
        cmdmap["-s"] = parse_syntaxfile;
        cmdmap["-n"] = parse_noweb;
@@ -744,29 +749,29 @@ void easyParse(int & argc, char * argv[])
        cmdmap["-roundtrip"] = parse_roundtrip;
        cmdmap["-copyfiles"] = parse_copyfiles;
 
-       for (int i = 1; i < argc; ++i) {
+       for (int i = 1; i < argc_; ++i) {
                map<string, cmd_helper>::const_iterator it
-                       = cmdmap.find(argv[i]);
+                       = cmdmap.find(argv_[i]);
 
                // don't complain if not found - may be parsed later
                if (it == cmdmap.end()) {
-                       if (argv[i][0] == '-')
-                               error_message(string("Unknown option `") + argv[i] + "'.");
+                       if (argv_[i][0] == '-')
+                               error_message(string("Unknown option `") + argv_[i] + "'.");
                        else
                                continue;
                }
 
-               string arg = (i + 1 < argc) ? os::utf8_argv(i + 1) : string();
-               string arg2 = (i + 2 < argc) ? os::utf8_argv(i + 2) : string();
+               string arg = (i + 1 < argc_) ? os::utf8_argv(i + 1) : string();
+               string arg2 = (i + 2 < argc_) ? os::utf8_argv(i + 2) : string();
 
                int const remove = 1 + it->second(arg, arg2);
 
                // Now, remove used arguments by shifting
                // the following ones remove places down.
                os::remove_internal_args(i, remove);
-               argc -= remove;
-               for (int j = i; j < argc; ++j)
-                       argv[j] = argv[j + remove];
+               argc_ -= remove;
+               for (int j = i; j < argc_; ++j)
+                       argv_[j] = argv_[j + remove];
                --i;
        }
 }
@@ -818,6 +823,12 @@ bool skipChildren()
 }
 
 
+bool roundtripMode()
+{
+       return roundtrip;
+}
+
+
 namespace {
 
 /*!
@@ -829,24 +840,10 @@ namespace {
  *  You must ensure that \p parentFilePathTeX is properly set before calling
  *  this function!
  */
-bool tex2lyx(idocstream & is, ostream & os, string encoding)
+bool tex2lyx(idocstream & is, ostream & os, string const & encoding,
+             string const & outfiledir)
 {
-       // Set a sensible default encoding.
-       // This is used until an encoding command is found.
-       // For child documents use the encoding of the master, else ISO8859-1,
-       // (formerly known by its latex name latin1), since ISO8859-1 does not
-       // cause an iconv error if the actual encoding is different (bug 7509).
-       if (encoding.empty()) {
-               if (preamble.inputencoding() == "auto")
-                       encoding = "ISO8859-1";
-               else {
-                       Encoding const * const enc = encodings.fromLaTeXName(
-                               preamble.inputencoding(), Encoding::any, true);
-                       encoding = enc->iconvName();
-               }
-       }
-
-       Parser p(is);
+       Parser p(is, fixed_encoding ? default_encoding : string());
        p.setEncoding(encoding);
        //p.dump();
 
@@ -881,6 +878,8 @@ bool tex2lyx(idocstream & is, ostream & os, string encoding)
        context.font.language = preamble.defaultLanguage();
        // parse the main text
        parse_text(p, ss, FLAG_END, true, context);
+       // check if we need a commented bibtex inset (biblatex)
+       check_comment_bib(ss, context);
        if (Context::empty)
                // Empty document body. LyX needs at least one paragraph.
                context.check_layout(ss);
@@ -895,7 +894,7 @@ bool tex2lyx(idocstream & is, ostream & os, string encoding)
                for (; it != end; ++it)
                        preamble.addModule(*it);
        }
-       if (!preamble.writeLyXHeader(os, !active_environments.empty())) {
+       if (!preamble.writeLyXHeader(os, !active_environments.empty(), outfiledir)) {
                cerr << "Could not write LyX file header." << endl;
                return false;
        }
@@ -914,11 +913,45 @@ bool tex2lyx(idocstream & is, ostream & os, string encoding)
 
 
 /// convert TeX from \p infilename to LyX and write it to \p os
-bool tex2lyx(FileName const & infilename, ostream & os, string const & encoding)
+bool tex2lyx(FileName const & infilename, ostream & os, string encoding,
+             string const & outfiledir)
 {
-       ifdocstream is;
+       // Set a sensible default encoding.
+       // This is used until an encoding command is found.
+       // For child documents use the encoding of the master, else try to
+       // detect it from the preamble, since setting an encoding of an open
+       // fstream does currently not work on OS X.
+       // Always start with ISO-8859-1, (formerly known by its latex name
+       // latin1), since ISO-8859-1 does not cause an iconv error if the
+       // actual encoding is different (bug 7509).
+       if (encoding.empty()) {
+               Encoding const * enc = 0;
+               if (preamble.inputencoding() == "auto") {
+                       ifdocstream is(setEncoding("ISO-8859-1"));
+                       // forbid buffering on this stream
+                       is.rdbuf()->pubsetbuf(0, 0);
+                       is.open(infilename.toFilesystemEncoding().c_str());
+                       if (is.good()) {
+                               Parser ep(is, string());
+                               ep.setEncoding("ISO-8859-1");
+                               Preamble encodingpreamble;
+                               string const e = encodingpreamble
+                                       .parseEncoding(ep, documentclass);
+                               if (!e.empty())
+                                       enc = encodings.fromLyXName(e, true);
+                       }
+               } else
+                       enc = encodings.fromLyXName(
+                                       preamble.inputencoding(), true);
+               if (enc)
+                       encoding = enc->iconvName();
+               else
+                       encoding = "ISO-8859-1";
+       }
+
+       ifdocstream is(setEncoding(encoding));
        // forbid buffering on this stream
-       is.rdbuf()->pubsetbuf(0,0);
+       is.rdbuf()->pubsetbuf(0, 0);
        is.open(infilename.toFilesystemEncoding().c_str());
        if (!is.good()) {
                cerr << "Could not open input file \"" << infilename
@@ -927,7 +960,7 @@ bool tex2lyx(FileName const & infilename, ostream & os, string const & encoding)
        }
        string const oldParentFilePath = parentFilePathTeX;
        parentFilePathTeX = onlyPath(infilename.absFileName());
-       bool retval = tex2lyx(is, os, encoding);
+       bool retval = tex2lyx(is, os, encoding, outfiledir);
        parentFilePathTeX = oldParentFilePath;
        return retval;
 }
@@ -960,7 +993,8 @@ bool tex2lyx(string const & infilename, FileName const & outfilename,
        cerr << "Input file: " << infilename << "\n";
        cerr << "Output file: " << outfilename << "\n";
 #endif
-       return tex2lyx(FileName(infilename), os, encoding);
+       return tex2lyx(FileName(infilename), os, encoding,
+                      outfilename.onlyPath().absFileName() + '/');
 }
 
 
@@ -988,18 +1022,13 @@ bool tex2tex(string const & infilename, FileName const & outfilename,
        return false;
 }
 
-} // namespace lyx
 
+namespace {
 
-int main(int argc, char * argv[])
+int TeX2LyXApp::run()
 {
-       using namespace lyx;
-
-       //setlocale(LC_CTYPE, "");
-
-       lyxerr.setStream(cerr);
-
-       os::init(argc, argv);
+       // qt changes this, and our numeric conversions require the C locale
+       setlocale(LC_NUMERIC, "C");
 
        try {
                init_package(internal_path(os::utf8_argv(0)), string(), string());
@@ -1010,9 +1039,9 @@ int main(int argc, char * argv[])
                        return EXIT_FAILURE;
        }
 
-       easyParse(argc, argv);
+       easyParse();
 
-       if (argc <= 1)
+       if (argc_ <= 1)
                error_message("Not enough arguments.");
 
        try {
@@ -1025,13 +1054,29 @@ int main(int argc, char * argv[])
                        return EXIT_FAILURE;
        }
 
+       // Check that user LyX directory is ok.
+       FileName const sup = package().user_support();
+       if (sup.exists() && sup.isDirectory()) {
+               string const lock_file = package().getConfigureLockName();
+               int fd = fileLock(lock_file.c_str());
+               if (configFileNeedsUpdate("lyxrc.defaults") ||
+                   configFileNeedsUpdate("lyxmodules.lst") ||
+                   configFileNeedsUpdate("textclass.lst") ||
+                   configFileNeedsUpdate("packages.lst") ||
+                   configFileNeedsUpdate("lyxciteengines.lst") ||
+                   configFileNeedsUpdate("xtemplates.lst"))
+                       package().reconfigureUserLyXDir("");
+               fileUnlock(fd, lock_file.c_str());
+       } else
+               error_message("User directory does not exist.");
+
        // Now every known option is parsed. Look for input and output
        // file name (the latter is optional).
        string infilename = internal_path(os::utf8_argv(1));
        infilename = makeAbsPath(infilename).absFileName();
 
        string outfilename;
-       if (argc > 2) {
+       if (argc_ > 2) {
                outfilename = internal_path(os::utf8_argv(2));
                if (outfilename != "-")
                        outfilename = makeAbsPath(outfilename).absFileName();
@@ -1062,9 +1107,11 @@ int main(int argc, char * argv[])
                cerr << "Error: Could not find syntax file \"syntax.default\"." << endl;
                return EXIT_FAILURE;
        }
-       read_syntaxfile(system_syntaxfile);
+       if (!read_syntaxfile(system_syntaxfile))
+               return 2;
        if (!syntaxfile.empty())
-               read_syntaxfile(makeAbsPath(syntaxfile));
+               if (!read_syntaxfile(makeAbsPath(syntaxfile)))
+                       return 2;
 
        // Read the encodings table.
        FileName const symbols_path = libFileSearch(string(), "unicodesymbols");
@@ -1086,6 +1133,8 @@ int main(int argc, char * argv[])
                if (!enc)
                        error_message("Unknown LaTeX encoding `" + default_encoding + "'");
                default_encoding = enc->iconvName();
+               if (fixed_encoding)
+                       preamble.setInputencoding(enc->name());
        }
 
        // Load the layouts
@@ -1099,7 +1148,7 @@ int main(int argc, char * argv[])
        if (outfilename == "-") {
                // assume same directory as input file
                masterFilePathLyX = masterFilePathTeX;
-               if (tex2lyx(FileName(infilename), cout, default_encoding))
+               if (tex2lyx(FileName(infilename), cout, default_encoding, masterFilePathLyX))
                        return EXIT_SUCCESS;
        } else {
                masterFilePathLyX = onlyPath(outfilename);
@@ -1117,11 +1166,27 @@ int main(int argc, char * argv[])
                        if (tex2tex(infilename, FileName(outfilename), default_encoding))
                                return EXIT_SUCCESS;
                } else {
-                       if (tex2lyx(infilename, FileName(outfilename), default_encoding))
+                       if (lyx::tex2lyx(infilename, FileName(outfilename), default_encoding))
                                return EXIT_SUCCESS;
                }
        }
        return EXIT_FAILURE;
 }
 
+} // anonymous namespace
+} // namespace lyx
+
+
+int main(int argc, char * argv[])
+{
+       //setlocale(LC_CTYPE, "");
+
+       lyx::lyxerr.setStream(cerr);
+
+       os::init(argc, &argv);
+
+       lyx::TeX2LyXApp app(argc, argv);
+       return app.exec();
+}
+
 // }])