]> git.lyx.org Git - lyx.git/blobdiff - src/tex2lyx/tex2lyx.cpp
Skip missing optional argument insets in tex2lyx
[lyx.git] / src / tex2lyx / tex2lyx.cpp
index 57436cbcdaf7692958e2076eb75074bda710104c..2ef209fc42305fc03731aa0a84da5197c6637535 100644 (file)
 #include "TextClass.h"
 
 #include "support/convert.h"
-#include "support/debug.h"
 #include "support/ExceptionMessage.h"
 #include "support/filetools.h"
 #include "support/lassert.h"
 #include "support/lstrings.h"
-#include "support/Messages.h"
 #include "support/os.h"
 #include "support/Package.h"
 #include "support/Systemcall.h"
 
 #include <cstdlib>
+#include <algorithm>
 #include <iostream>
 #include <string>
 #include <sstream>
@@ -48,53 +47,6 @@ using namespace lyx::support::os;
 
 namespace lyx {
 
-namespace frontend {
-namespace Alert {
-       void warning(docstring const & title, docstring const & message,
-                                bool const &)
-       {
-               LYXERR0(title);
-               LYXERR0(message);
-       }
-}
-}
-
-
-// Dummy texrow support
-void TexRow::newline()
-{}
-
-
-void TexRow::newlines(int)
-{}
-
-
-// Dummy LyXRC support
-class LyXRC {
-public:
-       string icon_set;
-} lyxrc;
-
-
-// Dummy translation support
-Messages messages_;
-Messages const & getMessages(std::string const &)
-{
-       return messages_;
-}
-
-
-Messages const & getGuiMessages()
-{
-       return messages_;
-}
-
-
-// Keep the linker happy on Windows
-void lyx_exit(int)
-{}
-
-
 string const trimSpaceAndEol(string const & a)
 {
        return trim(a, " \t\n\r");
@@ -150,10 +102,12 @@ CommandMap known_environments;
 CommandMap known_math_environments;
 FullCommandMap possible_textclass_commands;
 FullEnvironmentMap possible_textclass_environments;
+FullCommandMap possible_textclass_theorems;
 int const LYX_FORMAT = LYX_FORMAT_TEX2LYX;
 
 /// used modules
 LayoutModuleList used_modules;
+vector<string> preloaded_modules;
 
 
 void convertArgs(string const & o1, bool o2, vector<ArgumentType> & arguments)
@@ -205,6 +159,17 @@ void add_known_environment(string const & environment, string const & o1,
 }
 
 
+void add_known_theorem(string const & theorem, string const & o1,
+                       bool o2, docstring const & definition)
+{
+       vector<ArgumentType> arguments;
+       convertArgs(o1, o2, arguments);
+       if (!definition.empty())
+               possible_textclass_theorems[theorem] =
+                       FullCommand(arguments, definition);
+}
+
+
 Layout const * findLayoutWithoutModule(TextClass const & textclass,
                                        string const & name, bool command)
 {
@@ -234,28 +199,79 @@ InsetLayout const * findInsetLayoutWithoutModule(TextClass const & textclass,
 }
 
 
-bool checkModule(string const & name, bool command)
-{
-       // Cache to avoid slowdown by repated searches
-       static set<string> failed[2];
+namespace {
 
-       // Only add the module if the command was actually defined in the LyX preamble
-       if (command) {
-               if (possible_textclass_commands.find('\\' + name) == possible_textclass_commands.end())
-                       return false;
-       } else {
-               if (possible_textclass_environments.find(name) == possible_textclass_environments.end())
-                       return false;
+typedef map<string, DocumentClassPtr> ModuleMap;
+ModuleMap modules;
+
+
+bool addModule(string const & module, LayoutFile const & baseClass, LayoutModuleList & m, vector<string> & visited)
+{
+       // avoid endless loop for circular dependency
+       vector<string>::const_iterator const vb = visited.begin();
+       vector<string>::const_iterator const ve = visited.end();
+       if (find(vb, ve, module) != ve) {
+               cerr << "Circular dependency detected for module " << module << '\n';
+               return false;
        }
-       if (failed[command].find(name) != failed[command].end())
+       LyXModule const * const lm = theModuleList[module];
+       if (!lm) {
+               cerr << "Could not find module " << module << " in module list.\n";
+               return false;
+       }
+       bool foundone = false;
+       LayoutModuleList::const_iterator const exclmodstart = baseClass.excludedModules().begin();
+       LayoutModuleList::const_iterator const exclmodend = baseClass.excludedModules().end();
+       LayoutModuleList::const_iterator const provmodstart = baseClass.providedModules().begin();
+       LayoutModuleList::const_iterator const provmodend = baseClass.providedModules().end();
+       vector<string> const reqs = lm->getRequiredModules();
+       if (reqs.empty())
+               foundone = true;
+       else {
+               LayoutModuleList::const_iterator mit = m.begin();
+               LayoutModuleList::const_iterator men = m.end();
+               vector<string>::const_iterator rit = reqs.begin();
+               vector<string>::const_iterator ren = reqs.end();
+               for (; rit != ren; ++rit) {
+                       if (find(mit, men, *rit) != men) {
+                               foundone = true;
+                               break;
+                       }
+                       if (find(provmodstart, provmodend, *rit) != provmodend) {
+                               foundone = true;
+                               break;
+                       }
+               }
+               if (!foundone) {
+                       visited.push_back(module);
+                       for (rit = reqs.begin(); rit != ren; ++rit) {
+                               if (find(exclmodstart, exclmodend, *rit) == exclmodend) {
+                                       if (addModule(*rit, baseClass, m, visited)) {
+                                               foundone = true;
+                                               break;
+                                       }
+                               }
+                       }
+                       visited.pop_back();
+               }
+       }
+       if (!foundone) {
+               cerr << "Could not add required modules for " << module << ".\n";
                return false;
+       }
+       if (!m.moduleCanBeAdded(module, &baseClass))
+               return false;
+       m.push_back(module);
+       return true;
+}
+
 
+void initModules()
+{
        // Create list of dummy document classes if not already done.
        // This is needed since a module cannot be read on its own, only as
        // part of a document class.
        LayoutFile const & baseClass = LayoutFileList::get()[textclass.name()];
-       typedef map<string, DocumentClassPtr > ModuleMap;
-       static ModuleMap modules;
        static bool init = true;
        if (init) {
                baseClass.load();
@@ -264,14 +280,61 @@ bool checkModule(string const & name, bool command)
                for (; it != end; ++it) {
                        string const module = it->getID();
                        LayoutModuleList m;
-                       // FIXME this excludes all modules that depend on another one
-                       if (!m.moduleCanBeAdded(module, &baseClass))
+                       vector<string> v;
+                       if (!addModule(module, baseClass, m, v))
                                continue;
-                       m.push_back(module);
                        modules[module] = getDocumentClass(baseClass, m);
                }
                init = false;
        }
+}
+
+
+bool addModule(string const & module)
+{
+       initModules();
+       LayoutFile const & baseClass = LayoutFileList::get()[textclass.name()];
+       if (!used_modules.moduleCanBeAdded(module, &baseClass))
+               return false;
+       FileName layout_file = libFileSearch("layouts", module, "module");
+       if (textclass.read(layout_file, TextClass::MODULE)) {
+               used_modules.push_back(module);
+               // speed up further searches:
+               // the module does not need to be checked anymore.
+               ModuleMap::iterator const it = modules.find(module);
+               if (it != modules.end())
+                       modules.erase(it);
+               return true;
+       }
+       return false;
+}
+
+}
+
+
+bool checkModule(string const & name, bool command)
+{
+       // Cache to avoid slowdown by repated searches
+       static set<string> failed[2];
+
+       // Only add the module if the command was actually defined in the LyX preamble
+       bool theorem = false;
+       if (command) {
+               if (possible_textclass_commands.find('\\' + name) == possible_textclass_commands.end())
+                       return false;
+       } else {
+               if (possible_textclass_environments.find(name) == possible_textclass_environments.end()) {
+                       if (possible_textclass_theorems.find(name) != possible_textclass_theorems.end())
+                               theorem = true;
+                       else
+                               return false;
+               }
+       }
+       if (failed[command].find(name) != failed[command].end())
+               return false;
+
+       initModules();
+       LayoutFile const & baseClass = LayoutFileList::get()[textclass.name()];
 
        // Try to find a module that defines the command.
        // Only add it if the definition can be found in the preamble of the
@@ -283,13 +346,13 @@ bool checkModule(string const & name, bool command)
        ModuleMap::iterator const end = modules.end();
        for (ModuleMap::iterator it = modules.begin(); it != end; ++it) {
                string const module = it->first;
-               if (!used_modules.moduleCanBeAdded(module, &baseClass))
+               if (used_modules.moduleConflicts(module, &baseClass))
                        continue;
                if (findLayoutWithoutModule(textclass, name, command))
                        continue;
                if (findInsetLayoutWithoutModule(textclass, name, command))
                        continue;
-               DocumentClassConstPtr  c = it->second;
+               DocumentClassConstPtr c = it->second;
                Layout const * layout = findLayoutWithoutModule(*c, name, command);
                InsetLayout const * insetlayout = layout ? 0 :
                        findInsetLayoutWithoutModule(*c, name, command);
@@ -306,6 +369,11 @@ bool checkModule(string const & name, bool command)
                                possible_textclass_commands['\\' + name];
                        if (preamble.find(cmd.def) != docstring::npos)
                                add = true;
+               } else if (theorem) {
+                       FullCommand const & thm =
+                               possible_textclass_theorems[name];
+                       if (preamble.find(thm.def) != docstring::npos)
+                               add = true;
                } else {
                        FullEnvironment const & env =
                                possible_textclass_environments[name];
@@ -329,6 +397,13 @@ bool checkModule(string const & name, bool command)
 }
 
 
+bool isProvided(string const & name)
+{
+       // This works only for features that are named like the LaTeX packages
+       return textclass.provides(name) || preamble.isPackageUsed(name);
+}
+
+
 bool noweb_mode = false;
 bool pdflatex = false;
 bool xetex = false;
@@ -419,7 +494,7 @@ void read_syntaxfile(FileName const & file_name)
        // modeled after TeX.
        // Unknown tokens are just silently ignored, this helps us to skip some
        // reLyX specific things.
-       Parser p(is);
+       Parser p(is, string());
        while (p.good()) {
                Token const & t = p.get_token();
                if (t.cat() == catEscape) {
@@ -444,9 +519,11 @@ void read_syntaxfile(FileName const & file_name)
 
 string documentclass;
 string default_encoding;
+bool fixed_encoding = false;
 string syntaxfile;
 bool copy_files = false;
 bool overwrite_files = false;
+bool skip_children = false;
 int error_code = 0;
 
 /// return the number of arguments consumed
@@ -455,14 +532,17 @@ typedef int (*cmd_helper)(string const &, string const &);
 
 int parse_help(string const &, string const &)
 {
-       cerr << "Usage: tex2lyx [options] infile.tex [outfile.lyx]\n"
+       cout << "Usage: tex2lyx [options] infile.tex [outfile.lyx]\n"
                "Options:\n"
                "\t-c textclass       Declare the textclass.\n"
+               "\t-m mod1[,mod2...]  Load the given modules.\n"
                "\t-copyfiles         Copy all included files to the directory of outfile.lyx.\n"
                "\t-e encoding        Set the default encoding (latex name).\n"
+               "\t-fixedenc encoding Like -e, but ignore encoding changing commands while parsing.\n"
                "\t-f                 Force overwrite of .lyx files.\n"
                "\t-help              Print this message and quit.\n"
-               "\t-n                 translate a noweb (aka literate programming) file.\n"
+               "\t-n                 translate literate programming (noweb, sweave,... ) file.\n"
+               "\t-skipchildren      Do not translate included child documents.\n"
                "\t-roundtrip         re-export created .lyx file infile.lyx.lyx to infile.lyx.tex.\n"
                "\t-s syntaxfile      read additional syntax file.\n"
                "\t-sysdir SYSDIR     Set system directory to SYSDIR.\n"
@@ -483,11 +563,12 @@ int parse_help(string const &, string const &)
 
 int parse_version(string const &, string const &)
 {
-       lyxerr << "tex2lyx " << lyx_version
-              << " (" << lyx_release_date << ")" << endl;
-       lyxerr << "Built on " << __DATE__ << ", " << __TIME__ << endl;
+       cout << "tex2lyx " << lyx_version
+            << " (" << lyx_release_date << ")" << endl;
+       cout << "Built on " << lyx_build_date << ", " << lyx_build_time
+            << endl;
 
-       lyxerr << lyx_version_info << endl;
+       cout << lyx_version_info << endl;
        exit(error_code);
 }
 
@@ -509,6 +590,15 @@ int parse_class(string const & arg, string const &)
 }
 
 
+int parse_module(string const & arg, string const &)
+{
+       if (arg.empty())
+               error_message("Missing modules string after -m switch");
+       split(arg, preloaded_modules, ',');
+       return 1;
+}
+
+
 int parse_encoding(string const & arg, string const &)
 {
        if (arg.empty())
@@ -518,6 +608,16 @@ int parse_encoding(string const & arg, string const &)
 }
 
 
+int parse_fixed_encoding(string const & arg, string const &)
+{
+       if (arg.empty())
+               error_message("Missing encoding string after -fixedenc switch");
+       default_encoding = arg;
+       fixed_encoding = true;
+       return 1;
+}
+
+
 int parse_syntaxfile(string const & arg, string const &)
 {
        if (arg.empty())
@@ -565,6 +665,13 @@ int parse_noweb(string const &, string const &)
 }
 
 
+int parse_skipchildren(string const &, string const &)
+{
+       skip_children = true;
+       return 0;
+}
+
+
 int parse_roundtrip(string const &, string const &)
 {
        roundtrip = true;
@@ -590,10 +697,13 @@ void easyParse(int & argc, char * argv[])
        cmdmap["-version"] = parse_version;
        cmdmap["--version"] = parse_version;
        cmdmap["-c"] = parse_class;
+       cmdmap["-m"] = parse_module;
        cmdmap["-e"] = parse_encoding;
+       cmdmap["-fixedenc"] = parse_fixed_encoding;
        cmdmap["-f"] = parse_force;
        cmdmap["-s"] = parse_syntaxfile;
        cmdmap["-n"] = parse_noweb;
+       cmdmap["-skipchildren"] = parse_skipchildren;
        cmdmap["-sysdir"] = parse_sysdir;
        cmdmap["-userdir"] = parse_userdir;
        cmdmap["-roundtrip"] = parse_roundtrip;
@@ -667,6 +777,26 @@ bool overwriteFiles()
 }
 
 
+bool skipChildren()
+{
+       return skip_children;
+}
+
+
+bool roundtripMode()
+{
+       return roundtrip;
+}
+
+
+string fixedEncoding()
+{
+       if (fixed_encoding)
+               return default_encoding;
+       return "";
+}
+
+
 namespace {
 
 /*!
@@ -682,21 +812,45 @@ bool tex2lyx(idocstream & is, ostream & os, string encoding)
 {
        // Set a sensible default encoding.
        // This is used until an encoding command is found.
-       // For child documents use the encoding of the master, else latin1,
-       // since latin1 does not cause an iconv error if the actual encoding
-       // is different (bug 7509).
+       // For child documents use the encoding of the master, else ISO8859-1,
+       // (formerly known by its latex name latin1), since ISO8859-1 does not
+       // cause an iconv error if the actual encoding is different (bug 7509).
        if (encoding.empty()) {
                if (preamble.inputencoding() == "auto")
-                       encoding = "latin1";
-               else
-                       encoding = preamble.inputencoding();
+                       encoding = "ISO8859-1";
+               else {
+                       Encoding const * const enc = encodings.fromLyXName(
+                               preamble.inputencoding(), true);
+                       encoding = enc->iconvName();
+               }
        }
 
-       Parser p(is);
+       Parser p(is, fixed_encoding ? default_encoding : string());
        p.setEncoding(encoding);
        //p.dump();
 
        preamble.parse(p, documentclass, textclass);
+       list<string> removed_modules;
+       LayoutFile const & baseClass = LayoutFileList::get()[textclass.name()];
+       if (!used_modules.adaptToBaseClass(&baseClass, removed_modules)) {
+               cerr << "Could not load default modules for text class." << endl;
+               return false;
+       }
+
+       // Load preloaded modules.
+       // This needs to be done after the preamble is parsed, since the text
+       // class may not be known before. It neds to be done before parsing
+       // body, since otherwise the commands/environments provided by the
+       // modules would be parsed as ERT.
+       for (size_t i = 0; i < preloaded_modules.size(); ++i) {
+               if (!addModule(preloaded_modules[i])) {
+                       cerr << "Error: Could not load module \""
+                            << preloaded_modules[i] << "\"." << endl;
+                       return false;
+               }
+       }
+       // Ensure that the modules are not loaded again for included files
+       preloaded_modules.clear();
 
        active_environments.push_back("document");
        Context context(true, textclass);
@@ -721,7 +875,7 @@ bool tex2lyx(idocstream & is, ostream & os, string encoding)
                        preamble.addModule(*it);
        }
        if (!preamble.writeLyXHeader(os, !active_environments.empty())) {
-               cerr << "Could write LyX file header." << endl;
+               cerr << "Could not write LyX file header." << endl;
                return false;
        }
 
@@ -760,7 +914,7 @@ bool tex2lyx(FileName const & infilename, ostream & os, string const & encoding)
 } // anonymous namespace
 
 
-bool tex2lyx(string const & infilename, FileName const & outfilename, 
+bool tex2lyx(string const & infilename, FileName const & outfilename,
             string const & encoding)
 {
        if (outfilename.isReadableFile()) {
@@ -837,7 +991,7 @@ int main(int argc, char * argv[])
 
        easyParse(argc, argv);
 
-       if (argc <= 1) 
+       if (argc <= 1)
                error_message("Not enough arguments.");
 
        try {
@@ -894,19 +1048,24 @@ int main(int argc, char * argv[])
        // Read the encodings table.
        FileName const symbols_path = libFileSearch(string(), "unicodesymbols");
        if (symbols_path.empty()) {
-               cerr << "Error: Could not find file \"unicodesymbols\"." 
+               cerr << "Error: Could not find file \"unicodesymbols\"."
                     << endl;
                return EXIT_FAILURE;
        }
        FileName const enc_path = libFileSearch(string(), "encodings");
        if (enc_path.empty()) {
-               cerr << "Error: Could not find file \"encodings\"." 
+               cerr << "Error: Could not find file \"encodings\"."
                     << endl;
                return EXIT_FAILURE;
        }
        encodings.read(enc_path, symbols_path);
-       if (!default_encoding.empty() && !encodings.fromLaTeXName(default_encoding))
-               error_message("Unknown LaTeX encoding `" + default_encoding + "'");
+       if (!default_encoding.empty()) {
+               Encoding const * const enc = encodings.fromLaTeXName(
+                       default_encoding, Encoding::any, true);
+               if (!enc)
+                       error_message("Unknown LaTeX encoding `" + default_encoding + "'");
+               default_encoding = enc->iconvName();
+       }
 
        // Load the layouts
        LayoutFileList::get().read();
@@ -923,6 +1082,16 @@ int main(int argc, char * argv[])
                        return EXIT_SUCCESS;
        } else {
                masterFilePathLyX = onlyPath(outfilename);
+               if (copy_files) {
+                       FileName const path(masterFilePathLyX);
+                       if (!path.isDirectory()) {
+                               if (!path.createPath()) {
+                                       cerr << "Warning: Could not create directory for file `"
+                                            << masterFilePathLyX << "ยด." << endl;
+                                       return EXIT_FAILURE;
+                               }
+                       }
+               }
                if (roundtrip) {
                        if (tex2tex(infilename, FileName(outfilename), default_encoding))
                                return EXIT_SUCCESS;