]> git.lyx.org Git - lyx.git/blobdiff - src/support/filetools.cpp
Refactor runCommand
[lyx.git] / src / support / filetools.cpp
index 657343fb935b17b92915a442ba5c6437a797a9d3..151d78c56841fc03cd3eecac822cfa31aff072b3 100644 (file)
 
 #include <config.h>
 
+#include "LyX.h"
 #include "LyXRC.h"
 
 #include "support/filetools.h"
 
+#include "support/convert.h"
 #include "support/debug.h"
 #include "support/environment.h"
 #include "support/gettext.h"
@@ -35,9 +37,9 @@
 #include "support/PathChanger.h"
 #include "support/Systemcall.h"
 #include "support/qstring_helpers.h"
+#include "support/TempFile.h"
 
 #include <QDir>
-#include <QTemporaryFile>
 
 #include "support/lassert.h"
 #include "support/regex.h"
@@ -51,6 +53,7 @@
 #endif
 
 #include <cerrno>
+#include <climits>
 #include <cstdlib>
 #include <cstdio>
 
@@ -107,7 +110,7 @@ bool isBinaryFile(FileName const & filename)
        magic_t magic_cookie = magic_open(MAGIC_MIME_ENCODING);
        if (magic_cookie) {
                bool detected = true;
-               if (magic_load(magic_cookie, NULL) != 0) {
+               if (magic_load(magic_cookie, nullptr) != 0) {
                        LYXERR(Debug::FILES, "isBinaryFile: "
                                "Could not load magic database - "
                                << magic_error(magic_cookie));
@@ -353,25 +356,20 @@ FileName const libFileSearch(string const & dir, string const & name,
 FileName const i18nLibFileSearch(string const & dir, string const & name,
                  string const & ext)
 {
-       /* The highest priority value is the `LANGUAGE' environment
-          variable. But we don't use the value if the currently
-          selected locale is the C locale. This is a GNU extension.
-
-          Otherwise, w use a trick to guess what support/gettext.has done:
-          each po file is able to tell us its name. (JMarc)
-       */
-
+       // if the LANGUAGE variable is set, use it as a fallback for searching for files.
        string lang = getGuiMessages().language();
        string const language = getEnv("LANGUAGE");
-       if (!lang.empty() && !language.empty())
-               lang = language;
+       if (!language.empty())
+               lang += ":" + language;
 
-       string l;
-       lang = split(lang, l, ':');
-       while (!l.empty()) {
+       for (auto const & l : getVectorFromString(lang, ":")) {
                FileName tmp;
                // First try with the full name
-               tmp = libFileSearch(addPath(dir, l), name, ext);
+               // `en' files are not in a subdirectory
+               if (l == "en")
+                       tmp = libFileSearch(dir, name, ext);
+               else
+                       tmp = libFileSearch(addPath(dir, l), name, ext);
                if (!tmp.empty())
                        return tmp;
 
@@ -382,18 +380,6 @@ FileName const i18nLibFileSearch(string const & dir, string const & name,
                        if (!tmp.empty())
                                return tmp;
                }
-
-#if 1
-               // For compatibility, to be removed later (JMarc)
-               tmp = libFileSearch(dir, token(l, '_', 0) + '_' + name,
-                                   ext);
-               if (!tmp.empty()) {
-                       lyxerr << "i18nLibFileSearch: File `" << tmp
-                              << "' has been found by the old method" <<endl;
-                       return tmp;
-               }
-#endif
-               lang = split(lang, l, ':');
        }
 
        return libFileSearch(dir, name, ext);
@@ -456,25 +442,64 @@ string const commandPrep(string const & command_in)
 }
 
 
-static string createTempFile(QString const & mask)
+FileName const tempFileName(FileName tempdir, string const & mask, bool const dir)
+{
+       return tempFileName(TempFile(tempdir, mask).name(), dir);
+}
+
+
+FileName const tempFileName(string const & mask, bool const dir)
 {
-       // FIXME: This is not safe. QTemporaryFile creates a file in open(),
-       //        but the file is deleted when qt_tmp goes out of scope.
-       //        Therefore the next call to createTempFile() may create the
-       //        same file again. To make this safe the QTemporaryFile object
-       //        needs to be kept for the whole life time of the temp file name.
-       //        This could be achieved by creating a class TempDir (like
-       //        TempFile, but using a currentlky non-existing
-       //        QTemporaryDirectory object).
-       QTemporaryFile qt_tmp(mask + ".XXXXXXXXXXXX");
-       if (qt_tmp.open()) {
-               string const temp_file = fromqstr(qt_tmp.fileName());
-               LYXERR(Debug::FILES, "Temporary file `" << temp_file << "' created.");
-               return temp_file;
+       return tempFileName(TempFile(mask).name(), dir);
+}
+
+
+FileName const tempFileName(FileName tempfile, bool const dir)
+{
+       // Since the QTemporaryFile object is destroyed at function return
+       // (which is what is intended here), the next call to this function
+       // may return the same file name again.
+       // Thus, in order to prevent race conditions, we track returned names
+       // and create our own unique names if QTemporaryFile returns a name again.
+       if (tmp_names_.find(tempfile.absFileName()) == tmp_names_.end()) {
+               tmp_names_.insert(tempfile.absFileName());
+               return tempfile;
        }
-       LYXERR(Debug::FILES, "Unable to create temporary file with following template: "
-                       << qt_tmp.fileTemplate());
-       return string();
+
+       // OK, we need another name. Simply append digits.
+       FileName tmp = tempfile;
+       string ext;
+       if (!dir) {
+               // Store and remove extensions
+               ext = "." + tempfile.extension();
+               tmp.changeExtension("");
+       }
+       for (int i = 1; i < INT_MAX ;++i) {
+               // Append digit to filename and re-add extension
+               string const new_fn =
+                       tmp.absFileName() + convert<string>(i) + ext;
+               if (tmp_names_.find(new_fn) == tmp_names_.end()) {
+                       tmp_names_.insert(new_fn);
+                       tempfile.set(new_fn);
+                       return tempfile;
+               }
+       }
+
+       // This should not happen!
+       LYXERR0("tempFileName(): Could not create unique temp file name!");
+       return tempfile;
+}
+
+
+void removeTempFile(FileName const & fn)
+{
+       if (!fn.exists())
+               return;
+
+       string const abs = fn.absFileName();
+       if (tmp_names_.find(abs) != tmp_names_.end())
+               tmp_names_.erase(abs);
+       fn.removeFile();
 }
 
 
@@ -484,7 +509,9 @@ static FileName createTmpDir(FileName const & tempdir, string const & mask)
                << "createTmpDir:    mask=`" << mask << '\'');
 
        QFileInfo tmp_fi(QDir(toqstr(tempdir.absFileName())), toqstr(mask));
-       FileName const tmpfl(createTempFile(tmp_fi.absoluteFilePath()));
+       FileName const tmpfl =
+               tempFileName(FileName(fromqstr(tmp_fi.absolutePath())),
+                            fromqstr(tmp_fi.fileName()) + ".XXXXXXXXXXXX", true);
 
        if (tmpfl.empty() || !tmpfl.createDirectory(0700)) {
                LYXERR0("LyX could not create temporary directory in " << tempdir
@@ -620,7 +647,7 @@ string const addName(string const & path, string const & fname)
 
        if (path != "." && path != "./" && !path.empty()) {
                buf = os::internal_path(path);
-               if (!suffixIs(path, '/'))
+               if (!suffixIs(buf, '/'))
                        buf += '/';
        }
 
@@ -643,35 +670,6 @@ string const onlyFileName(string const & fname)
 }
 
 
-// Create absolute path. If impossible, don't do anything
-// Supports ./ and ~/. Later we can add support for ~logname/. (Asger)
-string const expandPath(string const & path)
-{
-       // checks for already absolute path
-       string rTemp = replaceEnvironmentPath(path);
-       if (FileName::isAbsolute(rTemp))
-               return rTemp;
-
-       string temp;
-       string const copy = rTemp;
-
-       // Split by next /
-       rTemp = split(rTemp, temp, '/');
-
-       if (temp == ".")
-               return FileName::getcwd().absFileName() + '/' + rTemp;
-
-       if (temp == "~")
-               return Package::get_home_dir().absFileName() + '/' + rTemp;
-
-       if (temp == "..")
-               return makeAbsPath(copy).absFileName();
-
-       // Don't know how to handle this
-       return copy;
-}
-
-
 // Search the string for ${VAR} and $VAR and replace VAR using getenv.
 string const replaceEnvironmentPath(string const & path)
 {
@@ -683,19 +681,27 @@ string const replaceEnvironmentPath(string const & path)
        // $[A-Za-z_][A-Za-z_0-9]*
        static string const envvar = "[$]([A-Za-z_][A-Za-z_0-9]*)";
 
-       static regex const envvar_br_re("(.*)" + envvar_br + "(.*)");
-       static regex const envvar_re("(.*)" + envvar + "(.*)");
-       string result = path;
-       while (1) {
-               smatch what;
-               if (!regex_match(result, what, envvar_br_re)) {
-                       if (!regex_match(result, what, envvar_re))
-                               break;
+       // Coverity thinks that the regex constructor can return an
+       // exception. We know that it is not true since our regex are
+       // hardcoded, but we have to protect against that nevertheless.
+       try {
+               static regex const envvar_br_re("(.*)" + envvar_br + "(.*)");
+               static regex const envvar_re("(.*)" + envvar + "(.*)");
+               string result = path;
+               while (1) {
+                       smatch what;
+                       if (!regex_match(result, what, envvar_br_re)) {
+                               if (!regex_match(result, what, envvar_re))
+                                       break;
+                       }
+                       string env_var = getEnv(what.str(2));
+                       result = what.str(1) + env_var + what.str(3);
                }
-               string env_var = getEnv(what.str(2));
-               result = what.str(1) + env_var + what.str(3);
+               return result;
+       } catch (exception const & e) {
+               LYXERR0("Something is very wrong: " << e.what());
+               return path;
        }
-       return result;
 }
 
 
@@ -922,9 +928,9 @@ FileName const unzipFile(FileName const & zipped_file, string const & unzipped_f
                unzippedFileName(zipped_file.toFilesystemEncoding()) :
                unzipped_file);
        // Run gunzip
-       string const command = "gunzip -c " +
-               zipped_file.toFilesystemEncoding() + " > " +
-               tempfile.toFilesystemEncoding();
+       string const command = "gunzip -c \"" +
+               zipped_file.toFilesystemEncoding() + "\" > \"" +
+               tempfile.toFilesystemEncoding() + "\"";
        Systemcall one;
        one.startscript(Systemcall::Wait, command);
        // test that command was executed successfully (anon)
@@ -937,6 +943,9 @@ docstring const makeDisplayPath(string const & path, unsigned int threshold)
 {
        string str = path;
 
+       // Recode URL encoded chars.
+       str = from_percent_encoding(str);
+
        // If file is from LyXDir, display it as if it were relative.
        string const system = package().system_support().absFileName();
        if (prefixIs(str, system) && str != system)
@@ -1023,6 +1032,11 @@ cmd_ret const runCommand(string const & cmd)
        // pstream (process stream), with the
        // variants ipstream, opstream
 
+       if (verbose)
+               lyxerr << "\nRunning: " << cmd << endl;
+       else
+               LYXERR(Debug::INFO,"Running: " << cmd);
+
 #if defined (_WIN32)
        STARTUPINFO startup;
        PROCESS_INFORMATION process;
@@ -1037,7 +1051,7 @@ cmd_ret const runCommand(string const & cmd)
                command = rtrim(command, "2>&1");
                err2out = true;
        }
-       string const cmdarg = "/d /c " + command;
+       string const cmdarg = "/d /c \"" + command + "\"";
        string const comspec = getEnv("COMSPEC");
 
        security.nLength = sizeof(SECURITY_ATTRIBUTES);
@@ -1065,7 +1079,7 @@ cmd_ret const runCommand(string const & cmd)
                                0, 0, &startup, &process)) {
 
                        CloseHandle(process.hThread);
-                       int fno = _open_osfhandle(static_cast<intptr_t>(in), _O_RDONLY);
+                       int fno = _open_osfhandle((intptr_t)in, _O_RDONLY);
                        CloseHandle(out);
                        inf = _fdopen(fno, "r");
                }
@@ -1081,38 +1095,45 @@ cmd_ret const runCommand(string const & cmd)
        // (Claus Hentschel) Check if popen was successful ;-)
        if (!inf) {
                lyxerr << "RunCommand:: could not start child process" << endl;
-               return make_pair(-1, string());
+               return { false, string() };
        }
 
-       string ret;
+       string result;
        int c = fgetc(inf);
        while (c != EOF) {
-               ret += static_cast<char>(c);
+               result += static_cast<char>(c);
                c = fgetc(inf);
        }
 
 #if defined (_WIN32)
        WaitForSingleObject(process.hProcess, INFINITE);
+       DWORD pret;
+       BOOL success = GetExitCodeProcess(process.hProcess, &pret);
+       bool valid = (pret == 0) && success;
        if (!infile.empty())
                CloseHandle(startup.hStdInput);
        CloseHandle(process.hProcess);
-       int const pret = fclose(inf);
+       if (fclose(inf) != 0)
+               valid = false;
 #elif defined (HAVE_PCLOSE)
        int const pret = pclose(inf);
+       bool const valid = (pret != -1);
 #elif defined (HAVE__PCLOSE)
        int const pret = _pclose(inf);
+       bool const valid = (pret != -1);
 #else
 #error No pclose() function.
 #endif
 
-       if (pret == -1)
+       if (!valid)
                perror("RunCommand:: could not terminate child process");
 
-       return make_pair(pret, ret);
+       return { valid, result };
 }
 
 
-FileName const findtexfile(string const & fil, string const & /*format*/)
+FileName const findtexfile(string const & fil, string const & /*format*/,
+                                                  bool const onlykpse)
 {
        /* There is no problem to extend this function too use other
           methods to look for files. It could be setup to look
@@ -1125,9 +1146,11 @@ FileName const findtexfile(string const & fil, string const & /*format*/)
 
        // If the file can be found directly, we just return a
        // absolute path version of it.
-       FileName const absfile(makeAbsPath(fil));
-       if (absfile.exists())
-               return absfile;
+       if (!onlykpse) {
+               FileName const absfile(makeAbsPath(fil));
+               if (absfile.exists())
+                       return absfile;
+       }
 
        // Now we try to find it using kpsewhich.
        // It seems from the kpsewhich manual page that it is safe to use
@@ -1138,7 +1161,7 @@ FileName const findtexfile(string const & fil, string const & /*format*/)
        // is used."
        // However, we want to take advantage of the format sine almost all
        // the different formats has environment variables that can be used
-       // to controll which paths to search. f.ex. bib looks in
+       // to control which paths to search. f.ex. bib looks in
        // BIBINPUTS and TEXBIB. Small list follows:
        // bib - BIBINPUTS, TEXBIB
        // bst - BSTINPUTS
@@ -1153,10 +1176,10 @@ FileName const findtexfile(string const & fil, string const & /*format*/)
 
        cmd_ret const c = runCommand(kpsecmd);
 
-       LYXERR(Debug::LATEX, "kpse status = " << c.first << '\n'
-                << "kpse result = `" << rtrim(c.second, "\n\r") << '\'');
-       if (c.first != -1)
-               return FileName(rtrim(to_utf8(from_filesystem8bit(c.second)), "\n\r"));
+       LYXERR(Debug::LATEX, "kpse status = " << c.valid << '\n'
+                << "kpse result = `" << rtrim(c.result, "\n\r") << '\'');
+       if (c.valid)
+               return FileName(rtrim(to_utf8(from_filesystem8bit(c.result)), "\n\r"));
        else
                return FileName();
 }
@@ -1202,7 +1225,7 @@ bool prefs2prefs(FileName const & filename, FileName const & tempfile, bool lfun
        LYXERR(Debug::FILES, "Running `" << command_str << '\'');
 
        cmd_ret const ret = runCommand(command_str);
-       if (ret.first != 0) {
+       if (!ret.valid) {
                LYXERR0("Could not run file conversion script prefs2prefs.py.");
                return false;
        }