]> git.lyx.org Git - lyx.git/blobdiff - src/support/lstrings.cpp
Use HAVE_LONG_LONG_INT instead of LYX_USE_LONG_LONG
[lyx.git] / src / support / lstrings.cpp
index a43feeba13f0625ac766c612bb11cf3f8ba3ec32..3195762a4a280fd9d0cdc5133bd21f180f098705 100644 (file)
@@ -16,6 +16,7 @@
 
 #include "support/convert.h"
 #include "support/debug.h"
+#include "support/lyxlib.h"
 #include "support/qstring_helpers.h"
 
 #include "support/lassert.h"
@@ -25,6 +26,8 @@
 #include <cstdio>
 #include <cstring>
 #include <algorithm>
+#include <iomanip>
+#include <sstream>
 #include <typeinfo>
 
 using namespace std;
@@ -76,7 +79,7 @@ inline QChar const ucs4_to_qchar(char_type const ucs4)
 
 /// Maximum valid UCS4 code point
 char_type const ucs4_max = 0x10ffff;
-} // anon namespace
+} // namespace
 
 
 bool isLetterChar(char_type c)
@@ -161,6 +164,26 @@ bool isNumber(char_type c)
 }
 
 
+bool isEuropeanNumberSeparator(char_type c)
+{
+       if (!is_utf16(c))
+               // assume that no non-utf16 character is a numeral
+               // c outside the UCS4 range is catched as well
+               return false;
+       return ucs4_to_qchar(c).direction() == QChar::DirES;
+}
+
+
+bool isEuropeanNumberTerminator(char_type c)
+{
+       if (!is_utf16(c))
+               // assume that no non-utf16 character is a numeral
+               // c outside the UCS4 range is catched as well
+               return false;
+       return ucs4_to_qchar(c).direction() == QChar::DirET;
+}
+
+
 bool isDigitASCII(char_type c)
 {
        return '0' <= c && c <= '9';
@@ -179,6 +202,18 @@ bool isASCII(char_type c)
 }
 
 
+bool isOpenPunctuation(char_type c)
+{
+       if (!is_utf16(c)) {
+               // assume that no non-utf16 character is an op
+               // c outside the UCS4 range is catched as well
+               return false;
+       }
+       QChar const qc = ucs4_to_qchar(c);
+       return qc.category() == QChar::Punctuation_Open;
+}
+
+
 namespace support {
 
 int compare_no_case(docstring const & s, docstring const & s2)
@@ -205,24 +240,7 @@ int compare_no_case(docstring const & s, docstring const & s2)
 
 int compare_locale(docstring const & s, docstring const & s2)
 {
-       // FIXME We have a report that this does not work on windows (bug 9030)
-       try
-       {
-               string const l = to_local8bit(s);
-               string const r = to_local8bit(s2);
-               return strcoll(l.c_str(), r.c_str());
-       }
-       catch (bad_cast & e)
-       {
-               // fall back to builtin sorting
-               LYXERR0("Could not compare using the current locale: "
-                       << e.what() << ", using fallback.");
-               if (s < s2)
-                       return -1;
-               if (s > s2)
-                       return 1;
-               return 0;
-       }
+       return QString::localeAwareCompare(toqstr(s), toqstr(s2));
 }
 
 
@@ -235,7 +253,7 @@ Char ascii_tolower(Char c) {
        return c;
 }
 
-}
+} // namespace
 
 
 int compare_ascii_no_case(string const & s, string const & s2)
@@ -496,7 +514,7 @@ template<typename Char> struct local_ascii_lowercase {
        Char operator()(Char c) const { return ascii_tolower(c); }
 };
 
-} // end of anon namespace
+} // namespace
 
 
 docstring const lowercase(docstring const & a)
@@ -731,6 +749,12 @@ bool containsOnly(string const & s, string const & cset)
 }
 
 
+bool containsOnly(docstring const & s, string const & cset)
+{
+       return s.find_first_not_of(from_ascii(cset)) == string::npos;
+}
+
+
 // ale970405+lasgoutt-970425
 // rewritten to use new string (Lgb)
 string const token(string const & a, char delim, int n)
@@ -888,7 +912,7 @@ docstring const subst_string(docstring const & a,
        return lstr;
 }
 
-}
+} // namespace
 
 
 string const subst(string const & a, char oldchar, char newchar)
@@ -930,7 +954,7 @@ int count_char(string const & str, char chr)
 }
 
 
-/// Count all occurences of char \a chr inside \a str
+/// Count all occurrences of char \a chr inside \a str
 int count_char(docstring const & str, docstring::value_type chr)
 {
        int count = 0;
@@ -943,6 +967,31 @@ int count_char(docstring const & str, docstring::value_type chr)
 }
 
 
+int count_bin_chars(string const & str)
+{
+       QString const qstr = toqstr(str).simplified();
+       int count = 0;
+       QString::const_iterator cit = qstr.begin();
+       QString::const_iterator end = qstr.end();
+       for (; cit != end; ++cit)  {
+               switch (cit->category()) {
+               case QChar::Separator_Line:
+               case QChar::Separator_Paragraph:
+               case QChar::Other_Control:
+               case QChar::Other_Format:
+               case QChar::Other_Surrogate:
+               case QChar::Other_PrivateUse:
+               case QChar::Other_NotAssigned:
+                       ++count;
+                       break;
+               default:
+                       break;
+               }
+       }
+       return count;
+}
+
+
 docstring const trim(docstring const & a, char const * p)
 {
        LASSERT(p, return a);
@@ -1046,18 +1095,20 @@ String const doSplit(String const & a, String & piece, Char delim)
        size_t i = a.find(delim);
        if (i == a.length() - 1) {
                piece = a.substr(0, i);
-       } else if (i != String::npos) {
-               piece = a.substr(0, i);
-               tmp = a.substr(i + 1);
        } else if (i == 0) {
                piece.erase();
                tmp = a.substr(i + 1);
+       } else if (i != String::npos) {
+               piece = a.substr(0, i);
+               tmp = a.substr(i + 1);
        } else {
                piece = a;
        }
        return tmp;
 }
 
+
+// FIXME: why is this specialization needed?
 template<typename Char> inline
 docstring const doSplit(docstring const & a, docstring & piece, Char delim)
 {
@@ -1065,19 +1116,19 @@ docstring const doSplit(docstring const & a, docstring & piece, Char delim)
        size_t i = a.find(delim);
        if (i == a.length() - 1) {
                piece = a.substr(0, i);
-       } else if (i != docstring::npos) {
-               piece = a.substr(0, i);
-               tmp = a.substr(i + 1);
        } else if (i == 0) {
                piece.erase();
                tmp = a.substr(i + 1);
+       } else if (i != docstring::npos) {
+               piece = a.substr(0, i);
+               tmp = a.substr(i + 1);
        } else {
                piece = a;
        }
        return tmp;
 }
 
-} // anon
+} // namespace
 
 
 string const split(string const & a, string & piece, char delim)
@@ -1149,7 +1200,8 @@ docstring const escape(docstring const & lab)
        for (size_t i = 0; i < lab.length(); ++i) {
                char_type c = lab[i];
                if (c >= 128 || c == '=' || c == '%' || c == '#' || c == '$'
-                   || c == '}' || c == '{' || c == ']' || c == '[' || c == '&') {
+                   || c == '}' || c == '{' || c == ']' || c == '[' || c == '&'
+                   || c == '\\') {
                        // Although char_type is a 32 bit type we know that
                        // UCS4 occupies only 21 bits, so we don't need to
                        // encode bigger values. Test for 2^24 because we
@@ -1171,6 +1223,27 @@ docstring const escape(docstring const & lab)
 }
 
 
+docstring const protectArgument(docstring & arg, char const l,
+                         char const r)
+{
+       if (contains(arg, l) || contains(arg, r))
+               // protect brackets
+               arg = '{' + arg + '}';
+       return arg;
+}
+
+
+bool truncateWithEllipsis(docstring & str, size_t const len)
+{
+       if (str.size() <= len)
+               return false;
+       str.resize(len);
+       if (len > 0)
+               str[len - 1] = 0x2026;// HORIZONTAL ELLIPSIS
+       return true;
+}
+
+
 namespace {
 
 // this doesn't check whether str is empty, so do that first.
@@ -1194,7 +1267,7 @@ vector<docstring> wrapToVec(docstring const & str, int ind,
                size_t const i = s.find_last_of(' ', width - 1);
                if (i == docstring::npos || i <= size_t(ind)) {
                        // no space found
-                       s = s.substr(0, width - 3) + "...";
+                       truncateWithEllipsis(s, width);
                        break;
                }
                retval.push_back(s.substr(0, i));
@@ -1206,7 +1279,7 @@ vector<docstring> wrapToVec(docstring const & str, int ind,
        return retval;
 }
 
-}
+} // namespace
 
 
 docstring wrap(docstring const & str, int const ind, size_t const width)
@@ -1223,7 +1296,6 @@ docstring wrap(docstring const & str, int const ind, size_t const width)
 docstring wrapParas(docstring const & str, int const indent,
                    size_t const width, size_t const maxlines)
 {
-       docstring const dots = from_ascii("...");
        if (str.empty())
                return docstring();
 
@@ -1242,15 +1314,15 @@ docstring wrapParas(docstring const & str, int const indent,
                        tmp.resize(maxlines - curlines);
                        docstring last = tmp.back();
                        size_t const lsize = last.size();
-                       if (lsize > width - 3) {
-                               size_t const i = last.find_last_of(' ', width - 3);
+                       if (lsize > width - 1) {
+                               size_t const i = last.find_last_of(' ', width - 1);
                                if (i == docstring::npos || i <= size_t(indent))
                                        // no space found
-                                       last = last.substr(0, lsize - 3) + dots;
+                                       truncateWithEllipsis(last, lsize);
                                else
-                                       last = last.substr(0, i) + dots;
+                                       truncateWithEllipsis(last, i);
                        } else
-                               last += dots;
+                               last.push_back(0x2026);//HORIZONTAL ELLIPSIS
                        tmp.pop_back();
                        tmp.push_back(last);
                }
@@ -1265,7 +1337,8 @@ docstring wrapParas(docstring const & str, int const indent,
 namespace {
 
 template<typename String> vector<String> const
-getVectorFromStringT(String const & str, String const & delim, bool keepempty)
+getVectorFromStringT(String const & str, String const & delim,
+                     bool keepempty, bool trimit)
 {
 // Lars would like this code to go, but for now his replacement (below)
 // doesn't fullfil the same function. I have, therefore, reactivated the
@@ -1274,14 +1347,15 @@ getVectorFromStringT(String const & str, String const & delim, bool keepempty)
        vector<String> vec;
        if (str.empty())
                return vec;
-       String keys = rtrim(str);
+       String keys = trimit ? rtrim(str) : str;
        while (true) {
                size_t const idx = keys.find(delim);
                if (idx == String::npos) {
-                       vec.push_back(ltrim(keys));
+                       vec.push_back(trimit ? ltrim(keys) : keys);
                        break;
                }
-               String const key = trim(keys.substr(0, idx));
+               String const key = trimit ?
+                       trim(keys.substr(0, idx)) : keys.substr(0, idx);
                if (!key.empty() || keepempty)
                        vec.push_back(key);
                size_t const start = idx + delim.size();
@@ -1315,22 +1389,20 @@ template<typename String> const String
        return str;
 }
 
-} // namespace anon
+} // namespace
 
 
 vector<string> const getVectorFromString(string const & str,
-                                        string const & delim,
-                                        bool keepempty)
+        string const & delim, bool keepempty, bool trimit)
 {
-       return getVectorFromStringT<string>(str, delim, keepempty);
+       return getVectorFromStringT<string>(str, delim, keepempty, trimit);
 }
 
 
 vector<docstring> const getVectorFromString(docstring const & str,
-                                           docstring const & delim,
-                                           bool keepempty)
+        docstring const & delim, bool keepempty, bool trimit)
 {
-       return getVectorFromStringT<docstring>(str, delim, keepempty);
+       return getVectorFromStringT<docstring>(str, delim, keepempty, trimit);
 }
 
 
@@ -1360,7 +1432,33 @@ int findToken(char const * const str[], string const & search_token)
 }
 
 
-template<>
+std::string formatFPNumber(double x)
+{
+       // Need manual tweaking, QString::number(x, 'f', 16) does not work either
+       ostringstream os;
+       os << std::fixed;
+       // Prevent outputs of 23.4200000000000017 but output small numbers
+       // with at least 6 significant digits.
+       double const logarithm = log10(fabs(x));
+       os << std::setprecision(max(6 - iround(logarithm), 0)) << x;
+       string result = os.str();
+       if (result.find('.') != string::npos) {
+               result = rtrim(result, "0");
+               if (result[result.length()-1] == '.')
+                       result = rtrim(result, ".");
+       }
+       return result;
+}
+
+
+docstring to_percent_encoding(docstring const & in, docstring const & ex)
+{
+       QByteArray input = toqstr(in).toUtf8();
+       QByteArray excludes = toqstr(ex).toUtf8();
+       return qstring_to_ucs4(QString(input.toPercentEncoding(excludes)));
+}
+
+
 docstring bformat(docstring const & fmt, int arg1)
 {
        LATTEST(contains(fmt, from_ascii("%1$d")));
@@ -1369,7 +1467,6 @@ docstring bformat(docstring const & fmt, int arg1)
 }
 
 
-template<>
 docstring bformat(docstring const & fmt, long arg1)
 {
        LATTEST(contains(fmt, from_ascii("%1$d")));
@@ -1378,7 +1475,16 @@ docstring bformat(docstring const & fmt, long arg1)
 }
 
 
-template<>
+#ifdef HAVE_LONG_LONG_INT
+docstring bformat(docstring const & fmt, long long arg1)
+{
+       LATTEST(contains(fmt, from_ascii("%1$d")));
+       docstring const str = subst(fmt, from_ascii("%1$d"), convert<docstring>(arg1));
+       return subst(str, from_ascii("%%"), from_ascii("%"));
+}
+#endif
+
+
 docstring bformat(docstring const & fmt, unsigned int arg1)
 {
        LATTEST(contains(fmt, from_ascii("%1$d")));
@@ -1387,8 +1493,7 @@ docstring bformat(docstring const & fmt, unsigned int arg1)
 }
 
 
-template<>
-docstring bformat(docstring const & fmt, docstring arg1)
+docstring bformat(docstring const & fmt, docstring const & arg1)
 {
        LATTEST(contains(fmt, from_ascii("%1$s")));
        docstring const str = subst(fmt, from_ascii("%1$s"), arg1);
@@ -1396,7 +1501,6 @@ docstring bformat(docstring const & fmt, docstring arg1)
 }
 
 
-template<>
 docstring bformat(docstring const & fmt, char * arg1)
 {
        LATTEST(contains(fmt, from_ascii("%1$s")));
@@ -1405,8 +1509,7 @@ docstring bformat(docstring const & fmt, char * arg1)
 }
 
 
-template<>
-docstring bformat(docstring const & fmt, docstring arg1, docstring arg2)
+docstring bformat(docstring const & fmt, docstring const & arg1, docstring const & arg2)
 {
        LATTEST(contains(fmt, from_ascii("%1$s")));
        LATTEST(contains(fmt, from_ascii("%2$s")));
@@ -1416,8 +1519,7 @@ docstring bformat(docstring const & fmt, docstring arg1, docstring arg2)
 }
 
 
-template<>
-docstring bformat(docstring const & fmt, docstring arg1, int arg2)
+docstring bformat(docstring const & fmt, docstring const & arg1, int arg2)
 {
        LATTEST(contains(fmt, from_ascii("%1$s")));
        LATTEST(contains(fmt, from_ascii("%2$d")));
@@ -1427,18 +1529,16 @@ docstring bformat(docstring const & fmt, docstring arg1, int arg2)
 }
 
 
-template<>
-docstring bformat(docstring const & fmt, char const * arg1, docstring arg2)
+docstring bformat(docstring const & fmt, char const * arg1, docstring const & arg2)
 {
        LATTEST(contains(fmt, from_ascii("%1$s")));
        LATTEST(contains(fmt, from_ascii("%2$s")));
        docstring str = subst(fmt, from_ascii("%1$s"), from_ascii(arg1));
-       str = subst(fmt, from_ascii("%2$s"), arg2);
+       str = subst(str, from_ascii("%2$s"), arg2);
        return subst(str, from_ascii("%%"), from_ascii("%"));
 }
 
 
-template<>
 docstring bformat(docstring const & fmt, int arg1, int arg2)
 {
        LATTEST(contains(fmt, from_ascii("%1$d")));
@@ -1449,8 +1549,7 @@ docstring bformat(docstring const & fmt, int arg1, int arg2)
 }
 
 
-template<>
-docstring bformat(docstring const & fmt, docstring arg1, docstring arg2, docstring arg3)
+docstring bformat(docstring const & fmt, docstring const & arg1, docstring const & arg2, docstring const & arg3)
 {
        LATTEST(contains(fmt, from_ascii("%1$s")));
        LATTEST(contains(fmt, from_ascii("%2$s")));
@@ -1462,18 +1561,34 @@ docstring bformat(docstring const & fmt, docstring arg1, docstring arg2, docstri
 }
 
 
-template<>
 docstring bformat(docstring const & fmt,
-              docstring arg1, docstring arg2, docstring arg3, docstring arg4)
+              docstring const & arg1, docstring const & arg2, docstring const & arg3, docstring const & arg4)
+{
+       LATTEST(contains(fmt, from_ascii("%1$s")));
+       LATTEST(contains(fmt, from_ascii("%2$s")));
+       LATTEST(contains(fmt, from_ascii("%3$s")));
+       LATTEST(contains(fmt, from_ascii("%4$s")));
+       docstring str = subst(fmt, from_ascii("%1$s"), arg1);
+       str = subst(str, from_ascii("%2$s"), arg2);
+       str = subst(str, from_ascii("%3$s"), arg3);
+       str = subst(str, from_ascii("%4$s"), arg4);
+       return subst(str, from_ascii("%%"), from_ascii("%"));
+}
+
+docstring bformat(docstring const & fmt, docstring const & arg1,
+                                 docstring const & arg2, docstring const & arg3,
+                                 docstring const & arg4, docstring const & arg5)
 {
        LATTEST(contains(fmt, from_ascii("%1$s")));
        LATTEST(contains(fmt, from_ascii("%2$s")));
        LATTEST(contains(fmt, from_ascii("%3$s")));
        LATTEST(contains(fmt, from_ascii("%4$s")));
+       LATTEST(contains(fmt, from_ascii("%5$s")));
        docstring str = subst(fmt, from_ascii("%1$s"), arg1);
        str = subst(str, from_ascii("%2$s"), arg2);
        str = subst(str, from_ascii("%3$s"), arg3);
        str = subst(str, from_ascii("%4$s"), arg4);
+       str = subst(str, from_ascii("%5$s"), arg5);
        return subst(str, from_ascii("%%"), from_ascii("%"));
 }