]> git.lyx.org Git - lyx.git/blobdiff - src/BiblioInfo.cpp
Improve info display for biblatex databases
[lyx.git] / src / BiblioInfo.cpp
index bb971628e5f1334d1bd7ccd36b6c7d16f690a49a..c85eabd5e75ee5ddc605d41a65655d8222d3b38f 100644 (file)
@@ -255,7 +255,8 @@ BibTeXInfo::BibTeXInfo(docstring const & key, docstring const & type)
 {}
 
 
-docstring const BibTeXInfo::getAbbreviatedAuthor(bool jurabib_style) const
+docstring const BibTeXInfo::getAbbreviatedAuthor(
+    Buffer const * buf, bool jurabib_style) const
 {
        if (!is_bibtex_) {
                docstring const opt = label();
@@ -271,9 +272,9 @@ docstring const BibTeXInfo::getAbbreviatedAuthor(bool jurabib_style) const
                return authors;
        }
 
-       docstring author = convertLaTeXCommands(operator[]("author"));
+       docstring author = operator[]("author");
        if (author.empty()) {
-               author = convertLaTeXCommands(operator[]("editor"));
+               author = operator[]("editor");
                if (author.empty())
                        return author;
        }
@@ -291,40 +292,50 @@ docstring const BibTeXInfo::getAbbreviatedAuthor(bool jurabib_style) const
                        + "/" + familyName(authors[1]);
                if (authors.size() == 3)
                        shortauthor += "/" + familyName(authors[2]);
-               return shortauthor;
+               return convertLaTeXCommands(shortauthor);
        }
 
-       if (authors.size() == 2 && authors[1] != "others")
-               return bformat(from_ascii("%1$s and %2$s"),
-                       familyName(authors[0]), familyName(authors[1]));
-
-       if (authors.size() >= 2)
-               return bformat(from_ascii("%1$s et al."),
-                       familyName(authors[0]));
-
-       return familyName(authors[0]);
-}
-
+       docstring retval = familyName(authors[0]);
+
+       if (authors.size() == 2 && authors[1] != "others") {
+               docstring const dformat = buf ? 
+                       buf->B_("%1$s and %2$s") : from_ascii("%1$s and %2$s");
+               retval = bformat(dformat, familyName(authors[0]), familyName(authors[1]));
+       } else if (authors.size() >= 2) {
+               // we get here either if the author list is longer than two names
+               // or if the second 'name' is "others". we do the same thing either
+               // way.
+               docstring const dformat = buf ? 
+                       buf->B_("%1$s et al.") : from_ascii("%1$s et al.");
+               retval = bformat(dformat, familyName(authors[0]));
+       }
 
-docstring const BibTeXInfo::getAbbreviatedAuthor(Buffer const & buf, bool jurabib_style) const
-{
-       docstring const author = getAbbreviatedAuthor(jurabib_style);
-       if (!is_bibtex_)
-               return author;
-       vector<docstring> const authors = getVectorFromString(author, from_ascii(" and "));
-       if (authors.size() == 2)
-               return bformat(buf.B_("%1$s and %2$s"), authors[0], authors[1]);
-       docstring::size_type const idx = author.rfind(from_ascii(" et al."));
-       if (idx != docstring::npos)
-               return bformat(buf.B_("%1$s et al."), author.substr(0, idx));
-       return author;
+       return convertLaTeXCommands(retval);
 }
 
 
 docstring const BibTeXInfo::getYear() const
 {
-       if (is_bibtex_)
-               return operator[]("year");
+       if (is_bibtex_) {
+               // first try legacy year field
+               docstring year = operator[]("year");
+               if (!year.empty())
+                       return year;
+               // now try biblatex's date field
+               year = operator[]("date");
+               // Format is [-]YYYY-MM-DD*/[-]YYYY-MM-DD*
+               // We only want the years.
+               static regex const yreg("[-]?([\\d]{4}).*");
+               static regex const ereg(".*/([\\d]{4}).*");
+               smatch sm;
+               string const date = to_utf8(year);
+               regex_match(date, sm, yreg);
+               year = from_ascii(sm[1]);
+               // check for an endyear
+               if (regex_match(date, sm, ereg))
+                       year += char_type(0x2013) + from_ascii(sm[1]);
+               return year;
+       }
 
        docstring const opt = label();
        if (opt.empty())
@@ -351,37 +362,38 @@ docstring const BibTeXInfo::getXRef() const
 
 namespace {
 
-string parseOptions(string const & format, string & optkey,
-                   string & ifpart, string & elsepart);
+docstring parseOptions(docstring const & format, string & optkey,
+                   docstring & ifpart, docstring & elsepart);
 
 // Calls parseOptions to deal with an embedded option, such as:
 //   {%number%[[, no.~%number%]]}
 // which must appear at the start of format. ifelsepart gets the
 // whole of the option, and we return what's left after the option.
 // we return format if there is an error.
-string parseEmbeddedOption(string const & format, string & ifelsepart)
+docstring parseEmbeddedOption(docstring const & format, docstring & ifelsepart)
 {
        LASSERT(format[0] == '{' && format[1] == '%', return format);
        string optkey;
-       string ifpart;
-       string elsepart;
-       string const rest = parseOptions(format, optkey, ifpart, elsepart);
+       docstring ifpart;
+       docstring elsepart;
+       docstring const rest = parseOptions(format, optkey, ifpart, elsepart);
        if (format == rest) { // parse error
                LYXERR0("ERROR! Couldn't parse `" << format <<"'.");
                return format;
        }
-       LASSERT(rest.size() <= format.size(), /* */);
+       LASSERT(rest.size() <= format.size(),
+               { ifelsepart = docstring(); return format; });
        ifelsepart = format.substr(0, format.size() - rest.size());
-               return rest;
+       return rest;
 }
 
 
 // Gets a "clause" from a format string, where the clause is
 // delimited by '[[' and ']]'. Returns what is left after the
 // clause is removed, and returns format if there is an error.
-string getClause(string const & format, string & clause)
+docstring getClause(docstring const & format, docstring & clause)
 {
-       string fmt = format;
+       docstring fmt = format;
        // remove '[['
        fmt = fmt.substr(2);
        // we'll remove characters from the front of fmt as we
@@ -394,8 +406,8 @@ string getClause(string const & format, string & clause)
                }
                // check for an embedded option
                if (fmt[0] == '{' && fmt.size() > 1 && fmt[1] == '%') {
-                       string part;
-                       string const rest = parseEmbeddedOption(fmt, part);
+                       docstring part;
+                       docstring const rest = parseEmbeddedOption(fmt, part);
                        if (fmt == rest) {
                                LYXERR0("ERROR! Couldn't parse embedded option in `" << format <<"'.");
                                return format;
@@ -415,18 +427,18 @@ string getClause(string const & format, string & clause)
 // format parameter. puts the parsed bits in optkey, ifpart, and
 // elsepart and returns what's left after the option is removed.
 // if there's an error, it returns format itself.
-string parseOptions(string const & format, string & optkey,
-                   string & ifpart, string & elsepart)
+docstring parseOptions(docstring const & format, string & optkey,
+                   docstring & ifpart, docstring & elsepart)
 {
        LASSERT(format[0] == '{' && format[1] == '%', return format);
        // strip '{%'
-       string fmt = format.substr(2);
+       docstring fmt = format.substr(2);
        size_t pos = fmt.find('%'); // end of key
        if (pos == string::npos) {
                LYXERR0("Error parsing  `" << format <<"'. Can't find end of key.");
                return format;
        }
-       optkey = fmt.substr(0,pos);
+       optkey = to_utf8(fmt.substr(0, pos));
        fmt = fmt.substr(pos + 1);
        // [[format]] should be next
        if (fmt[0] != '[' || fmt[1] != '[') {
@@ -434,7 +446,7 @@ string parseOptions(string const & format, string & optkey,
                return format;
        }
 
-       string curfmt = fmt;
+       docstring curfmt = fmt;
        fmt = getClause(curfmt, ifpart);
        if (fmt == curfmt) {
                LYXERR0("Error parsing  `" << format <<"'. Couldn't get if clause.");
@@ -463,24 +475,37 @@ string parseOptions(string const & format, string & optkey,
 
 } // anon namespace
 
-
-docstring BibTeXInfo::expandFormat(string const & format,
+/* FIXME
+Bug #9131 revealed an oddity in how we are generating citation information
+when more than one key is given. We end up building a longer and longer format 
+string as we go, which we then have to re-parse, over and over and over again,
+rather than generating the information for the individual keys and then putting
+all of that together. We do that to deal with the way separators work, from what
+I can tell, but it still feels like a hack. Fixing this would require quite a
+bit of work, however.
+*/
+docstring BibTeXInfo::expandFormat(docstring const & format,
                BibTeXInfo const * const xref, int & counter, Buffer const & buf,
                docstring before, docstring after, docstring dialog, bool next) const
 {
        // incorrect use of macros could put us in an infinite loop
-       static int max_passes = 5000;
-       docstring ret; // return value
+       static int const max_passes = 5000;
+       // the use of overly large keys can lead to performance problems, due
+       // to eventual attempts to convert LaTeX macros to unicode. See bug
+       // #8944. This is perhaps not the best solution, but it will have to
+       // do for now.
+       static size_t const max_keysize = 128;
+       odocstringstream ret; // return value
        string key;
        bool scanning_key = false;
        bool scanning_rich = false;
 
        CiteEngineType const engine_type = buf.params().citeEngineType();
-       string fmt = format;
+       docstring fmt = format;
        // we'll remove characters from the front of fmt as we
        // deal with them
        while (!fmt.empty()) {
-               if (counter++ > max_passes) {
+               if (counter > max_passes) {
                        LYXERR0("Recursion limit reached while parsing `"
                                << format << "'.");
                        return _("ERROR!");
@@ -497,7 +522,8 @@ docstring BibTeXInfo::expandFormat(string const & format,
                                        // macro
                                        string const val =
                                                buf.params().documentClass().getCiteMacro(engine_type, key);
-                                       fmt = val + fmt.substr(1);
+                                       fmt = from_utf8(val) + fmt.substr(1);
+                                       counter += 1;
                                        continue;
                                } else if (key[0] == '_') {
                                        // a translatable bit
@@ -505,15 +531,15 @@ docstring BibTeXInfo::expandFormat(string const & format,
                                                buf.params().documentClass().getCiteMacro(engine_type, key);
                                        docstring const trans =
                                                translateIfPossible(from_utf8(val), buf.params().language->code());
-                                       ret += trans;
+                                       ret << trans;
                                } else {
                                        docstring const val =
-                                               getValueForKey(key, buf, before, after, dialog, xref);
+                                               getValueForKey(key, buf, before, after, dialog, xref, max_keysize);
                                        if (!scanning_rich)
-                                               ret += from_ascii("{!<span class=\"bib-" + key + "\">!}");
-                                       ret += val;
+                                               ret << from_ascii("{!<span class=\"bib-" + key + "\">!}");
+                                       ret << val;
                                        if (!scanning_rich)
-                                               ret += from_ascii("{!</span>!}");
+                                               ret << from_ascii("{!</span>!}");
                                }
                        } else {
                                // beginning of key
@@ -531,9 +557,9 @@ docstring BibTeXInfo::expandFormat(string const & format,
                                if (fmt[1] == '%') {
                                        // it is the beginning of an optional format
                                        string optkey;
-                                       string ifpart;
-                                       string elsepart;
-                                       string const newfmt =
+                                       docstring ifpart;
+                                       docstring elsepart;
+                                       docstring const newfmt =
                                                parseOptions(fmt, optkey, ifpart, elsepart);
                                        if (newfmt == fmt) // parse error
                                                return _("ERROR!");
@@ -541,13 +567,16 @@ docstring BibTeXInfo::expandFormat(string const & format,
                                        docstring const val =
                                                getValueForKey(optkey, buf, before, after, dialog, xref);
                                        if (optkey == "next" && next)
-                                               ret += from_utf8(ifpart); // without expansion
-                                       else if (!val.empty())
-                                               ret += expandFormat(ifpart, xref, counter, buf,
+                                               ret << ifpart; // without expansion
+                                       else if (!val.empty()) {
+                                               int newcounter = 0;
+                                               ret << expandFormat(ifpart, xref, newcounter, buf,
                                                        before, after, dialog, next);
-                                       else if (!elsepart.empty())
-                                               ret += expandFormat(elsepart, xref, counter, buf,
+                                       } else if (!elsepart.empty()) {
+                                               int newcounter = 0;
+                                               ret << expandFormat(elsepart, xref, newcounter, buf,
                                                        before, after, dialog, next);
+                                       }
                                        // fmt will have been shortened for us already
                                        continue;
                                }
@@ -555,26 +584,31 @@ docstring BibTeXInfo::expandFormat(string const & format,
                                        // beginning of rich text
                                        scanning_rich = true;
                                        fmt = fmt.substr(2);
-                                       ret += from_ascii("{!");
+                                       ret << from_ascii("{!");
                                        continue;
                                }
                        }
                        // we are here if '{' was not followed by % or !.
                        // So it's just a character.
-                       ret += thischar;
+                       ret << thischar;
                }
                else if (scanning_rich && thischar == '!'
                         && fmt.size() > 1 && fmt[1] == '}') {
                        // end of rich text
                        scanning_rich = false;
                        fmt = fmt.substr(2);
-                       ret += from_ascii("!}");
+                       ret << from_ascii("!}");
                        continue;
                }
                else if (scanning_key)
                        key += char(thischar);
-               else
-                       ret += thischar;
+               else {
+                       try {
+                               ret.put(thischar);
+                       } catch (EncodingException & /* e */) {
+                               LYXERR0("Uncodable character '" << docstring(1, thischar) << " in citation label!");
+                       }
+               }
                fmt = fmt.substr(1);
        } // for loop
        if (scanning_key) {
@@ -585,7 +619,7 @@ docstring BibTeXInfo::expandFormat(string const & format,
                LYXERR0("Never found end of rich text in `" << format << "'!");
                return _("ERROR!");
        }
-       return ret;
+       return ret.str();
 }
 
 
@@ -605,24 +639,31 @@ docstring const & BibTeXInfo::getInfo(BibTeXInfo const * const xref,
 
        CiteEngineType const engine_type = buf.params().citeEngineType();
        DocumentClass const & dc = buf.params().documentClass();
-       string const & format = dc.getCiteFormat(engine_type, to_utf8(entry_type_));
+       docstring const & format =
+               from_utf8(dc.getCiteFormat(engine_type, to_utf8(entry_type_)));
        int counter = 0;
        info_ = expandFormat(format, xref, counter, buf,
                docstring(), docstring(), docstring(), false);
 
-       if (!info_.empty()) {
+       if (info_.empty()) {
+               // this probably shouldn't happen
+               return info_;
+       }
+
+       if (richtext) {
                info_richtext_ = convertLaTeXCommands(processRichtext(info_, true));
-               info_ = convertLaTeXCommands(processRichtext(info_, false));
-               if (richtext)
-                       return info_richtext_;
+               return info_richtext_;
        }
+
+       info_ = convertLaTeXCommands(processRichtext(info_, false));
        return info_;
 }
 
 
 docstring const BibTeXInfo::getLabel(BibTeXInfo const * const xref,
-       Buffer const & buf, string const & format, bool richtext,
-       docstring before, docstring after, docstring dialog, bool next) const
+       Buffer const & buf, docstring const & format, bool richtext,
+       docstring const & before, docstring const & after, 
+       docstring const & dialog, bool next) const
 {
        docstring loclabel;
 
@@ -634,6 +675,7 @@ docstring const BibTeXInfo::getLabel(BibTeXInfo const * const xref,
                loclabel = processRichtext(loclabel, richtext);
                loclabel = convertLaTeXCommands(loclabel);
        }
+
        return loclabel;
 }
 
@@ -656,15 +698,17 @@ docstring const & BibTeXInfo::operator[](string const & field) const
 
 docstring BibTeXInfo::getValueForKey(string const & oldkey, Buffer const & buf,
        docstring const & before, docstring const & after, docstring const & dialog,
-       BibTeXInfo const * const xref) const
+       BibTeXInfo const * const xref, size_t maxsize) const
 {
+       // anything less is pointless
+       LASSERT(maxsize >= 16, maxsize = 16);
        string key = oldkey;
        bool cleanit = false;
        if (prefixIs(oldkey, "clean:")) {
                key = oldkey.substr(6);
                cleanit = true;
        }
-               
+
        docstring ret = operator[](key);
        if (ret.empty() && xref)
                ret = (*xref)[key];
@@ -679,14 +723,18 @@ docstring BibTeXInfo::getValueForKey(string const & oldkey, Buffer const & buf,
                        ret = bib_key_;
                else if (key == "label")
                        ret = label_;
+               else if (key == "modifier" && modifier_ != 0)
+                       ret = modifier_;
+               else if (key == "numericallabel")
+                       ret = cite_number_;
                else if (key == "abbrvauthor")
                        // Special key to provide abbreviated author names.
-                       ret = getAbbreviatedAuthor(buf, false);
+                       ret = getAbbreviatedAuthor(&buf, false);
                else if (key == "shortauthor")
                        // When shortauthor is not defined, jurabib automatically
                        // provides jurabib-style abbreviated author names. We do
                        // this as well.
-                       ret = getAbbreviatedAuthor(buf, true);
+                       ret = getAbbreviatedAuthor(&buf, true);
                else if (key == "shorttitle") {
                        // When shorttitle is not defined, jurabib uses for `article'
                        // and `periodical' entries the form `journal volume [year]'
@@ -700,7 +748,8 @@ docstring BibTeXInfo::getValueForKey(string const & oldkey, Buffer const & buf,
                        // Special key to provide the full bibliography entry: see getInfo()
                        CiteEngineType const engine_type = buf.params().citeEngineType();
                        DocumentClass const & dc = buf.params().documentClass();
-                       string const & format = dc.getCiteFormat(engine_type, to_utf8(entry_type_));
+                       docstring const & format =
+                               from_utf8(dc.getCiteFormat(engine_type, to_utf8(entry_type_)));
                        int counter = 0;
                        ret = expandFormat(format, xref, counter, buf,
                                docstring(), docstring(), docstring(), false);
@@ -711,9 +760,12 @@ docstring BibTeXInfo::getValueForKey(string const & oldkey, Buffer const & buf,
                else if (key == "year")
                        ret = getYear();
        }
+
        if (cleanit)
-               return html::cleanAttr(ret);
-       
+               ret = html::cleanAttr(ret);
+
+       // make sure it is not too big
+       support::truncateWithEllipsis(ret, maxsize);
        return ret;
 }
 
@@ -779,7 +831,7 @@ docstring const BiblioInfo::getAbbreviatedAuthor(docstring const & key, Buffer c
        if (it == end())
                return docstring();
        BibTeXInfo const & data = it->second;
-       return data.getAbbreviatedAuthor(buf, false);
+       return data.getAbbreviatedAuthor(&buf, false);
 }
 
 
@@ -846,14 +898,23 @@ docstring const BiblioInfo::getInfo(docstring const & key,
 }
 
 
-docstring const BiblioInfo::getLabel(vector<docstring> const & keys,
-       Buffer const & buf, string const & style, bool richtext,
-       docstring const & before, docstring const & after, docstring const & dialog) const
+docstring const BiblioInfo::getLabel(vector<docstring> keys,
+       Buffer const & buf, string const & style, bool for_xhtml,
+       size_t max_size, docstring const & before, docstring const & after,
+       docstring const & dialog) const
 {
+       // shorter makes no sense
+       LASSERT(max_size >= 16, max_size = 16);
+
+       // we can't display more than 10 of these, anyway
+       bool const too_many_keys = keys.size() > 10;
+       if (too_many_keys)
+               keys.resize(10);
+
        CiteEngineType const engine_type = buf.params().citeEngineType();
        DocumentClass const & dc = buf.params().documentClass();
-       string const & format = dc.getCiteFormat(engine_type, style, "cite");
-       docstring ret = from_utf8(format);
+       docstring const & format = from_utf8(dc.getCiteFormat(engine_type, style, "cite"));
+       docstring ret = format;
        vector<docstring>::const_iterator key = keys.begin();
        vector<docstring>::const_iterator ken = keys.end();
        for (; key != ken; ++key) {
@@ -871,16 +932,22 @@ docstring const BiblioInfo::getLabel(vector<docstring> const & keys,
                                        xrefptr = &(xrefit->second);
                        }
                }
-               ret = data.getLabel(xrefptr, buf, to_utf8(ret), richtext,
-                       before, after, dialog, key+1 != ken);
+               ret = data.getLabel(xrefptr, buf, ret, for_xhtml,
+                       before, after, dialog, key + 1 != ken);
        }
+
+       if (too_many_keys)
+               ret.push_back(0x2026);//HORIZONTAL ELLIPSIS
+       support::truncateWithEllipsis(ret, max_size);
        return ret;
 }
 
 
 bool BiblioInfo::isBibtex(docstring const & key) const
 {
-       BiblioInfo::const_iterator it = find(key);
+       docstring key1;
+       split(key, key1, ',');
+       BiblioInfo::const_iterator it = find(key1);
        if (it == end())
                return false;
        return it->second.isBibTeX();
@@ -889,8 +956,8 @@ bool BiblioInfo::isBibtex(docstring const & key) const
 
 vector<docstring> const BiblioInfo::getCiteStrings(
        vector<docstring> const & keys, vector<CitationStyle> const & styles,
-       Buffer const & buf, bool richtext, docstring const & before,
-       docstring const & after, docstring const & dialog) const
+       Buffer const & buf, docstring const & before,
+       docstring const & after, docstring const & dialog, size_t max_size) const
 {
        if (empty())
                return vector<docstring>();
@@ -899,7 +966,7 @@ vector<docstring> const BiblioInfo::getCiteStrings(
        vector<docstring> vec(styles.size());
        for (size_t i = 0; i != vec.size(); ++i) {
                style = styles[i].cmd;
-               vec[i] = getLabel(keys, buf, style, richtext, before, after, dialog);
+               vec[i] = getLabel(keys, buf, style, false, max_size, before, after, dialog);
        }
 
        return vec;
@@ -941,9 +1008,9 @@ void BiblioInfo::collectCitedEntries(Buffer const & buf)
        // FIXME We may want to collect these differently, in the first case,
        // so that we might have them in order of appearance.
        set<docstring> citekeys;
-       Toc const & toc = buf.tocBackend().toc("citation");
-       Toc::const_iterator it = toc.begin();
-       Toc::const_iterator const en = toc.end();
+       shared_ptr<Toc const> toc = buf.tocBackend().toc("citation");
+       Toc::const_iterator it = toc->begin();
+       Toc::const_iterator const en = toc->end();
        for (; it != en; ++it) {
                if (it->str().empty())
                        continue;
@@ -980,7 +1047,7 @@ void BiblioInfo::makeCitationLabels(Buffer const & buf)
 {
        collectCitedEntries(buf);
        CiteEngineType const engine_type = buf.params().citeEngineType();
-       bool const numbers = (engine_type == ENGINE_TYPE_NUMERICAL);
+       bool const numbers = (engine_type & ENGINE_TYPE_NUMERICAL);
 
        int keynumber = 0;
        char modifier = 0;
@@ -1002,6 +1069,11 @@ void BiblioInfo::makeCitationLabels(Buffer const & buf)
                        docstring const num = convert<docstring>(++keynumber);
                        entry.setCiteNumber(num);
                } else {
+                       // coverity complains about our derefercing the iterator last,
+                       // which was not initialized above. but it does get initialized
+                       // after the first time through the loop, which is the point of
+                       // the first test.
+                       // coverity[FORWARD_NULL]
                        if (it != cited_entries_.begin()
                            && entry.getAbbreviatedAuthor() == last->second.getAbbreviatedAuthor()
                            // we access the year via getYear() so as to get it from the xref,
@@ -1035,7 +1107,7 @@ void BiblioInfo::makeCitationLabels(Buffer const & buf)
                if (numbers) {
                        entry.label(entry.citeNumber());
                } else {
-                       docstring const auth = entry.getAbbreviatedAuthor(buf, false);
+                       docstring const auth = entry.getAbbreviatedAuthor(&buf, false);
                        // we do it this way so as to access the xref, if necessary
                        // note that this also gives us the modifier
                        docstring const year = getYear(*it, buf, true);
@@ -1082,7 +1154,7 @@ string citationStyleToString(const CitationStyle & cs)
 {
        string cmd = cs.cmd;
        if (cs.forceUpperCase)
-               cmd[0] = 'C';
+               cmd[0] = uppercase(cmd[0]);
        if (cs.fullAuthorList)
                cmd += '*';
        return cmd;