src/BiblioInfo.cpp

   1 /**
   2  * \file BiblioInfo.cpp
   3  * This file is part of LyX, the document processor.
   4  * Licence details can be found in the file COPYING.
   5  *
   6  * \author Angus Leeming
   7  * \author Herbert Voß
   8  * \author Richard Heck
   9  * \author Julien Rioux
  10  *
  11  * Full author contact details are available in file CREDITS.
  12  */
  13
  14 #include <config.h>
  15
  16 #include "BiblioInfo.h"
  17 #include "Buffer.h"
  18 #include "BufferParams.h"
  19 #include "buffer_funcs.h"
  20 #include "Encoding.h"
  21 #include "InsetIterator.h"
  22 #include "Language.h"
  23 #include "output_xhtml.h"
  24 #include "Paragraph.h"
  25 #include "TextClass.h"
  26 #include "TocBackend.h"
  27
  28 #include "support/convert.h"
  29 #include "support/debug.h"
  30 #include "support/docstream.h"
  31 #include "support/gettext.h"
  32 #include "support/lassert.h"
  33 #include "support/lstrings.h"
  34 #include "support/regex.h"
  35 #include "support/textutils.h"
  36
  37 #include <set>
  38
  39 using namespace std;
  40 using namespace lyx::support;
  41
  42
  43 namespace lyx {
  44
  45 namespace {
  46
  47 // gets the "family name" from an author-type string
  48 docstring familyName(docstring const & name)
  49 {
  50         if (name.empty())
  51                 return docstring();
  52
  53         // first we look for a comma, and take the last name to be everything
  54         // preceding the right-most one, so that we also get the "jr" part.
  55         docstring::size_type idx = name.rfind(',');
  56         if (idx != docstring::npos)
  57                 return ltrim(name.substr(0, idx));
  58
  59         // OK, so now we want to look for the last name. We're going to
  60         // include the "von" part. This isn't perfect.
  61         // Split on spaces, to get various tokens.
  62         vector<docstring> pieces = getVectorFromString(name, from_ascii(" "));
  63         // If we only get two, assume the last one is the last name
  64         if (pieces.size() <= 2)
  65                 return pieces.back();
  66
  67         // Now we look for the first token that begins with a lower case letter.
  68         vector<docstring>::const_iterator it = pieces.begin();
  69         vector<docstring>::const_iterator en = pieces.end();
  70         for (; it != en; ++it) {
  71                 if ((*it).empty())
  72                         continue;
  73                 char_type const c = (*it)[0];
  74                 if (isLower(c))
  75                         break;
  76         }
  77
  78         if (it == en) // we never found a "von"
  79                 return pieces.back();
  80
  81         // reconstruct what we need to return
  82         docstring retval;
  83         bool first = true;
  84         for (; it != en; ++it) {
  85                 if (!first)
  86                         retval += " ";
  87                 else
  88                         first = false;
  89                 retval += *it;
  90         }
  91         return retval;
  92 }
  93
  94
  95 // converts a string containing LaTeX commands into unicode
  96 // for display.
  97 docstring convertLaTeXCommands(docstring const & str)
  98 {
  99         docstring val = str;
 100         docstring ret;
 101
 102         bool scanning_cmd = false;
 103         bool scanning_math = false;
 104         bool escaped = false; // used to catch \$, etc.
 105         while (!val.empty()) {
 106                 char_type const ch = val[0];
 107
 108                 // if we're scanning math, we output everything until we
 109                 // find an unescaped $, at which point we break out.
 110                 if (scanning_math) {
 111                         if (escaped)
 112                                 escaped = false;
 113                         else if (ch == '\\')
 114                                 escaped = true;
 115                         else if (ch == '$')
 116                                 scanning_math = false;
 117                         ret += ch;
 118                         val = val.substr(1);
 119                         continue;
 120                 }
 121
 122                 // if we're scanning a command name, then we just
 123                 // discard characters until we hit something that
 124                 // isn't alpha.
 125                 if (scanning_cmd) {
 126                         if (isAlphaASCII(ch)) {
 127                                 val = val.substr(1);
 128                                 escaped = false;
 129                                 continue;
 130                         }
 131                         // so we're done with this command.
 132                         // now we fall through and check this character.
 133                         scanning_cmd = false;
 134                 }
 135
 136                 // was the last character a \? If so, then this is something like:
 137                 // \\ or \$, so we'll just output it. That's probably not always right...
 138                 if (escaped) {
 139                         // exception: output \, as THIN SPACE
 140                         if (ch == ',')
 141                                 ret.push_back(0x2009);
 142                         else
 143                                 ret += ch;
 144                         val = val.substr(1);
 145                         escaped = false;
 146                         continue;
 147                 }
 148
 149                 if (ch == '$') {
 150                         ret += ch;
 151                         val = val.substr(1);
 152                         scanning_math = true;
 153                         continue;
 154                 }
 155
 156                 // we just ignore braces
 157                 if (ch == '{' || ch == '}') {
 158                         val = val.substr(1);
 159                         continue;
 160                 }
 161
 162                 // we're going to check things that look like commands, so if
 163                 // this doesn't, just output it.
 164                 if (ch != '\\') {
 165                         ret += ch;
 166                         val = val.substr(1);
 167                         continue;
 168                 }
 169
 170                 // ok, could be a command of some sort
 171                 // let's see if it corresponds to some unicode
 172                 // unicodesymbols has things in the form: \"{u},
 173                 // whereas we may see things like: \"u. So we'll
 174                 // look for that and change it, if necessary.
 175                 // FIXME: This is a sort of mini-tex2lyx.
 176                 //        Use the real tex2lyx instead!
 177                 static lyx::regex const reg("^\\\\\\W\\w");
 178                 if (lyx::regex_search(to_utf8(val), reg)) {
 179                         val.insert(3, from_ascii("}"));
 180                         val.insert(2, from_ascii("{"));
 181                 }
 182                 bool termination;
 183                 docstring rem;
 184                 docstring const cnvtd = Encodings::fromLaTeXCommand(val,
 185                                 Encodings::TEXT_CMD, termination, rem);
 186                 if (!cnvtd.empty()) {
 187                         // it did, so we'll take that bit and proceed with what's left
 188                         ret += cnvtd;
 189                         val = rem;
 190                         continue;
 191                 }
 192                 // it's a command of some sort
 193                 scanning_cmd = true;
 194                 escaped = true;
 195                 val = val.substr(1);
 196         }
 197         return ret;
 198 }
 199
 200
 201 // Escape '<' and '>' and remove richtext markers (e.g. {!this is richtext!}) from a string.
 202 docstring processRichtext(docstring const & str, bool richtext)
 203 {
 204         docstring val = str;
 205         docstring ret;
 206
 207         bool scanning_rich = false;
 208         while (!val.empty()) {
 209                 char_type const ch = val[0];
 210                 if (ch == '{' && val.size() > 1 && val[1] == '!') {
 211                         // beginning of rich text
 212                         scanning_rich = true;
 213                         val = val.substr(2);
 214                         continue;
 215                 }
 216                 if (scanning_rich && ch == '!' && val.size() > 1 && val[1] == '}') {
 217                         // end of rich text
 218                         scanning_rich = false;
 219                         val = val.substr(2);
 220                         continue;
 221                 }
 222                 if (richtext) {
 223                         if (scanning_rich)
 224                                 ret += ch;
 225                         else {
 226                                 // we need to escape '<' and '>'
 227                                 if (ch == '<')
 228                                         ret += "&lt;";
 229                                 else if (ch == '>')
 230                                         ret += "&gt;";
 231                                 else
 232                                         ret += ch;
 233                         }
 234                 } else if (!scanning_rich /* && !richtext */)
 235                         ret += ch;
 236                 // else the character is discarded, which will happen only if
 237                 // richtext == false and we are scanning rich text
 238                 val = val.substr(1);
 239         }
 240         return ret;
 241 }
 242
 243 } // anon namespace
 244
 245
 246 //////////////////////////////////////////////////////////////////////
 247 //
 248 // BibTeXInfo
 249 //
 250 //////////////////////////////////////////////////////////////////////
 251
 252 BibTeXInfo::BibTeXInfo(docstring const & key, docstring const & type)
 253         : is_bibtex_(true), bib_key_(key), entry_type_(type), info_(),
 254           modifier_(0)
 255 {}
 256
 257
 258 docstring const BibTeXInfo::getAbbreviatedAuthor(bool jurabib_style) const
 259 {
 260         if (!is_bibtex_) {
 261                 docstring const opt = label();
 262                 if (opt.empty())
 263                         return docstring();
 264
 265                 docstring authors;
 266                 docstring const remainder = trim(split(opt, authors, '('));
 267                 if (remainder.empty())
 268                         // in this case, we didn't find a "(",
 269                         // so we don't have author (year)
 270                         return docstring();
 271                 return authors;
 272         }
 273
 274         docstring author = operator[]("author");
 275         if (author.empty()) {
 276                 author = operator[]("editor");
 277                 if (author.empty())
 278                         return author;
 279         }
 280
 281         // FIXME Move this to a separate routine that can
 282         // be called from elsewhere.
 283         //
 284         // OK, we've got some names. Let's format them.
 285         // Try to split the author list on " and "
 286         vector<docstring> const authors =
 287                 getVectorFromString(author, from_ascii(" and "));
 288
 289         if (jurabib_style && (authors.size() == 2 || authors.size() == 3)) {
 290                 docstring shortauthor = familyName(authors[0])
 291                         + "/" + familyName(authors[1]);
 292                 if (authors.size() == 3)
 293                         shortauthor += "/" + familyName(authors[2]);
 294                 return convertLaTeXCommands(shortauthor);
 295         }
 296
 297         docstring retval = familyName(authors[0]);
 298
 299         if (authors.size() == 2 && authors[1] != "others")
 300                 retval = bformat(from_ascii("%1$s and %2$s"),
 301                         familyName(authors[0]), familyName(authors[1]));
 302
 303         if (authors.size() >= 2)
 304                 retval = bformat(from_ascii("%1$s et al."),
 305                         familyName(authors[0]));
 306
 307         return convertLaTeXCommands(retval);
 308 }
 309
 310
 311 docstring const BibTeXInfo::getAbbreviatedAuthor(Buffer const & buf, bool jurabib_style) const
 312 {
 313         docstring const author = getAbbreviatedAuthor(jurabib_style);
 314         if (!is_bibtex_)
 315                 return author;
 316         vector<docstring> const authors = getVectorFromString(author, from_ascii(" and "));
 317         if (authors.size() == 2)
 318                 return bformat(buf.B_("%1$s and %2$s"), authors[0], authors[1]);
 319         docstring::size_type const idx = author.rfind(from_ascii(" et al."));
 320         if (idx != docstring::npos)
 321                 return bformat(buf.B_("%1$s et al."), author.substr(0, idx));
 322         return author;
 323 }
 324
 325
 326 docstring const BibTeXInfo::getYear() const
 327 {
 328         if (is_bibtex_)
 329                 return operator[]("year");
 330
 331         docstring const opt = label();
 332         if (opt.empty())
 333                 return docstring();
 334
 335         docstring authors;
 336         docstring tmp = split(opt, authors, '(');
 337         if (tmp.empty())
 338                 // we don't have author (year)
 339                 return docstring();
 340         docstring year;
 341         tmp = split(tmp, year, ')');
 342         return year;
 343 }
 344
 345
 346 docstring const BibTeXInfo::getXRef() const
 347 {
 348         if (!is_bibtex_)
 349                 return docstring();
 350         return operator[]("crossref");
 351 }
 352
 353
 354 namespace {
 355
 356 docstring parseOptions(docstring const & format, string & optkey,
 357                     docstring & ifpart, docstring & elsepart);
 358
 359 // Calls parseOptions to deal with an embedded option, such as:
 360 //   {%number%[[, no.~%number%]]}
 361 // which must appear at the start of format. ifelsepart gets the
 362 // whole of the option, and we return what's left after the option.
 363 // we return format if there is an error.
 364 docstring parseEmbeddedOption(docstring const & format, docstring & ifelsepart)
 365 {
 366         LASSERT(format[0] == '{' && format[1] == '%', return format);
 367         string optkey;
 368         docstring ifpart;
 369         docstring elsepart;
 370         docstring const rest = parseOptions(format, optkey, ifpart, elsepart);
 371         if (format == rest) { // parse error
 372                 LYXERR0("ERROR! Couldn't parse `" << format <<"'.");
 373                 return format;
 374         }
 375         LASSERT(rest.size() <= format.size(),
 376                 { ifelsepart = docstring(); return format; });
 377         ifelsepart = format.substr(0, format.size() - rest.size());
 378         return rest;
 379 }
 380
 381
 382 // Gets a "clause" from a format string, where the clause is
 383 // delimited by '[[' and ']]'. Returns what is left after the
 384 // clause is removed, and returns format if there is an error.
 385 docstring getClause(docstring const & format, docstring & clause)
 386 {
 387         docstring fmt = format;
 388         // remove '[['
 389         fmt = fmt.substr(2);
 390         // we'll remove characters from the front of fmt as we
 391         // deal with them
 392         while (!fmt.empty()) {
 393                 if (fmt[0] == ']' && fmt.size() > 1 && fmt[1] == ']') {
 394                         // that's the end
 395                         fmt = fmt.substr(2);
 396                         break;
 397                 }
 398                 // check for an embedded option
 399                 if (fmt[0] == '{' && fmt.size() > 1 && fmt[1] == '%') {
 400                         docstring part;
 401                         docstring const rest = parseEmbeddedOption(fmt, part);
 402                         if (fmt == rest) {
 403                                 LYXERR0("ERROR! Couldn't parse embedded option in `" << format <<"'.");
 404                                 return format;
 405                         }
 406                         clause += part;
 407                         fmt = rest;
 408                 } else { // it's just a normal character
 409                                 clause += fmt[0];
 410                                 fmt = fmt.substr(1);
 411                 }
 412         }
 413         return fmt;
 414 }
 415
 416
 417 // parse an options string, which must appear at the start of the
 418 // format parameter. puts the parsed bits in optkey, ifpart, and
 419 // elsepart and returns what's left after the option is removed.
 420 // if there's an error, it returns format itself.
 421 docstring parseOptions(docstring const & format, string & optkey,
 422                     docstring & ifpart, docstring & elsepart)
 423 {
 424         LASSERT(format[0] == '{' && format[1] == '%', return format);
 425         // strip '{%'
 426         docstring fmt = format.substr(2);
 427         size_t pos = fmt.find('%'); // end of key
 428         if (pos == string::npos) {
 429                 LYXERR0("Error parsing  `" << format <<"'. Can't find end of key.");
 430                 return format;
 431         }
 432         optkey = to_utf8(fmt.substr(0, pos));
 433         fmt = fmt.substr(pos + 1);
 434         // [[format]] should be next
 435         if (fmt[0] != '[' || fmt[1] != '[') {
 436                 LYXERR0("Error parsing  `" << format <<"'. Can't find '[[' after key.");
 437                 return format;
 438         }
 439
 440         docstring curfmt = fmt;
 441         fmt = getClause(curfmt, ifpart);
 442         if (fmt == curfmt) {
 443                 LYXERR0("Error parsing  `" << format <<"'. Couldn't get if clause.");
 444                 return format;
 445         }
 446
 447         if (fmt[0] == '}') // we're done, no else clause
 448                 return fmt.substr(1);
 449
 450         // else part should follow
 451         if (fmt[0] != '[' || fmt[1] != '[') {
 452                 LYXERR0("Error parsing  `" << format <<"'. Can't find else clause.");
 453                 return format;
 454         }
 455
 456         curfmt = fmt;
 457         fmt = getClause(curfmt, elsepart);
 458         // we should be done
 459         if (fmt == curfmt || fmt[0] != '}') {
 460                 LYXERR0("Error parsing  `" << format <<"'. Can't find end of option.");
 461                 return format;
 462         }
 463         return fmt.substr(1);
 464 }
 465
 466
 467 } // anon namespace
 468
 469
 470 docstring BibTeXInfo::expandFormat(docstring const & format,
 471                 BibTeXInfo const * const xref, int & counter, Buffer const & buf,
 472                 docstring before, docstring after, docstring dialog, bool next) const
 473 {
 474         // incorrect use of macros could put us in an infinite loop
 475         static int const max_passes = 5000;
 476         // the use of overly large keys can lead to performance problems, due
 477         // to eventual attempts to convert LaTeX macros to unicode. See bug
 478         // #8944. This is perhaps not the best solution, but it will have to
 479         // do for now.
 480         static size_t const max_keysize = 128;
 481         odocstringstream ret; // return value
 482         string key;
 483         bool scanning_key = false;
 484         bool scanning_rich = false;
 485
 486         CiteEngineType const engine_type = buf.params().citeEngineType();
 487         docstring fmt = format;
 488         // we'll remove characters from the front of fmt as we
 489         // deal with them
 490         while (!fmt.empty()) {
 491                 if (counter > max_passes) {
 492                         LYXERR0("Recursion limit reached while parsing `"
 493                                 << format << "'.");
 494                         return _("ERROR!");
 495                 }
 496
 497                 char_type thischar = fmt[0];
 498                 if (thischar == '%') {
 499                         // beginning or end of key
 500                         if (scanning_key) {
 501                                 // end of key
 502                                 scanning_key = false;
 503                                 // so we replace the key with its value, which may be empty
 504                                 if (key[0] == '!') {
 505                                         // macro
 506                                         string const val =
 507                                                 buf.params().documentClass().getCiteMacro(engine_type, key);
 508                                         fmt = from_utf8(val) + fmt.substr(1);
 509                                         counter += 1;
 510                                         continue;
 511                                 } else if (key[0] == '_') {
 512                                         // a translatable bit
 513                                         string const val =
 514                                                 buf.params().documentClass().getCiteMacro(engine_type, key);
 515                                         docstring const trans =
 516                                                 translateIfPossible(from_utf8(val), buf.params().language->code());
 517                                         ret << trans;
 518                                 } else {
 519                                         docstring const val =
 520                                                 getValueForKey(key, buf, before, after, dialog, xref, max_keysize);
 521                                         if (!scanning_rich)
 522                                                 ret << from_ascii("{!<span class=\"bib-" + key + "\">!}");
 523                                         ret << val;
 524                                         if (!scanning_rich)
 525                                                 ret << from_ascii("{!</span>!}");
 526                                 }
 527                         } else {
 528                                 // beginning of key
 529                                 key.clear();
 530                                 scanning_key = true;
 531                         }
 532                 }
 533                 else if (thischar == '{') {
 534                         // beginning of option?
 535                         if (scanning_key) {
 536                                 LYXERR0("ERROR: Found `{' when scanning key in `" << format << "'.");
 537                                 return _("ERROR!");
 538                         }
 539                         if (fmt.size() > 1) {
 540                                 if (fmt[1] == '%') {
 541                                         // it is the beginning of an optional format
 542                                         string optkey;
 543                                         docstring ifpart;
 544                                         docstring elsepart;
 545                                         docstring const newfmt =
 546                                                 parseOptions(fmt, optkey, ifpart, elsepart);
 547                                         if (newfmt == fmt) // parse error
 548                                                 return _("ERROR!");
 549                                         fmt = newfmt;
 550                                         docstring const val =
 551                                                 getValueForKey(optkey, buf, before, after, dialog, xref);
 552                                         if (optkey == "next" && next)
 553                                                 ret << ifpart; // without expansion
 554                                         else if (!val.empty()) {
 555                                                 int newcounter = 0;
 556                                                 ret << expandFormat(ifpart, xref, newcounter, buf,
 557                                                         before, after, dialog, next);
 558                                         } else if (!elsepart.empty()) {
 559                                                 int newcounter = 0;
 560                                                 ret << expandFormat(elsepart, xref, newcounter, buf,
 561                                                         before, after, dialog, next);
 562                                         }
 563                                         // fmt will have been shortened for us already
 564                                         continue;
 565                                 }
 566                                 if (fmt[1] == '!') {
 567                                         // beginning of rich text
 568                                         scanning_rich = true;
 569                                         fmt = fmt.substr(2);
 570                                         ret << from_ascii("{!");
 571                                         continue;
 572                                 }
 573                         }
 574                         // we are here if '{' was not followed by % or !.
 575                         // So it's just a character.
 576                         ret << thischar;
 577                 }
 578                 else if (scanning_rich && thischar == '!'
 579                          && fmt.size() > 1 && fmt[1] == '}') {
 580                         // end of rich text
 581                         scanning_rich = false;
 582                         fmt = fmt.substr(2);
 583                         ret << from_ascii("!}");
 584                         continue;
 585                 }
 586                 else if (scanning_key)
 587                         key += char(thischar);
 588                 else {
 589                         try {
 590                                 ret.put(thischar);
 591                         } catch (EncodingException & /* e */) {
 592                                 LYXERR0("Uncodable character '" << docstring(1, thischar) << " in citation label!");
 593                         }
 594                 }
 595                 fmt = fmt.substr(1);
 596         } // for loop
 597         if (scanning_key) {
 598                 LYXERR0("Never found end of key in `" << format << "'!");
 599                 return _("ERROR!");
 600         }
 601         if (scanning_rich) {
 602                 LYXERR0("Never found end of rich text in `" << format << "'!");
 603                 return _("ERROR!");
 604         }
 605         return ret.str();
 606 }
 607
 608
 609 docstring const & BibTeXInfo::getInfo(BibTeXInfo const * const xref,
 610         Buffer const & buf, bool richtext) const
 611 {
 612         if (!richtext && !info_.empty())
 613                 return info_;
 614         if (richtext && !info_richtext_.empty())
 615                 return info_richtext_;
 616
 617         if (!is_bibtex_) {
 618                 BibTeXInfo::const_iterator it = find(from_ascii("ref"));
 619                 info_ = it->second;
 620                 return info_;
 621         }
 622
 623         CiteEngineType const engine_type = buf.params().citeEngineType();
 624         DocumentClass const & dc = buf.params().documentClass();
 625         docstring const & format =
 626                 from_utf8(dc.getCiteFormat(engine_type, to_utf8(entry_type_)));
 627         int counter = 0;
 628         info_ = expandFormat(format, xref, counter, buf,
 629                 docstring(), docstring(), docstring(), false);
 630
 631         if (info_.empty()) {
 632                 // this probably shouldn't happen
 633                 return info_;
 634         }
 635
 636         if (richtext) {
 637                 info_richtext_ = convertLaTeXCommands(processRichtext(info_, true));
 638                 return info_richtext_;
 639         }
 640
 641         info_ = convertLaTeXCommands(processRichtext(info_, false));
 642         return info_;
 643 }
 644
 645
 646 docstring const BibTeXInfo::getLabel(BibTeXInfo const * const xref,
 647         Buffer const & buf, docstring const & format, bool richtext,
 648         docstring const & before, docstring const & after,
 649         docstring const & dialog, bool next) const
 650 {
 651         docstring loclabel;
 652
 653         int counter = 0;
 654         loclabel = expandFormat(format, xref, counter, buf,
 655                 before, after, dialog, next);
 656
 657         if (!loclabel.empty() && !next) {
 658                 loclabel = processRichtext(loclabel, richtext);
 659                 loclabel = convertLaTeXCommands(loclabel);
 660         }
 661
 662         return loclabel;
 663 }
 664
 665
 666 docstring const & BibTeXInfo::operator[](docstring const & field) const
 667 {
 668         BibTeXInfo::const_iterator it = find(field);
 669         if (it != end())
 670                 return it->second;
 671         static docstring const empty_value = docstring();
 672         return empty_value;
 673 }
 674
 675
 676 docstring const & BibTeXInfo::operator[](string const & field) const
 677 {
 678         return operator[](from_ascii(field));
 679 }
 680
 681
 682 docstring BibTeXInfo::getValueForKey(string const & oldkey, Buffer const & buf,
 683         docstring const & before, docstring const & after, docstring const & dialog,
 684         BibTeXInfo const * const xref, size_t maxsize) const
 685 {
 686         // anything less is pointless
 687         LASSERT(maxsize >= 16, maxsize = 16);
 688         string key = oldkey;
 689         bool cleanit = false;
 690         if (prefixIs(oldkey, "clean:")) {
 691                 key = oldkey.substr(6);
 692                 cleanit = true;
 693         }
 694
 695         docstring ret = operator[](key);
 696         if (ret.empty() && xref)
 697                 ret = (*xref)[key];
 698         if (ret.empty()) {
 699                 // some special keys
 700                 // FIXME: dialog, textbefore and textafter have nothing to do with this
 701                 if (key == "dialog")
 702                         ret = dialog;
 703                 else if (key == "entrytype")
 704                         ret = entry_type_;
 705                 else if (key == "key")
 706                         ret = bib_key_;
 707                 else if (key == "label")
 708                         ret = label_;
 709                 else if (key == "modifier" && modifier_ != 0)
 710                         ret = modifier_;
 711                 else if (key == "numericallabel")
 712                         ret = cite_number_;
 713                 else if (key == "abbrvauthor")
 714                         // Special key to provide abbreviated author names.
 715                         ret = getAbbreviatedAuthor(buf, false);
 716                 else if (key == "shortauthor")
 717                         // When shortauthor is not defined, jurabib automatically
 718                         // provides jurabib-style abbreviated author names. We do
 719                         // this as well.
 720                         ret = getAbbreviatedAuthor(buf, true);
 721                 else if (key == "shorttitle") {
 722                         // When shorttitle is not defined, jurabib uses for `article'
 723                         // and `periodical' entries the form `journal volume [year]'
 724                         // and for other types of entries it uses the `title' field.
 725                         if (entry_type_ == "article" || entry_type_ == "periodical")
 726                                 ret = operator[]("journal") + " " + operator[]("volume")
 727                                         + " [" + operator[]("year") + "]";
 728                         else
 729                                 ret = operator[]("title");
 730                 } else if (key == "bibentry") {
 731                         // Special key to provide the full bibliography entry: see getInfo()
 732                         CiteEngineType const engine_type = buf.params().citeEngineType();
 733                         DocumentClass const & dc = buf.params().documentClass();
 734                         docstring const & format =
 735                                 from_utf8(dc.getCiteFormat(engine_type, to_utf8(entry_type_)));
 736                         int counter = 0;
 737                         ret = expandFormat(format, xref, counter, buf,
 738                                 docstring(), docstring(), docstring(), false);
 739                 } else if (key == "textbefore")
 740                         ret = before;
 741                 else if (key == "textafter")
 742                         ret = after;
 743                 else if (key == "year")
 744                         ret = getYear();
 745         }
 746
 747         if (cleanit)
 748                 ret = html::cleanAttr(ret);
 749
 750         // make sure it is not too big
 751         if (ret.size() > maxsize)
 752                 ret = ret.substr(0, maxsize - 3) + from_ascii("...");
 753         return ret;
 754 }
 755
 756
 757 //////////////////////////////////////////////////////////////////////
 758 //
 759 // BiblioInfo
 760 //
 761 //////////////////////////////////////////////////////////////////////
 762
 763 namespace {
 764
 765 // A functor for use with sort, leading to case insensitive sorting
 766 class compareNoCase: public binary_function<docstring, docstring, bool>
 767 {
 768 public:
 769         bool operator()(docstring const & s1, docstring const & s2) const {
 770                 return compare_no_case(s1, s2) < 0;
 771         }
 772 };
 773
 774 } // namespace anon
 775
 776
 777 vector<docstring> const BiblioInfo::getKeys() const
 778 {
 779         vector<docstring> bibkeys;
 780         BiblioInfo::const_iterator it  = begin();
 781         for (; it != end(); ++it)
 782                 bibkeys.push_back(it->first);
 783         sort(bibkeys.begin(), bibkeys.end(), compareNoCase());
 784         return bibkeys;
 785 }
 786
 787
 788 vector<docstring> const BiblioInfo::getFields() const
 789 {
 790         vector<docstring> bibfields;
 791         set<docstring>::const_iterator it = field_names_.begin();
 792         set<docstring>::const_iterator end = field_names_.end();
 793         for (; it != end; ++it)
 794                 bibfields.push_back(*it);
 795         sort(bibfields.begin(), bibfields.end());
 796         return bibfields;
 797 }
 798
 799
 800 vector<docstring> const BiblioInfo::getEntries() const
 801 {
 802         vector<docstring> bibentries;
 803         set<docstring>::const_iterator it = entry_types_.begin();
 804         set<docstring>::const_iterator end = entry_types_.end();
 805         for (; it != end; ++it)
 806                 bibentries.push_back(*it);
 807         sort(bibentries.begin(), bibentries.end());
 808         return bibentries;
 809 }
 810
 811
 812 docstring const BiblioInfo::getAbbreviatedAuthor(docstring const & key, Buffer const & buf) const
 813 {
 814         BiblioInfo::const_iterator it = find(key);
 815         if (it == end())
 816                 return docstring();
 817         BibTeXInfo const & data = it->second;
 818         return data.getAbbreviatedAuthor(buf, false);
 819 }
 820
 821
 822 docstring const BiblioInfo::getCiteNumber(docstring const & key) const
 823 {
 824         BiblioInfo::const_iterator it = find(key);
 825         if (it == end())
 826                 return docstring();
 827         BibTeXInfo const & data = it->second;
 828         return data.citeNumber();
 829 }
 830
 831
 832 docstring const BiblioInfo::getYear(docstring const & key, bool use_modifier) const
 833 {
 834         BiblioInfo::const_iterator it = find(key);
 835         if (it == end())
 836                 return docstring();
 837         BibTeXInfo const & data = it->second;
 838         docstring year = data.getYear();
 839         if (year.empty()) {
 840                 // let's try the crossref
 841                 docstring const xref = data.getXRef();
 842                 if (xref.empty())
 843                         // no luck
 844                         return docstring();
 845                 BiblioInfo::const_iterator const xrefit = find(xref);
 846                 if (xrefit == end())
 847                         // no luck again
 848                         return docstring();
 849                 BibTeXInfo const & xref_data = xrefit->second;
 850                 year = xref_data.getYear();
 851         }
 852         if (use_modifier && data.modifier() != 0)
 853                 year += data.modifier();
 854         return year;
 855 }
 856
 857
 858 docstring const BiblioInfo::getYear(docstring const & key, Buffer const & buf, bool use_modifier) const
 859 {
 860         docstring const year = getYear(key, use_modifier);
 861         if (year.empty())
 862                 return buf.B_("No year");
 863         return year;
 864 }
 865
 866
 867 docstring const BiblioInfo::getInfo(docstring const & key,
 868         Buffer const & buf, bool richtext) const
 869 {
 870         BiblioInfo::const_iterator it = find(key);
 871         if (it == end())
 872                 return docstring(_("Bibliography entry not found!"));
 873         BibTeXInfo const & data = it->second;
 874         BibTeXInfo const * xrefptr = 0;
 875         docstring const xref = data.getXRef();
 876         if (!xref.empty()) {
 877                 BiblioInfo::const_iterator const xrefit = find(xref);
 878                 if (xrefit != end())
 879                         xrefptr = &(xrefit->second);
 880         }
 881         return data.getInfo(xrefptr, buf, richtext);
 882 }
 883
 884
 885 docstring const BiblioInfo::getLabel(vector<docstring> keys,
 886         Buffer const & buf, string const & style, bool for_xhtml,
 887         size_t max_size, docstring const & before, docstring const & after,
 888         docstring const & dialog) const
 889 {
 890         // shorter makes no sense
 891         LASSERT(max_size >= 16, max_size = 16);
 892
 893         // we can't display more than 10 of these, anyway
 894         bool const too_many_keys = keys.size() > 10;
 895         if (too_many_keys)
 896                 keys.resize(10);
 897
 898         CiteEngineType const engine_type = buf.params().citeEngineType();
 899         DocumentClass const & dc = buf.params().documentClass();
 900         docstring const & format = from_utf8(dc.getCiteFormat(engine_type, style, "cite"));
 901         docstring ret = format;
 902         vector<docstring>::const_iterator key = keys.begin();
 903         vector<docstring>::const_iterator ken = keys.end();
 904         for (; key != ken; ++key) {
 905                 BiblioInfo::const_iterator it = find(*key);
 906                 BibTeXInfo empty_data;
 907                 empty_data.key(*key);
 908                 BibTeXInfo & data = empty_data;
 909                 BibTeXInfo const * xrefptr = 0;
 910                 if (it != end()) {
 911                         data = it->second;
 912                         docstring const xref = data.getXRef();
 913                         if (!xref.empty()) {
 914                                 BiblioInfo::const_iterator const xrefit = find(xref);
 915                                 if (xrefit != end())
 916                                         xrefptr = &(xrefit->second);
 917                         }
 918                 }
 919                 ret = data.getLabel(xrefptr, buf, ret, for_xhtml,
 920                         before, after, dialog, key + 1 != ken);
 921         }
 922
 923         if (ret.size() > max_size) {
 924                 ret.resize(max_size - 3);
 925                 ret += "...";
 926         } else if (too_many_keys) {
 927                 if (ret.size() > max_size - 3)
 928                         ret.resize(max_size - 3);
 929                 ret += "...";
 930         }
 931         return ret;
 932 }
 933
 934
 935 bool BiblioInfo::isBibtex(docstring const & key) const
 936 {
 937         BiblioInfo::const_iterator it = find(key);
 938         if (it == end())
 939                 return false;
 940         return it->second.isBibTeX();
 941 }
 942
 943
 944 vector<docstring> const BiblioInfo::getCiteStrings(
 945         vector<docstring> const & keys, vector<CitationStyle> const & styles,
 946         Buffer const & buf, docstring const & before,
 947         docstring const & after, docstring const & dialog, size_t max_size) const
 948 {
 949         if (empty())
 950                 return vector<docstring>();
 951
 952         string style;
 953         vector<docstring> vec(styles.size());
 954         for (size_t i = 0; i != vec.size(); ++i) {
 955                 style = styles[i].cmd;
 956                 vec[i] = getLabel(keys, buf, style, false, max_size, before, after, dialog);
 957         }
 958
 959         return vec;
 960 }
 961
 962
 963 void BiblioInfo::mergeBiblioInfo(BiblioInfo const & info)
 964 {
 965         bimap_.insert(info.begin(), info.end());
 966         field_names_.insert(info.field_names_.begin(), info.field_names_.end());
 967         entry_types_.insert(info.entry_types_.begin(), info.entry_types_.end());
 968 }
 969
 970
 971 namespace {
 972
 973 // used in xhtml to sort a list of BibTeXInfo objects
 974 bool lSorter(BibTeXInfo const * lhs, BibTeXInfo const * rhs)
 975 {
 976         docstring const lauth = lhs->getAbbreviatedAuthor();
 977         docstring const rauth = rhs->getAbbreviatedAuthor();
 978         docstring const lyear = lhs->getYear();
 979         docstring const ryear = rhs->getYear();
 980         docstring const ltitl = lhs->operator[]("title");
 981         docstring const rtitl = rhs->operator[]("title");
 982         return  (lauth < rauth)
 983                 || (lauth == rauth && lyear < ryear)
 984                 || (lauth == rauth && lyear == ryear && ltitl < rtitl);
 985 }
 986
 987 }
 988
 989
 990 void BiblioInfo::collectCitedEntries(Buffer const & buf)
 991 {
 992         cited_entries_.clear();
 993         // We are going to collect all the citation keys used in the document,
 994         // getting them from the TOC.
 995         // FIXME We may want to collect these differently, in the first case,
 996         // so that we might have them in order of appearance.
 997         set<docstring> citekeys;
 998         Toc const & toc = buf.tocBackend().toc("citation");
 999         Toc::const_iterator it = toc.begin();
1000         Toc::const_iterator const en = toc.end();
1001         for (; it != en; ++it) {
1002                 if (it->str().empty())
1003                         continue;
1004                 vector<docstring> const keys = getVectorFromString(it->str());
1005                 citekeys.insert(keys.begin(), keys.end());
1006         }
1007         if (citekeys.empty())
1008                 return;
1009
1010         // We have a set of the keys used in this document.
1011         // We will now convert it to a list of the BibTeXInfo objects used in
1012         // this document...
1013         vector<BibTeXInfo const *> bi;
1014         set<docstring>::const_iterator cit = citekeys.begin();
1015         set<docstring>::const_iterator const cen = citekeys.end();
1016         for (; cit != cen; ++cit) {
1017                 BiblioInfo::const_iterator const bt = find(*cit);
1018                 if (bt == end() || !bt->second.isBibTeX())
1019                         continue;
1020                 bi.push_back(&(bt->second));
1021         }
1022         // ...and sort it.
1023         sort(bi.begin(), bi.end(), lSorter);
1024
1025         // Now we can write the sorted keys
1026         vector<BibTeXInfo const *>::const_iterator bit = bi.begin();
1027         vector<BibTeXInfo const *>::const_iterator ben = bi.end();
1028         for (; bit != ben; ++bit)
1029                 cited_entries_.push_back((*bit)->key());
1030 }
1031
1032
1033 void BiblioInfo::makeCitationLabels(Buffer const & buf)
1034 {
1035         collectCitedEntries(buf);
1036         CiteEngineType const engine_type = buf.params().citeEngineType();
1037         bool const numbers = (engine_type & ENGINE_TYPE_NUMERICAL);
1038
1039         int keynumber = 0;
1040         char modifier = 0;
1041         // used to remember the last one we saw
1042         // we'll be comparing entries to see if we need to add
1043         // modifiers, like "1984a"
1044         map<docstring, BibTeXInfo>::iterator last;
1045
1046         vector<docstring>::const_iterator it = cited_entries_.begin();
1047         vector<docstring>::const_iterator const en = cited_entries_.end();
1048         for (; it != en; ++it) {
1049                 map<docstring, BibTeXInfo>::iterator const biit = bimap_.find(*it);
1050                 // this shouldn't happen, but...
1051                 if (biit == bimap_.end())
1052                         // ...fail gracefully, anyway.
1053                         continue;
1054                 BibTeXInfo & entry = biit->second;
1055                 if (numbers) {
1056                         docstring const num = convert<docstring>(++keynumber);
1057                         entry.setCiteNumber(num);
1058                 } else {
1059                         if (it != cited_entries_.begin()
1060                             && entry.getAbbreviatedAuthor() == last->second.getAbbreviatedAuthor()
1061                             // we access the year via getYear() so as to get it from the xref,
1062                             // if we need to do so
1063                             && getYear(entry.key()) == getYear(last->second.key())) {
1064                                 if (modifier == 0) {
1065                                         // so the last one should have been 'a'
1066                                         last->second.setModifier('a');
1067                                         modifier = 'b';
1068                                 } else if (modifier == 'z')
1069                                         modifier = 'A';
1070                                 else
1071                                         modifier++;
1072                         } else {
1073                                 modifier = 0;
1074                         }
1075                         entry.setModifier(modifier);
1076                         // remember the last one
1077                         last = biit;
1078                 }
1079         }
1080         // Set the labels
1081         it = cited_entries_.begin();
1082         for (; it != en; ++it) {
1083                 map<docstring, BibTeXInfo>::iterator const biit = bimap_.find(*it);
1084                 // this shouldn't happen, but...
1085                 if (biit == bimap_.end())
1086                         // ...fail gracefully, anyway.
1087                         continue;
1088                 BibTeXInfo & entry = biit->second;
1089                 if (numbers) {
1090                         entry.label(entry.citeNumber());
1091                 } else {
1092                         docstring const auth = entry.getAbbreviatedAuthor(buf, false);
1093                         // we do it this way so as to access the xref, if necessary
1094                         // note that this also gives us the modifier
1095                         docstring const year = getYear(*it, buf, true);
1096                         if (!auth.empty() && !year.empty())
1097                                 entry.label(auth + ' ' + year);
1098                         else
1099                                 entry.label(entry.key());
1100                 }
1101         }
1102 }
1103
1104
1105 //////////////////////////////////////////////////////////////////////
1106 //
1107 // CitationStyle
1108 //
1109 //////////////////////////////////////////////////////////////////////
1110
1111
1112 CitationStyle citationStyleFromString(string const & command)
1113 {
1114         CitationStyle cs;
1115         if (command.empty())
1116                 return cs;
1117
1118         string cmd = command;
1119         if (cmd[0] == 'C') {
1120                 cs.forceUpperCase = true;
1121                 cmd[0] = 'c';
1122         }
1123
1124         size_t const n = cmd.size() - 1;
1125         if (cmd[n] == '*') {
1126                 cs.fullAuthorList = true;
1127                 cmd = cmd.substr(0, n);
1128         }
1129
1130         cs.cmd = cmd;
1131         return cs;
1132 }
1133
1134
1135 string citationStyleToString(const CitationStyle & cs)
1136 {
1137         string cmd = cs.cmd;
1138         if (cs.forceUpperCase)
1139                 cmd[0] = 'C';
1140         if (cs.fullAuthorList)
1141                 cmd += '*';
1142         return cmd;
1143 }
1144
1145 } // namespace lyx