src/ConverterCache.cpp

   1 /**
   2  * \file ConverterCache.cpp
   3  * This file is part of LyX, the document processor.
   4  * Licence details can be found in the file COPYING.
   5  *
   6  * \author Baruch Even
   7  * \author Angus Leeming
   8  * \author Georg Baum
   9  *
  10  * Full author contact details are available in file CREDITS.
  11  */
  12
  13 #include <config.h>
  14
  15 #include "ConverterCache.h"
  16
  17 #include "Format.h"
  18 #include "Lexer.h"
  19 #include "LyXRC.h"
  20 #include "Mover.h"
  21
  22 #include "support/convert.h"
  23 #include "support/debug.h"
  24 #include "support/filetools.h"
  25 #include "support/lyxtime.h"
  26 #include "support/Package.h"
  27
  28 #include "support/lassert.h"
  29 #include <boost/crc.hpp>
  30
  31 #include <algorithm>
  32 #include <fstream>
  33 #include <iomanip>
  34 #include <map>
  35 #include <sstream>
  36
  37 using namespace std;
  38 using namespace lyx::support;
  39
  40 namespace lyx {
  41
  42 namespace {
  43
  44 unsigned long do_crc(string const & s)
  45 {
  46         boost::crc_32_type crc;
  47         crc = for_each(s.begin(), s.end(), crc);
  48         return crc.checksum();
  49 }
  50
  51
  52 static FileName cache_dir;
  53
  54
  55 class CacheItem {
  56 public:
  57         CacheItem() {}
  58         CacheItem(FileName const & orig_from, string const & to_format,
  59                   time_t t, unsigned long c)
  60                 : timestamp(t), checksum(c)
  61         {
  62                 ostringstream os;
  63                 os << setw(10) << setfill('0') << do_crc(orig_from.absFilename())
  64                    << '-' << to_format;
  65                 cache_name = FileName(addName(cache_dir.absFilename(), os.str()));
  66                 LYXERR(Debug::FILES, "Add file cache item " << orig_from
  67                                      << ' ' << to_format << ' ' << cache_name
  68                                      << ' ' << long(timestamp) << ' ' << checksum << '.');
  69         }
  70         ~CacheItem() {}
  71         FileName cache_name;
  72         time_t timestamp;
  73         unsigned long checksum;
  74 };
  75
  76 }
  77
  78
  79 /** The cache contains one item per orig file and target format, so use a
  80  *  nested map to find the cache item quickly by filename and format.
  81  */
  82 typedef map<string, CacheItem> FormatCacheType;
  83 class FormatCache {
  84 public:
  85         /// Format of the source file
  86         string from_format;
  87         /// Cache target format -> item to quickly find the item by format
  88         FormatCacheType cache;
  89 };
  90 typedef map<FileName, FormatCache> CacheType;
  91
  92
  93 class ConverterCache::Impl {
  94 public:
  95         ///
  96         void readIndex();
  97         ///
  98         void writeIndex();
  99         ///
 100         CacheItem * find(FileName const & from, string const & format);
 101         CacheType cache;
 102 };
 103
 104
 105 void ConverterCache::Impl::readIndex()
 106 {
 107         time_t const now = current_time();
 108         FileName const index(addName(cache_dir.absFilename(), "index"));
 109         ifstream is(index.toFilesystemEncoding().c_str());
 110         Lexer lex;
 111         lex.setStream(is);
 112         while (lex.isOK()) {
 113                 if (!lex.next(true))
 114                         break;
 115                 string const orig_from = lex.getString();
 116                 if (!lex.next())
 117                         break;
 118                 string const to_format = lex.getString();
 119                 if (!lex.next())
 120                         break;
 121                 time_t const timestamp =
 122                         convert<unsigned long>(lex.getString());
 123                 if (!lex.next())
 124                         break;
 125                 unsigned long const checksum =
 126                         convert<unsigned long>(lex.getString());
 127                 FileName const orig_from_name(orig_from);
 128                 CacheItem item(orig_from_name, to_format, timestamp, checksum);
 129
 130                 // Don't cache files that do not exist anymore
 131                 if (!orig_from_name.exists()) {
 132                         LYXERR(Debug::FILES, "Not caching file `"
 133                                 << orig_from << "' (does not exist anymore).");
 134                         item.cache_name.removeFile();
 135                         continue;
 136                 }
 137
 138                 // Don't add items that are not in the cache anymore
 139                 // This can happen if two instances of LyX are running
 140                 // at the same time and update the index file independantly.
 141                 if (!item.cache_name.exists()) {
 142                         LYXERR(Debug::FILES, "Not caching file `" << orig_from
 143                                 << "' (cached copy does not exist anymore).");
 144                         continue;
 145                 }
 146
 147                 // Delete the cached file if it is too old
 148                 if (difftime(now, item.cache_name.lastModified())
 149                                 > lyxrc.converter_cache_maxage) {
 150                         LYXERR(Debug::FILES, "Not caching file `"
 151                                 << orig_from << "' (too old).");
 152                         item.cache_name.removeFile();
 153                         continue;
 154                 }
 155
 156                 FormatCache & format_cache = cache[orig_from_name];
 157                 if (format_cache.from_format.empty())
 158                         format_cache.from_format =
 159                                 formats.getFormatFromFile(orig_from_name);
 160                 format_cache.cache[to_format] = item;
 161         }
 162         is.close();
 163 }
 164
 165
 166 void ConverterCache::Impl::writeIndex()
 167 {
 168         FileName const index(addName(cache_dir.absFilename(), "index"));
 169         ofstream os(index.toFilesystemEncoding().c_str());
 170         os.close();
 171         if (!index.changePermission(0600))
 172                 return;
 173         os.open(index.toFilesystemEncoding().c_str());
 174         CacheType::iterator it1 = cache.begin();
 175         CacheType::iterator const end1 = cache.end();
 176         for (; it1 != end1; ++it1) {
 177                 FormatCacheType const & format_cache = it1->second.cache;
 178                 FormatCacheType::const_iterator it2 = format_cache.begin();
 179                 FormatCacheType::const_iterator const end2 = format_cache.end();
 180                 for (; it2 != end2; ++it2)
 181                         os << Lexer::quoteString(it1->first.absFilename())
 182                            << ' ' << it2->first << ' '
 183                            << it2->second.timestamp << ' '
 184                            << it2->second.checksum << '\n';
 185         }
 186         os.close();
 187 }
 188
 189
 190 CacheItem * ConverterCache::Impl::find(FileName const & from,
 191                 string const & format)
 192 {
 193         if (!lyxrc.use_converter_cache)
 194                 return 0;
 195         CacheType::iterator const it1 = cache.find(from);
 196         if (it1 == cache.end())
 197                 return 0;
 198         FormatCacheType & format_cache = it1->second.cache;
 199         FormatCacheType::iterator const it2 = format_cache.find(format);
 200         if (it2 == format_cache.end())
 201                 return 0;
 202         return &(it2->second);
 203 }
 204
 205
 206 /////////////////////////////////////////////////////////////////////
 207 //
 208 // ConverterCache
 209 //
 210 /////////////////////////////////////////////////////////////////////
 211
 212 ConverterCache::ConverterCache()
 213         : pimpl_(new Impl)
 214 {}
 215
 216
 217 ConverterCache::~ConverterCache()
 218 {
 219         if (!lyxrc.use_converter_cache)
 220                 return;
 221         delete pimpl_;
 222 }
 223
 224
 225 ConverterCache & ConverterCache::get()
 226 {
 227         // Now return the cache
 228         static ConverterCache singleton;
 229         return singleton;
 230 }
 231
 232
 233 void ConverterCache::init()
 234 {
 235         if (!lyxrc.use_converter_cache)
 236                 return;
 237         // We do this here and not in the constructor because package() gets
 238         // initialized after all static variables.
 239         cache_dir = FileName(addName(package().user_support().absFilename(), "cache"));
 240         if (!cache_dir.exists())
 241                 if (!cache_dir.createDirectory(0700)) {
 242                         lyxerr << "Could not create cache directory `"
 243                                << cache_dir << "'." << endl;
 244                         exit(EXIT_FAILURE);
 245                 }
 246         get().pimpl_->readIndex();
 247 }
 248
 249
 250 void ConverterCache::writeIndex() const
 251 {
 252         pimpl_->writeIndex();
 253 }
 254
 255
 256 void ConverterCache::add(FileName const & orig_from, string const & to_format,
 257                 FileName const & converted_file) const
 258 {
 259         if (!lyxrc.use_converter_cache || orig_from.empty() ||
 260             converted_file.empty())
 261                 return;
 262         LYXERR(Debug::FILES, ' ' << orig_from
 263                              << ' ' << to_format << ' ' << converted_file);
 264
 265         // FIXME: Should not hardcode this (see bug 3819 for details)
 266         if (to_format == "pstex") {
 267                 FileName const converted_eps(changeExtension(converted_file.absFilename(), "eps"));
 268                 add(orig_from, "eps", converted_eps);
 269         } else if (to_format == "pdftex") {
 270                 FileName const converted_pdf(changeExtension(converted_file.absFilename(), "pdf"));
 271                 add(orig_from, "pdf", converted_pdf);
 272         }
 273
 274         // Is the file in the cache already?
 275         CacheItem * item = pimpl_->find(orig_from, to_format);
 276
 277         time_t const timestamp = orig_from.lastModified();
 278         Mover const & mover = getMover(to_format);
 279         if (item) {
 280                 LYXERR(Debug::FILES, "ConverterCache::add(" << orig_from << "):\n"
 281                                         "The file is already in the cache.");
 282                 // First test for timestamp
 283                 if (timestamp == item->timestamp) {
 284                         LYXERR(Debug::FILES, "Same timestamp.");
 285                         return;
 286                 }
 287                 // Maybe the contents is still the same?
 288                 item->timestamp = timestamp;
 289                 unsigned long const checksum = orig_from.checksum();
 290                 if (checksum == item->checksum) {
 291                         LYXERR(Debug::FILES, "Same checksum.");
 292                         return;
 293                 }
 294                 item->checksum = checksum;
 295                 if (!mover.copy(converted_file, item->cache_name,
 296                               onlyFilename(item->cache_name.absFilename()))) {
 297                         LYXERR(Debug::FILES, "Could not copy file " << orig_from << " to "
 298                                 << item->cache_name);
 299                 } else if (!item->cache_name.changePermission(0600)) {
 300                         LYXERR(Debug::FILES, "Could not change file mode"
 301                                 << item->cache_name);
 302                 }
 303         } else {
 304                 CacheItem new_item(orig_from, to_format, timestamp,
 305                                 orig_from.checksum());
 306                 if (mover.copy(converted_file, new_item.cache_name,
 307                               onlyFilename(new_item.cache_name.absFilename()))) {
 308                         if (!new_item.cache_name.changePermission(0600)) {
 309                                 LYXERR(Debug::FILES, "Could not change file mode"
 310                                         << new_item.cache_name);
 311                         }
 312                         FormatCache & format_cache = pimpl_->cache[orig_from];
 313                         if (format_cache.from_format.empty())
 314                                 format_cache.from_format =
 315                                         formats.getFormatFromFile(orig_from);
 316                         format_cache.cache[to_format] = new_item;
 317                 } else
 318                         LYXERR(Debug::FILES, "ConverterCache::add(" << orig_from << "):\n"
 319                                                 "Could not copy file.");
 320         }
 321 }
 322
 323
 324 void ConverterCache::remove(FileName const & orig_from,
 325                 string const & to_format) const
 326 {
 327         if (!lyxrc.use_converter_cache || orig_from.empty())
 328                 return;
 329         LYXERR(Debug::FILES, orig_from << ' ' << to_format);
 330
 331         CacheType::iterator const it1 = pimpl_->cache.find(orig_from);
 332         if (it1 == pimpl_->cache.end())
 333                 return;
 334         FormatCacheType & format_cache = it1->second.cache;
 335         FormatCacheType::iterator const it2 = format_cache.find(to_format);
 336         if (it2 == format_cache.end())
 337                 return;
 338
 339         format_cache.erase(it2);
 340         if (format_cache.empty())
 341                 pimpl_->cache.erase(it1);
 342 }
 343
 344
 345 void ConverterCache::remove_all(string const & from_format,
 346                 string const & to_format) const
 347 {
 348         if (!lyxrc.use_converter_cache)
 349                 return;
 350         CacheType::iterator it1 = pimpl_->cache.begin();
 351         while (it1 != pimpl_->cache.end()) {
 352                 if (it1->second.from_format != from_format) {
 353                         ++it1;
 354                         continue;
 355                 }
 356                 FormatCacheType & format_cache = it1->second.cache;
 357                 FormatCacheType::iterator it2 = format_cache.begin();
 358                 while (it2 != format_cache.end()) {
 359                         if (it2->first == to_format) {
 360                                 LYXERR(Debug::FILES, "Removing file cache item "
 361                                         << it1->first << ' ' << to_format);
 362                                 it2->second.cache_name.removeFile();
 363                                 format_cache.erase(it2);
 364                                 // Have to start over again since items in a
 365                                 // map are not ordered
 366                                 it2 = format_cache.begin();
 367                         } else {
 368                                 ++it2;
 369                         }
 370                 }
 371                 if (format_cache.empty()) {
 372                         pimpl_->cache.erase(it1);
 373                         // Have to start over again since items in a map are
 374                         // not ordered
 375                         it1 = pimpl_->cache.begin();
 376                 } else {
 377                         ++it1;
 378                 }
 379         }
 380         pimpl_->writeIndex();
 381 }
 382
 383
 384 bool ConverterCache::inCache(FileName const & orig_from,
 385                 string const & to_format) const
 386 {
 387         if (!lyxrc.use_converter_cache || orig_from.empty())
 388                 return false;
 389         LYXERR(Debug::FILES, orig_from << ' ' << to_format);
 390
 391         CacheItem * const item = pimpl_->find(orig_from, to_format);
 392         if (!item) {
 393                 LYXERR(Debug::FILES, "not in cache.");
 394                 return false;
 395         }
 396         time_t const timestamp = orig_from.lastModified();
 397         if (item->timestamp == timestamp) {
 398                 LYXERR(Debug::FILES, "identical timestamp.");
 399                 return true;
 400         }
 401         if (item->checksum == orig_from.checksum()) {
 402                 item->timestamp = timestamp;
 403                 LYXERR(Debug::FILES, "identical checksum.");
 404                 return true;
 405         }
 406         LYXERR(Debug::FILES, "in cache, but too old.");
 407         return false;
 408 }
 409
 410
 411 FileName const & ConverterCache::cacheName(FileName const & orig_from,
 412                 string const & to_format) const
 413 {
 414         LYXERR(Debug::FILES, orig_from << ' ' << to_format);
 415
 416         CacheItem * const item = pimpl_->find(orig_from, to_format);
 417         LASSERT(item, /**/);
 418         return item->cache_name;
 419 }
 420
 421
 422 bool ConverterCache::copy(FileName const & orig_from, string const & to_format,
 423                 FileName const & dest) const
 424 {
 425         if (!lyxrc.use_converter_cache || orig_from.empty() || dest.empty())
 426                 return false;
 427         LYXERR(Debug::FILES, orig_from << ' ' << to_format << ' ' << dest);
 428
 429         // FIXME: Should not hardcode this (see bug 3819 for details)
 430         if (to_format == "pstex") {
 431                 FileName const dest_eps(changeExtension(dest.absFilename(), "eps"));
 432                 if (!copy(orig_from, "eps", dest_eps))
 433                         return false;
 434         } else if (to_format == "pdftex") {
 435                 FileName const dest_pdf(changeExtension(dest.absFilename(), "pdf"));
 436                 if (!copy(orig_from, "pdf", dest_pdf))
 437                         return false;
 438         }
 439
 440         CacheItem * const item = pimpl_->find(orig_from, to_format);
 441         LASSERT(item, /**/);
 442         Mover const & mover = getMover(to_format);
 443         return mover.copy(item->cache_name, dest,
 444                           onlyFilename(dest.absFilename()));
 445 }
 446
 447 } // namespace lyx