lib/scripts/legacy_lyxpreview2ppm.py

   1 # -*- coding: utf-8 -*-
   2
   3 # file legacy_lyxpreview2ppm.py
   4 # This file is part of LyX, the document processor.
   5 # Licence details can be found in the file COPYING.
   6
   7 # author Angus Leeming
   8 # Full author contact details are available in file CREDITS
   9
  10 # with much advice from members of the preview-latex project:
  11 #   David Kastrup, dak@gnu.org and
  12 #   Jan-Åke Larsson, jalar@mai.liu.se.
  13 # and with much help testing the code under Windows from
  14 #   Paul A. Rubin, rubin@msu.edu.
  15
  16 # This script takes a LaTeX file and generates a collection of
  17 # png or ppm image files, one per previewed snippet.
  18 # Example usage:
  19 # legacy_lyxpreview2bitmap.py 0lyxpreview.tex 128 ppm 000000 faf0e6
  20
  21 # This script takes five arguments:
  22 # TEXFILE:       the name of the .tex file to be converted.
  23 # SCALEFACTOR:   a scale factor, used to ascertain the resolution of the
  24 #                generated image which is then passed to gs.
  25 # OUTPUTFORMAT:  the format of the output bitmap image files.
  26 #                This particular script can produce only "ppm" format output.
  27 # FG_COLOR:      the foreground color as a hexadecimal string, eg '000000'.
  28 # BG_COLOR:      the background color as a hexadecimal string, eg 'faf0e6'.
  29
  30 # Decomposing TEXFILE's name as DIR/BASE.tex, this script will,
  31 # if executed successfully, leave in DIR:
  32 # * a (possibly large) number of image files with names
  33 #   like BASE[0-9]+.(ppm|png)
  34 # * a file BASE.metrics, containing info needed by LyX to position
  35 #   the images correctly on the screen.
  36
  37 # The script uses several external programs and files:
  38 # * python 2.4 or later (subprocess module);
  39 # * A latex executable;
  40 # * preview.sty;
  41 # * dvips;
  42 # * gs;
  43 # * pdflatex (optional);
  44 # * pnmcrop (optional).
  45 # * pdftocairo (optional).
  46 # * epstopdf (optional).
  47
  48 # preview.sty is part of the preview-latex project
  49 #   http://preview-latex.sourceforge.net/
  50 # Alternatively, it can be obtained from
  51 #   CTAN/support/preview-latex/
  52
  53 # What does this script do?
  54 # [legacy_conversion]
  55 # 0) Process command-line arguments
  56 # [legacy_conversion_step1]
  57 # 1) Call latex to create a DVI file from LaTeX
  58 # [legacy_conversion_step2]
  59 # 2) Call dvips to create one PS file for each DVI page
  60 # [legacy_conversion_step3]
  61 # 3) If dvips fails look for PDF and call pdftocairo or gs to produce bitmaps
  62 # 4) Otherwise call pdftocairo or gs on each PostScript file to produce bitmaps
  63 # [legacy_conversion_pdflatex]
  64 # 5) Keep track of pages on which gs failed and pass them to pdflatex
  65 # 6) Call pdftocairo or gs on the PDF output from pdflatex to produce bitmaps
  66 # 7) Extract and write to file (or return to lyxpreview2bitmap)
  67 #    metrics from both methods (standard and pdflatex)
  68
  69 # The script uses the old dvi->ps->png conversion route,
  70 # which is good when using PSTricks, TikZ or other packages involving
  71 # PostScript literals (steps 1, 2, 4).
  72 # This script also generates bitmaps from PDF created by a call to
  73 # lyxpreview2bitmap.py passing "pdflatex" to the CONVERTER parameter
  74 # (step 3).
  75 # Finally, there's also has a fallback method based on pdflatex, which
  76 # is required in certain cases, if hyperref is active for instance,
  77 # (step 5, 6).
  78 # If possible, dvipng should be used, as it's much faster.
  79 # If possible, the script will use pdftocairo instead of gs,
  80 # as it's much faster and gives better results.
  81
  82 import glob, os, pipes, re, string, sys
  83
  84 from lyxpreview_tools import check_latex_log, copyfileobj, error, filter_pages,\
  85      find_exe, find_exe_or_terminate, join_metrics_and_rename, latex_commands, \
  86      latex_file_re, make_texcolor, mkstemp, pdflatex_commands, progress, \
  87      run_command, run_latex, warning, write_metrics_info
  88
  89
  90 def usage(prog_name):
  91     return "Usage: %s <latex file> <dpi> ppm <fg color> <bg color>\n" \
  92            "\twhere the colors are hexadecimal strings, eg 'faf0e6'" \
  93            % prog_name
  94
  95 # Returns a list of tuples containing page number and ascent fraction
  96 # extracted from dvipng output.
  97 # Use write_metrics_info to create the .metrics file with this info
  98 def legacy_extract_metrics_info(log_file):
  99
 100     log_re = re.compile("Preview: ([ST])")
 101     data_re = re.compile("(-?[0-9]+) (-?[0-9]+) (-?[0-9]+) (-?[0-9]+)")
 102
 103     tp_ascent  = 0.0
 104     tp_descent = 0.0
 105
 106     success = 0
 107     results = []
 108     try:
 109         for line in open(log_file, 'r').readlines():
 110             match = log_re.match(line)
 111             if match == None:
 112                 continue
 113
 114             snippet = (match.group(1) == 'S')
 115             success = 1
 116             match = data_re.search(line)
 117             if match == None:
 118                 error("Unexpected data in %s\n%s" % (log_file, line))
 119
 120             if snippet:
 121                 ascent  = string.atof(match.group(2))
 122                 descent = string.atof(match.group(3))
 123
 124                 frac = 0.5
 125                 if ascent == 0 and descent == 0:
 126                     # This is an empty image, forbid its display
 127                     frac = -1.0
 128                 elif ascent >= 0 or descent >= 0:
 129                     ascent = ascent + tp_ascent
 130                     descent = descent - tp_descent
 131
 132                     if abs(ascent + descent) > 0.1:
 133                         frac = ascent / (ascent + descent)
 134
 135                     # Sanity check
 136                     if frac < 0 or frac > 1:
 137                             frac = 0.5
 138
 139                 results.append((int(match.group(1)), frac))
 140
 141             else:
 142                 tp_descent = string.atof(match.group(2))
 143                 tp_ascent  = string.atof(match.group(4))
 144
 145     except:
 146         # Unable to open the file, but do nothing here because
 147         # the calling function will act on the value of 'success'.
 148         warning('Warning in legacy_extract_metrics_info! Unable to open "%s"' % log_file)
 149         warning(`sys.exc_type` + ',' + `sys.exc_value`)
 150
 151     if success == 0:
 152         error("Failed to extract metrics info from %s" % log_file)
 153
 154     return results
 155
 156 def extract_resolution(log_file, dpi):
 157     fontsize_re = re.compile("Preview: Fontsize")
 158     magnification_re = re.compile("Preview: Magnification")
 159     extract_decimal_re = re.compile("([0-9\.]+)")
 160     extract_integer_re = re.compile("([0-9]+)")
 161
 162     found_fontsize = 0
 163     found_magnification = 0
 164
 165     # Default values
 166     magnification = 1000.0
 167     fontsize = 10.0
 168
 169     try:
 170         for line in open(log_file, 'r').readlines():
 171             if found_fontsize and found_magnification:
 172                 break
 173
 174             if not found_fontsize:
 175                 match = fontsize_re.match(line)
 176                 if match != None:
 177                     match = extract_decimal_re.search(line)
 178                     if match == None:
 179                         error("Unable to parse: %s" % line)
 180                     fontsize = string.atof(match.group(1))
 181                     found_fontsize = 1
 182                     continue
 183
 184             if not found_magnification:
 185                 match = magnification_re.match(line)
 186                 if match != None:
 187                     match = extract_integer_re.search(line)
 188                     if match == None:
 189                         error("Unable to parse: %s" % line)
 190                     magnification = string.atof(match.group(1))
 191                     found_magnification = 1
 192                     continue
 193
 194     except:
 195         warning('Warning in extract_resolution! Unable to open "%s"' % log_file)
 196         warning(`sys.exc_type` + ',' + `sys.exc_value`)
 197
 198     # This is safe because both fontsize and magnification have
 199     # non-zero default values.
 200     return dpi * (10.0 / fontsize) * (1000.0 / magnification)
 201
 202
 203 def legacy_latex_file(latex_file, fg_color, bg_color):
 204     use_preview_re = re.compile(r"\s*\\usepackage\[([^]]+)\]{preview}")
 205     use_polyglossia_re = re.compile(r"\s*\\usepackage{polyglossia}")
 206     fg_color_gr = make_texcolor(fg_color, True)
 207     bg_color_gr = make_texcolor(bg_color, True)
 208
 209     tmp = mkstemp()
 210
 211     success = 0
 212     try:
 213         f = open(latex_file, 'r')
 214     except:
 215         # Unable to open the file, but do nothing here because
 216         # the calling function will act on the value of 'success'.
 217         warning('Warning in legacy_latex_file! Unable to open "%s"' % latex_file)
 218         warning(`sys.exc_type` + ',' + `sys.exc_value`)
 219
 220     polyglossia = False
 221     for line in f.readlines():
 222         if success:
 223             tmp.write(line)
 224             continue
 225         match = use_preview_re.match(line)
 226         polymatch = use_polyglossia_re.match(line)
 227         # Package order:
 228         # * if polyglossia is used, we need to load color before that
 229         #   (also, we do not have to load lmodern)
 230         # * else, color should be loaded before preview
 231         if match == None:
 232             if polymatch == None:
 233                 tmp.write(line)
 234                 continue
 235             else:
 236                 tmp.write(b"""
 237 \\usepackage{color}
 238 \\definecolor{fg}{rgb}{%s}
 239 \\definecolor{bg}{rgb}{%s}
 240 \\pagecolor{bg}
 241 \\usepackage{polyglossia}
 242 """ % (fg_color_gr, bg_color_gr))
 243                 polyglossia = True
 244                 continue
 245         success = 1
 246         # Preview options: add the options lyx and tightpage
 247         previewopts = match.group(1)
 248         if not polyglossia:
 249             tmp.write(r"""
 250 \usepackage{color}
 251 \definecolor{fg}{rgb}{%s}
 252 \definecolor{bg}{rgb}{%s}
 253 \pagecolor{bg}
 254 \usepackage[%s,tightpage]{preview}
 255 \makeatletter
 256 \def\t@a{cmr}
 257 \if\f@family\t@a
 258 \IfFileExists{lmodern.sty}{\usepackage{lmodern}}{\usepackage{ae,aecompl}}
 259 \fi
 260 \g@addto@macro\preview{\begingroup\color{bg}\special{ps::clippath fill}\color{fg}}
 261 \g@addto@macro\endpreview{\endgroup}
 262 \makeatother
 263 """ % (fg_color_gr, bg_color_gr, previewopts))
 264         else:
 265             tmp.write(r"""
 266 \usepackage[%s,tightpage]{preview}
 267 \makeatletter
 268 \g@addto@macro\preview{\begingroup\color{bg}\special{ps::clippath fill}\color{fg}}
 269 \g@addto@macro\endpreview{\endgroup}
 270 \makeatother
 271 """ % previewopts)
 272     if success:
 273         copyfileobj(tmp, open(latex_file,"wb"), 1)
 274
 275     return success
 276
 277
 278 def crop_files(pnmcrop, basename):
 279     t = pipes.Template()
 280     t.append('%s -left' % pnmcrop, '--')
 281     t.append('%s -right' % pnmcrop, '--')
 282
 283     for file in glob.glob("%s*.ppm" % basename):
 284         tmp = mkstemp()
 285         new = t.open(file, "r")
 286         copyfileobj(new, tmp)
 287         if not new.close():
 288             copyfileobj(tmp, open(file,"wb"), 1)
 289
 290
 291 def legacy_conversion(argv, skipMetrics = False):
 292     # Parse and manipulate the command line arguments.
 293     if len(argv) == 7:
 294         latex = [argv[6]]
 295     elif len(argv) != 6:
 296         error(usage(argv[0]))
 297     else:
 298         latex = None
 299
 300     dir, latex_file = os.path.split(argv[1])
 301     if len(dir) != 0:
 302         os.chdir(dir)
 303
 304     dpi = string.atoi(argv[2])
 305
 306     output_format = argv[3]
 307
 308     fg_color = argv[4]
 309     bg_color = argv[5]
 310
 311     # External programs used by the script.
 312     latex = find_exe_or_terminate(latex or latex_commands)
 313
 314     pdf_output = latex in pdflatex_commands
 315
 316     return legacy_conversion_step1(latex_file, dpi, output_format, fg_color,
 317         bg_color, latex, pdf_output, skipMetrics)
 318
 319
 320 # Add color info to the latex file, since ghostscript doesn't
 321 # have the option to set foreground and background colors on
 322 # the command line. Run the resulting file through latex.
 323 def legacy_conversion_step1(latex_file, dpi, output_format, fg_color, bg_color,
 324                             latex, pdf_output = False, skipMetrics = False):
 325
 326     # Move color information, lyx and tightpage options into the latex file.
 327     if not legacy_latex_file(latex_file, fg_color, bg_color):
 328         error("""Unable to move the color information, and the lyx and tightpage
 329             options of preview-latex, into the latex file""")
 330
 331     # Compile the latex file.
 332     latex_status, latex_stdout = run_latex(latex, latex_file)
 333     if latex_status:
 334         progress("Will try to recover from %s failure" % latex)
 335
 336     if pdf_output:
 337         return legacy_conversion_step3(latex_file, dpi, output_format, True, skipMetrics)
 338     else:
 339         return legacy_conversion_step2(latex_file, dpi, output_format, skipMetrics)
 340
 341 # Creates a new LaTeX file from the original with pages specified in
 342 # failed_pages, pass it through pdflatex and updates the metrics
 343 # from the standard legacy route
 344 def legacy_conversion_pdflatex(latex_file, failed_pages, legacy_metrics,
 345     use_pdftocairo, conv, gs_device, gs_ext, alpha, resolution, output_format):
 346
 347     error_count = 0
 348
 349     # Search for pdflatex executable
 350     pdflatex = find_exe(["pdflatex"])
 351     if pdflatex == None:
 352         warning("Can't find pdflatex. Some pages failed with all the possible routes.")
 353         failed_pages = []
 354     else:
 355         # Create a new LaTeX file from the original but only with failed pages
 356         pdf_latex_file = latex_file_re.sub("_pdflatex.tex", latex_file)
 357         filter_pages(latex_file, pdf_latex_file, failed_pages)
 358
 359         # pdflatex call
 360         error_pages = []
 361         pdflatex_status, pdflatex_stdout = run_latex(pdflatex, pdf_latex_file)
 362         if pdflatex_status:
 363             error_pages = check_latex_log(latex_file_re.sub(".log", pdf_latex_file))
 364
 365         pdf_file = latex_file_re.sub(".pdf", pdf_latex_file)
 366         latex_file_root = latex_file_re.sub("", pdf_latex_file)
 367
 368         # Converter call to produce bitmaps
 369         if use_pdftocairo:
 370             conv_call = '%s -png -transp -r %d "%s" "%s"' \
 371                         % (conv, resolution, pdf_file, latex_file_root)
 372             conv_status, conv_stdout = run_command(conv_call)
 373             if not conv_status:
 374                 seqnum_re = re.compile("-([0-9]+)")
 375                 for name in glob.glob("%s-*.png" % latex_file_root):
 376                     match = seqnum_re.search(name)
 377                     if match != None:
 378                         new_name = seqnum_re.sub(str(int(match.group(1))), name)
 379                         os.rename(name, new_name)
 380         else:
 381             conv_call = '%s -dNOPAUSE -dBATCH -dSAFER -sDEVICE=%s ' \
 382                         '-sOutputFile="%s%%d.%s" ' \
 383                         '-dGraphicsAlphaBit=%d -dTextAlphaBits=%d ' \
 384                         '-r%f "%s"' \
 385                         % (conv, gs_device, latex_file_root, \
 386                             gs_ext, alpha, alpha, resolution, pdf_file)
 387             conv_status, conv_stdout = run_command(conv_call)
 388
 389         if conv_status:
 390             # Give up!
 391             warning("Some pages failed with all the possible routes")
 392             failed_pages = []
 393         else:
 394             # We've done it!
 395             pdf_log_file = latex_file_re.sub(".log", pdf_latex_file)
 396             pdf_metrics = legacy_extract_metrics_info(pdf_log_file)
 397
 398             # Invalidate metrics for pages that produced errors
 399             if len(error_pages) > 0:
 400                 for index in error_pages:
 401                     pdf_metrics.pop(index - 1)
 402                     pdf_metrics.insert(index - 1, (index, -1.0))
 403                     error_count += 1
 404
 405             original_bitmap = latex_file_re.sub("%d." + output_format, pdf_latex_file)
 406             destination_bitmap = latex_file_re.sub("%d." + output_format, latex_file)
 407
 408             # Join the metrics with the those from dvips and rename the bitmap images
 409             join_metrics_and_rename(legacy_metrics, pdf_metrics, failed_pages,
 410                 original_bitmap, destination_bitmap)
 411
 412     return error_count
 413
 414
 415 # The file has been processed through latex and we expect dvi output.
 416 # Run dvips, taking note whether it was successful.
 417 def legacy_conversion_step2(latex_file, dpi, output_format, skipMetrics = False):
 418     # External programs used by the script.
 419     dvips   = find_exe_or_terminate(["dvips"])
 420
 421     # Run the dvi file through dvips.
 422     dvi_file = latex_file_re.sub(".dvi", latex_file)
 423     ps_file  = latex_file_re.sub(".ps",  latex_file)
 424
 425     dvips_call = '%s -i -o "%s" "%s"' % (dvips, ps_file, dvi_file)
 426     dvips_failed = False
 427
 428     dvips_status, dvips_stdout = run_command(dvips_call)
 429     if dvips_status:
 430         warning('Failed: %s %s ... looking for PDF' \
 431             % (os.path.basename(dvips), dvi_file))
 432         dvips_failed = True
 433
 434     return legacy_conversion_step3(latex_file, dpi, output_format, dvips_failed, skipMetrics)
 435
 436
 437 # Either latex and dvips have been run and we have a ps file, or
 438 # pdflatex has been run and we have a pdf file. Proceed with pdftocairo or gs.
 439 def legacy_conversion_step3(latex_file, dpi, output_format, dvips_failed, skipMetrics = False):
 440     # External programs used by the script.
 441     gs      = find_exe_or_terminate(["gswin32c", "gswin64c", "gs"])
 442     pnmcrop = find_exe(["pnmcrop"])
 443     pdftocairo = find_exe(["pdftocairo"])
 444     epstopdf   = find_exe(["epstopdf"])
 445     use_pdftocairo = pdftocairo != None and output_format == "png"
 446     if use_pdftocairo:
 447         conv = pdftocairo
 448     else:
 449         conv = gs
 450
 451     # Files to process
 452     pdf_file  = latex_file_re.sub(".pdf", latex_file)
 453     ps_file  = latex_file_re.sub(".ps",  latex_file)
 454
 455     # The latex file name without extension
 456     latex_file_root = latex_file_re.sub("", latex_file)
 457
 458     # Extract resolution data for the converter from the log file.
 459     log_file = latex_file_re.sub(".log", latex_file)
 460     resolution = extract_resolution(log_file, dpi)
 461
 462     # Check whether some pages produced errors
 463     error_pages = check_latex_log(log_file)
 464
 465     # Older versions of gs have problems with a large degree of
 466     # anti-aliasing at high resolutions
 467     alpha = 4
 468     if resolution > 150:
 469         alpha = 2
 470
 471     gs_device = "png16m"
 472     gs_ext = "png"
 473     if output_format == "ppm":
 474         gs_device = "pnmraw"
 475         gs_ext = "ppm"
 476
 477     # Extract the metrics from the log file
 478     legacy_metrics = legacy_extract_metrics_info(log_file)
 479
 480     # List of pages which failed to produce a correct output
 481     failed_pages = []
 482
 483     # Generate the bitmap images
 484     if dvips_failed:
 485         # dvips failed, maybe there's a PDF, try to produce bitmaps
 486         if use_pdftocairo:
 487             conv_call = '%s -png -transp -r %d "%s" "%s"' \
 488                         % (pdftocairo, resolution, pdf_file, latex_file_root)
 489
 490             conv_status, conv_stdout = run_command(conv_call)
 491             if not conv_status:
 492                 seqnum_re = re.compile("-([0-9]+)")
 493                 for name in glob.glob("%s-*.png" % latex_file_root):
 494                     match = seqnum_re.search(name)
 495                     if match != None:
 496                         new_name = seqnum_re.sub(str(int(match.group(1))), name)
 497                         os.rename(name, new_name)
 498         else:
 499             conv_call = '%s -dNOPAUSE -dBATCH -dSAFER -sDEVICE=%s ' \
 500                       '-sOutputFile="%s%%d.%s" ' \
 501                       '-dGraphicsAlphaBit=%d -dTextAlphaBits=%d ' \
 502                       '-r%f "%s"' \
 503                       % (gs, gs_device, latex_file_root, \
 504                          gs_ext, alpha, alpha, resolution, pdf_file)
 505
 506             conv_status, conv_stdout = run_command(conv_call)
 507
 508         if conv_status:
 509             error("Failed: %s %s" % (os.path.basename(conv), pdf_file))
 510     else:
 511         # Model for calling the converter on each file
 512         if use_pdftocairo and epstopdf != None:
 513             conv_call = '%s -png -transp -singlefile -r %d "%%s" "%s%%d"' \
 514                         % (pdftocairo, resolution, latex_file_root)
 515         else:
 516             conv_call = '%s -dNOPAUSE -dBATCH -dSAFER -sDEVICE=%s ' \
 517                         '-sOutputFile="%s%%d.%s" ' \
 518                         '-dGraphicsAlphaBit=%d -dTextAlphaBits=%d ' \
 519                         '-r%f "%%s"' \
 520                         % (gs, gs_device, latex_file_root, \
 521                            gs_ext, alpha, alpha, resolution)
 522
 523         i = 0
 524         # Collect all the PostScript files (like *.001, *.002, ...)
 525         ps_files = glob.glob("%s.[0-9][0-9][0-9]" % latex_file_root)
 526         ps_files.sort()
 527
 528         # Call the converter for each file
 529         for file in ps_files:
 530             i = i + 1
 531             progress("Processing page %s, file %s" % (i, file))
 532             if use_pdftocairo and epstopdf != None:
 533                 conv_name = "epstopdf"
 534                 conv_status, conv_stdout = run_command("%s --outfile=%s.pdf %s"
 535                                                        % (epstopdf, file, file))
 536                 if not conv_status:
 537                     conv_name = "pdftocairo"
 538                     file = file + ".pdf"
 539                     conv_status, conv_stdout = run_command(conv_call % (file, i))
 540             else:
 541                 conv_name = "ghostscript"
 542                 conv_status, conv_stdout = run_command(conv_call % (i, file))
 543
 544             if conv_status:
 545                 # The converter failed, keep track of this
 546                 warning("%s failed on page %s, file %s" % (conv_name, i, file))
 547                 failed_pages.append(i)
 548
 549     # Pass failed pages to pdflatex
 550     if len(failed_pages) > 0:
 551         warning("Now trying to obtain failed previews through pdflatex")
 552         error_count = legacy_conversion_pdflatex(latex_file, failed_pages,
 553             legacy_metrics, use_pdftocairo, conv, gs_device, gs_ext, alpha,
 554             resolution, output_format)
 555     else:
 556         error_count = 0
 557
 558     # Invalidate metrics for pages that produced errors
 559     if len(error_pages) > 0:
 560         for index in error_pages:
 561             if index not in failed_pages:
 562                 legacy_metrics.pop(index - 1)
 563                 legacy_metrics.insert(index - 1, (index, -1.0))
 564                 error_count += 1
 565
 566     # Crop the ppm images
 567     if pnmcrop != None and output_format == "ppm":
 568         crop_files(pnmcrop, latex_file_root)
 569
 570     # Allow to skip .metrics creation for custom management
 571     # (see the dvipng method)
 572     if not skipMetrics:
 573         # Extract metrics info from the log file.
 574         metrics_file = latex_file_re.sub(".metrics", latex_file)
 575         write_metrics_info(legacy_metrics, metrics_file)
 576         if error_count:
 577             warning("Failed to produce %d preview snippet(s)" % error_count)
 578
 579     return (0, legacy_metrics)
 580
 581
 582 if __name__ == "__main__":
 583     sys.exit(legacy_conversion(sys.argv)[0])