lib/configure.py

   1 #! /usr/bin/env python
   2 # -*- coding: utf-8 -*-
   3 #
   4 # file configure.py
   5 # This file is part of LyX, the document processor.
   6 # Licence details can be found in the file COPYING.
   7
   8 # \author Bo Peng
   9 # Full author contact details are available in file CREDITS.
  10
  11 import glob, logging, os, re, shutil, subprocess, sys, stat
  12
  13 # set up logging
  14 logging.basicConfig(level = logging.DEBUG,
  15     format = '%(levelname)s: %(message)s', # ignore application name
  16     filename = 'configure.log',
  17     filemode = 'w')
  18 #
  19 # Add a handler to log to console
  20 console = logging.StreamHandler()
  21 console.setLevel(logging.INFO) # the console only print out general information
  22 formatter = logging.Formatter('%(message)s') # only print out the message itself
  23 console.setFormatter(formatter)
  24 logger = logging.getLogger('LyX')
  25 logger.addHandler(console)
  26
  27 def writeToFile(filename, lines, append = False):
  28     " utility function: write or append lines to filename "
  29     if append:
  30         file = open(filename, 'a')
  31     else:
  32         file = open(filename, 'w')
  33     file.write(lines)
  34     file.close()
  35
  36
  37 def addToRC(lines):
  38     ''' utility function: shortcut for appending lines to outfile
  39         add newline at the end of lines.
  40     '''
  41     if lines.strip() != '':
  42         writeToFile(outfile, lines + '\n', append = True)
  43         logger.debug('Add to RC:\n' + lines + '\n\n')
  44
  45
  46 def removeFiles(filenames):
  47     '''utility function: 'rm -f'
  48         ignore errors when file does not exist, or is a directory.
  49     '''
  50     for file in filenames:
  51         try:
  52             os.remove(file)
  53             logger.debug('Removing file %s' % file)
  54         except:
  55             logger.debug('Failed to remove file %s' % file)
  56             pass
  57
  58
  59 def cmdOutput(cmd, async = False):
  60     '''utility function: run a command and get its output as a string
  61         cmd: command to run
  62         async: if False, return whole output as a string, otherwise
  63                return the stdout handle from which the output can be
  64                read (the caller is then responsible for closing it)
  65     '''
  66     if os.name == 'nt':
  67         b = False
  68         cmd = 'cmd /d /c pushd ' + shortPath(os.getcwdu()) + '&' + cmd
  69     else:
  70         b = True
  71     pipe = subprocess.Popen(cmd, shell=b, close_fds=b, stdin=subprocess.PIPE, \
  72                             stdout=subprocess.PIPE, universal_newlines=True)
  73     pipe.stdin.close()
  74     if async:
  75         return pipe.stdout
  76     output = pipe.stdout.read()
  77     pipe.stdout.close()
  78     return output.strip()
  79
  80
  81 def shortPath(path):
  82     ''' On Windows, return the short version of "path" if possible '''
  83     if os.name == 'nt':
  84         from ctypes import windll, create_unicode_buffer
  85         GetShortPathName = windll.kernel32.GetShortPathNameW
  86         shortlen = GetShortPathName(path, 0, 0)
  87         shortpath = create_unicode_buffer(shortlen)
  88         if GetShortPathName(path, shortpath, shortlen):
  89             return shortpath.value
  90     return path
  91
  92
  93 def setEnviron():
  94     ''' I do not really know why this is useful, but we might as well keep it.
  95         NLS nuisances.
  96         Only set these to C if already set.  These must not be set unconditionally
  97         because not all systems understand e.g. LANG=C (notably SCO).
  98         Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
  99         Non-C LC_CTYPE values break the ctype check.
 100     '''
 101     os.environ['LANG'] = os.getenv('LANG', 'C')
 102     os.environ['LC'] = os.getenv('LC_ALL', 'C')
 103     os.environ['LC_MESSAGE'] = os.getenv('LC_MESSAGE', 'C')
 104     os.environ['LC_CTYPE'] = os.getenv('LC_CTYPE', 'C')
 105
 106
 107 def copy_tree(src, dst, preserve_symlinks=False, level=0):
 108     ''' Copy an entire directory tree 'src' to a new location 'dst'.
 109
 110     Code inspired from distutils.copy_tree.
 111          Copying ignores non-regular files and the cache directory.
 112     Pipes may be present as leftovers from LyX for lyx-server.
 113
 114     If 'preserve_symlinks' is true, symlinks will be
 115     copied as symlinks (on platforms that support them!); otherwise
 116     (the default), the destination of the symlink will be copied.
 117     '''
 118
 119     if not os.path.isdir(src):
 120         raise FileError, \
 121               "cannot copy tree '%s': not a directory" % src
 122     try:
 123         names = os.listdir(src)
 124     except os.error, (errno, errstr):
 125         raise FileError, \
 126               "error listing files in '%s': %s" % (src, errstr)
 127
 128     if not os.path.isdir(dst):
 129         os.makedirs(dst)
 130
 131     outputs = []
 132
 133     for name in names:
 134         src_name = os.path.join(src, name)
 135         dst_name = os.path.join(dst, name)
 136         if preserve_symlinks and os.path.islink(src_name):
 137             link_dest = os.readlink(src_name)
 138             os.symlink(link_dest, dst_name)
 139             outputs.append(dst_name)
 140         elif level == 0 and name == 'cache':
 141             logger.info("Skip cache %s", src_name)
 142         elif os.path.isdir(src_name):
 143             outputs.extend(
 144                 copy_tree(src_name, dst_name, preserve_symlinks, level=(level + 1)))
 145         elif stat.S_ISREG(os.stat(src_name).st_mode) or os.path.islink(src_name):
 146             shutil.copy2(src_name, dst_name)
 147             outputs.append(dst_name)
 148         else:
 149             logger.info("Ignore non-regular file %s", src_name)
 150
 151     return outputs
 152
 153
 154 def checkUpgrade():
 155     ''' Check for upgrade from previous version '''
 156     cwd = os.getcwd()
 157     basename = os.path.basename( cwd )
 158     lyxrc = os.path.join(cwd, outfile)
 159     if not os.path.isfile( lyxrc ) and basename.endswith( version_suffix ) :
 160         logger.info('Checking for upgrade from previous version.')
 161         parent = os.path.dirname(cwd)
 162         appname = basename[:(-len(version_suffix))]
 163         for version in ['-2.1', '-2.0', '-1.6' ]:
 164             logger.debug('Checking for upgrade from previous version ' + version)
 165             previous = os.path.join(parent, appname + version)
 166             logger.debug('previous = ' + previous)
 167             if os.path.isdir( previous ):
 168                 logger.info('Found directory "%s".', previous)
 169                 copy_tree( previous, cwd )
 170                 logger.info('Content copied to directory "%s".', cwd)
 171                 return
 172
 173
 174 def createDirectories():
 175     ''' Create the build directories if necessary '''
 176     for dir in ['bind', 'clipart', 'doc', 'examples', 'images', 'kbd', \
 177         'layouts', 'scripts', 'templates', 'ui' ]:
 178         if not os.path.isdir( dir ):
 179             try:
 180                 os.mkdir( dir)
 181                 logger.debug('Create directory %s.' % dir)
 182             except:
 183                 logger.error('Failed to create directory %s.' % dir)
 184                 sys.exit(1)
 185
 186
 187 def checkTeXPaths():
 188     ''' Determine the path-style needed by the TeX engine on Win32 (Cygwin) '''
 189     windows_style_tex_paths = ''
 190     if LATEX == '':
 191         return windows_style_tex_paths
 192     if os.name == 'nt' or sys.platform == 'cygwin':
 193         from tempfile import mkstemp
 194         fd, tmpfname = mkstemp(suffix='.ltx')
 195         if os.name == 'nt':
 196             from locale import getdefaultlocale
 197             language, encoding = getdefaultlocale()
 198             if encoding == None:
 199                 encoding = 'latin1'
 200             inpname = shortPath(unicode(tmpfname, encoding)).replace('\\', '/')
 201         else:
 202             inpname = cmdOutput('cygpath -m ' + tmpfname)
 203         logname = os.path.basename(re.sub("(?i).ltx", ".log", inpname))
 204         inpname = inpname.replace('~', '\\string~')
 205         os.write(fd, r'\relax')
 206         os.close(fd)
 207         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}\makeatletter\@@end"' % inpname)
 208         if 'Error' in latex_out:
 209             latex_out = cmdOutput(r'latex "\nonstopmode\input{\"%s\"}\makeatletter\@@end"' % inpname)
 210         if 'Error' in latex_out:
 211             logger.warning("configure: TeX engine needs posix-style paths in latex files")
 212             windows_style_tex_paths = 'false'
 213         else:
 214             logger.info("configure: TeX engine needs windows-style paths in latex files")
 215             windows_style_tex_paths = 'true'
 216         removeFiles([tmpfname, logname, 'texput.log'])
 217     return windows_style_tex_paths
 218
 219
 220 ## Searching some useful programs
 221 def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
 222     '''
 223         This function will search a program in $PATH plus given path
 224         If found, return directory and program name (not the options).
 225
 226         description: description of the program
 227
 228         progs: check programs, for each prog, the first word is used
 229             for searching but the whole string is used to replace
 230             %% for a rc_entry. So, feel free to add '$$i' etc for programs.
 231
 232         path: additional pathes
 233
 234         rc_entry: entry to outfile, can be
 235             1. emtpy: no rc entry will be added
 236             2. one pattern: %% will be replaced by the first found program,
 237                 or '' if no program is found.
 238             3. several patterns for each prog and not_found. This is used
 239                 when different programs have different usages. If you do not
 240                 want not_found entry to be added to the RC file, you can specify
 241                 an entry for each prog and use '' for the not_found entry.
 242
 243         not_found: the value that should be used instead of '' if no program
 244             was found
 245
 246     '''
 247     # one rc entry for each progs plus not_found entry
 248     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 249         logger.error("rc entry should have one item or item for each prog and not_found.")
 250         sys.exit(2)
 251     logger.info('checking for ' + description + '...')
 252     ## print '(' + ','.join(progs) + ')',
 253     global java, perl
 254     for idx in range(len(progs)):
 255         # ac_prog may have options, ac_word is the command name
 256         ac_prog = progs[idx]
 257         ac_word = ac_prog.split(' ')[0]
 258         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
 259             continue
 260         if ac_word.endswith('.pl') and perl == '':
 261             continue
 262         msg = '+checking for "' + ac_word + '"... '
 263         path = os.environ["PATH"].split(os.pathsep) + path
 264         extlist = ['']
 265         if "PATHEXT" in os.environ:
 266             extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
 267         for ac_dir in path:
 268             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
 269                 continue
 270             for ext in extlist:
 271                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
 272                     logger.info(msg + ' yes')
 273                     # deal with java and perl
 274                     if ac_word.endswith('.class'):
 275                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
 276                     elif ac_word.endswith('.jar'):
 277                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
 278                     elif ac_word.endswith('.pl'):
 279                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
 280                     # write rc entries for this command
 281                     if len(rc_entry) == 1:
 282                         addToRC(rc_entry[0].replace('%%', ac_prog))
 283                     elif len(rc_entry) > 1:
 284                         addToRC(rc_entry[idx].replace('%%', ac_prog))
 285                     return [ac_dir, ac_word]
 286         # if not successful
 287         logger.info(msg + ' no')
 288     # write rc entries for 'not found'
 289     if len(rc_entry) > 0:  # the last one.
 290         addToRC(rc_entry[-1].replace('%%', not_found))
 291     return ['', not_found]
 292
 293
 294 def checkProgAlternatives(description, progs, rc_entry = [], alt_rc_entry = [], path = [], not_found = ''):
 295     '''
 296         The same as checkProg, but additionally, all found programs will be added
 297         as alt_rc_entries
 298     '''
 299     # one rc entry for each progs plus not_found entry
 300     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 301         logger.error("rc entry should have one item or item for each prog and not_found.")
 302         sys.exit(2)
 303     logger.info('checking for ' + description + '...')
 304     ## print '(' + ','.join(progs) + ')',
 305     found_prime = False
 306     real_ac_dir = ''
 307     real_ac_word = not_found
 308     global java, perl
 309     for idx in range(len(progs)):
 310         # ac_prog may have options, ac_word is the command name
 311         ac_prog = progs[idx]
 312         ac_word = ac_prog.split(' ')[0]
 313         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
 314             continue
 315         if ac_word.endswith('.pl') and perl == '':
 316             continue
 317         msg = '+checking for "' + ac_word + '"... '
 318         path = os.environ["PATH"].split(os.pathsep) + path
 319         extlist = ['']
 320         if "PATHEXT" in os.environ:
 321             extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
 322         found_alt = False
 323         for ac_dir in path:
 324             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
 325                 continue
 326             for ext in extlist:
 327                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
 328                     logger.info(msg + ' yes')
 329                     pr = re.compile(r'(\\\S+)(.*)$')
 330                     m = None
 331                     # deal with java and perl
 332                     if ac_word.endswith('.class'):
 333                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
 334                     elif ac_word.endswith('.jar'):
 335                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
 336                     elif ac_word.endswith('.pl'):
 337                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
 338                     # write rc entries for this command
 339                     if found_prime == False:
 340                         if len(rc_entry) == 1:
 341                             addToRC(rc_entry[0].replace('%%', ac_prog))
 342                         elif len(rc_entry) > 1:
 343                             addToRC(rc_entry[idx].replace('%%', ac_prog))
 344                         real_ac_dir = ac_dir
 345                         real_ac_word = ac_word
 346                         found_prime = True
 347                     if len(alt_rc_entry) == 1:
 348                         alt_rc = alt_rc_entry[0]
 349                         if alt_rc == "":
 350                             # if no explicit alt_rc is given, construct one
 351                             m = pr.match(rc_entry[0])
 352                             if m:
 353                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
 354                         addToRC(alt_rc.replace('%%', ac_prog))
 355                     elif len(alt_rc_entry) > 1:
 356                         alt_rc = alt_rc_entry[idx]
 357                         if alt_rc == "":
 358                             # if no explicit alt_rc is given, construct one
 359                             m = pr.match(rc_entry[idx])
 360                             if m:
 361                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
 362                         addToRC(alt_rc.replace('%%', ac_prog))
 363                     found_alt = True
 364                     break
 365             if found_alt:
 366                 break
 367         if found_alt == False:
 368             # if not successful
 369             logger.info(msg + ' no')
 370     if found_prime:
 371         return [real_ac_dir, real_ac_word]
 372     # write rc entries for 'not found'
 373     if len(rc_entry) > 0:  # the last one.
 374         addToRC(rc_entry[-1].replace('%%', not_found))
 375     return ['', not_found]
 376
 377
 378 def addAlternatives(rcs, alt_type):
 379     '''
 380         Returns a \\prog_alternatives string to be used as an alternative
 381         rc entry.  alt_type can be a string or a list of strings.
 382     '''
 383     r = re.compile(r'\\Format (\S+).*$')
 384     m = None
 385     alt = ''
 386     alt_token = '\\%s_alternatives '
 387     if isinstance(alt_type, str):
 388         alt_tokens = [alt_token % alt_type]
 389     else:
 390         alt_tokens = map(lambda s: alt_token % s, alt_type)
 391     for idxx in range(len(rcs)):
 392         if len(rcs) == 1:
 393             m = r.match(rcs[0])
 394             if m:
 395                 alt = '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
 396         elif len(rcs) > 1:
 397             m = r.match(rcs[idxx])
 398             if m:
 399                 if idxx > 0:
 400                     alt += '\n'
 401                 alt += '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
 402     return alt
 403
 404
 405 def listAlternatives(progs, alt_type, rc_entry = []):
 406     '''
 407         Returns a list of \\prog_alternatives strings to be used as alternative
 408         rc entries.  alt_type can be a string or a list of strings.
 409     '''
 410     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 411         logger.error("rc entry should have one item or item for each prog and not_found.")
 412         sys.exit(2)
 413     alt_rc_entry = []
 414     for idx in range(len(progs)):
 415         if len(rc_entry) == 1:
 416             rcs = rc_entry[0].split('\n')
 417             alt = addAlternatives(rcs, alt_type)
 418             alt_rc_entry.insert(0, alt)
 419         elif len(rc_entry) > 1:
 420             rcs = rc_entry[idx].split('\n')
 421             alt = addAlternatives(rcs, alt_type)
 422             alt_rc_entry.insert(idx, alt)
 423     return alt_rc_entry
 424
 425
 426 def checkViewer(description, progs, rc_entry = [], path = []):
 427     ''' The same as checkProgAlternatives, but for viewers '''
 428     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
 429     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 430
 431
 432 def checkEditor(description, progs, rc_entry = [], path = []):
 433     ''' The same as checkProgAlternatives, but for editors '''
 434     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
 435     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 436
 437
 438 def checkViewerNoRC(description, progs, rc_entry = [], path = []):
 439     ''' The same as checkViewer, but do not add rc entry '''
 440     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
 441     rc_entry = []
 442     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 443
 444
 445 def checkEditorNoRC(description, progs, rc_entry = [], path = []):
 446     ''' The same as checkViewer, but do not add rc entry '''
 447     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
 448     rc_entry = []
 449     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 450
 451
 452 def checkViewerEditor(description, progs, rc_entry = [], path = []):
 453     ''' The same as checkProgAlternatives, but for viewers and editors '''
 454     alt_rc_entry = listAlternatives(progs, ['editor', 'viewer'], rc_entry)
 455     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 456
 457
 458 def checkDTLtools():
 459     ''' Check whether DTL tools are available (Windows only) '''
 460     # Find programs! Returned path is not used now
 461     if ((os.name == 'nt' or sys.platform == 'cygwin') and
 462             checkProg('DVI to DTL converter', ['dv2dt']) != ['', ''] and
 463             checkProg('DTL to DVI converter', ['dt2dv']) != ['', '']):
 464         dtl_tools = True
 465     else:
 466         dtl_tools = False
 467     return dtl_tools
 468
 469
 470 def checkLatex(dtl_tools):
 471     ''' Check latex, return lyx_check_config '''
 472     path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'latex2e $$i'])
 473     path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
 474     #-----------------------------------------------------------------
 475     path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
 476     if PLATEX != '':
 477         # check if PLATEX is pLaTeX2e
 478         writeToFile('chklatex.ltx', r'\nonstopmode\makeatletter\@@end')
 479         # run platex on chklatex.ltx and check result
 480         if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
 481             # We have the Japanese pLaTeX2e
 482             addToRC(r'\converter platex   dvi       "%s"   "latex=platex"' % PLATEX)
 483         else:
 484             PLATEX = ''
 485             removeFiles(['chklatex.ltx', 'chklatex.log'])
 486     #-----------------------------------------------------------------
 487     # use LATEX to convert from latex to dvi if PPLATEX is not available
 488     if PPLATEX == '':
 489         PPLATEX = LATEX
 490     if dtl_tools:
 491         # Windows only: DraftDVI
 492         addToRC(r'''\converter latex      dvi2       "%s"       "latex"
 493 \converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o"  ""''' % PPLATEX)
 494     else:
 495         addToRC(r'\converter latex      dvi        "%s" "latex"' % PPLATEX)
 496     # no latex
 497     if LATEX != '':
 498         # Check if latex is usable
 499         writeToFile('chklatex.ltx', r'''
 500 \nonstopmode
 501 \ifx\undefined\documentclass\else
 502   \message{ThisIsLaTeX2e}
 503 \fi
 504 \makeatletter
 505 \@@end
 506 ''')
 507         # run latex on chklatex.ltx and check result
 508         if cmdOutput(LATEX + ' chklatex.ltx').find('ThisIsLaTeX2e') != -1:
 509             # valid latex2e
 510             return LATEX
 511         else:
 512             logger.warning("Latex not usable (not LaTeX2e) ")
 513         # remove temporary files
 514         removeFiles(['chklatex.ltx', 'chklatex.log'])
 515     return ''
 516
 517
 518 def checkLuatex():
 519     ''' Check if luatex is there and usable '''
 520     path, LUATEX = checkProg('LuaTeX', ['lualatex $$i'])
 521     path, DVILUATEX = checkProg('LuaTeX (DVI)', ['dvilualatex $$i'])
 522     if LUATEX != '':
 523     # luatex binary is there
 524         msg = "checking if LuaTeX is usable ..."
 525         # Check if luatex is usable
 526         writeToFile('luatest.tex', r'''
 527 \nonstopmode
 528 \documentclass{minimal}
 529 \usepackage{fontspec}
 530 \begin{document}
 531 .
 532 \end{document}
 533 ''')
 534         # run lualatex on luatest.tex and check result
 535         luatest = cmdOutput(LUATEX + ' luatest.tex')
 536         if luatest.find('XeTeX is required to compile this document') != -1:
 537             # fontspec/luatex too old! We do not support this version.
 538             logger.info(msg + ' no (probably not recent enough)')
 539         elif luatest.find('! LaTeX Error: File `fontspec.sty\' not found') != -1:
 540             # fontspec missing
 541             logger.info(msg + ' no (missing fontspec)')
 542         else:
 543             # working luatex
 544             logger.info(msg + ' yes')
 545             addToRC(r'\converter luatex      pdf5       "%s"    "latex=lualatex"' % LUATEX)
 546             if DVILUATEX != '':
 547                 addToRC(r'\converter luatex      dvi3        "%s"       "latex=dvilualatex"' % DVILUATEX)
 548         # remove temporary files
 549         removeFiles(['luatest.tex', 'luatest.log', 'luatest.aux', 'luatest.pdf'])
 550
 551
 552 def checkModule(module):
 553     ''' Check for a Python module, return the status '''
 554     msg = 'checking for "' + module + ' module"... '
 555     try:
 556       __import__(module)
 557       logger.info(msg + ' yes')
 558       return True
 559     except ImportError:
 560       logger.info(msg + ' no')
 561       return False
 562
 563
 564 def checkFormatEntries(dtl_tools):
 565     ''' Check all formats (\Format entries) '''
 566     checkViewerEditor('a Tgif viewer and editor', ['tgif'],
 567         rc_entry = [r'\Format tgif      "obj, tgo" Tgif                 "" "%%" "%%"    "vector"        "application/x-tgif"'])
 568     #
 569     checkViewerEditor('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
 570         rc_entry = [r'\Format fig        fig     FIG                    "" "%%" "%%"    "vector"        "application/x-xfig"'])
 571     #
 572     checkViewerEditor('a Dia viewer and editor', ['dia'],
 573         rc_entry = [r'\Format dia        dia     DIA                    "" "%%" "%%"    "vector,zipped=native", "application/x-dia-diagram"'])
 574     #
 575     checkViewerEditor('an OpenDocument drawing viewer and editor', ['libreoffice', 'lodraw', 'ooffice', 'oodraw', 'soffice'],
 576         rc_entry = [r'\Format odg        "odg, sxd" "OpenDocument drawing"   "" "%%"    "%%"    "vector,zipped=native"  "application/vnd.oasis.opendocument.graphics"'])
 577     #
 578     checkViewerEditor('a Grace viewer and editor', ['xmgrace'],
 579         rc_entry = [r'\Format agr        agr     Grace                  "" "%%" "%%"    "vector"        ""'])
 580     #
 581     checkViewerEditor('a FEN viewer and editor', ['xboard -lpf $$i -mode EditPosition'],
 582         rc_entry = [r'\Format fen        fen     FEN                    "" "%%" "%%"    ""      ""'])
 583     #
 584     checkViewerEditor('a SVG viewer and editor', ['inkscape'],
 585         rc_entry = [r'\Format svg        "svg, svgz" SVG                "" "%%" "%%"    "vector,zipped=native"  "image/svg+xml"'])
 586     #
 587     imageformats = r'''\Format bmp        bmp     BMP                    "" "%s"        "%s"    ""      "image/x-bmp"
 588 \Format gif        gif     GIF                    "" "%s"       "%s"    ""      "image/gif"
 589 \Format jpg       "jpg, jpeg" JPEG                "" "%s"       "%s"    ""      "image/jpeg"
 590 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""      "image/x-portable-bitmap"
 591 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""      "image/x-portable-graymap"
 592 \Format png        png     PNG                    "" "%s"       "%s"    ""      "image/x-png"
 593 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""      "image/x-portable-pixmap"
 594 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""      "image/tiff"
 595 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""      "image/x-xbitmap"
 596 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""      "image/x-xpixmap"'''
 597     path, iv = checkViewerNoRC('a raster image viewer', ['xv', 'kview', 'gimp-remote', 'gimp'], rc_entry = [imageformats])
 598     path, ie = checkEditorNoRC('a raster image editor', ['gimp-remote', 'gimp'], rc_entry = [imageformats])
 599     addToRC(imageformats % \
 600         (iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie) )
 601     #
 602     checkViewerEditor('a text editor', ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
 603         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
 604         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""    "%%"    ""      ""
 605 \Format asciiimage asc    "Plain text (image)"         "" ""    "%%"    ""      ""
 606 \Format asciixfig  asc    "Plain text (Xfig output)"   "" ""    "%%"    ""      ""
 607 \Format dateout    tmp    "date (output)"         "" "" "%%"    ""      ""
 608 \Format docbook    sgml    DocBook                B  "" "%%"    "document,menu=export"  ""
 609 \Format docbook-xml xml   "DocBook (XML)"         "" "" "%%"    "document,menu=export"  "application/docbook+xml"
 610 \Format dot        dot    "Graphviz Dot"          "" "" "%%"    "vector"        "text/vnd.graphviz"
 611 \Format dviluatex  tex    "LaTeX (dviluatex)"     "" "" "%%"    "document,menu=export"  ""
 612 \Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document,menu=export"  ""
 613 \Format literate   nw      NoWeb                  N  "" "%%"    "document,menu=export"  ""
 614 \Format sweave     Rnw    "Sweave"                S  "" "%%"    "document,menu=export"  ""
 615 \Format r          R      "R/S code"              "" "" "%%"    "document,menu=export"  ""
 616 \Format knitr      Rnw    "Rnw (knitr)"           "" "" "%%"    "document,menu=export"  ""
 617 \Format lilypond   ly     "LilyPond music"        "" "" "%%"    "vector"        "text/x-lilypond"
 618 \Format lilypond-book    lytex "LilyPond book (LaTeX)"   "" ""  "%%"    "document,menu=export"  ""
 619 \Format latex      tex    "LaTeX (plain)"         L  "" "%%"    "document,menu=export"  "text/x-tex"
 620 \Format luatex     tex    "LaTeX (LuaTeX)"        "" "" "%%"    "document,menu=export"  ""
 621 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" "" "%%"    "document,menu=export"  ""
 622 \Format xetex      tex    "LaTeX (XeTeX)"         "" "" "%%"    "document,menu=export"  ""
 623 \Format latexclipboard tex "LaTeX (clipboard)"    "" "" "%%"    ""      ""
 624 \Format text       txt    "Plain text"            a  "" "%%"    "document,menu=export"  "text/plain"
 625 \Format text2      txt    "Plain text (pstotext)" "" "" "%%"    "document"      ""
 626 \Format text3      txt    "Plain text (ps2ascii)" "" "" "%%"    "document"      ""
 627 \Format text4      txt    "Plain text (catdvi)"   "" "" "%%"    "document"      ""
 628 \Format textparagraph txt "Plain Text, Join Lines" "" ""        "%%"    "document"      ""
 629 \Format beamer.info pdf.info   "Info (Beamer)"         "" ""   "%%"    "document,menu=export"   ""''' ])
 630    #Spreadsheets using ssconvert from gnumeric
 631     checkViewer('gnumeric spreadsheet software', ['gnumeric'],
 632       rc_entry = [r'''\Format gnumeric gnumeric "Gnumeric spreadsheet" "" ""    "%%"   "document"       "application/x-gnumeric"
 633 \Format excel      xls    "Excel spreadsheet"      "" "" "%%"    "document"     "application/vnd.ms-excel"
 634 \Format oocalc     ods    "OpenDocument spreadsheet" "" "" "%%"    "document"   "application/vnd.oasis.opendocument.spreadsheet"'''])
 635  #
 636     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
 637         rc_entry = [r'\Format xhtml      xhtml   "LyXHTML"              y "%%" ""    "document,menu=export"     "application/xhtml+xml"'])
 638  #
 639     checkEditor('a BibTeX editor', ['jabref', 'JabRef', \
 640         'pybliographic', 'bibdesk', 'gbib', 'kbib', \
 641         'kbibtex', 'sixpack', 'bibedit', 'tkbibtex' \
 642         'xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
 643         'jedit', 'TeXnicCenter', 'WinEdt', 'WinShell', 'PSPad', \
 644         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
 645         rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""    "%%"    ""      "text/x-bibtex"''' ])
 646     #
 647     #checkProg('a Postscript interpreter', ['gs'],
 648     #  rc_entry = [ r'\ps_command "%%"' ])
 649     checkViewer('a Postscript previewer', ['kghostview', 'okular', 'qpdfview --unique', 'evince', 'gv', 'ghostview -swap', 'gsview64', 'gsview32'],
 650         rc_entry = [r'''\Format eps        eps     EPS                    "" "%%"       ""      "vector"        "image/x-eps"
 651 \Format eps2       eps    "EPS (uncropped)"       "" "%%"       ""      "vector"        ""
 652 \Format eps3       eps    "EPS (cropped)"         "" "%%"       ""      "document"      ""
 653 \Format ps         ps      Postscript             t  "%%"       ""      "document,vector,menu=export"   "application/postscript"'''])
 654     # for xdg-open issues look here: http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg151818.html
 655     # the MIME type is set for pdf6, because that one needs to be autodetectable by libmime
 656     checkViewer('a PDF previewer', ['pdfview', 'kpdf', 'okular', 'qpdfview --unique', 'evince', 'kghostview', 'xpdf', 'SumatraPDF', 'acrobat', 'acroread', 'mupdf', \
 657                     'gv', 'ghostview', 'AcroRd32', 'gsview64', 'gsview32'],
 658         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"       ""      "document,vector,menu=export"   ""
 659 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"       ""      "document,vector,menu=export"   ""
 660 \Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"       ""      "document,vector,menu=export"   ""
 661 \Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"       ""      "document,vector,menu=export"   ""
 662 \Format pdf5       pdf    "PDF (LuaTeX)"          u  "%%"       ""      "document,vector,menu=export"   ""
 663 \Format pdf6       pdf    "PDF (graphics)"        "" "%%"       ""      "vector"        "application/pdf"
 664 \Format pdf7       pdf    "PDF (cropped)"         "" "%%"       ""      "document,vector"       ""
 665 \Format pdf8       pdf    "PDF (lower resolution)"         "" "%%"      ""      "document,vector"       ""'''])
 666     #
 667     checkViewer('a DVI previewer', ['xdvi', 'kdvi', 'okular', 'yap', 'dviout -Set=!m'],
 668         rc_entry = [r'''\Format dvi        dvi     DVI                    D  "%%"       ""      "document,vector,menu=export"   "application/x-dvi"
 669 \Format dvi3       dvi     "DVI (LuaTeX)"          V  "%%"      ""      "document,vector,menu=export"   ""'''])
 670     if dtl_tools:
 671         # Windows only: DraftDVI
 672         addToRC(r'\Format dvi2       dvi     DraftDVI               ""  ""      ""      "vector"        ""')
 673     #
 674     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
 675         rc_entry = [r'\Format html      "html, htm" HTML                H  "%%" ""      "document,menu=export"  "text/html"'])
 676     #
 677     checkViewerEditor('Noteedit', ['noteedit'],
 678         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%" "%%"    "vector"        ""'])
 679     #
 680     checkViewerEditor('an OpenDocument viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
 681         rc_entry = [r'''\Format odt        odt     "OpenDocument (tex4ht)"  "" "%%"     "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 682 \Format odt2       odt    "OpenDocument (eLyXer)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 683 \Format odt3       odt    "OpenDocument (Pandoc)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 684 \Format sxw        sxw    "OpenOffice.Org (sxw)"  "" "" ""      "document,vector"       "application/vnd.sun.xml.writer"'''])
 685     #
 686     checkViewerEditor('a Rich Text and Word viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
 687         rc_entry = [r'''\Format rtf        rtf    "Rich Text Format"      "" "%%"       "%%"    "document,vector,menu=export"   "application/rtf"
 688 \Format word       doc    "MS Word"               W  "%%"       "%%"    "document,vector,menu=export"   "application/msword"
 689 \Format word2      docx    "MS Word Office Open XML"               W  "%%"      "%%"    "document,vector,menu=export"   "application/vnd.openxmlformats-officedocument.wordprocessingml.document"'''])
 690     #
 691     # entries that do not need checkProg
 692     addToRC(r'''\Format date       ""     "date command"          "" "" ""      ""      ""
 693 \Format csv        csv    "Table (CSV)"           "" "" ""      "document"      "text/csv"
 694 \Format fax        ""      Fax                    "" "" ""      "document"      ""
 695 \Format lyx        lyx     LyX                    "" "" ""      ""      "application/x-lyx"
 696 \Format lyx13x     13.lyx "LyX 1.3.x"             "" "" ""      "document"      ""
 697 \Format lyx14x     14.lyx "LyX 1.4.x"             "" "" ""      "document"      ""
 698 \Format lyx15x     15.lyx "LyX 1.5.x"             "" "" ""      "document"      ""
 699 \Format lyx16x     16.lyx "LyX 1.6.x"             "" "" ""      "document"      ""
 700 \Format lyx20x     20.lyx "LyX 2.0.x"             "" "" ""      "document"      ""
 701 \Format lyx21x     21.lyx "LyX 2.1.x"             "" "" ""      "document,menu=export"  ""
 702 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" "" ""      "document"      ""
 703 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""        ""      "document"      ""
 704 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""        ""      "document"      ""
 705 \Format lyxpreview lyxpreview "LyX Preview"       "" "" ""      ""      ""
 706 \Format pdftex     pdftex_t PDFTEX                "" "" ""      ""      ""
 707 \Format program    ""      Program                "" "" ""      ""      ""
 708 \Format pstex      pstex_t PSTEX                  "" "" ""      ""      ""
 709 \Format wmf        wmf    "Windows Metafile"      "" "" ""      "vector"        "image/x-wmf"
 710 \Format emf        emf    "Enhanced Metafile"     "" "" ""      "vector"        "image/x-emf"
 711 \Format wordhtml  "html, htm" "HTML (MS Word)"    "" "" ""      "document"      ""
 712 ''')
 713
 714
 715 def checkConverterEntries():
 716     ''' Check all converters (\converter entries) '''
 717     checkProg('the pdflatex program', ['pdflatex $$i'],
 718         rc_entry = [ r'\converter pdflatex   pdf2       "%%"    "latex=pdflatex"' ])
 719
 720     checkProg('XeTeX', ['xelatex $$i'],
 721         rc_entry = [ r'\converter xetex      pdf4       "%%"    "latex=xelatex"' ])
 722
 723     checkLuatex()
 724
 725     # Look for tex2lyx in this order (see bugs #3308 and #6986):
 726     #   1)  If we're building LyX with autotools then tex2lyx is found
 727     #       in the subdirectory tex2lyx with respect to the binary dir.
 728     #   2)  If we're building LyX with cmake then tex2lyx is found
 729     #       in the binary dir.
 730     #   3)  If LyX was configured with a version suffix then tex2lyx
 731     #       will also have this version suffix.
 732     #   4)  Otherwise always use tex2lyx.
 733     in_binary_subdir = os.path.join(lyx_binary_dir, 'tex2lyx', 'tex2lyx')
 734     in_binary_subdir = os.path.abspath(in_binary_subdir).replace('\\', '/')
 735
 736     in_binary_dir = os.path.join(lyx_binary_dir, 'tex2lyx')
 737     in_binary_dir = os.path.abspath(in_binary_dir).replace('\\', '/')
 738
 739     path, t2l = checkProg('a LaTeX/Noweb -> LyX converter', [in_binary_subdir, in_binary_subdir + version_suffix, in_binary_dir, in_binary_dir + version_suffix, 'tex2lyx' + version_suffix, 'tex2lyx'],
 740         rc_entry = [r'''\converter latex      lyx        "%% -f $$i $$o"        ""
 741 \converter latexclipboard lyx        "%% -fixedenc utf8 -f $$i $$o"     ""
 742 \converter literate   lyx        "%% -n -m noweb -f $$i $$o"    ""
 743 \converter sweave   lyx        "%% -n -m sweave -f $$i $$o"     ""
 744 \converter knitr   lyx        "%% -n -m knitr -f $$i $$o"       ""'''], not_found = 'tex2lyx')
 745     if path == '':
 746         logger.warning("Failed to find tex2lyx on your system.")
 747
 748     #
 749     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
 750         rc_entry = [r'''\converter literate   latex      "%%"   ""
 751 \converter literate   pdflatex      "%%"        ""
 752 \converter literate   xetex         "%%"        ""
 753 \converter literate   luatex        "%%"        ""'''])
 754     #
 755     checkProg('a Sweave -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxsweave.R $$p$$i $$p$$o $$e $$r'],
 756         rc_entry = [r'''\converter sweave   latex      "%%"     ""
 757 \converter sweave   pdflatex   "%%"     ""
 758 \converter sweave   xetex      "%%"     ""
 759 \converter sweave   luatex     "%%"     ""'''])
 760     #
 761     checkProg('a knitr -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r'],
 762         rc_entry = [r'''\converter knitr   latex      "%%"      ""
 763 \converter knitr   pdflatex   "%%"      ""
 764 \converter knitr   xetex      "%%"      ""
 765 \converter knitr   luatex     "%%"      ""'''])
 766     #
 767     checkProg('a Sweave -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxstangle.R $$i $$e $$r'],
 768         rc_entry = [ r'\converter sweave      r      "%%"    ""' ])
 769     #
 770     checkProg('a knitr -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r tangle'],
 771         rc_entry = [ r'\converter knitr      r      "%%"    ""' ])
 772     #
 773     checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex',
 774         'htmltolatex -input $$i -output $$o', 'htmltolatex.jar -input $$i -output $$o'],
 775         rc_entry = [ r'\converter html       latex      "%%"    ""', \
 776                      r'\converter html       latex      "python -tt $$s/scripts/html2latexwrapper.py %% $$i $$o"        ""', \
 777                      r'\converter html       latex      "%%"    ""', \
 778                      r'\converter html       latex      "%%"    ""', '' ])
 779     #
 780     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
 781         rc_entry = [ r'\converter word       latex      "%%"    ""' ])
 782
 783     # eLyXer: search as an executable (elyxer.py, elyxer)
 784     path, elyxer = checkProg('a LyX -> HTML converter',
 785         ['elyxer.py --nofooter --directory $$r $$i $$o', 'elyxer --nofooter --directory $$r $$i $$o'],
 786         rc_entry = [ r'\converter lyx      html       "%%"      ""' ])
 787     path, elyxer = checkProg('a LyX -> HTML (MS Word) converter',
 788         ['elyxer.py --nofooter --html --directory $$r $$i $$o', 'elyxer --nofooter --html --directory $$r $$i $$o'],
 789         rc_entry = [ r'\converter lyx      wordhtml       "%%"  ""' ])
 790     path, elyxer = checkProg('a LyX -> OpenDocument (eLyXer) converter',
 791         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
 792         rc_entry = [ r'\converter lyx      odt2       "%%"      ""' ])
 793     path, elyxer = checkProg('a LyX -> Word converter',
 794         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
 795         rc_entry = [ r'\converter lyx      word      "%%"       ""' ])
 796     if elyxer.find('elyxer') >= 0:
 797       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
 798       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
 799     else:
 800       # search for HTML converters other than eLyXer
 801       # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
 802       path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i', \
 803           '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o', \
 804           'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
 805           rc_entry = [ r'\converter latex      html       "%%"  "needaux"' ])
 806       if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
 807         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
 808       else:
 809         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
 810       path, htmlconv = checkProg('a LaTeX -> HTML (MS Word) converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'", \
 811           "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'", \
 812           "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
 813           rc_entry = [ r'\converter latex      wordhtml   "%%"  "needaux"' ])
 814       if htmlconv.find('htlatex') >= 0:
 815         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
 816       else:
 817         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
 818
 819
 820     # Check if LyXBlogger is installed
 821     lyxblogger_found = checkModule('lyxblogger')
 822     if lyxblogger_found:
 823       addToRC(r'\Format    blog       blog       "LyXBlogger"           "" "" ""  "document"  ""')
 824       addToRC(r'\converter xhtml      blog       "python -m lyxblogger $$i"       ""')
 825
 826     #
 827     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
 828         rc_entry = [ r'\converter sxw        latex      "%%"    ""' ])
 829     #
 830     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
 831         rc_entry = [ r'\converter odt        latex      "%%"    ""' ])
 832     #
 833     checkProg('a MS Word Office Open XML converter -> LaTeX', ['pandoc -s -f docx -o $$o -t latex $$i'],
 834         rc_entry = [ r'\converter word2      latex      "%%"    ""' ])
 835     # Only define a converter to pdf6, otherwise the odt format could be
 836     # used as an intermediate step for export to pdf, which is not wanted.
 837     checkProg('an OpenDocument -> PDF converter', ['unoconv -f pdf --stdout $$i > $$o'],
 838         rc_entry = [ r'\converter odt        pdf6       "%%"    ""' ])
 839     # According to http://www.tug.org/applications/tex4ht/mn-commands.html
 840     # the command mk4ht oolatex $$i has to be used as default,
 841     # but as this would require to have Perl installed, in MiKTeX oolatex is
 842     # directly available as application.
 843     # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
 844     # Both SuSE and debian have oolatex
 845     checkProg('a LaTeX -> Open Document (tex4ht) converter', [
 846         'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
 847         'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
 848         rc_entry = [ r'\converter latex      odt        "%%"    "needaux"' ])
 849     # On windows it is called latex2rt.exe
 850     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
 851         rc_entry = [ r'\converter latex      rtf        "%%"    "needaux"' ])
 852     #
 853     checkProg('a LaTeX -> Open Document (Pandoc) converter', ['pandoc -s -f latex -o $$o -t odt $$i'],
 854         rc_entry = [ r'\converter latex      odt3        "%%"   ""' ])
 855     #
 856     checkProg('a LaTeX -> MS Word Office Open XML converter', ['pandoc -s -f latex -o $$o -t docx $$i'],
 857         rc_entry = [ r'\converter latex      word2       "%%"   ""' ])
 858     #
 859     checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
 860         rc_entry = [ r'\converter rtf      html        "%%"     ""' ])
 861     # Do not define a converter to pdf6, ps is a pure export format
 862     checkProg('a PS to PDF converter', ['ps2pdf $$i $$o'],
 863         rc_entry = [ r'\converter ps         pdf        "%%"    ""' ])
 864     #
 865     checkProg('a PS to TXT converter', ['pstotext $$i > $$o'],
 866         rc_entry = [ r'\converter ps         text2      "%%"    ""' ])
 867     #
 868     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
 869         rc_entry = [ r'\converter ps         text3      "%%"    ""' ])
 870     # Need to call ps2eps in a pipe, otherwise it would name the output file
 871     # depending on the extension of the input file. We do not know the input
 872     # file extension in general, so the resultfile= flag would not help.
 873     # Since ps2eps crops the image, we do not use it to convert from ps->eps.
 874     # This would create additional paths in the converter graph with unwanted
 875     # side effects (e.g. ps->pdf via ps2pdf would create a different result
 876     # than ps->eps->pdf via ps2eps and epstopdf).
 877     checkProg('a PS to EPS converter', ['ps2eps -- < $$i > $$o'],
 878         rc_entry = [ r'\converter eps2       eps      "%%"      ""' ])
 879     #
 880     checkProg('a PDF to PS converter', ['pdf2ps $$i $$o', 'pdftops $$i $$o'],
 881         rc_entry = [ r'\converter pdf         ps        "%%"    ""' ])
 882     # Only define a converter from pdf6 for graphics
 883     checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
 884         rc_entry = [ r'\converter pdf6        eps        "%%"   ""' ])
 885     # Create one converter for a PDF produced using TeX fonts and one for a
 886     # PDF produced using non-TeX fonts. This does not produce non-unique
 887     # conversion paths, since a given document either uses TeX fonts or not.
 888     checkProg('a PDF cropping tool', ['pdfcrop $$i $$o'],
 889         rc_entry = [ r'''\converter pdf2   pdf7       "%%"      ""
 890 \converter pdf4   pdf7       "%%"       ""''' ])
 891     # Create one converter for a PDF produced using TeX fonts and one for a
 892     # PDF produced using non-TeX fonts. This does not produce non-unique
 893     # conversion paths, since a given document either uses TeX fonts or not.
 894     checkProg('Ghostscript', ["gswin32c", "gswin64c", "gs"],
 895         rc_entry = [ r'''\converter pdf2   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"     ""
 896 \converter pdf4   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"      ""''' ])
 897     #
 898     checkProg('a Beamer info extractor', ['makebeamerinfo -p $$i'],
 899         rc_entry = [ r'\converter pdf2         beamer.info        "%%"  ""' ])
 900     #
 901     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
 902         rc_entry = [ r'\converter dvi        text4      "%%"    ""' ])
 903     #
 904     checkProg('a DVI to PS converter', ['dvips -o $$o $$i'],
 905         rc_entry = [ r'\converter dvi        ps         "%%"    ""' ])
 906     #
 907     checkProg('a DVI to cropped EPS converter', ['dvips -E -o $$o $$i'],
 908         rc_entry = [ r'\converter dvi        eps3         "%%"  ""' ])
 909     #
 910     checkProg('a DVI to PDF converter', ['dvipdfmx -o $$o $$i', 'dvipdfm -o $$o $$i'],
 911         rc_entry = [ r'\converter dvi        pdf3       "%%"    ""' ])
 912     #
 913     checkProg('a fax program', ['kdeprintfax $$i', 'ksendfax $$i', 'hylapex $$i'],
 914         rc_entry = [ r'\converter ps         fax        "%%"    ""'])
 915     #
 916     path, fig2dev = checkProg('a FIG -> Image converter', ['fig2dev'])
 917     if fig2dev == "fig2dev":
 918         addToRC(r'''\converter fig        eps        "fig2dev -L eps $$i $$o"   ""
 919 \converter fig        ppm        "fig2dev -L ppm $$i $$o"       ""
 920 \converter fig        png        "fig2dev -L png $$i $$o"       ""
 921 \converter fig        pdftex     "python -tt $$s/scripts/fig2pdftex.py $$i $$o" ""
 922 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o"  ""''')
 923     #
 924     checkProg('a TIFF -> PS converter', ['tiff2ps $$i > $$o'],
 925         rc_entry = [ r'\converter tiff       eps        "%%"    ""'])
 926     #
 927     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
 928         rc_entry = [
 929             r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"    ""
 930 \converter tgif       png        "tgif -print -color -png -o $$d $$i"   ""
 931 \converter tgif       pdf6       "tgif -print -color -pdf -stdout $$i > $$o"    ""'''])
 932     #
 933     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
 934         rc_entry = [ r'\converter wmf        eps        "%%"    ""'])
 935     #
 936     checkProg('an EMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
 937         rc_entry = [ r'\converter emf        eps        "%%"    ""'])
 938     # Only define a converter to pdf6 for graphics
 939     checkProg('an EPS -> PDF converter', ['epstopdf'],
 940         rc_entry = [ r'\converter eps        pdf6       "epstopdf --outfile=$$o $$i"    ""'])
 941     #
 942     checkProg('an EPS -> PNG converter', ['convert $$i $$o'],
 943         rc_entry = [ r'\converter eps        png        "%%"    ""'])
 944     #
 945     # no agr -> pdf6 converter, since the pdf library used by gracebat is not
 946     # free software and therefore not compiled in in many installations.
 947     # Fortunately, this is not a big problem, because we will use epstopdf to
 948     # convert from agr to pdf6 via eps without loss of quality.
 949     checkProg('a Grace -> Image converter', ['gracebat'],
 950         rc_entry = [
 951             r'''\converter agr        eps        "gracebat -hardcopy -printfile $$o -hdevice EPS $$i 2>/dev/null"       ""
 952 \converter agr        png        "gracebat -hardcopy -printfile $$o -hdevice PNG $$i 2>/dev/null"       ""
 953 \converter agr        jpg        "gracebat -hardcopy -printfile $$o -hdevice JPEG $$i 2>/dev/null"      ""
 954 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"       ""'''])
 955     #
 956     checkProg('a Dot -> Image converter', ['dot'],
 957         rc_entry = [
 958             r'''\converter dot        eps        "dot -Teps $$i -o $$o" ""
 959 \converter dot        png        "dot -Tpng $$i -o $$o" ""'''])
 960     #
 961     checkProg('a Dia -> PNG converter', ['dia -e $$o -t png $$i'],
 962         rc_entry = [ r'\converter dia        png        "%%"    ""'])
 963     #
 964     checkProg('a Dia -> EPS converter', ['dia -e $$o -t eps $$i'],
 965         rc_entry = [ r'\converter dia        eps        "%%"    ""'])
 966     # Actually, this produces EPS, but with a wrong bounding box (usually A4 or letter).
 967     # The eps2->eps converter then fixes the bounding box by cropping.
 968     # Although unoconv can convert to png and pdf as well, do not define
 969     # odg->png and odg->pdf converters, since the bb would be too large as well.
 970     checkProg('an OpenDocument -> EPS converter', ['libreoffice -headless -nologo -convert-to eps $$i', 'unoconv -f eps --stdout $$i > $$o'],
 971         rc_entry = [ r'\converter odg        eps2       "%%"    ""'])
 972     # Only define a converter to pdf6 for graphics
 973     checkProg('a SVG -> PDF converter', ['rsvg-convert -f pdf -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
 974         rc_entry = [ r'\converter svg        pdf6       "%%"    ""'])
 975     #
 976     checkProg('a SVG -> EPS converter', ['rsvg-convert -f ps -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
 977         rc_entry = [ r'\converter svg        eps        "%%"    ""'])
 978     #
 979     checkProg('a SVG -> PNG converter', ['rsvg-convert -f png -o $$o $$i', 'inkscape --without-gui --file=$$i --export-png=$$o'],
 980         rc_entry = [ r'\converter svg        png        "%%"    ""'])
 981
 982     #
 983     # gnumeric/xls/ods to tex
 984     checkProg('a spreadsheet -> latex converter', ['ssconvert'],
 985        rc_entry = [ r'''\converter gnumeric latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
 986 \converter oocalc latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
 987 \converter excel  latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""'''])
 988
 989     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
 990     if (lilypond != ''):
 991         version_string = cmdOutput("lilypond --version")
 992         match = re.match('GNU LilyPond (\S+)', version_string)
 993         if match:
 994             version_number = match.groups()[0]
 995             version = version_number.split('.')
 996             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
 997                 addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps -dsafe --ps $$i"   ""
 998 \converter lilypond   png        "lilypond -dbackend=eps -dsafe --png $$i"      ""''')
 999                 addToRC(r'\converter lilypond   pdf6       "lilypond -dbackend=eps -dsafe --pdf $$i"    ""')
1000                 logger.info('+  found LilyPond version %s.' % version_number)
1001             elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
1002                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps --safe $$i"  ""
1003 \converter lilypond   png        "lilypond -b eps --png $$i"    ""''')
1004                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
1005                     addToRC(r'\converter lilypond   pdf6       "lilypond -b eps --pdf --safe $$i"       ""')
1006                 logger.info('+  found LilyPond version %s.' % version_number)
1007             else:
1008                 logger.info('+  found LilyPond, but version %s is too old.' % version_number)
1009         else:
1010             logger.info('+  found LilyPond, but could not extract version number.')
1011     #
1012     path, lilypond_book = checkProg('a LilyPond book (LaTeX) -> LaTeX converter', ['lilypond-book'])
1013     if (lilypond_book != ''):
1014         version_string = cmdOutput("lilypond-book --version")
1015         match = re.match('^(\S+)$', version_string)
1016         if match:
1017             version_number = match.groups()[0]
1018             version = version_number.split('.')
1019             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 13):
1020                 # Note: The --lily-output-dir flag is required because lilypond-book
1021                 #       does not process input again unless the input has changed,
1022                 #       even if the output format being requested is different. So
1023                 #       once a .eps file exists, lilypond-book won't create a .pdf
1024                 #       even when requested with --pdf. This is a problem if a user
1025                 #       clicks View PDF after having done a View DVI. To circumvent
1026                 #       this, use different output folders for eps and pdf outputs.
1027                 addToRC(r'\converter lilypond-book latex    "lilypond-book --safe --lily-output-dir=ly-eps $$i"                                ""')
1028                 addToRC(r'\converter lilypond-book pdflatex "lilypond-book --safe --pdf --latex-program=pdflatex --lily-output-dir=ly-pdf $$i" ""')
1029                 addToRC(r'\converter lilypond-book xetex    "lilypond-book --safe --pdf --latex-program=xelatex --lily-output-dir=ly-pdf $$i"  ""')
1030                 addToRC(r'\converter lilypond-book luatex   "lilypond-book --safe --pdf --latex-program=lualatex --lily-output-dir=ly-pdf $$i" ""')
1031                 logger.info('+  found LilyPond-book version %s.' % version_number)
1032             else:
1033                 logger.info('+  found LilyPond-book, but version %s is too old.' % version_number)
1034         else:
1035             logger.info('+  found LilyPond-book, but could not extract version number.')
1036     #
1037     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
1038         rc_entry = [ r'\converter noteedit   lilypond   "%%"    ""' ])
1039     #
1040     # Currently, lyxpak outputs a gzip compressed tar archive on *nix
1041     # and a zip archive on Windows.
1042     # So, we configure the appropriate version according to the platform.
1043     cmd = r'\converter lyx %s "python -tt $$s/scripts/lyxpak.py $$r/$$f" ""'
1044     if os.name == 'nt':
1045         addToRC(r'\Format lyxzip     zip    "LyX Archive (zip)"     "" "" ""  "document,menu=export"    ""')
1046         addToRC(cmd % "lyxzip")
1047     else:
1048         addToRC(r'\Format lyxgz      gz     "LyX Archive (tar.gz)"  "" "" ""  "document,menu=export"    ""')
1049         addToRC(cmd % "lyxgz")
1050
1051     #
1052     # FIXME: no rc_entry? comment it out
1053     # checkProg('Image converter', ['convert $$i $$o'])
1054     #
1055     # Entries that do not need checkProg
1056     addToRC(r'''
1057 \converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"    ""
1058 \converter date       dateout    "python -tt $$s/scripts/date.py %d-%m-%Y > $$o"        ""
1059 \converter docbook    docbook-xml "cp $$i $$o"  "xml"
1060 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o"  ""
1061 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -t 221 $$i > $$o"      ""
1062 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -t 245 $$i > $$o"      ""
1063 \converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -t 276 $$i > $$o"      ""
1064 \converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -t 345 $$i > $$o"      ""
1065 \converter lyx        lyx20x     "python -tt $$s/lyx2lyx/lyx2lyx -t 413 $$i > $$o"      ""
1066 \converter lyx        lyx21x     "python -tt $$s/lyx2lyx/lyx2lyx -t 474 $$i > $$o"      ""
1067 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -c big5 -t 245 $$i > $$o"      ""
1068 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -t 245 $$i > $$o"    ""
1069 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -t 245 $$i > $$o"    ""
1070 \converter clyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c big5 $$i > $$o"     ""
1071 \converter jlyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp $$i > $$o"   ""
1072 \converter klyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr $$i > $$o"   ""
1073 \converter lyxpreview png        "python -tt $$s/scripts/lyxpreview2bitmap.py --png"    ""
1074 \converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py --ppm"    ""
1075 ''')
1076
1077
1078 def checkDocBook():
1079     ''' Check docbook '''
1080     path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
1081         rc_entry = [
1082             r'''\converter docbook    dvi        "sgmltools -b dvi $$i" ""
1083 \converter docbook    html       "sgmltools -b html $$i"        ""
1084 \converter docbook    ps         "sgmltools -b ps $$i"  ""''',
1085             r'''\converter docbook    dvi        "db2dvi $$i"   ""
1086 \converter docbook    html       "db2html $$i"  ""''',
1087             r'''\converter docbook    dvi        ""     ""
1088 \converter docbook    html       "" ""''',
1089             r'''\converter docbook    dvi        ""     ""
1090 \converter docbook    html       ""     ""'''])
1091     #
1092     if DOCBOOK != '':
1093         return ('yes', 'true', '\\def\\hasdocbook{yes}')
1094     else:
1095         return ('no', 'false', '')
1096
1097
1098 def checkOtherEntries():
1099     ''' entries other than Format and Converter '''
1100     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
1101         rc_entry = [ r'\chktex_command "%%"' ])
1102     checkProgAlternatives('BibTeX or alternative programs', ['bibtex', 'bibtex8', 'biber'],
1103         rc_entry = [ r'\bibtex_command "%%"' ],
1104         alt_rc_entry = [ r'\bibtex_alternatives "%%"' ])
1105     checkProg('a specific Japanese BibTeX variant', ['pbibtex', 'jbibtex', 'bibtex'],
1106         rc_entry = [ r'\jbibtex_command "%%"' ])
1107     checkProgAlternatives('available index processors', ['texindy', 'makeindex -c -q', 'xindy'],
1108         rc_entry = [ r'\index_command "%%"' ],
1109         alt_rc_entry = [ r'\index_alternatives "%%"' ])
1110     checkProg('an index processor appropriate to Japanese', ['mendex -c -q', 'jmakeindex -c -q', 'makeindex -c -q'],
1111         rc_entry = [ r'\jindex_command "%%"' ])
1112     checkProg('the splitindex processor', ['splitindex.pl', 'splitindex',
1113         'splitindex.class'], rc_entry = [ r'\splitindex_command "%%"' ])
1114     checkProg('a nomenclature processor', ['makeindex'],
1115         rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
1116     ## FIXME: OCTAVE is not used anywhere
1117     # path, OCTAVE = checkProg('Octave', ['octave'])
1118     ## FIXME: MAPLE is not used anywhere
1119     # path, MAPLE = checkProg('Maple', ['maple'])
1120     # Add the rest of the entries (no checkProg is required)
1121     addToRC(r'''\copier    fig        "python -tt $$s/scripts/fig_copy.py $$i $$o"
1122 \copier    pstex      "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1123 \copier    pdftex     "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1124 \copier    program    "python -tt $$s/scripts/ext_copy.py $$i $$o"
1125 ''')
1126
1127
1128 def processLayoutFile(file, bool_docbook):
1129     ''' process layout file and get a line of result
1130
1131         Declare lines look like this:
1132
1133         \DeclareLaTeXClass[<requirements>]{<description>}
1134
1135         Optionally, a \DeclareCategory line follows:
1136
1137         \DeclareCategory{<category>}
1138
1139         So for example (article.layout, scrbook.layout, svjog.layout)
1140
1141         \DeclareLaTeXClass{article}
1142         \DeclareCategory{Articles}
1143
1144         \DeclareLaTeXClass[scrbook]{book (koma-script)}
1145         \DeclareCategory{Books}
1146
1147         \DeclareLaTeXClass[svjour,svjog.clo]{article (Springer - svjour/jog)}
1148
1149         we'd expect this output:
1150
1151         "article" "article" "article" "false" "article.cls" "Articles"
1152         "scrbook" "scrbook" "book (koma-script)" "false" "scrbook.cls" "Books"
1153         "svjog" "svjour" "article (Springer - svjour/jog)" "false" "svjour.cls,svjog.clo" ""
1154     '''
1155     def checkForClassExtension(x):
1156         '''if the extension for a latex class is not
1157            provided, add .cls to the classname'''
1158         if not '.' in x:
1159             return x.strip() + '.cls'
1160         else:
1161             return x.strip()
1162     classname = file.split(os.sep)[-1].split('.')[0]
1163     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
1164     p = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1165     q = re.compile(r'\DeclareCategory{(.*)}')
1166     classdeclaration = ""
1167     categorydeclaration = '""'
1168     for line in open(file).readlines():
1169         res = p.search(line)
1170         qres = q.search(line)
1171         if res != None:
1172             (classtype, optAll, opt, opt1, desc) = res.groups()
1173             avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
1174             if opt == None:
1175                 opt = classname
1176                 prereq_latex = checkForClassExtension(classname)
1177             else:
1178                 prereq_list = optAll[1:-1].split(',')
1179                 prereq_list = map(checkForClassExtension, prereq_list)
1180                 prereq_latex = ','.join(prereq_list)
1181             prereq_docbook = {'true':'', 'false':'docbook'}[bool_docbook]
1182             prereq = {'LaTeX':prereq_latex, 'DocBook':prereq_docbook}[classtype]
1183             classdeclaration = '"%s" "%s" "%s" "%s" "%s"' % (classname, opt, desc, avai, prereq)
1184             if categorydeclaration != '""':
1185                 return classdeclaration + " " + categorydeclaration
1186         if qres != None:
1187              categorydeclaration = '"%s"' % (qres.groups()[0])
1188              if classdeclaration != "":
1189                  return classdeclaration + " " + categorydeclaration
1190     if classdeclaration != "":
1191         return classdeclaration + " " + categorydeclaration
1192     logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
1193     return ""
1194
1195
1196 def checkLatexConfig(check_config, bool_docbook):
1197     ''' Explore the LaTeX configuration
1198         Return None (will be passed to sys.exit()) for success.
1199     '''
1200     msg = 'checking LaTeX configuration... '
1201     # if --without-latex-config is forced, or if there is no previous
1202     # version of textclass.lst, re-generate a default file.
1203     if not os.path.isfile('textclass.lst') or not check_config:
1204         # remove the files only if we want to regenerate
1205         removeFiles(['textclass.lst', 'packages.lst'])
1206         #
1207         # Then, generate a default textclass.lst. In case configure.py
1208         # fails, we still have something to start lyx.
1209         logger.info(msg + ' default values')
1210         logger.info('+checking list of textclasses... ')
1211         tx = open('textclass.lst', 'w')
1212         tx.write('''
1213 # This file declares layouts and their associated definition files
1214 # (include dir. relative to the place where this file is).
1215 # It contains only default values, since chkconfig.ltx could not be run
1216 # for some reason. Run ./configure.py if you need to update it after a
1217 # configuration change.
1218 ''')
1219         # build the list of available layout files and convert it to commands
1220         # for chkconfig.ltx
1221         foundClasses = []
1222         for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1223             glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1224             # valid file?
1225             if not os.path.isfile(file):
1226                 continue
1227             # get stuff between /xxxx.layout .
1228             classname = file.split(os.sep)[-1].split('.')[0]
1229             #  tr ' -' '__'`
1230             cleanclass = classname.replace(' ', '_')
1231             cleanclass = cleanclass.replace('-', '_')
1232             # make sure the same class is not considered twice
1233             if foundClasses.count(cleanclass) == 0: # not found before
1234                 foundClasses.append(cleanclass)
1235                 retval = processLayoutFile(file, bool_docbook)
1236                 if retval != "":
1237                     tx.write(retval)
1238         tx.close()
1239         logger.info('\tdone')
1240     if not os.path.isfile('packages.lst') or not check_config:
1241         logger.info('+generating default list of packages... ')
1242         removeFiles(['packages.lst'])
1243         tx = open('packages.lst', 'w')
1244         tx.close()
1245         logger.info('\tdone')
1246     if not check_config:
1247         return None
1248     # the following will generate textclass.lst.tmp, and packages.lst.tmp
1249     logger.info(msg + '\tauto')
1250     removeFiles(['chkconfig.classes', 'chkconfig.vars', 'chklayouts.tex',
1251         'wrap_chkconfig.ltx'])
1252     rmcopy = False
1253     if not os.path.isfile( 'chkconfig.ltx' ):
1254         shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
1255         rmcopy = True
1256     writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
1257     # Construct the list of classes to test for.
1258     # build the list of available layout files and convert it to commands
1259     # for chkconfig.ltx
1260     declare = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1261     category = re.compile(r'\DeclareCategory{(.*)}')
1262     empty = re.compile(r'^\s*$')
1263     testclasses = list()
1264     for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1265         glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1266         nodeclaration = False
1267         if not os.path.isfile(file):
1268             continue
1269         classname = file.split(os.sep)[-1].split('.')[0]
1270         decline = ""
1271         catline = ""
1272         for line in open(file).readlines():
1273             if not empty.match(line) and line[0] != '#':
1274                 if decline == "":
1275                     logger.warning("Failed to find valid \Declare line for layout file `" + file + "'.\n\t=> Skipping this file!")
1276                     nodeclaration = True
1277                 # A class, but no category declaration. Just break.
1278                 break
1279             if declare.search(line) != None:
1280                 decline = "\\TestDocClass{%s}{%s}" % (classname, line[1:].strip())
1281                 testclasses.append(decline)
1282             elif category.search(line) != None:
1283                 catline = "\\DeclareCategory{%s}{%s}" % (classname, category.search(line).groups()[0])
1284                 testclasses.append(catline)
1285             if catline == "" or decline == "":
1286                 continue
1287             break
1288         if nodeclaration:
1289             continue
1290     testclasses.sort()
1291     cl = open('chklayouts.tex', 'w')
1292     for line in testclasses:
1293         cl.write(line + '\n')
1294     cl.close()
1295     #
1296     # we have chklayouts.tex, then process it
1297     latex_out = cmdOutput(LATEX + ' wrap_chkconfig.ltx', True)
1298     while True:
1299         line = latex_out.readline()
1300         if not line:
1301             break;
1302         if re.match('^\+', line):
1303             logger.info(line.strip())
1304     # if the command succeeds, None will be returned
1305     ret = latex_out.close()
1306     #
1307     # remove the copied file
1308     if rmcopy:
1309         removeFiles( [ 'chkconfig.ltx' ] )
1310     #
1311     # currently, values in chkconfig are only used to set
1312     # \font_encoding
1313     values = {}
1314     for line in open('chkconfig.vars').readlines():
1315         key, val = re.sub('-', '_', line).split('=')
1316         val = val.strip()
1317         values[key] = val.strip("'")
1318     # chk_fontenc may not exist
1319     try:
1320         addToRC(r'\font_encoding "%s"' % values["chk_fontenc"])
1321     except:
1322         pass
1323     # if configure successed, move textclass.lst.tmp to textclass.lst
1324     # and packages.lst.tmp to packages.lst
1325     if os.path.isfile('textclass.lst.tmp') and len(open('textclass.lst.tmp').read()) > 0 \
1326         and os.path.isfile('packages.lst.tmp') and len(open('packages.lst.tmp').read()) > 0:
1327         shutil.move('textclass.lst.tmp', 'textclass.lst')
1328         shutil.move('packages.lst.tmp', 'packages.lst')
1329     return ret
1330
1331
1332 def checkModulesConfig():
1333   removeFiles(['lyxmodules.lst', 'chkmodules.tex'])
1334
1335   logger.info('+checking list of modules... ')
1336   tx = open('lyxmodules.lst', 'w')
1337   tx.write('''## This file declares modules and their associated definition files.
1338 ## It has been automatically generated by configure
1339 ## Use "Options/Reconfigure" if you need to update it after a
1340 ## configuration change.
1341 ## "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1342 ''')
1343
1344   # build the list of available modules
1345   seen = []
1346   # note that this searches the local directory first, then the
1347   # system directory. that way, we pick up the user's version first.
1348   for file in glob.glob( os.path.join('layouts', '*.module') ) + \
1349       glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) :
1350       # valid file?
1351       logger.info(file)
1352       if not os.path.isfile(file):
1353           continue
1354
1355       filename = file.split(os.sep)[-1]
1356       filename = filename[:-7]
1357       if seen.count(filename):
1358           continue
1359
1360       seen.append(filename)
1361       retval = processModuleFile(file, filename, bool_docbook)
1362       if retval != "":
1363           tx.write(retval)
1364   tx.close()
1365   logger.info('\tdone')
1366
1367
1368 def processModuleFile(file, filename, bool_docbook):
1369     ''' process module file and get a line of result
1370
1371         The top of a module file should look like this:
1372           #\DeclareLyXModule[LaTeX Packages]{ModuleName}
1373           #DescriptionBegin
1374           #...body of description...
1375           #DescriptionEnd
1376           #Requires: [list of required modules]
1377           #Excludes: [list of excluded modules]
1378           #Category: [category name]
1379         The last three lines are optional (though do give a category).
1380         We expect output:
1381           "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1382     '''
1383     remods = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
1384     rereqs = re.compile(r'#+\s*Requires: (.*)')
1385     reexcs = re.compile(r'#+\s*Excludes: (.*)')
1386     recaty = re.compile(r'#+\s*Category: (.*)')
1387     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1388     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1389
1390     modname = desc = pkgs = req = excl = catgy = ""
1391     readingDescription = False
1392     descLines = []
1393
1394     for line in open(file).readlines():
1395       if readingDescription:
1396         res = redend.search(line)
1397         if res != None:
1398           readingDescription = False
1399           desc = " ".join(descLines)
1400           # Escape quotes.
1401           desc = desc.replace('"', '\\"')
1402           continue
1403         descLines.append(line[1:].strip())
1404         continue
1405       res = redbeg.search(line)
1406       if res != None:
1407         readingDescription = True
1408         continue
1409       res = remods.search(line)
1410       if res != None:
1411           (pkgs, modname) = res.groups()
1412           if pkgs == None:
1413             pkgs = ""
1414           else:
1415             tmp = [s.strip() for s in pkgs.split(",")]
1416             pkgs = ",".join(tmp)
1417           continue
1418       res = rereqs.search(line)
1419       if res != None:
1420         req = res.group(1)
1421         tmp = [s.strip() for s in req.split("|")]
1422         req = "|".join(tmp)
1423         continue
1424       res = reexcs.search(line)
1425       if res != None:
1426         excl = res.group(1)
1427         tmp = [s.strip() for s in excl.split("|")]
1428         excl = "|".join(tmp)
1429         continue
1430       res = recaty.search(line)
1431       if res != None:
1432         catgy = res.group(1)
1433         continue
1434
1435     if modname == "":
1436       logger.warning("Module file without \DeclareLyXModule line. ")
1437       return ""
1438
1439     if pkgs != "":
1440         # this module has some latex dependencies:
1441         # append the dependencies to chkmodules.tex,
1442         # which is \input'ed by chkconfig.ltx
1443         testpackages = list()
1444         for pkg in pkgs.split(","):
1445             if "->" in pkg:
1446                 # this is a converter dependency: skip
1447                 continue
1448             if pkg.endswith(".sty"):
1449                 pkg = pkg[:-4]
1450             testpackages.append("\\TestPackage{%s}" % (pkg,))
1451         cm = open('chkmodules.tex', 'a')
1452         for line in testpackages:
1453             cm.write(line + '\n')
1454         cm.close()
1455
1456     return '"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, desc, pkgs, req, excl, catgy)
1457
1458
1459 def checkTeXAllowSpaces():
1460     ''' Let's check whether spaces are allowed in TeX file names '''
1461     tex_allows_spaces = 'false'
1462     if lyx_check_config:
1463         msg = "Checking whether TeX allows spaces in file names... "
1464         writeToFile('a b.tex', r'\message{working^^J}' )
1465         if LATEX != '':
1466             if os.name == 'nt' or sys.platform == 'cygwin':
1467                 latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}\makeatletter\@@end" """)
1468             else:
1469                 latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}\makeatletter\@@end' """)
1470         else:
1471             latex_out = ''
1472         if 'working' in latex_out:
1473             logger.info(msg + 'yes')
1474             tex_allows_spaces = 'true'
1475         else:
1476             logger.info(msg + 'no')
1477             tex_allows_spaces = 'false'
1478         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
1479         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
1480
1481
1482 def rescanTeXFiles():
1483     ''' Run kpsewhich to update information about TeX files '''
1484     logger.info("+Indexing TeX files... ")
1485     if not os.path.isfile( os.path.join(srcdir, 'scripts', 'TeXFiles.py') ):
1486         logger.error("configure: error: cannot find TeXFiles.py script")
1487         sys.exit(1)
1488     tfp = cmdOutput("python -tt " + '"' + os.path.join(srcdir, 'scripts', 'TeXFiles.py') + '"')
1489     logger.info(tfp)
1490     logger.info("\tdone")
1491
1492
1493 def removeTempFiles():
1494     # Final clean-up
1495     if not lyx_keep_temps:
1496         removeFiles(['chkconfig.vars', 'chklatex.ltx', 'chklatex.log',
1497             'chklayouts.tex', 'chkmodules.tex', 'missfont.log',
1498             'wrap_chkconfig.ltx', 'wrap_chkconfig.log'])
1499
1500
1501 if __name__ == '__main__':
1502     lyx_check_config = True
1503     lyx_kpsewhich = True
1504     outfile = 'lyxrc.defaults'
1505     lyxrc_fileformat = 19
1506     rc_entries = ''
1507     lyx_keep_temps = False
1508     version_suffix = ''
1509     lyx_binary_dir = ''
1510     ## Parse the command line
1511     for op in sys.argv[1:]:   # default shell/for list is $*, the options
1512         if op in [ '-help', '--help', '-h' ]:
1513             print '''Usage: configure [options]
1514 Options:
1515     --help                   show this help lines
1516     --keep-temps             keep temporary files (for debug. purposes)
1517     --without-kpsewhich      do not update TeX files information via kpsewhich
1518     --without-latex-config   do not run LaTeX to determine configuration
1519     --with-version-suffix=suffix suffix of binary installed files
1520     --binary-dir=directory   directory of binary installed files
1521 '''
1522             sys.exit(0)
1523         elif op == '--without-kpsewhich':
1524             lyx_kpsewhich = False
1525         elif op == '--without-latex-config':
1526             lyx_check_config = False
1527         elif op == '--keep-temps':
1528             lyx_keep_temps = True
1529         elif op[0:22] == '--with-version-suffix=':  # never mind if op is not long enough
1530             version_suffix = op[22:]
1531         elif op[0:13] == '--binary-dir=':
1532             lyx_binary_dir = op[13:]
1533         else:
1534             print "Unknown option", op
1535             sys.exit(1)
1536     #
1537     # check if we run from the right directory
1538     srcdir = os.path.dirname(sys.argv[0])
1539     if srcdir == '':
1540         srcdir = '.'
1541     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
1542         logger.error("configure: error: cannot find chkconfig.ltx script")
1543         sys.exit(1)
1544     setEnviron()
1545     if sys.platform == 'darwin' and len(version_suffix) > 0:
1546         checkUpgrade()
1547     createDirectories()
1548     dtl_tools = checkDTLtools()
1549     ## Write the first part of outfile
1550     writeToFile(outfile, '''# This file has been automatically generated by LyX' lib/configure.py
1551 # script. It contains default settings that have been determined by
1552 # examining your system. PLEASE DO NOT MODIFY ANYTHING HERE! If you
1553 # want to customize LyX, use LyX' Preferences dialog or modify directly
1554 # the "preferences" file instead. Any setting in that file will
1555 # override the values given here.
1556
1557 Format %i
1558
1559 ''' % lyxrc_fileformat)
1560     # check latex
1561     LATEX = checkLatex(dtl_tools)
1562     # check java and perl before any checkProg that may require them
1563     java = checkProg('a java interpreter', ['java'])[1]
1564     perl = checkProg('a perl interpreter', ['perl'])[1]
1565     checkFormatEntries(dtl_tools)
1566     checkConverterEntries()
1567     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
1568     checkTeXAllowSpaces()
1569     windows_style_tex_paths = checkTeXPaths()
1570     if windows_style_tex_paths != '':
1571         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
1572     checkOtherEntries()
1573     if lyx_kpsewhich:
1574         rescanTeXFiles()
1575     checkModulesConfig()
1576     # --without-latex-config can disable lyx_check_config
1577     ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
1578     removeTempFiles()
1579     # The return error code can be 256. Because most systems expect an error code
1580     # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
1581     # a None for success, 'ret is not None' is used to exit.
1582     sys.exit(ret is not None)