lib/configure.py

   1 #! /usr/bin/env python
   2 # -*- coding: utf-8 -*-
   3 #
   4 # file configure.py
   5 # This file is part of LyX, the document processor.
   6 # Licence details can be found in the file COPYING.
   7
   8 # \author Bo Peng
   9 # Full author contact details are available in file CREDITS.
  10
  11 import glob, logging, os, re, shutil, subprocess, sys, stat
  12
  13 # set up logging
  14 logging.basicConfig(level = logging.DEBUG,
  15     format = '%(levelname)s: %(message)s', # ignore application name
  16     filename = 'configure.log',
  17     filemode = 'w')
  18 #
  19 # Add a handler to log to console
  20 console = logging.StreamHandler()
  21 console.setLevel(logging.INFO) # the console only print out general information
  22 formatter = logging.Formatter('%(message)s') # only print out the message itself
  23 console.setFormatter(formatter)
  24 logger = logging.getLogger('LyX')
  25 logger.addHandler(console)
  26
  27 def writeToFile(filename, lines, append = False):
  28     " utility function: write or append lines to filename "
  29     if append:
  30         file = open(filename, 'a')
  31     else:
  32         file = open(filename, 'w')
  33     file.write(lines)
  34     file.close()
  35
  36
  37 def addToRC(lines):
  38     ''' utility function: shortcut for appending lines to outfile
  39         add newline at the end of lines.
  40     '''
  41     if lines.strip() != '':
  42         writeToFile(outfile, lines + '\n', append = True)
  43         logger.debug('Add to RC:\n' + lines + '\n\n')
  44
  45
  46 def removeFiles(filenames):
  47     '''utility function: 'rm -f'
  48         ignore errors when file does not exist, or is a directory.
  49     '''
  50     for file in filenames:
  51         try:
  52             os.remove(file)
  53             logger.debug('Removing file %s' % file)
  54         except:
  55             logger.debug('Failed to remove file %s' % file)
  56             pass
  57
  58
  59 def cmdOutput(cmd, async = False):
  60     '''utility function: run a command and get its output as a string
  61         cmd: command to run
  62         async: if False, return whole output as a string, otherwise
  63                return the stdout handle from which the output can be
  64                read (the caller is then responsible for closing it)
  65     '''
  66     if os.name == 'nt':
  67         b = False
  68         cmd = 'cmd /d /c pushd ' + shortPath(os.getcwdu()) + '&' + cmd
  69     else:
  70         b = True
  71     pipe = subprocess.Popen(cmd, shell=b, close_fds=b, stdin=subprocess.PIPE, \
  72                             stdout=subprocess.PIPE, universal_newlines=True)
  73     pipe.stdin.close()
  74     if async:
  75         return pipe.stdout
  76     output = pipe.stdout.read()
  77     pipe.stdout.close()
  78     return output.strip()
  79
  80
  81 def shortPath(path):
  82     ''' On Windows, return the short version of "path" if possible '''
  83     if os.name == 'nt':
  84         from ctypes import windll, create_unicode_buffer
  85         GetShortPathName = windll.kernel32.GetShortPathNameW
  86         shortlen = GetShortPathName(path, 0, 0)
  87         shortpath = create_unicode_buffer(shortlen)
  88         if GetShortPathName(path, shortpath, shortlen):
  89             return shortpath.value
  90     return path
  91
  92
  93 def setEnviron():
  94     ''' I do not really know why this is useful, but we might as well keep it.
  95         NLS nuisances.
  96         Only set these to C if already set.  These must not be set unconditionally
  97         because not all systems understand e.g. LANG=C (notably SCO).
  98         Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
  99         Non-C LC_CTYPE values break the ctype check.
 100     '''
 101     os.environ['LANG'] = os.getenv('LANG', 'C')
 102     os.environ['LC'] = os.getenv('LC_ALL', 'C')
 103     os.environ['LC_MESSAGE'] = os.getenv('LC_MESSAGE', 'C')
 104     os.environ['LC_CTYPE'] = os.getenv('LC_CTYPE', 'C')
 105
 106
 107 def copy_tree(src, dst, preserve_symlinks=False, level=0):
 108     ''' Copy an entire directory tree 'src' to a new location 'dst'.
 109
 110     Code inspired from distutils.copy_tree.
 111          Copying ignores non-regular files and the cache directory.
 112     Pipes may be present as leftovers from LyX for lyx-server.
 113
 114     If 'preserve_symlinks' is true, symlinks will be
 115     copied as symlinks (on platforms that support them!); otherwise
 116     (the default), the destination of the symlink will be copied.
 117     '''
 118
 119     if not os.path.isdir(src):
 120         raise FileError, \
 121               "cannot copy tree '%s': not a directory" % src
 122     try:
 123         names = os.listdir(src)
 124     except os.error, (errno, errstr):
 125         raise FileError, \
 126               "error listing files in '%s': %s" % (src, errstr)
 127
 128     if not os.path.isdir(dst):
 129         os.makedirs(dst)
 130
 131     outputs = []
 132
 133     for name in names:
 134         src_name = os.path.join(src, name)
 135         dst_name = os.path.join(dst, name)
 136         if preserve_symlinks and os.path.islink(src_name):
 137             link_dest = os.readlink(src_name)
 138             os.symlink(link_dest, dst_name)
 139             outputs.append(dst_name)
 140         elif level == 0 and name == 'cache':
 141             logger.info("Skip cache %s", src_name)
 142         elif os.path.isdir(src_name):
 143             outputs.extend(
 144                 copy_tree(src_name, dst_name, preserve_symlinks, level=(level + 1)))
 145         elif stat.S_ISREG(os.stat(src_name).st_mode) or os.path.islink(src_name):
 146             shutil.copy2(src_name, dst_name)
 147             outputs.append(dst_name)
 148         else:
 149             logger.info("Ignore non-regular file %s", src_name)
 150
 151     return outputs
 152
 153
 154 def checkUpgrade():
 155     ''' Check for upgrade from previous version '''
 156     cwd = os.getcwd()
 157     basename = os.path.basename( cwd )
 158     lyxrc = os.path.join(cwd, outfile)
 159     if not os.path.isfile( lyxrc ) and basename.endswith( version_suffix ) :
 160         logger.info('Checking for upgrade from previous version.')
 161         parent = os.path.dirname(cwd)
 162         appname = basename[:(-len(version_suffix))]
 163         for version in ['-2.1', '-2.0', '-1.6' ]:
 164             logger.debug('Checking for upgrade from previous version ' + version)
 165             previous = os.path.join(parent, appname + version)
 166             logger.debug('previous = ' + previous)
 167             if os.path.isdir( previous ):
 168                 logger.info('Found directory "%s".', previous)
 169                 copy_tree( previous, cwd )
 170                 logger.info('Content copied to directory "%s".', cwd)
 171                 return
 172
 173
 174 def createDirectories():
 175     ''' Create the build directories if necessary '''
 176     for dir in ['bind', 'clipart', 'doc', 'examples', 'images', 'kbd', \
 177         'layouts', 'scripts', 'templates', 'ui' ]:
 178         if not os.path.isdir( dir ):
 179             try:
 180                 os.mkdir( dir)
 181                 logger.debug('Create directory %s.' % dir)
 182             except:
 183                 logger.error('Failed to create directory %s.' % dir)
 184                 sys.exit(1)
 185
 186
 187 def checkTeXPaths():
 188     ''' Determine the path-style needed by the TeX engine on Win32 (Cygwin) '''
 189     windows_style_tex_paths = ''
 190     if LATEX == '':
 191         return windows_style_tex_paths
 192     if os.name == 'nt' or sys.platform == 'cygwin':
 193         from tempfile import mkstemp
 194         fd, tmpfname = mkstemp(suffix='.ltx')
 195         if os.name == 'nt':
 196             from locale import getdefaultlocale
 197             language, encoding = getdefaultlocale()
 198             if encoding == None:
 199                 encoding = 'latin1'
 200             inpname = shortPath(unicode(tmpfname, encoding)).replace('\\', '/')
 201         else:
 202             inpname = cmdOutput('cygpath -m ' + tmpfname)
 203         logname = os.path.basename(re.sub("(?i).ltx", ".log", inpname))
 204         inpname = inpname.replace('~', '\\string~')
 205         os.write(fd, r'\relax')
 206         os.close(fd)
 207         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}\makeatletter\@@end"' % inpname)
 208         if 'Error' in latex_out:
 209             latex_out = cmdOutput(r'latex "\nonstopmode\input{\"%s\"}\makeatletter\@@end"' % inpname)
 210         if 'Error' in latex_out:
 211             logger.warning("configure: TeX engine needs posix-style paths in latex files")
 212             windows_style_tex_paths = 'false'
 213         else:
 214             logger.info("configure: TeX engine needs windows-style paths in latex files")
 215             windows_style_tex_paths = 'true'
 216         removeFiles([tmpfname, logname, 'texput.log'])
 217     return windows_style_tex_paths
 218
 219
 220 ## Searching some useful programs
 221 def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
 222     '''
 223         This function will search a program in $PATH plus given path
 224         If found, return directory and program name (not the options).
 225
 226         description: description of the program
 227
 228         progs: check programs, for each prog, the first word is used
 229             for searching but the whole string is used to replace
 230             %% for a rc_entry. So, feel free to add '$$i' etc for programs.
 231
 232         path: additional pathes
 233
 234         rc_entry: entry to outfile, can be
 235             1. emtpy: no rc entry will be added
 236             2. one pattern: %% will be replaced by the first found program,
 237                 or '' if no program is found.
 238             3. several patterns for each prog and not_found. This is used
 239                 when different programs have different usages. If you do not
 240                 want not_found entry to be added to the RC file, you can specify
 241                 an entry for each prog and use '' for the not_found entry.
 242
 243         not_found: the value that should be used instead of '' if no program
 244             was found
 245
 246     '''
 247     # one rc entry for each progs plus not_found entry
 248     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 249         logger.error("rc entry should have one item or item for each prog and not_found.")
 250         sys.exit(2)
 251     logger.info('checking for ' + description + '...')
 252     ## print '(' + ','.join(progs) + ')',
 253     additional_path = path
 254     path = os.environ["PATH"].split(os.pathsep) + additional_path
 255     extlist = ['']
 256     if "PATHEXT" in os.environ:
 257         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
 258     global java, perl
 259     for idx in range(len(progs)):
 260         # ac_prog may have options, ac_word is the command name
 261         ac_prog = progs[idx]
 262         ac_word = ac_prog.split(' ')[0]
 263         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
 264             continue
 265         if ac_word.endswith('.pl') and perl == '':
 266             continue
 267         msg = '+checking for "' + ac_word + '"... '
 268         for ac_dir in path:
 269             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
 270                 continue
 271             for ext in extlist:
 272                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
 273                     logger.info(msg + ' yes')
 274                     # deal with java and perl
 275                     if ac_word.endswith('.class'):
 276                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
 277                     elif ac_word.endswith('.jar'):
 278                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
 279                     elif ac_word.endswith('.pl'):
 280                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
 281                     # write rc entries for this command
 282                     if len(rc_entry) == 1:
 283                         addToRC(rc_entry[0].replace('%%', ac_prog))
 284                     elif len(rc_entry) > 1:
 285                         addToRC(rc_entry[idx].replace('%%', ac_prog))
 286                     return [ac_dir, ac_word]
 287         # if not successful
 288         logger.info(msg + ' no')
 289     # write rc entries for 'not found'
 290     if len(rc_entry) > 0:  # the last one.
 291         addToRC(rc_entry[-1].replace('%%', not_found))
 292     return ['', not_found]
 293
 294
 295 def checkProgAlternatives(description, progs, rc_entry = [], alt_rc_entry = [], path = [], not_found = ''):
 296     '''
 297         The same as checkProg, but additionally, all found programs will be added
 298         as alt_rc_entries
 299     '''
 300     # one rc entry for each progs plus not_found entry
 301     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 302         logger.error("rc entry should have one item or item for each prog and not_found.")
 303         sys.exit(2)
 304     logger.info('checking for ' + description + '...')
 305     ## print '(' + ','.join(progs) + ')',
 306     additional_path = path
 307     path = os.environ["PATH"].split(os.pathsep) + additional_path
 308     extlist = ['']
 309     if "PATHEXT" in os.environ:
 310         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
 311     found_prime = False
 312     real_ac_dir = ''
 313     real_ac_word = not_found
 314     global java, perl
 315     for idx in range(len(progs)):
 316         # ac_prog may have options, ac_word is the command name
 317         ac_prog = progs[idx]
 318         ac_word = ac_prog.split(' ')[0]
 319         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
 320             continue
 321         if ac_word.endswith('.pl') and perl == '':
 322             continue
 323         msg = '+checking for "' + ac_word + '"... '
 324         found_alt = False
 325         for ac_dir in path:
 326             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
 327                 continue
 328             for ext in extlist:
 329                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
 330                     logger.info(msg + ' yes')
 331                     pr = re.compile(r'(\\\S+)(.*)$')
 332                     m = None
 333                     # deal with java and perl
 334                     if ac_word.endswith('.class'):
 335                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
 336                     elif ac_word.endswith('.jar'):
 337                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
 338                     elif ac_word.endswith('.pl'):
 339                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
 340                     # write rc entries for this command
 341                     if found_prime == False:
 342                         if len(rc_entry) == 1:
 343                             addToRC(rc_entry[0].replace('%%', ac_prog))
 344                         elif len(rc_entry) > 1:
 345                             addToRC(rc_entry[idx].replace('%%', ac_prog))
 346                         real_ac_dir = ac_dir
 347                         real_ac_word = ac_word
 348                         found_prime = True
 349                     if len(alt_rc_entry) == 1:
 350                         alt_rc = alt_rc_entry[0]
 351                         if alt_rc == "":
 352                             # if no explicit alt_rc is given, construct one
 353                             m = pr.match(rc_entry[0])
 354                             if m:
 355                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
 356                         addToRC(alt_rc.replace('%%', ac_prog))
 357                     elif len(alt_rc_entry) > 1:
 358                         alt_rc = alt_rc_entry[idx]
 359                         if alt_rc == "":
 360                             # if no explicit alt_rc is given, construct one
 361                             m = pr.match(rc_entry[idx])
 362                             if m:
 363                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
 364                         addToRC(alt_rc.replace('%%', ac_prog))
 365                     found_alt = True
 366                     break
 367             if found_alt:
 368                 break
 369         if found_alt == False:
 370             # if not successful
 371             logger.info(msg + ' no')
 372     if found_prime:
 373         return [real_ac_dir, real_ac_word]
 374     # write rc entries for 'not found'
 375     if len(rc_entry) > 0:  # the last one.
 376         addToRC(rc_entry[-1].replace('%%', not_found))
 377     return ['', not_found]
 378
 379
 380 def addAlternatives(rcs, alt_type):
 381     '''
 382         Returns a \\prog_alternatives string to be used as an alternative
 383         rc entry.  alt_type can be a string or a list of strings.
 384     '''
 385     r = re.compile(r'\\Format (\S+).*$')
 386     m = None
 387     alt = ''
 388     alt_token = '\\%s_alternatives '
 389     if isinstance(alt_type, str):
 390         alt_tokens = [alt_token % alt_type]
 391     else:
 392         alt_tokens = map(lambda s: alt_token % s, alt_type)
 393     for idxx in range(len(rcs)):
 394         if len(rcs) == 1:
 395             m = r.match(rcs[0])
 396             if m:
 397                 alt = '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
 398         elif len(rcs) > 1:
 399             m = r.match(rcs[idxx])
 400             if m:
 401                 if idxx > 0:
 402                     alt += '\n'
 403                 alt += '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
 404     return alt
 405
 406
 407 def listAlternatives(progs, alt_type, rc_entry = []):
 408     '''
 409         Returns a list of \\prog_alternatives strings to be used as alternative
 410         rc entries.  alt_type can be a string or a list of strings.
 411     '''
 412     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 413         logger.error("rc entry should have one item or item for each prog and not_found.")
 414         sys.exit(2)
 415     alt_rc_entry = []
 416     for idx in range(len(progs)):
 417         if len(rc_entry) == 1:
 418             rcs = rc_entry[0].split('\n')
 419             alt = addAlternatives(rcs, alt_type)
 420             alt_rc_entry.insert(0, alt)
 421         elif len(rc_entry) > 1:
 422             rcs = rc_entry[idx].split('\n')
 423             alt = addAlternatives(rcs, alt_type)
 424             alt_rc_entry.insert(idx, alt)
 425     return alt_rc_entry
 426
 427
 428 def checkViewer(description, progs, rc_entry = [], path = []):
 429     ''' The same as checkProgAlternatives, but for viewers '''
 430     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
 431     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 432
 433
 434 def checkEditor(description, progs, rc_entry = [], path = []):
 435     ''' The same as checkProgAlternatives, but for editors '''
 436     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
 437     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 438
 439
 440 def checkViewerNoRC(description, progs, rc_entry = [], path = []):
 441     ''' The same as checkViewer, but do not add rc entry '''
 442     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
 443     rc_entry = []
 444     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 445
 446
 447 def checkEditorNoRC(description, progs, rc_entry = [], path = []):
 448     ''' The same as checkViewer, but do not add rc entry '''
 449     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
 450     rc_entry = []
 451     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 452
 453
 454 def checkViewerEditor(description, progs, rc_entry = [], path = []):
 455     ''' The same as checkProgAlternatives, but for viewers and editors '''
 456     alt_rc_entry = listAlternatives(progs, ['editor', 'viewer'], rc_entry)
 457     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 458
 459
 460 def checkDTLtools():
 461     ''' Check whether DTL tools are available (Windows only) '''
 462     # Find programs! Returned path is not used now
 463     if ((os.name == 'nt' or sys.platform == 'cygwin') and
 464             checkProg('DVI to DTL converter', ['dv2dt']) != ['', ''] and
 465             checkProg('DTL to DVI converter', ['dt2dv']) != ['', '']):
 466         dtl_tools = True
 467     else:
 468         dtl_tools = False
 469     return dtl_tools
 470
 471
 472 def checkLatex(dtl_tools):
 473     ''' Check latex, return lyx_check_config '''
 474     path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'latex2e $$i'])
 475     path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
 476     #-----------------------------------------------------------------
 477     path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
 478     if PLATEX != '':
 479         # check if PLATEX is pLaTeX2e
 480         writeToFile('chklatex.ltx', r'\nonstopmode\makeatletter\@@end')
 481         # run platex on chklatex.ltx and check result
 482         if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
 483             # We have the Japanese pLaTeX2e
 484             addToRC(r'\converter platex   dvi       "%s"   "latex=platex"' % PLATEX)
 485         else:
 486             PLATEX = ''
 487             removeFiles(['chklatex.ltx', 'chklatex.log'])
 488     #-----------------------------------------------------------------
 489     # use LATEX to convert from latex to dvi if PPLATEX is not available
 490     if PPLATEX == '':
 491         PPLATEX = LATEX
 492     if dtl_tools:
 493         # Windows only: DraftDVI
 494         addToRC(r'''\converter latex      dvi2       "%s"       "latex"
 495 \converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o"  ""''' % PPLATEX)
 496     else:
 497         addToRC(r'\converter latex      dvi        "%s" "latex"' % PPLATEX)
 498     # no latex
 499     if LATEX != '':
 500         # Check if latex is usable
 501         writeToFile('chklatex.ltx', r'''
 502 \nonstopmode
 503 \ifx\undefined\documentclass\else
 504   \message{ThisIsLaTeX2e}
 505 \fi
 506 \makeatletter
 507 \@@end
 508 ''')
 509         # run latex on chklatex.ltx and check result
 510         if cmdOutput(LATEX + ' chklatex.ltx').find('ThisIsLaTeX2e') != -1:
 511             # valid latex2e
 512             return LATEX
 513         else:
 514             logger.warning("Latex not usable (not LaTeX2e) ")
 515         # remove temporary files
 516         removeFiles(['chklatex.ltx', 'chklatex.log'])
 517     return ''
 518
 519
 520 def checkLuatex():
 521     ''' Check if luatex is there and usable '''
 522     path, LUATEX = checkProg('LuaTeX', ['lualatex $$i'])
 523     path, DVILUATEX = checkProg('LuaTeX (DVI)', ['dvilualatex $$i'])
 524     if LUATEX != '':
 525     # luatex binary is there
 526         msg = "checking if LuaTeX is usable ..."
 527         # Check if luatex is usable
 528         writeToFile('luatest.tex', r'''
 529 \nonstopmode
 530 \documentclass{minimal}
 531 \usepackage{fontspec}
 532 \begin{document}
 533 .
 534 \end{document}
 535 ''')
 536         # run lualatex on luatest.tex and check result
 537         luatest = cmdOutput(LUATEX + ' luatest.tex')
 538         if luatest.find('XeTeX is required to compile this document') != -1:
 539             # fontspec/luatex too old! We do not support this version.
 540             logger.info(msg + ' no (probably not recent enough)')
 541         elif luatest.find('! LaTeX Error: File `fontspec.sty\' not found') != -1:
 542             # fontspec missing
 543             logger.info(msg + ' no (missing fontspec)')
 544         else:
 545             # working luatex
 546             logger.info(msg + ' yes')
 547             addToRC(r'\converter luatex      pdf5       "%s"    "latex=lualatex"' % LUATEX)
 548             if DVILUATEX != '':
 549                 addToRC(r'\converter luatex      dvi3        "%s"       "latex=dvilualatex"' % DVILUATEX)
 550         # remove temporary files
 551         removeFiles(['luatest.tex', 'luatest.log', 'luatest.aux', 'luatest.pdf'])
 552
 553
 554 def checkModule(module):
 555     ''' Check for a Python module, return the status '''
 556     msg = 'checking for "' + module + ' module"... '
 557     try:
 558       __import__(module)
 559       logger.info(msg + ' yes')
 560       return True
 561     except ImportError:
 562       logger.info(msg + ' no')
 563       return False
 564
 565
 566 def checkFormatEntries(dtl_tools):
 567     ''' Check all formats (\Format entries) '''
 568     checkViewerEditor('a Tgif viewer and editor', ['tgif'],
 569         rc_entry = [r'\Format tgif      "obj, tgo" Tgif                 "" "%%" "%%"    "vector"        "application/x-tgif"'])
 570     #
 571     checkViewerEditor('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
 572         rc_entry = [r'\Format fig        fig     FIG                    "" "%%" "%%"    "vector"        "application/x-xfig"'])
 573     #
 574     checkViewerEditor('a Dia viewer and editor', ['dia'],
 575         rc_entry = [r'\Format dia        dia     DIA                    "" "%%" "%%"    "vector,zipped=native", "application/x-dia-diagram"'])
 576     #
 577     checkViewerEditor('an OpenDocument drawing viewer and editor', ['libreoffice', 'lodraw', 'ooffice', 'oodraw', 'soffice'],
 578         rc_entry = [r'\Format odg        "odg, sxd" "OpenDocument drawing"   "" "%%"    "%%"    "vector,zipped=native"  "application/vnd.oasis.opendocument.graphics"'])
 579     #
 580     checkViewerEditor('a Grace viewer and editor', ['xmgrace'],
 581         rc_entry = [r'\Format agr        agr     Grace                  "" "%%" "%%"    "vector"        ""'])
 582     #
 583     checkViewerEditor('a FEN viewer and editor', ['xboard -lpf $$i -mode EditPosition'],
 584         rc_entry = [r'\Format fen        fen     FEN                    "" "%%" "%%"    ""      ""'])
 585     #
 586     checkViewerEditor('a SVG viewer and editor', ['inkscape'],
 587         rc_entry = [r'\Format svg        "svg, svgz" SVG                "" "%%" "%%"    "vector,zipped=native"  "image/svg+xml"'])
 588     #
 589     imageformats = r'''\Format bmp        bmp     BMP                    "" "%s"        "%s"    ""      "image/x-bmp"
 590 \Format gif        gif     GIF                    "" "%s"       "%s"    ""      "image/gif"
 591 \Format jpg       "jpg, jpeg" JPEG                "" "%s"       "%s"    ""      "image/jpeg"
 592 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""      "image/x-portable-bitmap"
 593 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""      "image/x-portable-graymap"
 594 \Format png        png     PNG                    "" "%s"       "%s"    ""      "image/x-png"
 595 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""      "image/x-portable-pixmap"
 596 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""      "image/tiff"
 597 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""      "image/x-xbitmap"
 598 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""      "image/x-xpixmap"'''
 599     path, iv = checkViewerNoRC('a raster image viewer', ['xv', 'kview', 'gimp-remote', 'gimp'], rc_entry = [imageformats])
 600     path, ie = checkEditorNoRC('a raster image editor', ['gimp-remote', 'gimp'], rc_entry = [imageformats])
 601     addToRC(imageformats % \
 602         (iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie) )
 603     #
 604     checkViewerEditor('a text editor', ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
 605         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
 606         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""    "%%"    ""      ""
 607 \Format asciiimage asc    "Plain text (image)"         "" ""    "%%"    ""      ""
 608 \Format asciixfig  asc    "Plain text (Xfig output)"   "" ""    "%%"    ""      ""
 609 \Format dateout    tmp    "date (output)"         "" "" "%%"    ""      ""
 610 \Format docbook    sgml    DocBook                B  "" "%%"    "document,menu=export"  ""
 611 \Format docbook-xml xml   "DocBook (XML)"         "" "" "%%"    "document,menu=export"  "application/docbook+xml"
 612 \Format dot        dot    "Graphviz Dot"          "" "" "%%"    "vector"        "text/vnd.graphviz"
 613 \Format dviluatex  tex    "LaTeX (dviluatex)"     "" "" "%%"    "document,menu=export"  ""
 614 \Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document,menu=export"  ""
 615 \Format literate   nw      NoWeb                  N  "" "%%"    "document,menu=export"  ""
 616 \Format sweave     Rnw    "Sweave"                S  "" "%%"    "document,menu=export"  ""
 617 \Format r          R      "R/S code"              "" "" "%%"    "document,menu=export"  ""
 618 \Format knitr      Rnw    "Rnw (knitr)"           "" "" "%%"    "document,menu=export"  ""
 619 \Format lilypond   ly     "LilyPond music"        "" "" "%%"    "vector"        "text/x-lilypond"
 620 \Format lilypond-book    lytex "LilyPond book (LaTeX)"   "" ""  "%%"    "document,menu=export"  ""
 621 \Format latex      tex    "LaTeX (plain)"         L  "" "%%"    "document,menu=export"  "text/x-tex"
 622 \Format luatex     tex    "LaTeX (LuaTeX)"        "" "" "%%"    "document,menu=export"  ""
 623 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" "" "%%"    "document,menu=export"  ""
 624 \Format xetex      tex    "LaTeX (XeTeX)"         "" "" "%%"    "document,menu=export"  ""
 625 \Format latexclipboard tex "LaTeX (clipboard)"    "" "" "%%"    ""      ""
 626 \Format text       txt    "Plain text"            a  "" "%%"    "document,menu=export"  "text/plain"
 627 \Format text2      txt    "Plain text (pstotext)" "" "" "%%"    "document"      ""
 628 \Format text3      txt    "Plain text (ps2ascii)" "" "" "%%"    "document"      ""
 629 \Format text4      txt    "Plain text (catdvi)"   "" "" "%%"    "document"      ""
 630 \Format textparagraph txt "Plain Text, Join Lines" "" ""        "%%"    "document"      ""
 631 \Format beamer.info pdf.info   "Info (Beamer)"         "" ""   "%%"    "document,menu=export"   ""''' ])
 632    #Spreadsheets using ssconvert from gnumeric
 633     checkViewer('gnumeric spreadsheet software', ['gnumeric'],
 634       rc_entry = [r'''\Format gnumeric gnumeric "Gnumeric spreadsheet" "" ""    "%%"   "document"       "application/x-gnumeric"
 635 \Format excel      xls    "Excel spreadsheet"      "" "" "%%"    "document"     "application/vnd.ms-excel"
 636 \Format oocalc     ods    "OpenDocument spreadsheet" "" "" "%%"    "document"   "application/vnd.oasis.opendocument.spreadsheet"'''])
 637  #
 638     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
 639         rc_entry = [r'\Format xhtml      xhtml   "LyXHTML"              y "%%" ""    "document,menu=export"     "application/xhtml+xml"'])
 640  #
 641     checkEditor('a BibTeX editor', ['jabref', 'JabRef', \
 642         'pybliographic', 'bibdesk', 'gbib', 'kbib', \
 643         'kbibtex', 'sixpack', 'bibedit', 'tkbibtex' \
 644         'xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
 645         'jedit', 'TeXnicCenter', 'WinEdt', 'WinShell', 'PSPad', \
 646         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
 647         rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""    "%%"    ""      "text/x-bibtex"''' ])
 648     #
 649     #checkProg('a Postscript interpreter', ['gs'],
 650     #  rc_entry = [ r'\ps_command "%%"' ])
 651     checkViewer('a Postscript previewer', ['kghostview', 'okular', 'qpdfview --unique', 'evince', 'gv', 'ghostview -swap', 'gsview64', 'gsview32'],
 652         rc_entry = [r'''\Format eps        eps     EPS                    "" "%%"       ""      "vector"        "image/x-eps"
 653 \Format eps2       eps    "EPS (uncropped)"       "" "%%"       ""      "vector"        ""
 654 \Format eps3       eps    "EPS (cropped)"         "" "%%"       ""      "document"      ""
 655 \Format ps         ps      Postscript             t  "%%"       ""      "document,vector,menu=export"   "application/postscript"'''])
 656     # for xdg-open issues look here: http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg151818.html
 657     # the MIME type is set for pdf6, because that one needs to be autodetectable by libmime
 658     checkViewer('a PDF previewer', ['pdfview', 'kpdf', 'okular', 'qpdfview --unique', 'evince', 'kghostview', 'xpdf', 'SumatraPDF', 'acrobat', 'acroread', 'mupdf', \
 659                     'gv', 'ghostview', 'AcroRd32', 'gsview64', 'gsview32'],
 660         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"       ""      "document,vector,menu=export"   ""
 661 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"       ""      "document,vector,menu=export"   ""
 662 \Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"       ""      "document,vector,menu=export"   ""
 663 \Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"       ""      "document,vector,menu=export"   ""
 664 \Format pdf5       pdf    "PDF (LuaTeX)"          u  "%%"       ""      "document,vector,menu=export"   ""
 665 \Format pdf6       pdf    "PDF (graphics)"        "" "%%"       ""      "vector"        "application/pdf"
 666 \Format pdf7       pdf    "PDF (cropped)"         "" "%%"       ""      "document,vector"       ""
 667 \Format pdf8       pdf    "PDF (lower resolution)"         "" "%%"      ""      "document,vector"       ""'''])
 668     #
 669     checkViewer('a DVI previewer', ['xdvi', 'kdvi', 'okular', 'yap', 'dviout -Set=!m'],
 670         rc_entry = [r'''\Format dvi        dvi     DVI                    D  "%%"       ""      "document,vector,menu=export"   "application/x-dvi"
 671 \Format dvi3       dvi     "DVI (LuaTeX)"          V  "%%"      ""      "document,vector,menu=export"   ""'''])
 672     if dtl_tools:
 673         # Windows only: DraftDVI
 674         addToRC(r'\Format dvi2       dvi     DraftDVI               ""  ""      ""      "vector"        ""')
 675     #
 676     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
 677         rc_entry = [r'\Format html      "html, htm" HTML                H  "%%" ""      "document,menu=export"  "text/html"'])
 678     #
 679     checkViewerEditor('Noteedit', ['noteedit'],
 680         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%" "%%"    "vector"        ""'])
 681     #
 682     checkViewerEditor('an OpenDocument viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
 683         rc_entry = [r'''\Format odt        odt     "OpenDocument (tex4ht)"  "" "%%"     "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 684 \Format odt2       odt    "OpenDocument (eLyXer)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 685 \Format odt3       odt    "OpenDocument (Pandoc)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 686 \Format sxw        sxw    "OpenOffice.Org (sxw)"  "" "" ""      "document,vector"       "application/vnd.sun.xml.writer"'''])
 687     #
 688     checkViewerEditor('a Rich Text and Word viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
 689         rc_entry = [r'''\Format rtf        rtf    "Rich Text Format"      "" "%%"       "%%"    "document,vector,menu=export"   "application/rtf"
 690 \Format word       doc    "MS Word"               W  "%%"       "%%"    "document,vector,menu=export"   "application/msword"
 691 \Format word2      docx    "MS Word Office Open XML"               W  "%%"      "%%"    "document,vector,menu=export"   "application/vnd.openxmlformats-officedocument.wordprocessingml.document"'''])
 692     #
 693     # entries that do not need checkProg
 694     addToRC(r'''\Format date       ""     "date command"          "" "" ""      ""      ""
 695 \Format csv        csv    "Table (CSV)"           "" "" ""      "document"      "text/csv"
 696 \Format fax        ""      Fax                    "" "" ""      "document"      ""
 697 \Format lyx        lyx     LyX                    "" "" ""      ""      "application/x-lyx"
 698 \Format lyx13x     13.lyx "LyX 1.3.x"             "" "" ""      "document"      ""
 699 \Format lyx14x     14.lyx "LyX 1.4.x"             "" "" ""      "document"      ""
 700 \Format lyx15x     15.lyx "LyX 1.5.x"             "" "" ""      "document"      ""
 701 \Format lyx16x     16.lyx "LyX 1.6.x"             "" "" ""      "document"      ""
 702 \Format lyx20x     20.lyx "LyX 2.0.x"             "" "" ""      "document"      ""
 703 \Format lyx21x     21.lyx "LyX 2.1.x"             "" "" ""      "document,menu=export"  ""
 704 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" "" ""      "document"      ""
 705 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""        ""      "document"      ""
 706 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""        ""      "document"      ""
 707 \Format lyxpreview lyxpreview "LyX Preview"       "" "" ""      ""      ""
 708 \Format pdftex     pdftex_t PDFTEX                "" "" ""      ""      ""
 709 \Format program    ""      Program                "" "" ""      ""      ""
 710 \Format pstex      pstex_t PSTEX                  "" "" ""      ""      ""
 711 \Format wmf        wmf    "Windows Metafile"      "" "" ""      "vector"        "image/x-wmf"
 712 \Format emf        emf    "Enhanced Metafile"     "" "" ""      "vector"        "image/x-emf"
 713 \Format wordhtml  "html, htm" "HTML (MS Word)"    "" "" ""      "document"      ""
 714 ''')
 715
 716
 717 def checkConverterEntries():
 718     ''' Check all converters (\converter entries) '''
 719     checkProg('the pdflatex program', ['pdflatex $$i'],
 720         rc_entry = [ r'\converter pdflatex   pdf2       "%%"    "latex=pdflatex"' ])
 721
 722     checkProg('XeTeX', ['xelatex $$i'],
 723         rc_entry = [ r'\converter xetex      pdf4       "%%"    "latex=xelatex"' ])
 724
 725     checkLuatex()
 726
 727     # Look for tex2lyx in this order (see bugs #3308 and #6986):
 728     #   1)  If we're building LyX with autotools then tex2lyx is found
 729     #       in the subdirectory tex2lyx with respect to the binary dir.
 730     #   2)  If we're building LyX with cmake then tex2lyx is found
 731     #       in the binary dir.
 732     #   3)  If LyX was configured with a version suffix then tex2lyx
 733     #       will also have this version suffix.
 734     #   4)  Otherwise always use tex2lyx.
 735     in_binary_subdir = os.path.join(lyx_binary_dir, 'tex2lyx', 'tex2lyx')
 736     in_binary_subdir = os.path.abspath(in_binary_subdir).replace('\\', '/')
 737
 738     in_binary_dir = os.path.join(lyx_binary_dir, 'tex2lyx')
 739     in_binary_dir = os.path.abspath(in_binary_dir).replace('\\', '/')
 740
 741     path, t2l = checkProg('a LaTeX/Noweb -> LyX converter', [in_binary_subdir, in_binary_subdir + version_suffix, in_binary_dir, in_binary_dir + version_suffix, 'tex2lyx' + version_suffix, 'tex2lyx'],
 742         rc_entry = [r'''\converter latex      lyx        "%% -f $$i $$o"        ""
 743 \converter latexclipboard lyx        "%% -fixedenc utf8 -f $$i $$o"     ""
 744 \converter literate   lyx        "%% -n -m noweb -f $$i $$o"    ""
 745 \converter sweave   lyx        "%% -n -m sweave -f $$i $$o"     ""
 746 \converter knitr   lyx        "%% -n -m knitr -f $$i $$o"       ""'''], not_found = 'tex2lyx')
 747     if path == '':
 748         logger.warning("Failed to find tex2lyx on your system.")
 749
 750     #
 751     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
 752         rc_entry = [r'''\converter literate   latex      "%%"   ""
 753 \converter literate   pdflatex      "%%"        ""
 754 \converter literate   xetex         "%%"        ""
 755 \converter literate   luatex        "%%"        ""'''])
 756     #
 757     checkProg('a Sweave -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxsweave.R $$p$$i $$p$$o $$e $$r'],
 758         rc_entry = [r'''\converter sweave   latex      "%%"     ""
 759 \converter sweave   pdflatex   "%%"     ""
 760 \converter sweave   xetex      "%%"     ""
 761 \converter sweave   luatex     "%%"     ""'''])
 762     #
 763     checkProg('a knitr -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r'],
 764         rc_entry = [r'''\converter knitr   latex      "%%"      ""
 765 \converter knitr   pdflatex   "%%"      ""
 766 \converter knitr   xetex      "%%"      ""
 767 \converter knitr   luatex     "%%"      ""'''])
 768     #
 769     checkProg('a Sweave -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxstangle.R $$i $$e $$r'],
 770         rc_entry = [ r'\converter sweave      r      "%%"    ""' ])
 771     #
 772     checkProg('a knitr -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r tangle'],
 773         rc_entry = [ r'\converter knitr      r      "%%"    ""' ])
 774     #
 775     checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex',
 776         'htmltolatex -input $$i -output $$o', 'htmltolatex.jar -input $$i -output $$o'],
 777         rc_entry = [ r'\converter html       latex      "%%"    ""', \
 778                      r'\converter html       latex      "python -tt $$s/scripts/html2latexwrapper.py %% $$i $$o"        ""', \
 779                      r'\converter html       latex      "%%"    ""', \
 780                      r'\converter html       latex      "%%"    ""', '' ])
 781     #
 782     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
 783         rc_entry = [ r'\converter word       latex      "%%"    ""' ])
 784
 785     # eLyXer: search as an executable (elyxer.py, elyxer)
 786     path, elyxer = checkProg('a LyX -> HTML converter',
 787         ['elyxer.py --nofooter --directory $$r $$i $$o', 'elyxer --nofooter --directory $$r $$i $$o'],
 788         rc_entry = [ r'\converter lyx      html       "%%"      ""' ])
 789     path, elyxer = checkProg('a LyX -> HTML (MS Word) converter',
 790         ['elyxer.py --nofooter --html --directory $$r $$i $$o', 'elyxer --nofooter --html --directory $$r $$i $$o'],
 791         rc_entry = [ r'\converter lyx      wordhtml       "%%"  ""' ])
 792     path, elyxer = checkProg('a LyX -> OpenDocument (eLyXer) converter',
 793         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
 794         rc_entry = [ r'\converter lyx      odt2       "%%"      ""' ])
 795     path, elyxer = checkProg('a LyX -> Word converter',
 796         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
 797         rc_entry = [ r'\converter lyx      word      "%%"       ""' ])
 798     if elyxer.find('elyxer') >= 0:
 799       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
 800       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
 801     else:
 802       # search for HTML converters other than eLyXer
 803       # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
 804       path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i', \
 805           '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o', \
 806           'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
 807           rc_entry = [ r'\converter latex      html       "%%"  "needaux"' ])
 808       if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
 809         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
 810       else:
 811         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
 812       path, htmlconv = checkProg('a LaTeX -> HTML (MS Word) converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'", \
 813           "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'", \
 814           "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
 815           rc_entry = [ r'\converter latex      wordhtml   "%%"  "needaux"' ])
 816       if htmlconv.find('htlatex') >= 0:
 817         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
 818       else:
 819         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
 820
 821
 822     # Check if LyXBlogger is installed
 823     lyxblogger_found = checkModule('lyxblogger')
 824     if lyxblogger_found:
 825       addToRC(r'\Format    blog       blog       "LyXBlogger"           "" "" ""  "document"  ""')
 826       addToRC(r'\converter xhtml      blog       "python -m lyxblogger $$i"       ""')
 827
 828     #
 829     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
 830         rc_entry = [ r'\converter sxw        latex      "%%"    ""' ])
 831     #
 832     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
 833         rc_entry = [ r'\converter odt        latex      "%%"    ""' ])
 834     #
 835     checkProg('a MS Word Office Open XML converter -> LaTeX', ['pandoc -s -f docx -o $$o -t latex $$i'],
 836         rc_entry = [ r'\converter word2      latex      "%%"    ""' ])
 837     # Only define a converter to pdf6, otherwise the odt format could be
 838     # used as an intermediate step for export to pdf, which is not wanted.
 839     checkProg('an OpenDocument -> PDF converter', ['unoconv -f pdf --stdout $$i > $$o'],
 840         rc_entry = [ r'\converter odt        pdf6       "%%"    ""' ])
 841     # According to http://www.tug.org/applications/tex4ht/mn-commands.html
 842     # the command mk4ht oolatex $$i has to be used as default,
 843     # but as this would require to have Perl installed, in MiKTeX oolatex is
 844     # directly available as application.
 845     # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
 846     # Both SuSE and debian have oolatex
 847     checkProg('a LaTeX -> Open Document (tex4ht) converter', [
 848         'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
 849         'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
 850         rc_entry = [ r'\converter latex      odt        "%%"    "needaux"' ])
 851     # On windows it is called latex2rt.exe
 852     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
 853         rc_entry = [ r'\converter latex      rtf        "%%"    "needaux"' ])
 854     #
 855     checkProg('a LaTeX -> Open Document (Pandoc) converter', ['pandoc -s -f latex -o $$o -t odt $$i'],
 856         rc_entry = [ r'\converter latex      odt3        "%%"   ""' ])
 857     #
 858     checkProg('a LaTeX -> MS Word Office Open XML converter', ['pandoc -s -f latex -o $$o -t docx $$i'],
 859         rc_entry = [ r'\converter latex      word2       "%%"   ""' ])
 860     #
 861     checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
 862         rc_entry = [ r'\converter rtf      html        "%%"     ""' ])
 863     # Do not define a converter to pdf6, ps is a pure export format
 864     checkProg('a PS to PDF converter', ['ps2pdf $$i $$o'],
 865         rc_entry = [ r'\converter ps         pdf        "%%"    ""' ])
 866     #
 867     checkProg('a PS to TXT converter', ['pstotext $$i > $$o'],
 868         rc_entry = [ r'\converter ps         text2      "%%"    ""' ])
 869     #
 870     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
 871         rc_entry = [ r'\converter ps         text3      "%%"    ""' ])
 872     # Need to call ps2eps in a pipe, otherwise it would name the output file
 873     # depending on the extension of the input file. We do not know the input
 874     # file extension in general, so the resultfile= flag would not help.
 875     # Since ps2eps crops the image, we do not use it to convert from ps->eps.
 876     # This would create additional paths in the converter graph with unwanted
 877     # side effects (e.g. ps->pdf via ps2pdf would create a different result
 878     # than ps->eps->pdf via ps2eps and epstopdf).
 879     checkProg('a PS to EPS converter', ['ps2eps -- < $$i > $$o'],
 880         rc_entry = [ r'\converter eps2       eps      "%%"      ""' ])
 881     #
 882     checkProg('a PDF to PS converter', ['pdf2ps $$i $$o', 'pdftops $$i $$o'],
 883         rc_entry = [ r'\converter pdf         ps        "%%"    ""' ])
 884     # Only define a converter from pdf6 for graphics
 885     checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
 886         rc_entry = [ r'\converter pdf6        eps        "%%"   ""' ])
 887     # Create one converter for a PDF produced using TeX fonts and one for a
 888     # PDF produced using non-TeX fonts. This does not produce non-unique
 889     # conversion paths, since a given document either uses TeX fonts or not.
 890     checkProg('a PDF cropping tool', ['pdfcrop $$i $$o'],
 891         rc_entry = [ r'''\converter pdf2   pdf7       "%%"      ""
 892 \converter pdf4   pdf7       "%%"       ""''' ])
 893     # Create one converter for a PDF produced using TeX fonts and one for a
 894     # PDF produced using non-TeX fonts. This does not produce non-unique
 895     # conversion paths, since a given document either uses TeX fonts or not.
 896     checkProg('Ghostscript', ["gswin32c", "gswin64c", "gs"],
 897         rc_entry = [ r'''\converter pdf2   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"     ""
 898 \converter pdf4   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"      ""''' ])
 899     #
 900     checkProg('a Beamer info extractor', ['makebeamerinfo -p $$i'],
 901         rc_entry = [ r'\converter pdf2         beamer.info        "%%"  ""' ])
 902     #
 903     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
 904         rc_entry = [ r'\converter dvi        text4      "%%"    ""' ])
 905     #
 906     checkProg('a DVI to PS converter', ['dvips -o $$o $$i'],
 907         rc_entry = [ r'\converter dvi        ps         "%%"    ""' ])
 908     #
 909     checkProg('a DVI to cropped EPS converter', ['dvips -E -o $$o $$i'],
 910         rc_entry = [ r'\converter dvi        eps3         "%%"  ""' ])
 911     #
 912     checkProg('a DVI to PDF converter', ['dvipdfmx -o $$o $$i', 'dvipdfm -o $$o $$i'],
 913         rc_entry = [ r'\converter dvi        pdf3       "%%"    ""' ])
 914     #
 915     checkProg('a fax program', ['kdeprintfax $$i', 'ksendfax $$i', 'hylapex $$i'],
 916         rc_entry = [ r'\converter ps         fax        "%%"    ""'])
 917     #
 918     path, fig2dev = checkProg('a FIG -> Image converter', ['fig2dev'])
 919     if fig2dev == "fig2dev":
 920         addToRC(r'''\converter fig        eps        "fig2dev -L eps $$i $$o"   ""
 921 \converter fig        ppm        "fig2dev -L ppm $$i $$o"       ""
 922 \converter fig        png        "fig2dev -L png $$i $$o"       ""
 923 \converter fig        pdftex     "python -tt $$s/scripts/fig2pdftex.py $$i $$o" ""
 924 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o"  ""''')
 925     #
 926     checkProg('a TIFF -> PS converter', ['tiff2ps $$i > $$o'],
 927         rc_entry = [ r'\converter tiff       eps        "%%"    ""'])
 928     #
 929     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
 930         rc_entry = [
 931             r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"    ""
 932 \converter tgif       png        "tgif -print -color -png -o $$d $$i"   ""
 933 \converter tgif       pdf6       "tgif -print -color -pdf -stdout $$i > $$o"    ""'''])
 934     #
 935     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
 936         rc_entry = [ r'\converter wmf        eps        "%%"    ""'])
 937     #
 938     checkProg('an EMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
 939         rc_entry = [ r'\converter emf        eps        "%%"    ""'])
 940     # Only define a converter to pdf6 for graphics
 941     checkProg('an EPS -> PDF converter', ['epstopdf'],
 942         rc_entry = [ r'\converter eps        pdf6       "epstopdf --outfile=$$o $$i"    ""'])
 943     #
 944     checkProg('an EPS -> PNG converter', ['convert $$i $$o'],
 945         rc_entry = [ r'\converter eps        png        "%%"    ""'])
 946     #
 947     # no agr -> pdf6 converter, since the pdf library used by gracebat is not
 948     # free software and therefore not compiled in in many installations.
 949     # Fortunately, this is not a big problem, because we will use epstopdf to
 950     # convert from agr to pdf6 via eps without loss of quality.
 951     checkProg('a Grace -> Image converter', ['gracebat'],
 952         rc_entry = [
 953             r'''\converter agr        eps        "gracebat -hardcopy -printfile $$o -hdevice EPS $$i 2>/dev/null"       ""
 954 \converter agr        png        "gracebat -hardcopy -printfile $$o -hdevice PNG $$i 2>/dev/null"       ""
 955 \converter agr        jpg        "gracebat -hardcopy -printfile $$o -hdevice JPEG $$i 2>/dev/null"      ""
 956 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"       ""'''])
 957     #
 958     checkProg('a Dot -> Image converter', ['dot'],
 959         rc_entry = [
 960             r'''\converter dot        eps        "dot -Teps $$i -o $$o" ""
 961 \converter dot        png        "dot -Tpng $$i -o $$o" ""'''])
 962     #
 963     checkProg('a Dia -> PNG converter', ['dia -e $$o -t png $$i'],
 964         rc_entry = [ r'\converter dia        png        "%%"    ""'])
 965     #
 966     checkProg('a Dia -> EPS converter', ['dia -e $$o -t eps $$i'],
 967         rc_entry = [ r'\converter dia        eps        "%%"    ""'])
 968     # Actually, this produces EPS, but with a wrong bounding box (usually A4 or letter).
 969     # The eps2->eps converter then fixes the bounding box by cropping.
 970     # Although unoconv can convert to png and pdf as well, do not define
 971     # odg->png and odg->pdf converters, since the bb would be too large as well.
 972     checkProg('an OpenDocument -> EPS converter', ['libreoffice -headless -nologo -convert-to eps $$i', 'unoconv -f eps --stdout $$i > $$o'],
 973         rc_entry = [ r'\converter odg        eps2       "%%"    ""'])
 974     # Only define a converter to pdf6 for graphics
 975     checkProg('a SVG -> PDF converter', ['rsvg-convert -f pdf -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
 976         rc_entry = [ r'\converter svg        pdf6       "%%"    ""'])
 977     #
 978     checkProg('a SVG -> EPS converter', ['rsvg-convert -f ps -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
 979         rc_entry = [ r'\converter svg        eps        "%%"    ""'])
 980     #
 981     checkProg('a SVG -> PNG converter', ['rsvg-convert -f png -o $$o $$i', 'inkscape --without-gui --file=$$i --export-png=$$o'],
 982         rc_entry = [ r'\converter svg        png        "%%"    ""'])
 983
 984     #
 985     # gnumeric/xls/ods to tex
 986     checkProg('a spreadsheet -> latex converter', ['ssconvert'],
 987        rc_entry = [ r'''\converter gnumeric latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
 988 \converter oocalc latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
 989 \converter excel  latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""'''])
 990
 991     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
 992     if (lilypond != ''):
 993         version_string = cmdOutput("lilypond --version")
 994         match = re.match('GNU LilyPond (\S+)', version_string)
 995         if match:
 996             version_number = match.groups()[0]
 997             version = version_number.split('.')
 998             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
 999                 addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps -dsafe --ps $$i"   ""
1000 \converter lilypond   png        "lilypond -dbackend=eps -dsafe --png $$i"      ""''')
1001                 addToRC(r'\converter lilypond   pdf6       "lilypond -dbackend=eps -dsafe --pdf $$i"    ""')
1002                 logger.info('+  found LilyPond version %s.' % version_number)
1003             elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
1004                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps --safe $$i"  ""
1005 \converter lilypond   png        "lilypond -b eps --png $$i"    ""''')
1006                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
1007                     addToRC(r'\converter lilypond   pdf6       "lilypond -b eps --pdf --safe $$i"       ""')
1008                 logger.info('+  found LilyPond version %s.' % version_number)
1009             else:
1010                 logger.info('+  found LilyPond, but version %s is too old.' % version_number)
1011         else:
1012             logger.info('+  found LilyPond, but could not extract version number.')
1013     #
1014     path, lilypond_book = checkProg('a LilyPond book (LaTeX) -> LaTeX converter', ['lilypond-book'])
1015     if (lilypond_book != ''):
1016         version_string = cmdOutput("lilypond-book --version")
1017         match = re.match('^(\S+)$', version_string)
1018         if match:
1019             version_number = match.groups()[0]
1020             version = version_number.split('.')
1021             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 13):
1022                 # Note: The --lily-output-dir flag is required because lilypond-book
1023                 #       does not process input again unless the input has changed,
1024                 #       even if the output format being requested is different. So
1025                 #       once a .eps file exists, lilypond-book won't create a .pdf
1026                 #       even when requested with --pdf. This is a problem if a user
1027                 #       clicks View PDF after having done a View DVI. To circumvent
1028                 #       this, use different output folders for eps and pdf outputs.
1029                 addToRC(r'\converter lilypond-book latex    "lilypond-book --safe --lily-output-dir=ly-eps $$i"                                ""')
1030                 addToRC(r'\converter lilypond-book pdflatex "lilypond-book --safe --pdf --latex-program=pdflatex --lily-output-dir=ly-pdf $$i" ""')
1031                 addToRC(r'\converter lilypond-book xetex    "lilypond-book --safe --pdf --latex-program=xelatex --lily-output-dir=ly-pdf $$i"  ""')
1032                 addToRC(r'\converter lilypond-book luatex   "lilypond-book --safe --pdf --latex-program=lualatex --lily-output-dir=ly-pdf $$i" ""')
1033                 logger.info('+  found LilyPond-book version %s.' % version_number)
1034             else:
1035                 logger.info('+  found LilyPond-book, but version %s is too old.' % version_number)
1036         else:
1037             logger.info('+  found LilyPond-book, but could not extract version number.')
1038     #
1039     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
1040         rc_entry = [ r'\converter noteedit   lilypond   "%%"    ""' ])
1041     #
1042     # Currently, lyxpak outputs a gzip compressed tar archive on *nix
1043     # and a zip archive on Windows.
1044     # So, we configure the appropriate version according to the platform.
1045     cmd = r'\converter lyx %s "python -tt $$s/scripts/lyxpak.py $$r/$$f" ""'
1046     if os.name == 'nt':
1047         addToRC(r'\Format lyxzip     zip    "LyX Archive (zip)"     "" "" ""  "document,menu=export"    ""')
1048         addToRC(cmd % "lyxzip")
1049     else:
1050         addToRC(r'\Format lyxgz      gz     "LyX Archive (tar.gz)"  "" "" ""  "document,menu=export"    ""')
1051         addToRC(cmd % "lyxgz")
1052
1053     #
1054     # FIXME: no rc_entry? comment it out
1055     # checkProg('Image converter', ['convert $$i $$o'])
1056     #
1057     # Entries that do not need checkProg
1058     addToRC(r'''
1059 \converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"    ""
1060 \converter date       dateout    "python -tt $$s/scripts/date.py %d-%m-%Y > $$o"        ""
1061 \converter docbook    docbook-xml "cp $$i $$o"  "xml"
1062 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o"  ""
1063 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -t 221 $$i > $$o"      ""
1064 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -t 245 $$i > $$o"      ""
1065 \converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -t 276 $$i > $$o"      ""
1066 \converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -t 345 $$i > $$o"      ""
1067 \converter lyx        lyx20x     "python -tt $$s/lyx2lyx/lyx2lyx -t 413 $$i > $$o"      ""
1068 \converter lyx        lyx21x     "python -tt $$s/lyx2lyx/lyx2lyx -t 474 $$i > $$o"      ""
1069 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -c big5 -t 245 $$i > $$o"      ""
1070 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -t 245 $$i > $$o"    ""
1071 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -t 245 $$i > $$o"    ""
1072 \converter clyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c big5 $$i > $$o"     ""
1073 \converter jlyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp $$i > $$o"   ""
1074 \converter klyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr $$i > $$o"   ""
1075 \converter lyxpreview png        "python -tt $$s/scripts/lyxpreview2bitmap.py --png"    ""
1076 \converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py --ppm"    ""
1077 ''')
1078
1079
1080 def checkDocBook():
1081     ''' Check docbook '''
1082     path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
1083         rc_entry = [
1084             r'''\converter docbook    dvi        "sgmltools -b dvi $$i" ""
1085 \converter docbook    html       "sgmltools -b html $$i"        ""
1086 \converter docbook    ps         "sgmltools -b ps $$i"  ""''',
1087             r'''\converter docbook    dvi        "db2dvi $$i"   ""
1088 \converter docbook    html       "db2html $$i"  ""''',
1089             r'''\converter docbook    dvi        ""     ""
1090 \converter docbook    html       "" ""''',
1091             r'''\converter docbook    dvi        ""     ""
1092 \converter docbook    html       ""     ""'''])
1093     #
1094     if DOCBOOK != '':
1095         return ('yes', 'true', '\\def\\hasdocbook{yes}')
1096     else:
1097         return ('no', 'false', '')
1098
1099
1100 def checkOtherEntries():
1101     ''' entries other than Format and Converter '''
1102     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
1103         rc_entry = [ r'\chktex_command "%%"' ])
1104     checkProgAlternatives('BibTeX or alternative programs', ['bibtex', 'bibtex8', 'biber'],
1105         rc_entry = [ r'\bibtex_command "%%"' ],
1106         alt_rc_entry = [ r'\bibtex_alternatives "%%"' ])
1107     checkProg('a specific Japanese BibTeX variant', ['pbibtex', 'jbibtex', 'bibtex'],
1108         rc_entry = [ r'\jbibtex_command "%%"' ])
1109     checkProgAlternatives('available index processors', ['texindy', 'makeindex -c -q', 'xindy'],
1110         rc_entry = [ r'\index_command "%%"' ],
1111         alt_rc_entry = [ r'\index_alternatives "%%"' ])
1112     checkProg('an index processor appropriate to Japanese', ['mendex -c -q', 'jmakeindex -c -q', 'makeindex -c -q'],
1113         rc_entry = [ r'\jindex_command "%%"' ])
1114     checkProg('the splitindex processor', ['splitindex.pl', 'splitindex',
1115         'splitindex.class'], rc_entry = [ r'\splitindex_command "%%"' ])
1116     checkProg('a nomenclature processor', ['makeindex'],
1117         rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
1118     ## FIXME: OCTAVE is not used anywhere
1119     # path, OCTAVE = checkProg('Octave', ['octave'])
1120     ## FIXME: MAPLE is not used anywhere
1121     # path, MAPLE = checkProg('Maple', ['maple'])
1122     # Add the rest of the entries (no checkProg is required)
1123     addToRC(r'''\copier    fig        "python -tt $$s/scripts/fig_copy.py $$i $$o"
1124 \copier    pstex      "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1125 \copier    pdftex     "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1126 \copier    program    "python -tt $$s/scripts/ext_copy.py $$i $$o"
1127 ''')
1128
1129
1130 def processLayoutFile(file, bool_docbook):
1131     ''' process layout file and get a line of result
1132
1133         Declare lines look like this:
1134
1135         \DeclareLaTeXClass[<requirements>]{<description>}
1136
1137         Optionally, a \DeclareCategory line follows:
1138
1139         \DeclareCategory{<category>}
1140
1141         So for example (article.layout, scrbook.layout, svjog.layout)
1142
1143         \DeclareLaTeXClass{article}
1144         \DeclareCategory{Articles}
1145
1146         \DeclareLaTeXClass[scrbook]{book (koma-script)}
1147         \DeclareCategory{Books}
1148
1149         \DeclareLaTeXClass[svjour,svjog.clo]{article (Springer - svjour/jog)}
1150
1151         we'd expect this output:
1152
1153         "article" "article" "article" "false" "article.cls" "Articles"
1154         "scrbook" "scrbook" "book (koma-script)" "false" "scrbook.cls" "Books"
1155         "svjog" "svjour" "article (Springer - svjour/jog)" "false" "svjour.cls,svjog.clo" ""
1156     '''
1157     def checkForClassExtension(x):
1158         '''if the extension for a latex class is not
1159            provided, add .cls to the classname'''
1160         if not '.' in x:
1161             return x.strip() + '.cls'
1162         else:
1163             return x.strip()
1164     classname = file.split(os.sep)[-1].split('.')[0]
1165     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
1166     p = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1167     q = re.compile(r'\DeclareCategory{(.*)}')
1168     classdeclaration = ""
1169     categorydeclaration = '""'
1170     for line in open(file).readlines():
1171         res = p.search(line)
1172         qres = q.search(line)
1173         if res != None:
1174             (classtype, optAll, opt, opt1, desc) = res.groups()
1175             avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
1176             if opt == None:
1177                 opt = classname
1178                 prereq_latex = checkForClassExtension(classname)
1179             else:
1180                 prereq_list = optAll[1:-1].split(',')
1181                 prereq_list = map(checkForClassExtension, prereq_list)
1182                 prereq_latex = ','.join(prereq_list)
1183             prereq_docbook = {'true':'', 'false':'docbook'}[bool_docbook]
1184             prereq = {'LaTeX':prereq_latex, 'DocBook':prereq_docbook}[classtype]
1185             classdeclaration = '"%s" "%s" "%s" "%s" "%s"' % (classname, opt, desc, avai, prereq)
1186             if categorydeclaration != '""':
1187                 return classdeclaration + " " + categorydeclaration
1188         if qres != None:
1189              categorydeclaration = '"%s"' % (qres.groups()[0])
1190              if classdeclaration != "":
1191                  return classdeclaration + " " + categorydeclaration
1192     if classdeclaration != "":
1193         return classdeclaration + " " + categorydeclaration
1194     logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
1195     return ""
1196
1197
1198 def checkLatexConfig(check_config, bool_docbook):
1199     ''' Explore the LaTeX configuration
1200         Return None (will be passed to sys.exit()) for success.
1201     '''
1202     msg = 'checking LaTeX configuration... '
1203     # if --without-latex-config is forced, or if there is no previous
1204     # version of textclass.lst, re-generate a default file.
1205     if not os.path.isfile('textclass.lst') or not check_config:
1206         # remove the files only if we want to regenerate
1207         removeFiles(['textclass.lst', 'packages.lst'])
1208         #
1209         # Then, generate a default textclass.lst. In case configure.py
1210         # fails, we still have something to start lyx.
1211         logger.info(msg + ' default values')
1212         logger.info('+checking list of textclasses... ')
1213         tx = open('textclass.lst', 'w')
1214         tx.write('''
1215 # This file declares layouts and their associated definition files
1216 # (include dir. relative to the place where this file is).
1217 # It contains only default values, since chkconfig.ltx could not be run
1218 # for some reason. Run ./configure.py if you need to update it after a
1219 # configuration change.
1220 ''')
1221         # build the list of available layout files and convert it to commands
1222         # for chkconfig.ltx
1223         foundClasses = []
1224         for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1225             glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1226             # valid file?
1227             if not os.path.isfile(file):
1228                 continue
1229             # get stuff between /xxxx.layout .
1230             classname = file.split(os.sep)[-1].split('.')[0]
1231             #  tr ' -' '__'`
1232             cleanclass = classname.replace(' ', '_')
1233             cleanclass = cleanclass.replace('-', '_')
1234             # make sure the same class is not considered twice
1235             if foundClasses.count(cleanclass) == 0: # not found before
1236                 foundClasses.append(cleanclass)
1237                 retval = processLayoutFile(file, bool_docbook)
1238                 if retval != "":
1239                     tx.write(retval)
1240         tx.close()
1241         logger.info('\tdone')
1242     if not os.path.isfile('packages.lst') or not check_config:
1243         logger.info('+generating default list of packages... ')
1244         removeFiles(['packages.lst'])
1245         tx = open('packages.lst', 'w')
1246         tx.close()
1247         logger.info('\tdone')
1248     if not check_config:
1249         return None
1250     # the following will generate textclass.lst.tmp, and packages.lst.tmp
1251     logger.info(msg + '\tauto')
1252     removeFiles(['chkconfig.classes', 'chkconfig.vars', 'chklayouts.tex',
1253         'wrap_chkconfig.ltx'])
1254     rmcopy = False
1255     if not os.path.isfile( 'chkconfig.ltx' ):
1256         shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
1257         rmcopy = True
1258     writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
1259     # Construct the list of classes to test for.
1260     # build the list of available layout files and convert it to commands
1261     # for chkconfig.ltx
1262     declare = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1263     category = re.compile(r'\DeclareCategory{(.*)}')
1264     empty = re.compile(r'^\s*$')
1265     testclasses = list()
1266     for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1267         glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1268         nodeclaration = False
1269         if not os.path.isfile(file):
1270             continue
1271         classname = file.split(os.sep)[-1].split('.')[0]
1272         decline = ""
1273         catline = ""
1274         for line in open(file).readlines():
1275             if not empty.match(line) and line[0] != '#':
1276                 if decline == "":
1277                     logger.warning("Failed to find valid \Declare line for layout file `" + file + "'.\n\t=> Skipping this file!")
1278                     nodeclaration = True
1279                 # A class, but no category declaration. Just break.
1280                 break
1281             if declare.search(line) != None:
1282                 decline = "\\TestDocClass{%s}{%s}" % (classname, line[1:].strip())
1283                 testclasses.append(decline)
1284             elif category.search(line) != None:
1285                 catline = "\\DeclareCategory{%s}{%s}" % (classname, category.search(line).groups()[0])
1286                 testclasses.append(catline)
1287             if catline == "" or decline == "":
1288                 continue
1289             break
1290         if nodeclaration:
1291             continue
1292     testclasses.sort()
1293     cl = open('chklayouts.tex', 'w')
1294     for line in testclasses:
1295         cl.write(line + '\n')
1296     cl.close()
1297     #
1298     # we have chklayouts.tex, then process it
1299     latex_out = cmdOutput(LATEX + ' wrap_chkconfig.ltx', True)
1300     while True:
1301         line = latex_out.readline()
1302         if not line:
1303             break;
1304         if re.match('^\+', line):
1305             logger.info(line.strip())
1306     # if the command succeeds, None will be returned
1307     ret = latex_out.close()
1308     #
1309     # remove the copied file
1310     if rmcopy:
1311         removeFiles( [ 'chkconfig.ltx' ] )
1312     #
1313     # currently, values in chkconfig are only used to set
1314     # \font_encoding
1315     values = {}
1316     for line in open('chkconfig.vars').readlines():
1317         key, val = re.sub('-', '_', line).split('=')
1318         val = val.strip()
1319         values[key] = val.strip("'")
1320     # chk_fontenc may not exist
1321     try:
1322         addToRC(r'\font_encoding "%s"' % values["chk_fontenc"])
1323     except:
1324         pass
1325     # if configure successed, move textclass.lst.tmp to textclass.lst
1326     # and packages.lst.tmp to packages.lst
1327     if os.path.isfile('textclass.lst.tmp') and len(open('textclass.lst.tmp').read()) > 0 \
1328         and os.path.isfile('packages.lst.tmp') and len(open('packages.lst.tmp').read()) > 0:
1329         shutil.move('textclass.lst.tmp', 'textclass.lst')
1330         shutil.move('packages.lst.tmp', 'packages.lst')
1331     return ret
1332
1333
1334 def checkModulesConfig():
1335   removeFiles(['lyxmodules.lst', 'chkmodules.tex'])
1336
1337   logger.info('+checking list of modules... ')
1338   tx = open('lyxmodules.lst', 'w')
1339   tx.write('''## This file declares modules and their associated definition files.
1340 ## It has been automatically generated by configure
1341 ## Use "Options/Reconfigure" if you need to update it after a
1342 ## configuration change.
1343 ## "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1344 ''')
1345
1346   # build the list of available modules
1347   seen = []
1348   # note that this searches the local directory first, then the
1349   # system directory. that way, we pick up the user's version first.
1350   for file in glob.glob( os.path.join('layouts', '*.module') ) + \
1351       glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) :
1352       # valid file?
1353       logger.info(file)
1354       if not os.path.isfile(file):
1355           continue
1356
1357       filename = file.split(os.sep)[-1]
1358       filename = filename[:-7]
1359       if seen.count(filename):
1360           continue
1361
1362       seen.append(filename)
1363       retval = processModuleFile(file, filename, bool_docbook)
1364       if retval != "":
1365           tx.write(retval)
1366   tx.close()
1367   logger.info('\tdone')
1368
1369
1370 def processModuleFile(file, filename, bool_docbook):
1371     ''' process module file and get a line of result
1372
1373         The top of a module file should look like this:
1374           #\DeclareLyXModule[LaTeX Packages]{ModuleName}
1375           #DescriptionBegin
1376           #...body of description...
1377           #DescriptionEnd
1378           #Requires: [list of required modules]
1379           #Excludes: [list of excluded modules]
1380           #Category: [category name]
1381         The last three lines are optional (though do give a category).
1382         We expect output:
1383           "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1384     '''
1385     remods = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
1386     rereqs = re.compile(r'#+\s*Requires: (.*)')
1387     reexcs = re.compile(r'#+\s*Excludes: (.*)')
1388     recaty = re.compile(r'#+\s*Category: (.*)')
1389     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1390     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1391
1392     modname = desc = pkgs = req = excl = catgy = ""
1393     readingDescription = False
1394     descLines = []
1395
1396     for line in open(file).readlines():
1397       if readingDescription:
1398         res = redend.search(line)
1399         if res != None:
1400           readingDescription = False
1401           desc = " ".join(descLines)
1402           # Escape quotes.
1403           desc = desc.replace('"', '\\"')
1404           continue
1405         descLines.append(line[1:].strip())
1406         continue
1407       res = redbeg.search(line)
1408       if res != None:
1409         readingDescription = True
1410         continue
1411       res = remods.search(line)
1412       if res != None:
1413           (pkgs, modname) = res.groups()
1414           if pkgs == None:
1415             pkgs = ""
1416           else:
1417             tmp = [s.strip() for s in pkgs.split(",")]
1418             pkgs = ",".join(tmp)
1419           continue
1420       res = rereqs.search(line)
1421       if res != None:
1422         req = res.group(1)
1423         tmp = [s.strip() for s in req.split("|")]
1424         req = "|".join(tmp)
1425         continue
1426       res = reexcs.search(line)
1427       if res != None:
1428         excl = res.group(1)
1429         tmp = [s.strip() for s in excl.split("|")]
1430         excl = "|".join(tmp)
1431         continue
1432       res = recaty.search(line)
1433       if res != None:
1434         catgy = res.group(1)
1435         continue
1436
1437     if modname == "":
1438       logger.warning("Module file without \DeclareLyXModule line. ")
1439       return ""
1440
1441     if pkgs != "":
1442         # this module has some latex dependencies:
1443         # append the dependencies to chkmodules.tex,
1444         # which is \input'ed by chkconfig.ltx
1445         testpackages = list()
1446         for pkg in pkgs.split(","):
1447             if "->" in pkg:
1448                 # this is a converter dependency: skip
1449                 continue
1450             if pkg.endswith(".sty"):
1451                 pkg = pkg[:-4]
1452             testpackages.append("\\TestPackage{%s}" % (pkg,))
1453         cm = open('chkmodules.tex', 'a')
1454         for line in testpackages:
1455             cm.write(line + '\n')
1456         cm.close()
1457
1458     return '"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, desc, pkgs, req, excl, catgy)
1459
1460
1461 def checkTeXAllowSpaces():
1462     ''' Let's check whether spaces are allowed in TeX file names '''
1463     tex_allows_spaces = 'false'
1464     if lyx_check_config:
1465         msg = "Checking whether TeX allows spaces in file names... "
1466         writeToFile('a b.tex', r'\message{working^^J}' )
1467         if LATEX != '':
1468             if os.name == 'nt' or sys.platform == 'cygwin':
1469                 latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}\makeatletter\@@end" """)
1470             else:
1471                 latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}\makeatletter\@@end' """)
1472         else:
1473             latex_out = ''
1474         if 'working' in latex_out:
1475             logger.info(msg + 'yes')
1476             tex_allows_spaces = 'true'
1477         else:
1478             logger.info(msg + 'no')
1479             tex_allows_spaces = 'false'
1480         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
1481         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
1482
1483
1484 def rescanTeXFiles():
1485     ''' Run kpsewhich to update information about TeX files '''
1486     logger.info("+Indexing TeX files... ")
1487     if not os.path.isfile( os.path.join(srcdir, 'scripts', 'TeXFiles.py') ):
1488         logger.error("configure: error: cannot find TeXFiles.py script")
1489         sys.exit(1)
1490     tfp = cmdOutput("python -tt " + '"' + os.path.join(srcdir, 'scripts', 'TeXFiles.py') + '"')
1491     logger.info(tfp)
1492     logger.info("\tdone")
1493
1494
1495 def removeTempFiles():
1496     # Final clean-up
1497     if not lyx_keep_temps:
1498         removeFiles(['chkconfig.vars', 'chklatex.ltx', 'chklatex.log',
1499             'chklayouts.tex', 'chkmodules.tex', 'missfont.log',
1500             'wrap_chkconfig.ltx', 'wrap_chkconfig.log'])
1501
1502
1503 if __name__ == '__main__':
1504     lyx_check_config = True
1505     lyx_kpsewhich = True
1506     outfile = 'lyxrc.defaults'
1507     lyxrc_fileformat = 19
1508     rc_entries = ''
1509     lyx_keep_temps = False
1510     version_suffix = ''
1511     lyx_binary_dir = ''
1512     ## Parse the command line
1513     for op in sys.argv[1:]:   # default shell/for list is $*, the options
1514         if op in [ '-help', '--help', '-h' ]:
1515             print '''Usage: configure [options]
1516 Options:
1517     --help                   show this help lines
1518     --keep-temps             keep temporary files (for debug. purposes)
1519     --without-kpsewhich      do not update TeX files information via kpsewhich
1520     --without-latex-config   do not run LaTeX to determine configuration
1521     --with-version-suffix=suffix suffix of binary installed files
1522     --binary-dir=directory   directory of binary installed files
1523 '''
1524             sys.exit(0)
1525         elif op == '--without-kpsewhich':
1526             lyx_kpsewhich = False
1527         elif op == '--without-latex-config':
1528             lyx_check_config = False
1529         elif op == '--keep-temps':
1530             lyx_keep_temps = True
1531         elif op[0:22] == '--with-version-suffix=':  # never mind if op is not long enough
1532             version_suffix = op[22:]
1533         elif op[0:13] == '--binary-dir=':
1534             lyx_binary_dir = op[13:]
1535         else:
1536             print "Unknown option", op
1537             sys.exit(1)
1538     #
1539     # check if we run from the right directory
1540     srcdir = os.path.dirname(sys.argv[0])
1541     if srcdir == '':
1542         srcdir = '.'
1543     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
1544         logger.error("configure: error: cannot find chkconfig.ltx script")
1545         sys.exit(1)
1546     setEnviron()
1547     if sys.platform == 'darwin' and len(version_suffix) > 0:
1548         checkUpgrade()
1549     createDirectories()
1550     dtl_tools = checkDTLtools()
1551     ## Write the first part of outfile
1552     writeToFile(outfile, '''# This file has been automatically generated by LyX' lib/configure.py
1553 # script. It contains default settings that have been determined by
1554 # examining your system. PLEASE DO NOT MODIFY ANYTHING HERE! If you
1555 # want to customize LyX, use LyX' Preferences dialog or modify directly
1556 # the "preferences" file instead. Any setting in that file will
1557 # override the values given here.
1558
1559 Format %i
1560
1561 ''' % lyxrc_fileformat)
1562     # check latex
1563     LATEX = checkLatex(dtl_tools)
1564     # check java and perl before any checkProg that may require them
1565     java = checkProg('a java interpreter', ['java'])[1]
1566     perl = checkProg('a perl interpreter', ['perl'])[1]
1567     checkFormatEntries(dtl_tools)
1568     checkConverterEntries()
1569     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
1570     checkTeXAllowSpaces()
1571     windows_style_tex_paths = checkTeXPaths()
1572     if windows_style_tex_paths != '':
1573         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
1574     checkOtherEntries()
1575     if lyx_kpsewhich:
1576         rescanTeXFiles()
1577     checkModulesConfig()
1578     # --without-latex-config can disable lyx_check_config
1579     ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
1580     removeTempFiles()
1581     # The return error code can be 256. Because most systems expect an error code
1582     # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
1583     # a None for success, 'ret is not None' is used to exit.
1584     sys.exit(ret is not None)