lib/configure.py

   1 #! /usr/bin/env python
   2 # -*- coding: utf-8 -*-
   3 #
   4 # file configure.py
   5 # This file is part of LyX, the document processor.
   6 # Licence details can be found in the file COPYING.
   7
   8 # \author Bo Peng
   9 # Full author contact details are available in file CREDITS.
  10
  11 import glob, logging, os, re, shutil, subprocess, sys, stat
  12
  13 # set up logging
  14 logging.basicConfig(level = logging.DEBUG,
  15     format = '%(levelname)s: %(message)s', # ignore application name
  16     filename = 'configure.log',
  17     filemode = 'w')
  18 #
  19 # Add a handler to log to console
  20 console = logging.StreamHandler()
  21 console.setLevel(logging.INFO) # the console only print out general information
  22 formatter = logging.Formatter('%(message)s') # only print out the message itself
  23 console.setFormatter(formatter)
  24 logger = logging.getLogger('LyX')
  25 logger.addHandler(console)
  26
  27 def writeToFile(filename, lines, append = False):
  28     " utility function: write or append lines to filename "
  29     if append:
  30         file = open(filename, 'a')
  31     else:
  32         file = open(filename, 'w')
  33     file.write(lines)
  34     file.close()
  35
  36
  37 def addToRC(lines):
  38     ''' utility function: shortcut for appending lines to outfile
  39         add newline at the end of lines.
  40     '''
  41     if lines.strip() != '':
  42         writeToFile(outfile, lines + '\n', append = True)
  43         logger.debug('Add to RC:\n' + lines + '\n\n')
  44
  45
  46 def removeFiles(filenames):
  47     '''utility function: 'rm -f'
  48         ignore errors when file does not exist, or is a directory.
  49     '''
  50     for file in filenames:
  51         try:
  52             os.remove(file)
  53             logger.debug('Removing file %s' % file)
  54         except:
  55             logger.debug('Failed to remove file %s' % file)
  56             pass
  57
  58
  59 def cmdOutput(cmd, async = False):
  60     '''utility function: run a command and get its output as a string
  61         cmd: command to run
  62         async: if False, return whole output as a string, otherwise
  63                return the stdout handle from which the output can be
  64                read (the caller is then responsible for closing it)
  65     '''
  66     if os.name == 'nt':
  67         b = False
  68         cmd = 'cmd /d /c pushd ' + shortPath(os.getcwdu()) + '&' + cmd
  69     else:
  70         b = True
  71     pipe = subprocess.Popen(cmd, shell=b, close_fds=b, stdin=subprocess.PIPE, \
  72                             stdout=subprocess.PIPE, universal_newlines=True)
  73     pipe.stdin.close()
  74     if async:
  75         return pipe.stdout
  76     output = pipe.stdout.read()
  77     pipe.stdout.close()
  78     return output.strip()
  79
  80
  81 def shortPath(path):
  82     ''' On Windows, return the short version of "path" if possible '''
  83     if os.name == 'nt':
  84         from ctypes import windll, create_unicode_buffer
  85         GetShortPathName = windll.kernel32.GetShortPathNameW
  86         shortlen = GetShortPathName(path, 0, 0)
  87         shortpath = create_unicode_buffer(shortlen)
  88         if GetShortPathName(path, shortpath, shortlen):
  89             return shortpath.value
  90     return path
  91
  92
  93 def setEnviron():
  94     ''' I do not really know why this is useful, but we might as well keep it.
  95         NLS nuisances.
  96         Only set these to C if already set.  These must not be set unconditionally
  97         because not all systems understand e.g. LANG=C (notably SCO).
  98         Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
  99         Non-C LC_CTYPE values break the ctype check.
 100     '''
 101     os.environ['LANG'] = os.getenv('LANG', 'C')
 102     os.environ['LC'] = os.getenv('LC_ALL', 'C')
 103     os.environ['LC_MESSAGE'] = os.getenv('LC_MESSAGE', 'C')
 104     os.environ['LC_CTYPE'] = os.getenv('LC_CTYPE', 'C')
 105
 106
 107 def copy_tree(src, dst, preserve_symlinks=False, level=0):
 108     ''' Copy an entire directory tree 'src' to a new location 'dst'.
 109
 110     Code inspired from distutils.copy_tree.
 111          Copying ignores non-regular files and the cache directory.
 112     Pipes may be present as leftovers from LyX for lyx-server.
 113
 114     If 'preserve_symlinks' is true, symlinks will be
 115     copied as symlinks (on platforms that support them!); otherwise
 116     (the default), the destination of the symlink will be copied.
 117     '''
 118
 119     if not os.path.isdir(src):
 120         raise FileError, \
 121               "cannot copy tree '%s': not a directory" % src
 122     try:
 123         names = os.listdir(src)
 124     except os.error, (errno, errstr):
 125         raise FileError, \
 126               "error listing files in '%s': %s" % (src, errstr)
 127
 128     if not os.path.isdir(dst):
 129         os.makedirs(dst)
 130
 131     outputs = []
 132
 133     for name in names:
 134         src_name = os.path.join(src, name)
 135         dst_name = os.path.join(dst, name)
 136         if preserve_symlinks and os.path.islink(src_name):
 137             link_dest = os.readlink(src_name)
 138             os.symlink(link_dest, dst_name)
 139             outputs.append(dst_name)
 140         elif level == 0 and name == 'cache':
 141             logger.info("Skip cache %s", src_name)
 142         elif os.path.isdir(src_name):
 143             outputs.extend(
 144                 copy_tree(src_name, dst_name, preserve_symlinks, level=(level + 1)))
 145         elif stat.S_ISREG(os.stat(src_name).st_mode) or os.path.islink(src_name):
 146             shutil.copy2(src_name, dst_name)
 147             outputs.append(dst_name)
 148         else:
 149             logger.info("Ignore non-regular file %s", src_name)
 150
 151     return outputs
 152
 153
 154 def checkUpgrade():
 155     ''' Check for upgrade from previous version '''
 156     cwd = os.getcwd()
 157     basename = os.path.basename( cwd )
 158     lyxrc = os.path.join(cwd, outfile)
 159     if not os.path.isfile( lyxrc ) and basename.endswith( version_suffix ) :
 160         logger.info('Checking for upgrade from previous version.')
 161         parent = os.path.dirname(cwd)
 162         appname = basename[:(-len(version_suffix))]
 163         for version in ['-2.1', '-2.0', '-1.6' ]:
 164             logger.debug('Checking for upgrade from previous version ' + version)
 165             previous = os.path.join(parent, appname + version)
 166             logger.debug('previous = ' + previous)
 167             if os.path.isdir( previous ):
 168                 logger.info('Found directory "%s".', previous)
 169                 copy_tree( previous, cwd, True )
 170                 logger.info('Content copied to directory "%s".', cwd)
 171                 return
 172
 173
 174 def createDirectories():
 175     ''' Create the build directories if necessary '''
 176     for dir in ['bind', 'clipart', 'doc', 'examples', 'images', 'kbd', \
 177         'layouts', 'scripts', 'templates', 'ui' ]:
 178         if not os.path.isdir( dir ):
 179             try:
 180                 os.mkdir( dir)
 181                 logger.debug('Create directory %s.' % dir)
 182             except:
 183                 logger.error('Failed to create directory %s.' % dir)
 184                 sys.exit(1)
 185
 186
 187 def checkTeXPaths():
 188     ''' Determine the path-style needed by the TeX engine on Win32 (Cygwin) '''
 189     windows_style_tex_paths = ''
 190     if LATEX == '':
 191         return windows_style_tex_paths
 192     if os.name == 'nt' or sys.platform == 'cygwin':
 193         from tempfile import mkstemp
 194         fd, tmpfname = mkstemp(suffix='.ltx')
 195         if os.name == 'nt':
 196             from locale import getdefaultlocale
 197             language, encoding = getdefaultlocale()
 198             if encoding == None:
 199                 encoding = 'latin1'
 200             inpname = shortPath(unicode(tmpfname, encoding)).replace('\\', '/')
 201         else:
 202             inpname = cmdOutput('cygpath -m ' + tmpfname)
 203         logname = os.path.basename(re.sub("(?i).ltx", ".log", inpname))
 204         inpname = inpname.replace('~', '\\string~')
 205         os.write(fd, r'\relax')
 206         os.close(fd)
 207         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}\makeatletter\@@end"' % inpname)
 208         if 'Error' in latex_out:
 209             latex_out = cmdOutput(r'latex "\nonstopmode\input{\"%s\"}\makeatletter\@@end"' % inpname)
 210         if 'Error' in latex_out:
 211             logger.warning("configure: TeX engine needs posix-style paths in latex files")
 212             windows_style_tex_paths = 'false'
 213         else:
 214             logger.info("configure: TeX engine needs windows-style paths in latex files")
 215             windows_style_tex_paths = 'true'
 216         removeFiles([tmpfname, logname, 'texput.log'])
 217     return windows_style_tex_paths
 218
 219
 220 ## Searching some useful programs
 221 def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
 222     '''
 223         This function will search a program in $PATH plus given path
 224         If found, return directory and program name (not the options).
 225
 226         description: description of the program
 227
 228         progs: check programs, for each prog, the first word is used
 229             for searching but the whole string is used to replace
 230             %% for a rc_entry. So, feel free to add '$$i' etc for programs.
 231
 232         path: additional paths (will be prepended to the program name)
 233
 234         rc_entry: entry to outfile, can be
 235             1. emtpy: no rc entry will be added
 236             2. one pattern: %% will be replaced by the first found program,
 237                 or '' if no program is found.
 238             3. several patterns for each prog and not_found. This is used
 239                 when different programs have different usages. If you do not
 240                 want not_found entry to be added to the RC file, you can specify
 241                 an entry for each prog and use '' for the not_found entry.
 242
 243         not_found: the value that should be used instead of '' if no program
 244             was found
 245
 246     '''
 247     # one rc entry for each progs plus not_found entry
 248     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 249         logger.error("rc entry should have one item or item for each prog and not_found.")
 250         sys.exit(2)
 251     logger.info('checking for ' + description + '...')
 252     ## print '(' + ','.join(progs) + ')',
 253     additional_path = path
 254     path = os.environ["PATH"].split(os.pathsep) + additional_path
 255     extlist = ['']
 256     if "PATHEXT" in os.environ:
 257         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
 258     global java, perl
 259     for idx in range(len(progs)):
 260         # ac_prog may have options, ac_word is the command name
 261         ac_prog = progs[idx]
 262         ac_word = ac_prog.split(' ')[0]
 263         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
 264             continue
 265         if ac_word.endswith('.pl') and perl == '':
 266             continue
 267         msg = '+checking for "' + ac_word + '"... '
 268         for ac_dir in path:
 269             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
 270                 continue
 271             for ext in extlist:
 272                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
 273                     logger.info(msg + ' yes')
 274                     # deal with java and perl
 275                     if ac_word.endswith('.class'):
 276                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
 277                     elif ac_word.endswith('.jar'):
 278                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
 279                     elif ac_word.endswith('.pl'):
 280                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
 281                     elif ac_dir in additional_path:
 282                         ac_prog = ac_prog.replace(ac_word, r'\"%s\"' % (os.path.join(ac_dir, ac_word)))
 283                     # write rc entries for this command
 284                     if len(rc_entry) == 1:
 285                         addToRC(rc_entry[0].replace('%%', ac_prog))
 286                     elif len(rc_entry) > 1:
 287                         addToRC(rc_entry[idx].replace('%%', ac_prog))
 288                     return [ac_dir, ac_word]
 289         # if not successful
 290         logger.info(msg + ' no')
 291     # write rc entries for 'not found'
 292     if len(rc_entry) > 0:  # the last one.
 293         addToRC(rc_entry[-1].replace('%%', not_found))
 294     return ['', not_found]
 295
 296
 297 def checkProgAlternatives(description, progs, rc_entry = [], alt_rc_entry = [], path = [], not_found = ''):
 298     '''
 299         The same as checkProg, but additionally, all found programs will be added
 300         as alt_rc_entries
 301     '''
 302     # one rc entry for each progs plus not_found entry
 303     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 304         logger.error("rc entry should have one item or item for each prog and not_found.")
 305         sys.exit(2)
 306     logger.info('checking for ' + description + '...')
 307     ## print '(' + ','.join(progs) + ')',
 308     additional_path = path
 309     path = os.environ["PATH"].split(os.pathsep) + additional_path
 310     extlist = ['']
 311     if "PATHEXT" in os.environ:
 312         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
 313     found_prime = False
 314     real_ac_dir = ''
 315     real_ac_word = not_found
 316     global java, perl
 317     for idx in range(len(progs)):
 318         # ac_prog may have options, ac_word is the command name
 319         ac_prog = progs[idx]
 320         ac_word = ac_prog.split(' ')[0]
 321         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
 322             continue
 323         if ac_word.endswith('.pl') and perl == '':
 324             continue
 325         msg = '+checking for "' + ac_word + '"... '
 326         found_alt = False
 327         for ac_dir in path:
 328             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
 329                 continue
 330             for ext in extlist:
 331                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
 332                     logger.info(msg + ' yes')
 333                     pr = re.compile(r'(\\\S+)(.*)$')
 334                     m = None
 335                     # deal with java and perl
 336                     if ac_word.endswith('.class'):
 337                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
 338                     elif ac_word.endswith('.jar'):
 339                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
 340                     elif ac_word.endswith('.pl'):
 341                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
 342                     elif ac_dir in additional_path:
 343                         ac_prog = ac_prog.replace(ac_word, r'\"%s\"' % (os.path.join(ac_dir, ac_word)))
 344                     # write rc entries for this command
 345                     if found_prime == False:
 346                         if len(rc_entry) == 1:
 347                             addToRC(rc_entry[0].replace('%%', ac_prog))
 348                         elif len(rc_entry) > 1:
 349                             addToRC(rc_entry[idx].replace('%%', ac_prog))
 350                         real_ac_dir = ac_dir
 351                         real_ac_word = ac_word
 352                         found_prime = True
 353                     if len(alt_rc_entry) == 1:
 354                         alt_rc = alt_rc_entry[0]
 355                         if alt_rc == "":
 356                             # if no explicit alt_rc is given, construct one
 357                             m = pr.match(rc_entry[0])
 358                             if m:
 359                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
 360                         addToRC(alt_rc.replace('%%', ac_prog))
 361                     elif len(alt_rc_entry) > 1:
 362                         alt_rc = alt_rc_entry[idx]
 363                         if alt_rc == "":
 364                             # if no explicit alt_rc is given, construct one
 365                             m = pr.match(rc_entry[idx])
 366                             if m:
 367                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
 368                         addToRC(alt_rc.replace('%%', ac_prog))
 369                     found_alt = True
 370                     break
 371             if found_alt:
 372                 break
 373         if found_alt == False:
 374             # if not successful
 375             logger.info(msg + ' no')
 376     if found_prime:
 377         return [real_ac_dir, real_ac_word]
 378     # write rc entries for 'not found'
 379     if len(rc_entry) > 0:  # the last one.
 380         addToRC(rc_entry[-1].replace('%%', not_found))
 381     return ['', not_found]
 382
 383
 384 def addAlternatives(rcs, alt_type):
 385     '''
 386         Returns a \\prog_alternatives string to be used as an alternative
 387         rc entry.  alt_type can be a string or a list of strings.
 388     '''
 389     r = re.compile(r'\\Format (\S+).*$')
 390     m = None
 391     alt = ''
 392     alt_token = '\\%s_alternatives '
 393     if isinstance(alt_type, str):
 394         alt_tokens = [alt_token % alt_type]
 395     else:
 396         alt_tokens = map(lambda s: alt_token % s, alt_type)
 397     for idxx in range(len(rcs)):
 398         if len(rcs) == 1:
 399             m = r.match(rcs[0])
 400             if m:
 401                 alt = '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
 402         elif len(rcs) > 1:
 403             m = r.match(rcs[idxx])
 404             if m:
 405                 if idxx > 0:
 406                     alt += '\n'
 407                 alt += '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
 408     return alt
 409
 410
 411 def listAlternatives(progs, alt_type, rc_entry = []):
 412     '''
 413         Returns a list of \\prog_alternatives strings to be used as alternative
 414         rc entries.  alt_type can be a string or a list of strings.
 415     '''
 416     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 417         logger.error("rc entry should have one item or item for each prog and not_found.")
 418         sys.exit(2)
 419     alt_rc_entry = []
 420     for idx in range(len(progs)):
 421         if len(rc_entry) == 1:
 422             rcs = rc_entry[0].split('\n')
 423             alt = addAlternatives(rcs, alt_type)
 424             alt_rc_entry.insert(0, alt)
 425         elif len(rc_entry) > 1:
 426             rcs = rc_entry[idx].split('\n')
 427             alt = addAlternatives(rcs, alt_type)
 428             alt_rc_entry.insert(idx, alt)
 429     return alt_rc_entry
 430
 431
 432 def checkViewer(description, progs, rc_entry = [], path = []):
 433     ''' The same as checkProgAlternatives, but for viewers '''
 434     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
 435     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 436
 437
 438 def checkEditor(description, progs, rc_entry = [], path = []):
 439     ''' The same as checkProgAlternatives, but for editors '''
 440     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
 441     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 442
 443
 444 def checkViewerNoRC(description, progs, rc_entry = [], path = []):
 445     ''' The same as checkViewer, but do not add rc entry '''
 446     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
 447     rc_entry = []
 448     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 449
 450
 451 def checkEditorNoRC(description, progs, rc_entry = [], path = []):
 452     ''' The same as checkViewer, but do not add rc entry '''
 453     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
 454     rc_entry = []
 455     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 456
 457
 458 def checkViewerEditor(description, progs, rc_entry = [], path = []):
 459     ''' The same as checkProgAlternatives, but for viewers and editors '''
 460     alt_rc_entry = listAlternatives(progs, ['editor', 'viewer'], rc_entry)
 461     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
 462
 463
 464 def checkDTLtools():
 465     ''' Check whether DTL tools are available (Windows only) '''
 466     # Find programs! Returned path is not used now
 467     if ((os.name == 'nt' or sys.platform == 'cygwin') and
 468             checkProg('DVI to DTL converter', ['dv2dt']) != ['', ''] and
 469             checkProg('DTL to DVI converter', ['dt2dv']) != ['', '']):
 470         dtl_tools = True
 471     else:
 472         dtl_tools = False
 473     return dtl_tools
 474
 475 def checkInkscape():
 476     ''' Check whether Inkscape is available and return the full path (Windows only) '''
 477     if os.name != 'nt':
 478         return 'inkscape'
 479     import _winreg
 480     aReg = _winreg.ConnectRegistry(None, _winreg.HKEY_CLASSES_ROOT)
 481     try:
 482         aKey = _winreg.OpenKey(aReg, r"inkscape.svg\DefaultIcon")
 483         val = _winreg.QueryValueEx(aKey, "")
 484         return str(val[0]).split('"')[1].replace('.exe', '')
 485     except EnvironmentError:
 486         try:
 487             aKey = _winreg.OpenKey(aReg, r"Applications\inkscape.exe\shell\open\command")
 488             val = _winreg.QueryValueEx(aKey, "")
 489             return str(val[0]).split('"')[1].replace('.exe', '')
 490         except EnvironmentError:
 491             return 'inkscape'
 492
 493 def checkLatex(dtl_tools):
 494     ''' Check latex, return lyx_check_config '''
 495     path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'latex2e $$i'])
 496     path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
 497     #-----------------------------------------------------------------
 498     path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
 499     if PLATEX != '':
 500         # check if PLATEX is pLaTeX2e
 501         writeToFile('chklatex.ltx', r'\nonstopmode\makeatletter\@@end')
 502         # run platex on chklatex.ltx and check result
 503         if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
 504             # We have the Japanese pLaTeX2e
 505             addToRC(r'\converter platex   dvi       "%s"   "latex=platex"' % PLATEX)
 506         else:
 507             PLATEX = ''
 508             removeFiles(['chklatex.ltx', 'chklatex.log'])
 509     #-----------------------------------------------------------------
 510     # use LATEX to convert from latex to dvi if PPLATEX is not available
 511     if PPLATEX == '':
 512         PPLATEX = LATEX
 513     if dtl_tools:
 514         # Windows only: DraftDVI
 515         addToRC(r'''\converter latex      dvi2       "%s"       "latex"
 516 \converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o"  ""''' % PPLATEX)
 517     else:
 518         addToRC(r'\converter latex      dvi        "%s" "latex"' % PPLATEX)
 519     # no latex
 520     if LATEX != '':
 521         # Check if latex is usable
 522         writeToFile('chklatex.ltx', r'''
 523 \nonstopmode
 524 \ifx\undefined\documentclass\else
 525   \message{ThisIsLaTeX2e}
 526 \fi
 527 \makeatletter
 528 \@@end
 529 ''')
 530         # run latex on chklatex.ltx and check result
 531         if cmdOutput(LATEX + ' chklatex.ltx').find('ThisIsLaTeX2e') != -1:
 532             # valid latex2e
 533             return LATEX
 534         else:
 535             logger.warning("Latex not usable (not LaTeX2e) ")
 536         # remove temporary files
 537         removeFiles(['chklatex.ltx', 'chklatex.log'])
 538     return ''
 539
 540
 541 def checkLuatex():
 542     ''' Check if luatex is there '''
 543     path, LUATEX = checkProg('LuaTeX', ['lualatex $$i'])
 544     path, DVILUATEX = checkProg('LuaTeX (DVI)', ['dvilualatex $$i'])
 545     if LUATEX != '':
 546         addToRC(r'\converter luatex      pdf5       "%s"        "latex=lualatex"' % LUATEX)
 547     if DVILUATEX != '':
 548         addToRC(r'\converter luatex      dvi3        "%s"       "latex=dvilualatex"' % DVILUATEX)
 549
 550
 551 def checkModule(module):
 552     ''' Check for a Python module, return the status '''
 553     msg = 'checking for "' + module + ' module"... '
 554     try:
 555       __import__(module)
 556       logger.info(msg + ' yes')
 557       return True
 558     except ImportError:
 559       logger.info(msg + ' no')
 560       return False
 561
 562
 563 def checkFormatEntries(dtl_tools):
 564     ''' Check all formats (\Format entries) '''
 565     checkViewerEditor('a Tgif viewer and editor', ['tgif'],
 566         rc_entry = [r'\Format tgif      "obj, tgo" Tgif                 "" "%%" "%%"    "vector"        "application/x-tgif"'])
 567     #
 568     checkViewerEditor('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
 569         rc_entry = [r'\Format fig        fig     FIG                    "" "%%" "%%"    "vector"        "application/x-xfig"'])
 570     #
 571     checkViewerEditor('a Dia viewer and editor', ['dia'],
 572         rc_entry = [r'\Format dia        dia     DIA                    "" "%%" "%%"    "vector,zipped=native", "application/x-dia-diagram"'])
 573     #
 574     checkViewerEditor('an OpenDocument drawing viewer and editor', ['libreoffice', 'lodraw', 'ooffice', 'oodraw', 'soffice'],
 575         rc_entry = [r'\Format odg        "odg, sxd" "OpenDocument drawing"   "" "%%"    "%%"    "vector,zipped=native"  "application/vnd.oasis.opendocument.graphics"'])
 576     #
 577     checkViewerEditor('a Grace viewer and editor', ['xmgrace'],
 578         rc_entry = [r'\Format agr        agr     Grace                  "" "%%" "%%"    "vector"        ""'])
 579     #
 580     checkViewerEditor('a FEN viewer and editor', ['xboard -lpf $$i -mode EditPosition'],
 581         rc_entry = [r'\Format fen        fen     FEN                    "" "%%" "%%"    ""      ""'])
 582     #
 583     checkViewerEditor('a SVG viewer and editor', [inkscape_name],
 584         rc_entry = [r'''\Format svg        "svg" SVG                "" "%%" "%%"        "vector"        "image/svg+xml"
 585 \Format svgz       "svgz" "SVG (compressed)" "" "%%" "%%"       "vector,zipped=native"  ""'''],
 586         path = [inkscape_path])
 587     #
 588     imageformats = r'''\Format bmp        bmp     BMP                    "" "%s"        "%s"    ""      "image/x-bmp"
 589 \Format gif        gif     GIF                    "" "%s"       "%s"    ""      "image/gif"
 590 \Format jpg       "jpg, jpeg" JPEG                "" "%s"       "%s"    ""      "image/jpeg"
 591 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""      "image/x-portable-bitmap"
 592 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""      "image/x-portable-graymap"
 593 \Format png        png     PNG                    "" "%s"       "%s"    ""      "image/x-png"
 594 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""      "image/x-portable-pixmap"
 595 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""      "image/tiff"
 596 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""      "image/x-xbitmap"
 597 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""      "image/x-xpixmap"'''
 598     path, iv = checkViewerNoRC('a raster image viewer', ['xv', 'kview', 'gimp-remote', 'gimp'], rc_entry = [imageformats])
 599     path, ie = checkEditorNoRC('a raster image editor', ['gimp-remote', 'gimp'], rc_entry = [imageformats])
 600     addToRC(imageformats % \
 601         (iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie) )
 602     #
 603     checkViewerEditor('a text editor', ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
 604         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
 605         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""    "%%"    ""      ""
 606 \Format asciiimage asc    "Plain text (image)"         "" ""    "%%"    ""      ""
 607 \Format asciixfig  asc    "Plain text (Xfig output)"   "" ""    "%%"    ""      ""
 608 \Format dateout    tmp    "date (output)"         "" "" "%%"    ""      ""
 609 \Format docbook    sgml    DocBook                B  "" "%%"    "document,menu=export"  ""
 610 \Format docbook-xml xml   "DocBook (XML)"         "" "" "%%"    "document,menu=export"  "application/docbook+xml"
 611 \Format dot        dot    "Graphviz Dot"          "" "" "%%"    "vector"        "text/vnd.graphviz"
 612 \Format dviluatex  tex    "LaTeX (dviluatex)"     "" "" "%%"    "document,menu=export"  ""
 613 \Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document,menu=export"  ""
 614 \Format literate   nw      NoWeb                  N  "" "%%"    "document,menu=export"  ""
 615 \Format sweave     Rnw    "Sweave"                S  "" "%%"    "document,menu=export"  ""
 616 \Format r          R      "R/S code"              "" "" "%%"    "document,menu=export"  ""
 617 \Format knitr      Rnw    "Rnw (knitr)"           "" "" "%%"    "document,menu=export"  ""
 618 \Format lilypond   ly     "LilyPond music"        "" "" "%%"    "vector"        "text/x-lilypond"
 619 \Format lilypond-book    lytex "LilyPond book (LaTeX)"   "" ""  "%%"    "document,menu=export"  ""
 620 \Format latex      tex    "LaTeX (plain)"         L  "" "%%"    "document,menu=export"  "text/x-tex"
 621 \Format luatex     tex    "LaTeX (LuaTeX)"        "" "" "%%"    "document,menu=export"  ""
 622 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" "" "%%"    "document,menu=export"  ""
 623 \Format xetex      tex    "LaTeX (XeTeX)"         "" "" "%%"    "document,menu=export"  ""
 624 \Format latexclipboard tex "LaTeX (clipboard)"    "" "" "%%"    ""      ""
 625 \Format text       txt    "Plain text"            a  "" "%%"    "document,menu=export"  "text/plain"
 626 \Format text2      txt    "Plain text (pstotext)" "" "" "%%"    "document"      ""
 627 \Format text3      txt    "Plain text (ps2ascii)" "" "" "%%"    "document"      ""
 628 \Format text4      txt    "Plain text (catdvi)"   "" "" "%%"    "document"      ""
 629 \Format textparagraph txt "Plain Text, Join Lines" "" ""        "%%"    "document"      ""
 630 \Format beamer.info pdf.info   "Info (Beamer)"         "" ""   "%%"    "document,menu=export"   ""''' ])
 631    #Spreadsheets using ssconvert from gnumeric
 632     checkViewer('gnumeric spreadsheet software', ['gnumeric'],
 633       rc_entry = [r'''\Format gnumeric gnumeric "Gnumeric spreadsheet" "" ""    "%%"   "document"       "application/x-gnumeric"
 634 \Format excel      xls    "Excel spreadsheet"      "" "" "%%"    "document"     "application/vnd.ms-excel"
 635 \Format html_table html   "HTML Table (for spreadsheets)"      "" "" "%%"    "document" "text/html"
 636 \Format oocalc     ods    "OpenDocument spreadsheet" "" "" "%%"    "document"   "application/vnd.oasis.opendocument.spreadsheet"'''])
 637  #
 638     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
 639         rc_entry = [r'\Format xhtml      xhtml   "LyXHTML"              y "%%" ""    "document,menu=export"     "application/xhtml+xml"'])
 640  #
 641     checkEditor('a BibTeX editor', ['jabref', 'JabRef', \
 642         'pybliographic', 'bibdesk', 'gbib', 'kbib', \
 643         'kbibtex', 'sixpack', 'bibedit', 'tkbibtex' \
 644         'xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
 645         'jedit', 'TeXnicCenter', 'WinEdt', 'WinShell', 'PSPad', \
 646         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
 647         rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""    "%%"    ""      "text/x-bibtex"''' ])
 648     #
 649     #checkProg('a Postscript interpreter', ['gs'],
 650     #  rc_entry = [ r'\ps_command "%%"' ])
 651     checkViewer('a Postscript previewer', ['kghostview', 'okular', 'qpdfview --unique', 'evince', 'gv', 'ghostview -swap', 'gsview64', 'gsview32'],
 652         rc_entry = [r'''\Format eps        eps     EPS                    "" "%%"       ""      "vector"        "image/x-eps"
 653 \Format eps2       eps    "EPS (uncropped)"       "" "%%"       ""      "vector"        ""
 654 \Format eps3       eps    "EPS (cropped)"         "" "%%"       ""      "document"      ""
 655 \Format ps         ps      Postscript             t  "%%"       ""      "document,vector,menu=export"   "application/postscript"'''])
 656     # for xdg-open issues look here: http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg151818.html
 657     # the MIME type is set for pdf6, because that one needs to be autodetectable by libmime
 658     checkViewer('a PDF previewer', ['pdfview', 'kpdf', 'okular', 'qpdfview --unique', 'evince', 'kghostview', 'xpdf', 'SumatraPDF', 'acrobat', 'acroread', 'mupdf', \
 659                     'gv', 'ghostview', 'AcroRd32', 'gsview64', 'gsview32'],
 660         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"       ""      "document,vector,menu=export"   ""
 661 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"       ""      "document,vector,menu=export"   ""
 662 \Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"       ""      "document,vector,menu=export"   ""
 663 \Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"       ""      "document,vector,menu=export"   ""
 664 \Format pdf5       pdf    "PDF (LuaTeX)"          u  "%%"       ""      "document,vector,menu=export"   ""
 665 \Format pdf6       pdf    "PDF (graphics)"        "" "%%"       ""      "vector"        "application/pdf"
 666 \Format pdf7       pdf    "PDF (cropped)"         "" "%%"       ""      "document,vector"       ""
 667 \Format pdf8       pdf    "PDF (lower resolution)"         "" "%%"      ""      "document,vector"       ""'''])
 668     #
 669     checkViewer('a DVI previewer', ['xdvi', 'kdvi', 'okular', 'yap', 'dviout -Set=!m'],
 670         rc_entry = [r'''\Format dvi        dvi     DVI                    D  "%%"       ""      "document,vector,menu=export"   "application/x-dvi"
 671 \Format dvi3       dvi     "DVI (LuaTeX)"          V  "%%"      ""      "document,vector,menu=export"   ""'''])
 672     if dtl_tools:
 673         # Windows only: DraftDVI
 674         addToRC(r'\Format dvi2       dvi     DraftDVI               ""  ""      ""      "vector"        ""')
 675     #
 676     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
 677         rc_entry = [r'\Format html      "html, htm" HTML                H  "%%" ""      "document,menu=export"  "text/html"'])
 678     #
 679     checkViewerEditor('Noteedit', ['noteedit'],
 680         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%" "%%"    "vector"        ""'])
 681     #
 682     checkViewerEditor('an OpenDocument viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
 683         rc_entry = [r'''\Format odt        odt     "OpenDocument (tex4ht)"  "" "%%"     "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 684 \Format odt2       odt    "OpenDocument (eLyXer)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 685 \Format odt3       odt    "OpenDocument (Pandoc)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 686 \Format sxw        sxw    "OpenOffice.Org (sxw)"  "" "" ""      "document,vector"       "application/vnd.sun.xml.writer"'''])
 687     #
 688     checkViewerEditor('a Rich Text and Word viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
 689         rc_entry = [r'''\Format rtf        rtf    "Rich Text Format"      "" "%%"       "%%"    "document,vector,menu=export"   "application/rtf"
 690 \Format word       doc    "MS Word"               W  "%%"       "%%"    "document,vector,menu=export"   "application/msword"
 691 \Format word2      docx    "MS Word Office Open XML"               O  "%%"      "%%"    "document,vector,menu=export"   "application/vnd.openxmlformats-officedocument.wordprocessingml.document"'''])
 692     #
 693     # entries that do not need checkProg
 694     addToRC(r'''\Format date       ""     "date command"          "" "" ""      ""      ""
 695 \Format csv        csv    "Table (CSV)"           "" "" ""      "document"      "text/csv"
 696 \Format fax        ""      Fax                    "" "" ""      "document"      ""
 697 \Format lyx        lyx     LyX                    "" "" ""      ""      "application/x-lyx"
 698 \Format lyx13x     13.lyx "LyX 1.3.x"             "" "" ""      "document"      ""
 699 \Format lyx14x     14.lyx "LyX 1.4.x"             "" "" ""      "document"      ""
 700 \Format lyx15x     15.lyx "LyX 1.5.x"             "" "" ""      "document"      ""
 701 \Format lyx16x     16.lyx "LyX 1.6.x"             "" "" ""      "document"      ""
 702 \Format lyx20x     20.lyx "LyX 2.0.x"             "" "" ""      "document"      ""
 703 \Format lyx21x     21.lyx "LyX 2.1.x"             "" "" ""      "document,menu=export"  ""
 704 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" "" ""      "document"      ""
 705 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""        ""      "document"      ""
 706 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""        ""      "document"      ""
 707 \Format lyxpreview lyxpreview "LyX Preview"       "" "" ""      ""      ""
 708 \Format pdftex     pdftex_t PDFTEX                "" "" ""      ""      ""
 709 \Format program    ""      Program                "" "" ""      ""      ""
 710 \Format pstex      pstex_t PSTEX                  "" "" ""      ""      ""
 711 \Format wmf        wmf    "Windows Metafile"      "" "" ""      "vector"        "image/x-wmf"
 712 \Format emf        emf    "Enhanced Metafile"     "" "" ""      "vector"        "image/x-emf"
 713 \Format wordhtml  "html, htm" "HTML (MS Word)"    "" "" ""      "document"      ""
 714 ''')
 715
 716
 717 def checkConverterEntries():
 718     ''' Check all converters (\converter entries) '''
 719     checkProg('the pdflatex program', ['pdflatex $$i'],
 720         rc_entry = [ r'\converter pdflatex   pdf2       "%%"    "latex=pdflatex"' ])
 721
 722     checkProg('XeTeX', ['xelatex $$i'],
 723         rc_entry = [ r'\converter xetex      pdf4       "%%"    "latex=xelatex"' ])
 724
 725     checkLuatex()
 726
 727     # Look for tex2lyx in this order (see bugs #3308 and #6986):
 728     #   1)  If we're building LyX with autotools then tex2lyx is found
 729     #       in the subdirectory tex2lyx with respect to the binary dir.
 730     #   2)  If we're building LyX with cmake then tex2lyx is found
 731     #       in the binary dir.
 732     #   3)  If LyX was configured with a version suffix then tex2lyx
 733     #       will also have this version suffix.
 734     #   4)  Otherwise always use tex2lyx.
 735     in_binary_subdir = os.path.join(lyx_binary_dir, 'tex2lyx', 'tex2lyx')
 736     in_binary_subdir = os.path.abspath(in_binary_subdir).replace('\\', '/')
 737
 738     in_binary_dir = os.path.join(lyx_binary_dir, 'tex2lyx')
 739     in_binary_dir = os.path.abspath(in_binary_dir).replace('\\', '/')
 740
 741     path, t2l = checkProg('a LaTeX/Noweb -> LyX converter', [in_binary_subdir, in_binary_subdir + version_suffix, in_binary_dir, in_binary_dir + version_suffix, 'tex2lyx' + version_suffix, 'tex2lyx'],
 742         rc_entry = [r'''\converter latex      lyx        "%% -f $$i $$o"        ""
 743 \converter latexclipboard lyx        "%% -fixedenc utf8 -f $$i $$o"     ""
 744 \converter literate   lyx        "%% -n -m noweb -f $$i $$o"    ""
 745 \converter sweave   lyx        "%% -n -m sweave -f $$i $$o"     ""
 746 \converter knitr   lyx        "%% -n -m knitr -f $$i $$o"       ""'''], not_found = 'tex2lyx')
 747     if path == '':
 748         logger.warning("Failed to find tex2lyx on your system.")
 749
 750     #
 751     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
 752         rc_entry = [r'''\converter literate   latex      "%%"   ""
 753 \converter literate   pdflatex      "%%"        ""
 754 \converter literate   xetex         "%%"        ""
 755 \converter literate   luatex        "%%"        ""'''])
 756     #
 757     checkProg('a Sweave -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxsweave.R $$p$$i $$p$$o $$e $$r'],
 758         rc_entry = [r'''\converter sweave   latex      "%%"     ""
 759 \converter sweave   pdflatex   "%%"     ""
 760 \converter sweave   xetex      "%%"     ""
 761 \converter sweave   luatex     "%%"     ""'''])
 762     #
 763     checkProg('a knitr -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r'],
 764         rc_entry = [r'''\converter knitr   latex      "%%"      ""
 765 \converter knitr   pdflatex   "%%"      ""
 766 \converter knitr   xetex      "%%"      ""
 767 \converter knitr   luatex     "%%"      ""'''])
 768     #
 769     checkProg('a Sweave -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxstangle.R $$i $$e $$r'],
 770         rc_entry = [ r'\converter sweave      r      "%%"    ""' ])
 771     #
 772     checkProg('a knitr -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r tangle'],
 773         rc_entry = [ r'\converter knitr      r      "%%"    ""' ])
 774     #
 775     checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex',
 776         'htmltolatex -input $$i -output $$o', 'htmltolatex.jar -input $$i -output $$o'],
 777         rc_entry = [ r'\converter html       latex      "%%"    ""', \
 778                      r'\converter html       latex      "python -tt $$s/scripts/html2latexwrapper.py %% $$i $$o"        ""', \
 779                      r'\converter html       latex      "%%"    ""', \
 780                      r'\converter html       latex      "%%"    ""', '' ])
 781     #
 782     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
 783         rc_entry = [ r'\converter word       latex      "%%"    ""' ])
 784
 785     # eLyXer: search as an executable (elyxer.py, elyxer)
 786     path, elyxer = checkProg('a LyX -> HTML converter',
 787         ['elyxer.py --nofooter --directory $$r $$i $$o', 'elyxer --nofooter --directory $$r $$i $$o'],
 788         rc_entry = [ r'\converter lyx      html       "%%"      ""' ])
 789     path, elyxer = checkProg('a LyX -> HTML (MS Word) converter',
 790         ['elyxer.py --nofooter --html --directory $$r $$i $$o', 'elyxer --nofooter --html --directory $$r $$i $$o'],
 791         rc_entry = [ r'\converter lyx      wordhtml       "%%"  ""' ])
 792     path, elyxer = checkProg('a LyX -> OpenDocument (eLyXer) converter',
 793         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
 794         rc_entry = [ r'\converter lyx      odt2       "%%"      ""' ])
 795     path, elyxer = checkProg('a LyX -> Word converter',
 796         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
 797         rc_entry = [ r'\converter lyx      word      "%%"       ""' ])
 798     if elyxer.find('elyxer') >= 0:
 799       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
 800       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
 801     else:
 802       # search for HTML converters other than eLyXer
 803       # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
 804       path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i', \
 805           '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o', \
 806           'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
 807           rc_entry = [ r'\converter latex      html       "%%"  "needaux"' ])
 808       if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
 809         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
 810       else:
 811         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
 812       path, htmlconv = checkProg('a LaTeX -> HTML (MS Word) converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'", \
 813           "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'", \
 814           "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
 815           rc_entry = [ r'\converter latex      wordhtml   "%%"  "needaux"' ])
 816       if htmlconv.find('htlatex') >= 0:
 817         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
 818       else:
 819         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
 820
 821
 822     # Check if LyXBlogger is installed
 823     lyxblogger_found = checkModule('lyxblogger')
 824     if lyxblogger_found:
 825       addToRC(r'\Format    blog       blog       "LyXBlogger"           "" "" ""  "document"  ""')
 826       addToRC(r'\converter xhtml      blog       "python -m lyxblogger $$i"       ""')
 827
 828     #
 829     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
 830         rc_entry = [ r'\converter sxw        latex      "%%"    ""' ])
 831     #
 832     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
 833         rc_entry = [ r'\converter odt        latex      "%%"    ""' ])
 834     #
 835     checkProg('an Open Document (Pandoc) -> LaTeX converter', ['pandoc -s -f odt -o $$o -t latex $$i'],
 836         rc_entry = [ r'\converter odt3        latex      "%%"   ""' ])
 837     #
 838     checkProg('a MS Word Office Open XML converter -> LaTeX', ['pandoc -s -f docx -o $$o -t latex $$i'],
 839         rc_entry = [ r'\converter word2      latex      "%%"    ""' ])
 840     # Only define a converter to pdf6, otherwise the odt format could be
 841     # used as an intermediate step for export to pdf, which is not wanted.
 842     checkProg('an OpenDocument -> PDF converter', ['unoconv -f pdf --stdout $$i > $$o'],
 843         rc_entry = [ r'\converter odt        pdf6       "%%"    ""' ])
 844     # According to http://www.tug.org/applications/tex4ht/mn-commands.html
 845     # the command mk4ht oolatex $$i has to be used as default,
 846     # but as this would require to have Perl installed, in MiKTeX oolatex is
 847     # directly available as application.
 848     # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
 849     # Both SuSE and debian have oolatex
 850     checkProg('a LaTeX -> Open Document (tex4ht) converter', [
 851         'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
 852         'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
 853         rc_entry = [ r'\converter latex      odt        "%%"    "needaux"' ])
 854     # On windows it is called latex2rt.exe
 855     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
 856         rc_entry = [ r'\converter latex      rtf        "%%"    "needaux"' ])
 857     #
 858     checkProg('a LaTeX -> Open Document (Pandoc) converter', ['pandoc -s -f latex -o $$o -t odt $$i'],
 859         rc_entry = [ r'\converter latex      odt3        "%%"   ""' ])
 860     #
 861     checkProg('a LaTeX -> MS Word Office Open XML converter', ['pandoc -s -f latex -o $$o -t docx $$i'],
 862         rc_entry = [ r'\converter latex      word2       "%%"   ""' ])
 863     #
 864     checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
 865         rc_entry = [ r'\converter rtf      html        "%%"     ""' ])
 866     # Do not define a converter to pdf6, ps is a pure export format
 867     checkProg('a PS to PDF converter', ['ps2pdf $$i $$o'],
 868         rc_entry = [ r'\converter ps         pdf        "%%"    ""' ])
 869     #
 870     checkProg('a PS to TXT converter', ['pstotext $$i > $$o'],
 871         rc_entry = [ r'\converter ps         text2      "%%"    ""' ])
 872     #
 873     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
 874         rc_entry = [ r'\converter ps         text3      "%%"    ""' ])
 875     # Need to call ps2eps in a pipe, otherwise it would name the output file
 876     # depending on the extension of the input file. We do not know the input
 877     # file extension in general, so the resultfile= flag would not help.
 878     # Since ps2eps crops the image, we do not use it to convert from ps->eps.
 879     # This would create additional paths in the converter graph with unwanted
 880     # side effects (e.g. ps->pdf via ps2pdf would create a different result
 881     # than ps->eps->pdf via ps2eps and epstopdf).
 882     checkProg('a PS to EPS converter', ['ps2eps -- < $$i > $$o'],
 883         rc_entry = [ r'\converter eps2       eps      "%%"      ""' ])
 884     #
 885     checkProg('a PDF to PS converter', ['pdftops $$i $$o', 'pdf2ps $$i $$o'],
 886         rc_entry = [ r'\converter pdf         ps        "%%"    ""' ])
 887     # Only define a converter from pdf6 for graphics
 888     checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
 889         rc_entry = [ r'\converter pdf6        eps        "%%"   ""' ])
 890     # Create one converter for a PDF produced using TeX fonts and one for a
 891     # PDF produced using non-TeX fonts. This does not produce non-unique
 892     # conversion paths, since a given document either uses TeX fonts or not.
 893     checkProg('a PDF cropping tool', ['pdfcrop $$i $$o'],
 894         rc_entry = [ r'''\converter pdf2   pdf7       "%%"      ""
 895 \converter pdf4   pdf7       "%%"       ""''' ])
 896     # Create one converter for a PDF produced using TeX fonts and one for a
 897     # PDF produced using non-TeX fonts. This does not produce non-unique
 898     # conversion paths, since a given document either uses TeX fonts or not.
 899     checkProg('Ghostscript', ["gswin32c", "gswin64c", "gs"],
 900         rc_entry = [ r'''\converter pdf2   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"     ""
 901 \converter pdf4   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"      ""''' ])
 902     #
 903     checkProg('a Beamer info extractor', ['makebeamerinfo -p $$i'],
 904         rc_entry = [ r'\converter pdf2         beamer.info        "%%"  ""' ])
 905     #
 906     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
 907         rc_entry = [ r'\converter dvi        text4      "%%"    ""' ])
 908     #
 909     checkProg('a DVI to PS converter', ['dvips -o $$o $$i'],
 910         rc_entry = [ r'\converter dvi        ps         "%%"    ""' ])
 911     #
 912     checkProg('a DVI to cropped EPS converter', ['dvips -E -o $$o $$i'],
 913         rc_entry = [ r'\converter dvi        eps3         "%%"  ""' ])
 914     #
 915     checkProg('a DVI to PDF converter', ['dvipdfmx -o $$o $$i', 'dvipdfm -o $$o $$i'],
 916         rc_entry = [ r'\converter dvi        pdf3       "%%"    ""' ])
 917     #
 918     checkProg('a fax program', ['kdeprintfax $$i', 'ksendfax $$i', 'hylapex $$i'],
 919         rc_entry = [ r'\converter ps         fax        "%%"    ""'])
 920     #
 921     path, fig2dev = checkProg('a FIG -> Image converter', ['fig2dev'])
 922     if fig2dev == "fig2dev":
 923         addToRC(r'''\converter fig        eps        "fig2dev -L eps $$i $$o"   ""
 924 \converter fig        ppm        "fig2dev -L ppm $$i $$o"       ""
 925 \converter fig        svg        "fig2dev -L svg $$i $$o"       ""
 926 \converter fig        png        "fig2dev -L png $$i $$o"       ""
 927 \converter fig        pdftex     "python -tt $$s/scripts/fig2pdftex.py $$i $$o" ""
 928 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o"  ""''')
 929     #
 930     checkProg('a TIFF -> PS converter', ['tiff2ps $$i > $$o'],
 931         rc_entry = [ r'\converter tiff       eps        "%%"    ""'])
 932     #
 933     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
 934         rc_entry = [
 935             r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"    ""
 936 \converter tgif       png        "tgif -print -color -png -o $$d $$i"   ""
 937 \converter tgif       pdf6       "tgif -print -color -pdf -stdout $$i > $$o"    ""'''])
 938     #
 939     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
 940         rc_entry = [ r'\converter wmf        eps        "%%"    ""'])
 941     #
 942     checkProg('an EMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
 943         rc_entry = [ r'\converter emf        eps        "%%"    ""'])
 944     #
 945     checkProg('a WMF -> PDF converter', [inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
 946         rc_entry = [ r'\converter wmf        pdf6        "%%"   ""'])
 947     #
 948     checkProg('an EMF -> PDF converter', [inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
 949         rc_entry = [ r'\converter emf        pdf6        "%%"   ""'])
 950     # Only define a converter to pdf6 for graphics
 951     checkProg('an EPS -> PDF converter', ['epstopdf'],
 952         rc_entry = [ r'\converter eps        pdf6       "epstopdf --outfile=$$o $$i"    ""'])
 953     #
 954     checkProg('an EPS -> PNG converter', ['magick $$i $$o', 'convert $$i $$o'],
 955         rc_entry = [ r'\converter eps        png        "%%"    ""'])
 956     #
 957     # no agr -> pdf6 converter, since the pdf library used by gracebat is not
 958     # free software and therefore not compiled in in many installations.
 959     # Fortunately, this is not a big problem, because we will use epstopdf to
 960     # convert from agr to pdf6 via eps without loss of quality.
 961     checkProg('a Grace -> Image converter', ['gracebat'],
 962         rc_entry = [
 963             r'''\converter agr        eps        "gracebat -hardcopy -printfile $$o -hdevice EPS $$i 2>/dev/null"       ""
 964 \converter agr        png        "gracebat -hardcopy -printfile $$o -hdevice PNG $$i 2>/dev/null"       ""
 965 \converter agr        jpg        "gracebat -hardcopy -printfile $$o -hdevice JPEG $$i 2>/dev/null"      ""
 966 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"       ""'''])
 967     #
 968     checkProg('a Dot -> Image converter', ['dot'],
 969         rc_entry = [
 970             r'''\converter dot        eps        "dot -Teps $$i -o $$o" ""
 971 \converter dot        png        "dot -Tpng $$i -o $$o" ""'''])
 972     #
 973     path, dia = checkProg('a Dia -> Image converter', ['dia'])
 974     if dia == 'dia':
 975         addToRC(r'''\converter dia        png        "dia -e $$o -t png $$i"    ""
 976 \converter dia        eps        "dia -e $$o -t eps $$i"        ""
 977 \converter dia        svg        "dia -e $$o -t svg $$i"        ""''')
 978
 979     #
 980     # Actually, this produces EPS, but with a wrong bounding box (usually A4 or letter).
 981     # The eps2->eps converter then fixes the bounding box by cropping.
 982     # Although unoconv can convert to png and pdf as well, do not define
 983     # odg->png and odg->pdf converters, since the bb would be too large as well.
 984     checkProg('an OpenDocument -> EPS converter', ['libreoffice -headless -nologo -convert-to eps $$i', 'unoconv -f eps --stdout $$i > $$o'],
 985         rc_entry = [ r'\converter odg        eps2       "%%"    ""'])
 986     #
 987     checkProg('a SVG (compressed) -> SVG converter', ['gunzip -c $$i > $$o'],
 988         rc_entry = [ r'\converter svgz       svg        "%%"    ""'])
 989     #
 990     checkProg('a SVG -> SVG (compressed) converter', ['gzip -c $$i > $$o'],
 991         rc_entry = [ r'\converter svg        svgz       "%%"    ""'])
 992     # Only define a converter to pdf6 for graphics
 993     # Prefer rsvg-convert over inkscape since it is faster (see http://www.lyx.org/trac/ticket/9891)
 994     checkProg('a SVG -> PDF converter', ['rsvg-convert -f pdf -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
 995         rc_entry = [ r'''\converter svg        pdf6       "%%"    ""
 996 \converter svgz       pdf6       "%%"    ""'''],
 997         path = ['', inkscape_path])
 998     #
 999     checkProg('a SVG -> EPS converter', ['rsvg-convert -f ps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
1000         rc_entry = [ r'''\converter svg        eps        "%%"    ""
1001 \converter svgz       eps        "%%"    ""'''],
1002         path = ['', inkscape_path])
1003     #
1004     checkProg('a SVG -> PNG converter', ['rsvg-convert -f png -o $$o $$i', inkscape_name + ' --without-gui --file=$$i --export-png=$$o'],
1005         rc_entry = [ r'''\converter svg        png        "%%"    "",
1006 \converter svgz       png        "%%"    ""'''],
1007         path = ['', inkscape_path])
1008
1009     #
1010     # gnumeric/xls/ods to tex
1011     checkProg('a spreadsheet -> latex converter', ['ssconvert'],
1012        rc_entry = [ r'''\converter gnumeric latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1013 \converter oocalc latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1014 \converter excel  latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1015 \converter gnumeric html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1016 \converter oocalc html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1017 \converter excel  html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1018 '''])
1019
1020     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
1021     if (lilypond != ''):
1022         version_string = cmdOutput("lilypond --version")
1023         match = re.match('GNU LilyPond (\S+)', version_string)
1024         if match:
1025             version_number = match.groups()[0]
1026             version = version_number.split('.')
1027             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
1028                 addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps -dsafe --ps $$i"   ""
1029 \converter lilypond   png        "lilypond -dbackend=eps -dsafe --png $$i"      ""''')
1030                 addToRC(r'\converter lilypond   pdf6       "lilypond -dbackend=eps -dsafe --pdf $$i"    ""')
1031                 logger.info('+  found LilyPond version %s.' % version_number)
1032             elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
1033                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps --safe $$i"  ""
1034 \converter lilypond   png        "lilypond -b eps --png $$i"    ""''')
1035                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
1036                     addToRC(r'\converter lilypond   pdf6       "lilypond -b eps --pdf --safe $$i"       ""')
1037                 logger.info('+  found LilyPond version %s.' % version_number)
1038             else:
1039                 logger.info('+  found LilyPond, but version %s is too old.' % version_number)
1040         else:
1041             logger.info('+  found LilyPond, but could not extract version number.')
1042     #
1043     path, lilypond_book = checkProg('a LilyPond book (LaTeX) -> LaTeX converter', ['lilypond-book'])
1044     if (lilypond_book != ''):
1045         version_string = cmdOutput("lilypond-book --version")
1046         match = re.match('^(\S+)$', version_string)
1047         if match:
1048             version_number = match.groups()[0]
1049             version = version_number.split('.')
1050             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 13):
1051                 # Note: The --lily-output-dir flag is required because lilypond-book
1052                 #       does not process input again unless the input has changed,
1053                 #       even if the output format being requested is different. So
1054                 #       once a .eps file exists, lilypond-book won't create a .pdf
1055                 #       even when requested with --pdf. This is a problem if a user
1056                 #       clicks View PDF after having done a View DVI. To circumvent
1057                 #       this, use different output folders for eps and pdf outputs.
1058                 addToRC(r'\converter lilypond-book latex    "lilypond-book --safe --lily-output-dir=ly-eps $$i"                                ""')
1059                 addToRC(r'\converter lilypond-book pdflatex "lilypond-book --safe --pdf --latex-program=pdflatex --lily-output-dir=ly-pdf $$i" ""')
1060                 addToRC(r'\converter lilypond-book xetex    "lilypond-book --safe --pdf --latex-program=xelatex --lily-output-dir=ly-pdf $$i"  ""')
1061                 addToRC(r'\converter lilypond-book luatex   "lilypond-book --safe --pdf --latex-program=lualatex --lily-output-dir=ly-pdf $$i" ""')
1062                 logger.info('+  found LilyPond-book version %s.' % version_number)
1063             else:
1064                 logger.info('+  found LilyPond-book, but version %s is too old.' % version_number)
1065         else:
1066             logger.info('+  found LilyPond-book, but could not extract version number.')
1067     #
1068     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
1069         rc_entry = [ r'\converter noteedit   lilypond   "%%"    ""' ])
1070     #
1071     # Currently, lyxpak outputs a gzip compressed tar archive on *nix
1072     # and a zip archive on Windows.
1073     # So, we configure the appropriate version according to the platform.
1074     cmd = r'\converter lyx %s "python -tt $$s/scripts/lyxpak.py $$r/$$f" ""'
1075     if os.name == 'nt':
1076         addToRC(r'\Format lyxzip     zip    "LyX Archive (zip)"     "" "" ""  "document,menu=export"    ""')
1077         addToRC(cmd % "lyxzip")
1078     else:
1079         addToRC(r'\Format lyxgz      gz     "LyX Archive (tar.gz)"  "" "" ""  "document,menu=export"    ""')
1080         addToRC(cmd % "lyxgz")
1081
1082     #
1083     # FIXME: no rc_entry? comment it out
1084     # checkProg('Image converter', ['convert $$i $$o'])
1085     #
1086     # Entries that do not need checkProg
1087     addToRC(r'''
1088 \converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"    ""
1089 \converter date       dateout    "python -tt $$s/scripts/date.py %d-%m-%Y > $$o"        ""
1090 \converter docbook    docbook-xml "cp $$i $$o"  "xml"
1091 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o"  ""
1092 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.3 -o $$o $$i"     ""
1093 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o $$i"     ""
1094 \converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.5 -o $$o $$i"     ""
1095 \converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.6 -o $$o $$i"     ""
1096 \converter lyx        lyx20x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.0 -o $$o $$i"     ""
1097 \converter lyx        lyx21x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.1 -o $$o $$i"     ""
1098 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c big5   $$i"   ""
1099 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c euc_jp $$i"   ""
1100 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c euc_kr $$i"   ""
1101 \converter clyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c big5   -o $$o $$i"  ""
1102 \converter jlyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -o $$o $$i"  ""
1103 \converter klyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -o $$o $$i"  ""
1104 \converter lyxpreview png        "python -tt $$s/scripts/lyxpreview2bitmap.py --png"    ""
1105 \converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py --ppm"    ""
1106 ''')
1107
1108
1109 def checkDocBook():
1110     ''' Check docbook '''
1111     path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
1112         rc_entry = [
1113             r'''\converter docbook    dvi        "sgmltools -b dvi $$i" ""
1114 \converter docbook    html       "sgmltools -b html $$i"        ""
1115 \converter docbook    ps         "sgmltools -b ps $$i"  ""''',
1116             r'''\converter docbook    dvi        "db2dvi $$i"   ""
1117 \converter docbook    html       "db2html $$i"  ""''',
1118             r'''\converter docbook    dvi        ""     ""
1119 \converter docbook    html       "" ""''',
1120             r'''\converter docbook    dvi        ""     ""
1121 \converter docbook    html       ""     ""'''])
1122     #
1123     if DOCBOOK != '':
1124         return ('yes', 'true', '\\def\\hasdocbook{yes}')
1125     else:
1126         return ('no', 'false', '')
1127
1128
1129 def checkOtherEntries():
1130     ''' entries other than Format and Converter '''
1131     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
1132         rc_entry = [ r'\chktex_command "%%"' ])
1133     checkProgAlternatives('BibTeX or alternative programs', ['bibtex', 'bibtex8', 'biber'],
1134         rc_entry = [ r'\bibtex_command "%%"' ],
1135         alt_rc_entry = [ r'\bibtex_alternatives "%%"' ])
1136     checkProg('a specific Japanese BibTeX variant', ['pbibtex', 'jbibtex', 'bibtex'],
1137         rc_entry = [ r'\jbibtex_command "%%"' ])
1138     checkProgAlternatives('available index processors', ['texindy', 'makeindex -c -q', 'xindy'],
1139         rc_entry = [ r'\index_command "%%"' ],
1140         alt_rc_entry = [ r'\index_alternatives "%%"' ])
1141     checkProg('an index processor appropriate to Japanese', ['mendex -c -q', 'jmakeindex -c -q', 'makeindex -c -q'],
1142         rc_entry = [ r'\jindex_command "%%"' ])
1143     checkProg('the splitindex processor', ['splitindex.pl', 'splitindex',
1144         'splitindex.class'], rc_entry = [ r'\splitindex_command "%%"' ])
1145     checkProg('a nomenclature processor', ['makeindex'],
1146         rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
1147     ## FIXME: OCTAVE is not used anywhere
1148     # path, OCTAVE = checkProg('Octave', ['octave'])
1149     ## FIXME: MAPLE is not used anywhere
1150     # path, MAPLE = checkProg('Maple', ['maple'])
1151     # Add the rest of the entries (no checkProg is required)
1152     addToRC(r'''\copier    fig        "python -tt $$s/scripts/fig_copy.py $$i $$o"
1153 \copier    pstex      "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1154 \copier    pdftex     "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1155 \copier    program    "python -tt $$s/scripts/ext_copy.py $$i $$o"
1156 ''')
1157
1158
1159 def processLayoutFile(file, bool_docbook):
1160     ''' process layout file and get a line of result
1161
1162         Declare lines look like this:
1163
1164         \DeclareLaTeXClass[<requirements>]{<description>}
1165
1166         Optionally, a \DeclareCategory line follows:
1167
1168         \DeclareCategory{<category>}
1169
1170         So for example (article.layout, scrbook.layout, svjog.layout)
1171
1172         \DeclareLaTeXClass{article}
1173         \DeclareCategory{Articles}
1174
1175         \DeclareLaTeXClass[scrbook]{book (koma-script)}
1176         \DeclareCategory{Books}
1177
1178         \DeclareLaTeXClass[svjour,svjog.clo]{article (Springer - svjour/jog)}
1179
1180         we'd expect this output:
1181
1182         "article" "article" "article" "false" "article.cls" "Articles"
1183         "scrbook" "scrbook" "book (koma-script)" "false" "scrbook.cls" "Books"
1184         "svjog" "svjour" "article (Springer - svjour/jog)" "false" "svjour.cls,svjog.clo" ""
1185     '''
1186     def checkForClassExtension(x):
1187         '''if the extension for a latex class is not
1188            provided, add .cls to the classname'''
1189         if not '.' in x:
1190             return x.strip() + '.cls'
1191         else:
1192             return x.strip()
1193     classname = file.split(os.sep)[-1].split('.')[0]
1194     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
1195     p = re.compile(r'^\s*#\s*\\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}\s*$')
1196     q = re.compile(r'^\s*#\s*\\DeclareCategory{(.*)}\s*$')
1197     classdeclaration = ""
1198     categorydeclaration = '""'
1199     for line in open(file).readlines():
1200         res = p.search(line)
1201         qres = q.search(line)
1202         if res != None:
1203             (classtype, optAll, opt, opt1, desc) = res.groups()
1204             avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
1205             if opt == None:
1206                 opt = classname
1207                 prereq_latex = checkForClassExtension(classname)
1208             else:
1209                 prereq_list = optAll[1:-1].split(',')
1210                 prereq_list = map(checkForClassExtension, prereq_list)
1211                 prereq_latex = ','.join(prereq_list)
1212             prereq_docbook = {'true':'', 'false':'docbook'}[bool_docbook]
1213             prereq = {'LaTeX':prereq_latex, 'DocBook':prereq_docbook}[classtype]
1214             classdeclaration = '"%s" "%s" "%s" "%s" "%s"' % (classname, opt, desc, avai, prereq)
1215             if categorydeclaration != '""':
1216                 return classdeclaration + " " + categorydeclaration
1217         if qres != None:
1218              categorydeclaration = '"%s"' % (qres.groups()[0])
1219              if classdeclaration != "":
1220                  return classdeclaration + " " + categorydeclaration
1221     if classdeclaration != "":
1222         return classdeclaration + " " + categorydeclaration
1223     logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
1224     return ""
1225
1226
1227 def checkLatexConfig(check_config, bool_docbook):
1228     ''' Explore the LaTeX configuration
1229         Return None (will be passed to sys.exit()) for success.
1230     '''
1231     msg = 'checking LaTeX configuration... '
1232     # if --without-latex-config is forced, or if there is no previous
1233     # version of textclass.lst, re-generate a default file.
1234     if not os.path.isfile('textclass.lst') or not check_config:
1235         # remove the files only if we want to regenerate
1236         removeFiles(['textclass.lst', 'packages.lst'])
1237         #
1238         # Then, generate a default textclass.lst. In case configure.py
1239         # fails, we still have something to start lyx.
1240         logger.info(msg + ' default values')
1241         logger.info('+checking list of textclasses... ')
1242         tx = open('textclass.lst', 'w')
1243         tx.write('''
1244 # This file declares layouts and their associated definition files
1245 # (include dir. relative to the place where this file is).
1246 # It contains only default values, since chkconfig.ltx could not be run
1247 # for some reason. Run ./configure.py if you need to update it after a
1248 # configuration change.
1249 ''')
1250         # build the list of available layout files and convert it to commands
1251         # for chkconfig.ltx
1252         foundClasses = []
1253         for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1254             glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1255             # valid file?
1256             if not os.path.isfile(file):
1257                 continue
1258             # get stuff between /xxxx.layout .
1259             classname = file.split(os.sep)[-1].split('.')[0]
1260             #  tr ' -' '__'`
1261             cleanclass = classname.replace(' ', '_')
1262             cleanclass = cleanclass.replace('-', '_')
1263             # make sure the same class is not considered twice
1264             if foundClasses.count(cleanclass) == 0: # not found before
1265                 foundClasses.append(cleanclass)
1266                 retval = processLayoutFile(file, bool_docbook)
1267                 if retval != "":
1268                     tx.write(retval)
1269         tx.close()
1270         logger.info('\tdone')
1271     if not os.path.isfile('packages.lst') or not check_config:
1272         logger.info('+generating default list of packages... ')
1273         removeFiles(['packages.lst'])
1274         tx = open('packages.lst', 'w')
1275         tx.close()
1276         logger.info('\tdone')
1277     if not check_config:
1278         return None
1279     # the following will generate textclass.lst.tmp, and packages.lst.tmp
1280     logger.info(msg + '\tauto')
1281     removeFiles(['chkconfig.classes', 'chkconfig.vars', 'chklayouts.tex',
1282         'wrap_chkconfig.ltx'])
1283     rmcopy = False
1284     if not os.path.isfile( 'chkconfig.ltx' ):
1285         shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
1286         rmcopy = True
1287     writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
1288     # Construct the list of classes to test for.
1289     # build the list of available layout files and convert it to commands
1290     # for chkconfig.ltx
1291     declare = re.compile(r'^\s*#\s*\\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}\s*$')
1292     category = re.compile(r'^\s*#\s*\\DeclareCategory{(.*)}\s*$')
1293     empty = re.compile(r'^\s*$')
1294     testclasses = list()
1295     for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1296         glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1297         nodeclaration = False
1298         if not os.path.isfile(file):
1299             continue
1300         classname = file.split(os.sep)[-1].split('.')[0]
1301         decline = ""
1302         catline = ""
1303         for line in open(file).readlines():
1304             if not empty.match(line) and line[0] != '#':
1305                 if decline == "":
1306                     logger.warning("Failed to find valid \Declare line for layout file `" + file + "'.\n\t=> Skipping this file!")
1307                     nodeclaration = True
1308                 # A class, but no category declaration. Just break.
1309                 break
1310             if declare.search(line) != None:
1311                 decline = "\\TestDocClass{%s}{%s}" % (classname, line[1:].strip())
1312                 testclasses.append(decline)
1313             elif category.search(line) != None:
1314                 catline = "\\DeclareCategory{%s}{%s}" % (classname, category.search(line).groups()[0])
1315                 testclasses.append(catline)
1316             if catline == "" or decline == "":
1317                 continue
1318             break
1319         if nodeclaration:
1320             continue
1321     testclasses.sort()
1322     cl = open('chklayouts.tex', 'w')
1323     for line in testclasses:
1324         cl.write(line + '\n')
1325     cl.close()
1326     #
1327     # we have chklayouts.tex, then process it
1328     latex_out = cmdOutput(LATEX + ' wrap_chkconfig.ltx', True)
1329     while True:
1330         line = latex_out.readline()
1331         if not line:
1332             break;
1333         if re.match('^\+', line):
1334             logger.info(line.strip())
1335     # if the command succeeds, None will be returned
1336     ret = latex_out.close()
1337     #
1338     # remove the copied file
1339     if rmcopy:
1340         removeFiles( [ 'chkconfig.ltx' ] )
1341     #
1342     # currently, values in chkconfig are only used to set
1343     # \font_encoding
1344     values = {}
1345     for line in open('chkconfig.vars').readlines():
1346         key, val = re.sub('-', '_', line).split('=')
1347         val = val.strip()
1348         values[key] = val.strip("'")
1349     # chk_fontenc may not exist
1350     try:
1351         addToRC(r'\font_encoding "%s"' % values["chk_fontenc"])
1352     except:
1353         pass
1354     # if configure successed, move textclass.lst.tmp to textclass.lst
1355     # and packages.lst.tmp to packages.lst
1356     if os.path.isfile('textclass.lst.tmp') and len(open('textclass.lst.tmp').read()) > 0 \
1357         and os.path.isfile('packages.lst.tmp') and len(open('packages.lst.tmp').read()) > 0:
1358         shutil.move('textclass.lst.tmp', 'textclass.lst')
1359         shutil.move('packages.lst.tmp', 'packages.lst')
1360     return ret
1361
1362
1363 def checkModulesConfig():
1364   removeFiles(['lyxmodules.lst', 'chkmodules.tex'])
1365
1366   logger.info('+checking list of modules... ')
1367   tx = open('lyxmodules.lst', 'w')
1368   tx.write('''## This file declares modules and their associated definition files.
1369 ## It has been automatically generated by configure
1370 ## Use "Options/Reconfigure" if you need to update it after a
1371 ## configuration change.
1372 ## "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1373 ''')
1374
1375   # build the list of available modules
1376   seen = []
1377   # note that this searches the local directory first, then the
1378   # system directory. that way, we pick up the user's version first.
1379   for file in glob.glob( os.path.join('layouts', '*.module') ) + \
1380       glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) :
1381       # valid file?
1382       logger.info(file)
1383       if not os.path.isfile(file):
1384           continue
1385
1386       filename = file.split(os.sep)[-1]
1387       filename = filename[:-7]
1388       if seen.count(filename):
1389           continue
1390
1391       seen.append(filename)
1392       retval = processModuleFile(file, filename, bool_docbook)
1393       if retval != "":
1394           tx.write(retval)
1395   tx.close()
1396   logger.info('\tdone')
1397
1398
1399 def processModuleFile(file, filename, bool_docbook):
1400     ''' process module file and get a line of result
1401
1402         The top of a module file should look like this:
1403           #\DeclareLyXModule[LaTeX Packages]{ModuleName}
1404           #DescriptionBegin
1405           #...body of description...
1406           #DescriptionEnd
1407           #Requires: [list of required modules]
1408           #Excludes: [list of excluded modules]
1409           #Category: [category name]
1410         The last three lines are optional (though do give a category).
1411         We expect output:
1412           "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1413     '''
1414     remods = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
1415     rereqs = re.compile(r'#+\s*Requires: (.*)')
1416     reexcs = re.compile(r'#+\s*Excludes: (.*)')
1417     recaty = re.compile(r'#+\s*Category: (.*)')
1418     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1419     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1420
1421     modname = desc = pkgs = req = excl = catgy = ""
1422     readingDescription = False
1423     descLines = []
1424
1425     for line in open(file).readlines():
1426       if readingDescription:
1427         res = redend.search(line)
1428         if res != None:
1429           readingDescription = False
1430           desc = " ".join(descLines)
1431           # Escape quotes.
1432           desc = desc.replace('"', '\\"')
1433           continue
1434         descLines.append(line[1:].strip())
1435         continue
1436       res = redbeg.search(line)
1437       if res != None:
1438         readingDescription = True
1439         continue
1440       res = remods.search(line)
1441       if res != None:
1442           (pkgs, modname) = res.groups()
1443           if pkgs == None:
1444             pkgs = ""
1445           else:
1446             tmp = [s.strip() for s in pkgs.split(",")]
1447             pkgs = ",".join(tmp)
1448           continue
1449       res = rereqs.search(line)
1450       if res != None:
1451         req = res.group(1)
1452         tmp = [s.strip() for s in req.split("|")]
1453         req = "|".join(tmp)
1454         continue
1455       res = reexcs.search(line)
1456       if res != None:
1457         excl = res.group(1)
1458         tmp = [s.strip() for s in excl.split("|")]
1459         excl = "|".join(tmp)
1460         continue
1461       res = recaty.search(line)
1462       if res != None:
1463         catgy = res.group(1)
1464         continue
1465
1466     if modname == "":
1467       logger.warning("Module file without \DeclareLyXModule line. ")
1468       return ""
1469
1470     if pkgs != "":
1471         # this module has some latex dependencies:
1472         # append the dependencies to chkmodules.tex,
1473         # which is \input'ed by chkconfig.ltx
1474         testpackages = list()
1475         for pkg in pkgs.split(","):
1476             if "->" in pkg:
1477                 # this is a converter dependency: skip
1478                 continue
1479             if pkg.endswith(".sty"):
1480                 pkg = pkg[:-4]
1481             testpackages.append("\\TestPackage{%s}" % (pkg,))
1482         cm = open('chkmodules.tex', 'a')
1483         for line in testpackages:
1484             cm.write(line + '\n')
1485         cm.close()
1486
1487     return '"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, desc, pkgs, req, excl, catgy)
1488
1489
1490 def checkTeXAllowSpaces():
1491     ''' Let's check whether spaces are allowed in TeX file names '''
1492     tex_allows_spaces = 'false'
1493     if lyx_check_config:
1494         msg = "Checking whether TeX allows spaces in file names... "
1495         writeToFile('a b.tex', r'\message{working^^J}' )
1496         if LATEX != '':
1497             if os.name == 'nt' or sys.platform == 'cygwin':
1498                 latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}\makeatletter\@@end" """)
1499             else:
1500                 latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}\makeatletter\@@end' """)
1501         else:
1502             latex_out = ''
1503         if 'working' in latex_out:
1504             logger.info(msg + 'yes')
1505             tex_allows_spaces = 'true'
1506         else:
1507             logger.info(msg + 'no')
1508             tex_allows_spaces = 'false'
1509         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
1510         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
1511
1512
1513 def rescanTeXFiles():
1514     ''' Run kpsewhich to update information about TeX files '''
1515     logger.info("+Indexing TeX files... ")
1516     if not os.path.isfile( os.path.join(srcdir, 'scripts', 'TeXFiles.py') ):
1517         logger.error("configure: error: cannot find TeXFiles.py script")
1518         sys.exit(1)
1519     interpreter = sys.executable
1520     if interpreter == '':
1521         interpreter = "python"
1522     tfp = cmdOutput(interpreter + " -tt " + '"' + os.path.join(srcdir, 'scripts', 'TeXFiles.py') + '"')
1523     logger.info(tfp)
1524     logger.info("\tdone")
1525
1526
1527 def removeTempFiles():
1528     # Final clean-up
1529     if not lyx_keep_temps:
1530         removeFiles(['chkconfig.vars', 'chklatex.ltx', 'chklatex.log',
1531             'chklayouts.tex', 'chkmodules.tex', 'missfont.log',
1532             'wrap_chkconfig.ltx', 'wrap_chkconfig.log'])
1533
1534
1535 if __name__ == '__main__':
1536     lyx_check_config = True
1537     lyx_kpsewhich = True
1538     outfile = 'lyxrc.defaults'
1539     lyxrc_fileformat = 19
1540     rc_entries = ''
1541     lyx_keep_temps = False
1542     version_suffix = ''
1543     lyx_binary_dir = ''
1544     ## Parse the command line
1545     for op in sys.argv[1:]:   # default shell/for list is $*, the options
1546         if op in [ '-help', '--help', '-h' ]:
1547             print '''Usage: configure [options]
1548 Options:
1549     --help                   show this help lines
1550     --keep-temps             keep temporary files (for debug. purposes)
1551     --without-kpsewhich      do not update TeX files information via kpsewhich
1552     --without-latex-config   do not run LaTeX to determine configuration
1553     --with-version-suffix=suffix suffix of binary installed files
1554     --binary-dir=directory   directory of binary installed files
1555 '''
1556             sys.exit(0)
1557         elif op == '--without-kpsewhich':
1558             lyx_kpsewhich = False
1559         elif op == '--without-latex-config':
1560             lyx_check_config = False
1561         elif op == '--keep-temps':
1562             lyx_keep_temps = True
1563         elif op[0:22] == '--with-version-suffix=':  # never mind if op is not long enough
1564             version_suffix = op[22:]
1565         elif op[0:13] == '--binary-dir=':
1566             lyx_binary_dir = op[13:]
1567         else:
1568             print "Unknown option", op
1569             sys.exit(1)
1570     #
1571     # check if we run from the right directory
1572     srcdir = os.path.dirname(sys.argv[0])
1573     if srcdir == '':
1574         srcdir = '.'
1575     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
1576         logger.error("configure: error: cannot find chkconfig.ltx script")
1577         sys.exit(1)
1578     setEnviron()
1579     if sys.platform == 'darwin' and len(version_suffix) > 0:
1580         checkUpgrade()
1581     createDirectories()
1582     dtl_tools = checkDTLtools()
1583     ## Write the first part of outfile
1584     writeToFile(outfile, '''# This file has been automatically generated by LyX' lib/configure.py
1585 # script. It contains default settings that have been determined by
1586 # examining your system. PLEASE DO NOT MODIFY ANYTHING HERE! If you
1587 # want to customize LyX, use LyX' Preferences dialog or modify directly
1588 # the "preferences" file instead. Any setting in that file will
1589 # override the values given here.
1590
1591 Format %i
1592
1593 ''' % lyxrc_fileformat)
1594     # check latex
1595     LATEX = checkLatex(dtl_tools)
1596     # check java and perl before any checkProg that may require them
1597     java = checkProg('a java interpreter', ['java'])[1]
1598     perl = checkProg('a perl interpreter', ['perl'])[1]
1599     (inkscape_path, inkscape_name) = os.path.split(checkInkscape())
1600     checkFormatEntries(dtl_tools)
1601     checkConverterEntries()
1602     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
1603     checkTeXAllowSpaces()
1604     windows_style_tex_paths = checkTeXPaths()
1605     if windows_style_tex_paths != '':
1606         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
1607     checkOtherEntries()
1608     if lyx_kpsewhich:
1609         rescanTeXFiles()
1610     checkModulesConfig()
1611     # --without-latex-config can disable lyx_check_config
1612     ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
1613     removeTempFiles()
1614     # The return error code can be 256. Because most systems expect an error code
1615     # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
1616     # a None for success, 'ret is not None' is used to exit.
1617     sys.exit(ret is not None)