lib/configure.py

   1 #! /usr/bin/env python
   2 # -*- coding: utf-8 -*-
   3 #
   4 # file configure.py
   5 # This file is part of LyX, the document processor.
   6 # Licence details can be found in the file COPYING.
   7
   8 # \author Bo Peng
   9 # Full author contact details are available in file CREDITS.
  10
  11 from __future__ import print_function
  12 import glob, logging, os, re, shutil, subprocess, sys, stat
  13
  14 # set up logging
  15 logging.basicConfig(level = logging.DEBUG,
  16     format = '%(levelname)s: %(message)s', # ignore application name
  17     filename = 'configure.log',
  18     filemode = 'w')
  19 #
  20 # Add a handler to log to console
  21 console = logging.StreamHandler()
  22 console.setLevel(logging.INFO) # the console only print out general information
  23 formatter = logging.Formatter('%(message)s') # only print out the message itself
  24 console.setFormatter(formatter)
  25 logger = logging.getLogger('LyX')
  26 logger.addHandler(console)
  27
  28 def writeToFile(filename, lines, append = False):
  29     " utility function: write or append lines to filename "
  30     if append:
  31         file = open(filename, 'a')
  32     else:
  33         file = open(filename, 'w')
  34     file.write(lines)
  35     file.close()
  36
  37
  38 def addToRC(lines):
  39     ''' utility function: shortcut for appending lines to outfile
  40         add newline at the end of lines.
  41     '''
  42     if lines.strip() != '':
  43         writeToFile(outfile, lines + '\n', append = True)
  44         logger.debug('Add to RC:\n' + lines + '\n\n')
  45
  46
  47 def removeFiles(filenames):
  48     '''utility function: 'rm -f'
  49         ignore errors when file does not exist, or is a directory.
  50     '''
  51     for file in filenames:
  52         try:
  53             os.remove(file)
  54             logger.debug('Removing file %s' % file)
  55         except:
  56             logger.debug('Failed to remove file %s' % file)
  57             pass
  58
  59
  60 def cmdOutput(cmd, async = False):
  61     '''utility function: run a command and get its output as a string
  62         cmd: command to run
  63         async: if False, return whole output as a string, otherwise
  64                return the stdout handle from which the output can be
  65                read (the caller is then responsible for closing it)
  66     '''
  67     if os.name == 'nt':
  68         b = False
  69         if sys.version_info[0] < 3:
  70             cmd = 'cmd /d /c pushd ' + shortPath(os.getcwdu()) + '&' + cmd
  71         else:
  72             cmd = 'cmd /d /c pushd ' + shortPath(os.getcwd()) + '&' + cmd
  73     else:
  74         b = True
  75     pipe = subprocess.Popen(cmd, shell=b, close_fds=b, stdin=subprocess.PIPE,
  76                             stdout=subprocess.PIPE, universal_newlines=True)
  77     pipe.stdin.close()
  78     if async:
  79         return pipe.stdout
  80     output = pipe.stdout.read()
  81     pipe.stdout.close()
  82     return output.strip()
  83
  84
  85 def shortPath(path):
  86     ''' On Windows, return the short version of "path" if possible '''
  87     if os.name == 'nt':
  88         from ctypes import windll, create_unicode_buffer
  89         GetShortPathName = windll.kernel32.GetShortPathNameW
  90         shortlen = GetShortPathName(path, 0, 0)
  91         shortpath = create_unicode_buffer(shortlen)
  92         if GetShortPathName(path, shortpath, shortlen):
  93             return shortpath.value
  94     return path
  95
  96
  97 def setEnviron():
  98     ''' I do not really know why this is useful, but we might as well keep it.
  99         NLS nuisances.
 100         Only set these to C if already set.  These must not be set unconditionally
 101         because not all systems understand e.g. LANG=C (notably SCO).
 102         Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
 103         Non-C LC_CTYPE values break the ctype check.
 104     '''
 105     os.environ['LANG'] = os.getenv('LANG', 'C')
 106     os.environ['LC'] = os.getenv('LC_ALL', 'C')
 107     os.environ['LC_MESSAGE'] = os.getenv('LC_MESSAGE', 'C')
 108     os.environ['LC_CTYPE'] = os.getenv('LC_CTYPE', 'C')
 109
 110
 111 def copy_tree(src, dst, preserve_symlinks=False, level=0):
 112     ''' Copy an entire directory tree 'src' to a new location 'dst'.
 113
 114     Code inspired from distutils.copy_tree.
 115          Copying ignores non-regular files and the cache directory.
 116     Pipes may be present as leftovers from LyX for lyx-server.
 117
 118     If 'preserve_symlinks' is true, symlinks will be
 119     copied as symlinks (on platforms that support them!); otherwise
 120     (the default), the destination of the symlink will be copied.
 121     '''
 122
 123     if not os.path.isdir(src):
 124         raise FileError("cannot copy tree '%s': not a directory" % src)
 125     try:
 126         names = os.listdir(src)
 127     except os.error as oserror:
 128         (errno, errstr) = oserror.args
 129         raise FileError("error listing files in '%s': %s" % (src, errstr))
 130
 131     if not os.path.isdir(dst):
 132         os.makedirs(dst)
 133
 134     outputs = []
 135
 136     for name in names:
 137         src_name = os.path.join(src, name)
 138         dst_name = os.path.join(dst, name)
 139         if preserve_symlinks and os.path.islink(src_name):
 140             link_dest = os.readlink(src_name)
 141             os.symlink(link_dest, dst_name)
 142             outputs.append(dst_name)
 143         elif level == 0 and name == 'cache':
 144             logger.info("Skip cache %s", src_name)
 145         elif os.path.isdir(src_name):
 146             outputs.extend(
 147                 copy_tree(src_name, dst_name, preserve_symlinks, level=(level + 1)))
 148         elif stat.S_ISREG(os.stat(src_name).st_mode) or os.path.islink(src_name):
 149             shutil.copy2(src_name, dst_name)
 150             outputs.append(dst_name)
 151         else:
 152             logger.info("Ignore non-regular file %s", src_name)
 153
 154     return outputs
 155
 156
 157 def checkUpgrade():
 158     ''' Check for upgrade from previous version '''
 159     cwd = os.getcwd()
 160     basename = os.path.basename( cwd )
 161     lyxrc = os.path.join(cwd, outfile)
 162     if not os.path.isfile( lyxrc ) and basename.endswith( version_suffix ) :
 163         logger.info('Checking for upgrade from previous version.')
 164         parent = os.path.dirname(cwd)
 165         appname = basename[:(-len(version_suffix))]
 166         for version in ['-2.1', '-2.0', '-1.6' ]:
 167             logger.debug('Checking for upgrade from previous version ' + version)
 168             previous = os.path.join(parent, appname + version)
 169             logger.debug('previous = ' + previous)
 170             if os.path.isdir( previous ):
 171                 logger.info('Found directory "%s".', previous)
 172                 copy_tree( previous, cwd, True )
 173                 logger.info('Content copied to directory "%s".', cwd)
 174                 return
 175
 176
 177 def createDirectories():
 178     ''' Create the build directories if necessary '''
 179     for dir in ['bind', 'clipart', 'doc', 'examples', 'images', 'kbd',
 180         'layouts', 'scripts', 'templates', 'ui' ]:
 181         if not os.path.isdir( dir ):
 182             try:
 183                 os.mkdir( dir)
 184                 logger.debug('Create directory %s.' % dir)
 185             except:
 186                 logger.error('Failed to create directory %s.' % dir)
 187                 sys.exit(1)
 188
 189
 190 def checkTeXPaths():
 191     ''' Determine the path-style needed by the TeX engine on Win32 (Cygwin) '''
 192     windows_style_tex_paths = ''
 193     if LATEX == '':
 194         return windows_style_tex_paths
 195     if os.name == 'nt' or sys.platform == 'cygwin':
 196         from tempfile import mkstemp
 197         fd, tmpfname = mkstemp(suffix='.ltx')
 198         if os.name == 'nt':
 199             from locale import getdefaultlocale
 200             language, encoding = getdefaultlocale()
 201             if encoding == None:
 202                 encoding = 'latin1'
 203             if sys.version_info[0] < 3:
 204                 inpname = shortPath(unicode(tmpfname, encoding)).replace('\\', '/')
 205             else:
 206                 inpname = shortPath(str(tmpfname, encoding)).replace('\\', '/')
 207         else:
 208             inpname = cmdOutput('cygpath -m ' + tmpfname)
 209         logname = os.path.basename(re.sub("(?i).ltx", ".log", inpname))
 210         inpname = inpname.replace('~', '\\string~')
 211         os.write(fd, r'\relax')
 212         os.close(fd)
 213         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}\makeatletter\@@end"'
 214                               % inpname)
 215         if 'Error' in latex_out:
 216             latex_out = cmdOutput(r'latex "\nonstopmode\input{\"%s\"}\makeatletter\@@end"'
 217                                   % inpname)
 218         if 'Error' in latex_out:
 219             logger.warning("configure: TeX engine needs posix-style paths in latex files")
 220             windows_style_tex_paths = 'false'
 221         else:
 222             logger.info("configure: TeX engine needs windows-style paths in latex files")
 223             windows_style_tex_paths = 'true'
 224         removeFiles([tmpfname, logname, 'texput.log'])
 225     return windows_style_tex_paths
 226
 227
 228 ## Searching some useful programs
 229 def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
 230     '''
 231         This function will search a program in $PATH plus given path
 232         If found, return directory and program name (not the options).
 233
 234         description: description of the program
 235
 236         progs: check programs, for each prog, the first word is used
 237             for searching but the whole string is used to replace
 238             %% for a rc_entry. So, feel free to add '$$i' etc for programs.
 239
 240         path: additional paths (will be prepended to the program name)
 241
 242         rc_entry: entry to outfile, can be
 243             1. emtpy: no rc entry will be added
 244             2. one pattern: %% will be replaced by the first found program,
 245                 or '' if no program is found.
 246             3. several patterns for each prog and not_found. This is used
 247                 when different programs have different usages. If you do not
 248                 want not_found entry to be added to the RC file, you can specify
 249                 an entry for each prog and use '' for the not_found entry.
 250
 251         not_found: the value that should be used instead of '' if no program
 252             was found
 253
 254     '''
 255     # one rc entry for each progs plus not_found entry
 256     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 257         logger.error("rc entry should have one item or item "
 258                      "for each prog and not_found.")
 259         sys.exit(2)
 260     logger.info('checking for ' + description + '...')
 261     ## print '(' + ','.join(progs) + ')',
 262     additional_path = path
 263     path = os.environ["PATH"].split(os.pathsep) + additional_path
 264     extlist = ['']
 265     if "PATHEXT" in os.environ:
 266         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
 267     global java, perl
 268     for idx in range(len(progs)):
 269         # ac_prog may have options, ac_word is the command name
 270         ac_prog = progs[idx]
 271         ac_word = ac_prog.split(' ')[0]
 272         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
 273             continue
 274         if ac_word.endswith('.pl') and perl == '':
 275             continue
 276         msg = '+checking for "' + ac_word + '"... '
 277         for ac_dir in path:
 278             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
 279                 continue
 280             for ext in extlist:
 281                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
 282                     logger.info(msg + ' yes')
 283                     # deal with java and perl
 284                     if ac_word.endswith('.class'):
 285                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"'
 286                                     % (java, os.path.join(ac_dir, ac_word[:-6])))
 287                     elif ac_word.endswith('.jar'):
 288                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"'
 289                                     % (java, os.path.join(ac_dir, ac_word)))
 290                     elif ac_word.endswith('.pl'):
 291                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"'
 292                                     % (perl, os.path.join(ac_dir, ac_word)))
 293                     elif ac_dir in additional_path:
 294                         ac_prog = ac_prog.replace(ac_word, r'\"%s\"'
 295                                     % (os.path.join(ac_dir, ac_word)))
 296                     # write rc entries for this command
 297                     if len(rc_entry) == 1:
 298                         addToRC(rc_entry[0].replace('%%', ac_prog))
 299                     elif len(rc_entry) > 1:
 300                         addToRC(rc_entry[idx].replace('%%', ac_prog))
 301                     return [ac_dir, ac_word]
 302         # if not successful
 303         logger.info(msg + ' no')
 304     # write rc entries for 'not found'
 305     if len(rc_entry) > 0:  # the last one.
 306         addToRC(rc_entry[-1].replace('%%', not_found))
 307     return ['', not_found]
 308
 309
 310 def checkProgAlternatives(description, progs, rc_entry = [],
 311                           alt_rc_entry = [], path = [], not_found = ''):
 312     '''
 313         The same as checkProg, but additionally, all found programs will be added
 314         as alt_rc_entries
 315     '''
 316     # one rc entry for each progs plus not_found entry
 317     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 318         logger.error("rc entry should have one item or item for each prog and not_found.")
 319         sys.exit(2)
 320     logger.info('checking for ' + description + '...')
 321     ## print '(' + ','.join(progs) + ')',
 322     additional_path = path
 323     path = os.environ["PATH"].split(os.pathsep) + additional_path
 324     extlist = ['']
 325     if "PATHEXT" in os.environ:
 326         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
 327     found_prime = False
 328     real_ac_dir = ''
 329     real_ac_word = not_found
 330     global java, perl
 331     for idx in range(len(progs)):
 332         # ac_prog may have options, ac_word is the command name
 333         ac_prog = progs[idx]
 334         ac_word = ac_prog.split(' ')[0]
 335         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
 336             continue
 337         if ac_word.endswith('.pl') and perl == '':
 338             continue
 339         msg = '+checking for "' + ac_word + '"... '
 340         found_alt = False
 341         for ac_dir in path:
 342             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
 343                 continue
 344             for ext in extlist:
 345                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
 346                     logger.info(msg + ' yes')
 347                     pr = re.compile(r'(\\\S+)(.*)$')
 348                     m = None
 349                     # deal with java and perl
 350                     if ac_word.endswith('.class'):
 351                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"'
 352                                     % (java, os.path.join(ac_dir, ac_word[:-6])))
 353                     elif ac_word.endswith('.jar'):
 354                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"'
 355                                     % (java, os.path.join(ac_dir, ac_word)))
 356                     elif ac_word.endswith('.pl'):
 357                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"'
 358                                     % (perl, os.path.join(ac_dir, ac_word)))
 359                     elif ac_dir in additional_path:
 360                         ac_prog = ac_prog.replace(ac_word, r'\"%s\"'
 361                                     % (os.path.join(ac_dir, ac_word)))
 362                     # write rc entries for this command
 363                     if found_prime == False:
 364                         if len(rc_entry) == 1:
 365                             addToRC(rc_entry[0].replace('%%', ac_prog))
 366                         elif len(rc_entry) > 1:
 367                             addToRC(rc_entry[idx].replace('%%', ac_prog))
 368                         real_ac_dir = ac_dir
 369                         real_ac_word = ac_word
 370                         found_prime = True
 371                     if len(alt_rc_entry) == 1:
 372                         alt_rc = alt_rc_entry[0]
 373                         if alt_rc == "":
 374                             # if no explicit alt_rc is given, construct one
 375                             m = pr.match(rc_entry[0])
 376                             if m:
 377                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
 378                         addToRC(alt_rc.replace('%%', ac_prog))
 379                     elif len(alt_rc_entry) > 1:
 380                         alt_rc = alt_rc_entry[idx]
 381                         if alt_rc == "":
 382                             # if no explicit alt_rc is given, construct one
 383                             m = pr.match(rc_entry[idx])
 384                             if m:
 385                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
 386                         addToRC(alt_rc.replace('%%', ac_prog))
 387                     found_alt = True
 388                     break
 389             if found_alt:
 390                 break
 391         if found_alt == False:
 392             # if not successful
 393             logger.info(msg + ' no')
 394     if found_prime:
 395         return [real_ac_dir, real_ac_word]
 396     # write rc entries for 'not found'
 397     if len(rc_entry) > 0:  # the last one.
 398         addToRC(rc_entry[-1].replace('%%', not_found))
 399     return ['', not_found]
 400
 401
 402 def addAlternatives(rcs, alt_type):
 403     '''
 404         Returns a \\prog_alternatives string to be used as an alternative
 405         rc entry.  alt_type can be a string or a list of strings.
 406     '''
 407     r = re.compile(r'\\Format (\S+).*$')
 408     m = None
 409     alt = ''
 410     alt_token = '\\%s_alternatives '
 411     if isinstance(alt_type, str):
 412         alt_tokens = [alt_token % alt_type]
 413     else:
 414         alt_tokens = [alt_token % s for s in alt_type]
 415     for idxx in range(len(rcs)):
 416         if len(rcs) == 1:
 417             m = r.match(rcs[0])
 418             if m:
 419                 alt = '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
 420         elif len(rcs) > 1:
 421             m = r.match(rcs[idxx])
 422             if m:
 423                 if idxx > 0:
 424                     alt += '\n'
 425                 alt += '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
 426     return alt
 427
 428
 429 def listAlternatives(progs, alt_type, rc_entry = []):
 430     '''
 431         Returns a list of \\prog_alternatives strings to be used as alternative
 432         rc entries.  alt_type can be a string or a list of strings.
 433     '''
 434     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
 435         logger.error("rc entry should have one item or item for each prog and not_found.")
 436         sys.exit(2)
 437     alt_rc_entry = []
 438     for idx in range(len(progs)):
 439         if len(rc_entry) == 1:
 440             rcs = rc_entry[0].split('\n')
 441             alt = addAlternatives(rcs, alt_type)
 442             alt_rc_entry.insert(0, alt)
 443         elif len(rc_entry) > 1:
 444             rcs = rc_entry[idx].split('\n')
 445             alt = addAlternatives(rcs, alt_type)
 446             alt_rc_entry.insert(idx, alt)
 447     return alt_rc_entry
 448
 449
 450 def checkViewer(description, progs, rc_entry = [], path = []):
 451     ''' The same as checkProgAlternatives, but for viewers '''
 452     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
 453     return checkProgAlternatives(description, progs, rc_entry,
 454                                  alt_rc_entry, path, not_found = 'auto')
 455
 456
 457 def checkEditor(description, progs, rc_entry = [], path = []):
 458     ''' The same as checkProgAlternatives, but for editors '''
 459     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
 460     return checkProgAlternatives(description, progs, rc_entry,
 461                                  alt_rc_entry, path, not_found = 'auto')
 462
 463
 464 def checkViewerNoRC(description, progs, rc_entry = [], path = []):
 465     ''' The same as checkViewer, but do not add rc entry '''
 466     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
 467     rc_entry = []
 468     return checkProgAlternatives(description, progs, rc_entry,
 469                                  alt_rc_entry, path, not_found = 'auto')
 470
 471
 472 def checkEditorNoRC(description, progs, rc_entry = [], path = []):
 473     ''' The same as checkViewer, but do not add rc entry '''
 474     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
 475     rc_entry = []
 476     return checkProgAlternatives(description, progs, rc_entry,
 477                                  alt_rc_entry, path, not_found = 'auto')
 478
 479
 480 def checkViewerEditor(description, progs, rc_entry = [], path = []):
 481     ''' The same as checkProgAlternatives, but for viewers and editors '''
 482     alt_rc_entry = listAlternatives(progs, ['editor', 'viewer'], rc_entry)
 483     return checkProgAlternatives(description, progs, rc_entry,
 484                                  alt_rc_entry, path, not_found = 'auto')
 485
 486
 487 def checkDTLtools():
 488     ''' Check whether DTL tools are available (Windows only) '''
 489     # Find programs! Returned path is not used now
 490     if ((os.name == 'nt' or sys.platform == 'cygwin') and
 491             checkProg('DVI to DTL converter', ['dv2dt']) != ['', ''] and
 492             checkProg('DTL to DVI converter', ['dt2dv']) != ['', '']):
 493         dtl_tools = True
 494     else:
 495         dtl_tools = False
 496     return dtl_tools
 497
 498 def checkInkscape():
 499     ''' Check whether Inkscape is available and return the full path (Windows only) '''
 500     if os.name != 'nt':
 501         return 'inkscape'
 502     if sys.version_info[0] < 3:
 503         import _winreg as winreg
 504     else:
 505         import winreg
 506     aReg = winreg.ConnectRegistry(None, winreg.HKEY_CLASSES_ROOT)
 507     try:
 508         aKey = winreg.OpenKey(aReg, r"inkscape.svg\DefaultIcon")
 509         val = winreg.QueryValueEx(aKey, "")
 510         return str(val[0]).split('"')[1].replace('.exe', '')
 511     except EnvironmentError:
 512         try:
 513             aKey = winreg.OpenKey(aReg, r"Applications\inkscape.exe\shell\open\command")
 514             val = winreg.QueryValueEx(aKey, "")
 515             return str(val[0]).split('"')[1].replace('.exe', '')
 516         except EnvironmentError:
 517             return 'inkscape'
 518
 519 def checkLatex(dtl_tools):
 520     ''' Check latex, return lyx_check_config '''
 521     path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'latex2e $$i'])
 522     path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
 523     #-----------------------------------------------------------------
 524     path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
 525     if PLATEX != '':
 526         # check if PLATEX is pLaTeX2e
 527         writeToFile('chklatex.ltx', r'\nonstopmode\makeatletter\@@end')
 528         # run platex on chklatex.ltx and check result
 529         if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
 530             # We have the Japanese pLaTeX2e
 531             addToRC(r'\converter platex   dvi       "%s"   "latex=platex"' % PLATEX)
 532         else:
 533             PLATEX = ''
 534             removeFiles(['chklatex.ltx', 'chklatex.log'])
 535     #-----------------------------------------------------------------
 536     # use LATEX to convert from latex to dvi if PPLATEX is not available
 537     if PPLATEX == '':
 538         PPLATEX = LATEX
 539     if dtl_tools:
 540         # Windows only: DraftDVI
 541         addToRC(r'''\converter latex      dvi2       "%s"       "latex"
 542 \converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o"  ""''' % PPLATEX)
 543     else:
 544         addToRC(r'\converter latex      dvi        "%s" "latex"' % PPLATEX)
 545     # no latex
 546     if LATEX != '':
 547         # Check if latex is usable
 548         writeToFile('chklatex.ltx', r'''
 549 \nonstopmode
 550 \ifx\undefined\documentclass\else
 551   \message{ThisIsLaTeX2e}
 552 \fi
 553 \makeatletter
 554 \@@end
 555 ''')
 556         # run latex on chklatex.ltx and check result
 557         if cmdOutput(LATEX + ' chklatex.ltx').find('ThisIsLaTeX2e') != -1:
 558             # valid latex2e
 559             return LATEX
 560         else:
 561             logger.warning("Latex not usable (not LaTeX2e) ")
 562         # remove temporary files
 563         removeFiles(['chklatex.ltx', 'chklatex.log'])
 564     return ''
 565
 566
 567 def checkLuatex():
 568     ''' Check if luatex is there '''
 569     path, LUATEX = checkProg('LuaTeX', ['lualatex $$i'])
 570     path, DVILUATEX = checkProg('LuaTeX (DVI)', ['dvilualatex $$i'])
 571     if LUATEX != '':
 572         addToRC(r'\converter luatex      pdf5       "%s"        "latex=lualatex"' % LUATEX)
 573     if DVILUATEX != '':
 574         addToRC(r'\converter dviluatex   dvi3        "%s"       "latex=dvilualatex"' % DVILUATEX)
 575
 576
 577 def checkModule(module):
 578     ''' Check for a Python module, return the status '''
 579     msg = 'checking for "' + module + ' module"... '
 580     try:
 581       __import__(module)
 582       logger.info(msg + ' yes')
 583       return True
 584     except ImportError:
 585       logger.info(msg + ' no')
 586       return False
 587
 588
 589 def checkFormatEntries(dtl_tools):
 590     ''' Check all formats (\Format entries) '''
 591     checkViewerEditor('a Tgif viewer and editor', ['tgif'],
 592         rc_entry = [r'\Format tgif      "obj, tgo" Tgif                 "" "%%" "%%"    "vector"        "application/x-tgif"'])
 593     #
 594     checkViewerEditor('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
 595         rc_entry = [r'\Format fig        fig     FIG                    "" "%%" "%%"    "vector"        "application/x-xfig"'])
 596     #
 597     checkViewerEditor('a Dia viewer and editor', ['dia'],
 598         rc_entry = [r'\Format dia        dia     DIA                    "" "%%" "%%"    "vector,zipped=native", "application/x-dia-diagram"'])
 599     #
 600     checkViewerEditor('an OpenDocument drawing viewer and editor', ['libreoffice', 'lodraw', 'ooffice', 'oodraw', 'soffice'],
 601         rc_entry = [r'\Format odg        "odg, sxd" "OpenDocument drawing"   "" "%%"    "%%"    "vector,zipped=native"  "application/vnd.oasis.opendocument.graphics"'])
 602     #
 603     checkViewerEditor('a Grace viewer and editor', ['xmgrace'],
 604         rc_entry = [r'\Format agr        agr     Grace                  "" "%%" "%%"    "vector"        ""'])
 605     #
 606     checkViewerEditor('a FEN viewer and editor', ['xboard -lpf $$i -mode EditPosition'],
 607         rc_entry = [r'\Format fen        fen     FEN                    "" "%%" "%%"    ""      ""'])
 608     #
 609     checkViewerEditor('a SVG viewer and editor', [inkscape_name],
 610         rc_entry = [r'''\Format svg        "svg" SVG                "" "%%" "%%"        "vector"        "image/svg+xml"
 611 \Format svgz       "svgz" "SVG (compressed)" "" "%%" "%%"       "vector,zipped=native"  ""'''],
 612         path = [inkscape_path])
 613     #
 614     imageformats = r'''\Format bmp        bmp     BMP                    "" "%s"        "%s"    ""      "image/x-bmp"
 615 \Format gif        gif     GIF                    "" "%s"       "%s"    ""      "image/gif"
 616 \Format jpg       "jpg, jpeg" JPEG                "" "%s"       "%s"    ""      "image/jpeg"
 617 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""      "image/x-portable-bitmap"
 618 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""      "image/x-portable-graymap"
 619 \Format png        png     PNG                    "" "%s"       "%s"    ""      "image/x-png"
 620 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""      "image/x-portable-pixmap"
 621 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""      "image/tiff"
 622 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""      "image/x-xbitmap"
 623 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""      "image/x-xpixmap"'''
 624     path, iv = checkViewerNoRC('a raster image viewer', ['xv', 'kview', 'gimp-remote', 'gimp'], rc_entry = [imageformats])
 625     path, ie = checkEditorNoRC('a raster image editor', ['gimp-remote', 'gimp'], rc_entry = [imageformats])
 626     addToRC(imageformats %
 627         (iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie) )
 628     #
 629     checkViewerEditor('a text editor',
 630         ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate',
 631          'nedit', 'gedit', 'notepad',
 632          'geany', 'leafpad', 'mousepad', 'xed'],
 633         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""    "%%"    ""      ""
 634 \Format docbook    sgml    DocBook                B  "" "%%"    "document,menu=export"  ""
 635 \Format docbook-xml xml   "DocBook (XML)"         "" "" "%%"    "document,menu=export"  "application/docbook+xml"
 636 \Format dot        dot    "Graphviz Dot"          "" "" "%%"    "vector"        "text/vnd.graphviz"
 637 \Format dviluatex  tex    "LaTeX (dviluatex)"     "" "" "%%"    "document,menu=export"  ""
 638 \Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document,menu=export"  ""
 639 \Format literate   nw      NoWeb                  N  "" "%%"    "document,menu=export"  ""
 640 \Format sweave     Rnw    "Sweave"                S  "" "%%"    "document,menu=export"  ""
 641 \Format r          R      "R/S code"              "" "" "%%"    "document,menu=export"  ""
 642 \Format knitr      Rnw    "Rnw (knitr)"           "" "" "%%"    "document,menu=export"  ""
 643 \Format lilypond   ly     "LilyPond music"        "" "" "%%"    "vector"        "text/x-lilypond"
 644 \Format lilypond-book    lytex "LilyPond book (LaTeX)"   "" ""  "%%"    "document,menu=export"  ""
 645 \Format latex      tex    "LaTeX (plain)"         L  "" "%%"    "document,menu=export"  "text/x-tex"
 646 \Format luatex     tex    "LaTeX (LuaTeX)"        "" "" "%%"    "document,menu=export"  ""
 647 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" "" "%%"    "document,menu=export"  ""
 648 \Format xetex      tex    "LaTeX (XeTeX)"         "" "" "%%"    "document,menu=export"  ""
 649 \Format latexclipboard tex "LaTeX (clipboard)"    "" "" "%%"    ""      ""
 650 \Format text       txt    "Plain text"            a  "" "%%"    "document,menu=export"  "text/plain"
 651 \Format text2      txt    "Plain text (pstotext)" "" "" "%%"    "document"      ""
 652 \Format text3      txt    "Plain text (ps2ascii)" "" "" "%%"    "document"      ""
 653 \Format text4      txt    "Plain text (catdvi)"   "" "" "%%"    "document"      ""
 654 \Format textparagraph txt "Plain Text, Join Lines" "" ""        "%%"    "document"      ""
 655 \Format beamer.info pdf.info   "Info (Beamer)"         "" ""   "%%"    "document,menu=export"   ""''' ])
 656    #Spreadsheets using ssconvert from gnumeric
 657     checkViewer('gnumeric spreadsheet software', ['gnumeric'],
 658       rc_entry = [r'''\Format gnumeric gnumeric "Gnumeric spreadsheet" "" ""    "%%"   "document"       "application/x-gnumeric"
 659 \Format excel      xls    "Excel spreadsheet"      "" "" "%%"    "document"     "application/vnd.ms-excel"
 660 \Format excel2     xlsx   "MS Excel Office Open XML" "" "" "%%" "document"      "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
 661 \Format html_table html   "HTML Table (for spreadsheets)"      "" "" "%%"    "document" "text/html"
 662 \Format oocalc     ods    "OpenDocument spreadsheet" "" "" "%%"    "document"   "application/vnd.oasis.opendocument.spreadsheet"'''])
 663  #
 664     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
 665         rc_entry = [r'\Format xhtml      xhtml   "LyXHTML"              y "%%" ""    "document,menu=export"     "application/xhtml+xml"'])
 666  #
 667     checkEditor('a BibTeX editor', ['jabref', 'JabRef',
 668         'pybliographic', 'bibdesk', 'gbib', 'kbib',
 669         'kbibtex', 'sixpack', 'bibedit', 'tkbibtex'
 670         'xemacs', 'gvim', 'kedit', 'kwrite', 'kate',
 671         'jedit', 'TeXnicCenter', 'WinEdt', 'WinShell', 'PSPad',
 672         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
 673         rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""    "%%"    ""      "text/x-bibtex"''' ])
 674     #
 675     #checkProg('a Postscript interpreter', ['gs'],
 676     #  rc_entry = [ r'\ps_command "%%"' ])
 677     checkViewer('a Postscript previewer',
 678                 ['kghostview', 'okular', 'qpdfview --unique',
 679                  'evince', 'xreader',
 680                  'gv', 'ghostview -swap', 'gsview64', 'gsview32'],
 681         rc_entry = [r'''\Format eps        eps     EPS                    "" "%%"       ""      "vector"        "image/x-eps"
 682 \Format eps2       eps    "EPS (uncropped)"       "" "%%"       ""      "vector"        ""
 683 \Format eps3       eps    "EPS (cropped)"         "" "%%"       ""      "document"      ""
 684 \Format ps         ps      Postscript             t  "%%"       ""      "document,vector,menu=export"   "application/postscript"'''])
 685     # for xdg-open issues look here: http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg151818.html
 686     # the MIME type is set for pdf6, because that one needs to be autodetectable by libmime
 687     checkViewer('a PDF previewer',
 688                 ['pdfview', 'kpdf', 'okular', 'qpdfview --unique',
 689                  'evince', 'xreader', 'kghostview', 'xpdf', 'SumatraPDF',
 690                  'acrobat', 'acroread', 'mupdf',
 691                  'gv', 'ghostview', 'AcroRd32', 'gsview64', 'gsview32'],
 692         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"       ""      "document,vector,menu=export"   ""
 693 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"       ""      "document,vector,menu=export"   ""
 694 \Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"       ""      "document,vector,menu=export"   ""
 695 \Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"       ""      "document,vector,menu=export"   ""
 696 \Format pdf5       pdf    "PDF (LuaTeX)"          u  "%%"       ""      "document,vector,menu=export"   ""
 697 \Format pdf6       pdf    "PDF (graphics)"        "" "%%"       ""      "vector"        "application/pdf"
 698 \Format pdf7       pdf    "PDF (cropped)"         "" "%%"       ""      "document,vector"       ""
 699 \Format pdf8       pdf    "PDF (lower resolution)"         "" "%%"      ""      "document,vector"       ""'''])
 700     #
 701     checkViewer('a DVI previewer', ['xdvi', 'kdvi', 'okular',
 702                                     'evince', 'xreader',
 703                                     'yap', 'dviout -Set=!m'],
 704         rc_entry = [r'''\Format dvi        dvi     DVI                    D  "%%"       ""      "document,vector,menu=export"   "application/x-dvi"
 705 \Format dvi3       dvi     "DVI (LuaTeX)"          V  "%%"      ""      "document,vector,menu=export"   ""'''])
 706     if dtl_tools:
 707         # Windows only: DraftDVI
 708         addToRC(r'\Format dvi2       dvi     DraftDVI               ""  ""      ""      "vector"        ""')
 709     #
 710     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
 711         rc_entry = [r'\Format html      "html, htm" HTML                H  "%%" ""      "document,menu=export"  "text/html"'])
 712     #
 713     checkViewerEditor('Noteedit', ['noteedit'],
 714         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%" "%%"    "vector"        ""'])
 715     #
 716     checkViewerEditor('an OpenDocument viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
 717         rc_entry = [r'''\Format odt        odt     "OpenDocument (tex4ht)"  "" "%%"     "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 718 \Format odt2       odt    "OpenDocument (eLyXer)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 719 \Format odt3       odt    "OpenDocument (Pandoc)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
 720 \Format sxw        sxw    "OpenOffice.Org (sxw)"  "" "" ""      "document,vector"       "application/vnd.sun.xml.writer"'''])
 721     #
 722     checkViewerEditor('a Rich Text and Word viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
 723         rc_entry = [r'''\Format rtf        rtf    "Rich Text Format"      "" "%%"       "%%"    "document,vector,menu=export"   "application/rtf"
 724 \Format word       doc    "MS Word"               W  "%%"       "%%"    "document,vector,menu=export"   "application/msword"
 725 \Format word2      docx    "MS Word Office Open XML"               O  "%%"      "%%"    "document,vector,menu=export"   "application/vnd.openxmlformats-officedocument.wordprocessingml.document"'''])
 726     #
 727     # entries that do not need checkProg
 728     addToRC(r'''\Format csv        csv    "Table (CSV)"           "" "" ""      "document"      "text/csv"
 729 \Format fax        ""      Fax                    "" "" ""      "document"      ""
 730 \Format lyx        lyx     LyX                    "" "" ""      ""      "application/x-lyx"
 731 \Format lyx13x     13.lyx "LyX 1.3.x"             "" "" ""      "document"      ""
 732 \Format lyx14x     14.lyx "LyX 1.4.x"             "" "" ""      "document"      ""
 733 \Format lyx15x     15.lyx "LyX 1.5.x"             "" "" ""      "document"      ""
 734 \Format lyx16x     16.lyx "LyX 1.6.x"             "" "" ""      "document"      ""
 735 \Format lyx20x     20.lyx "LyX 2.0.x"             "" "" ""      "document"      ""
 736 \Format lyx21x     21.lyx "LyX 2.1.x"             "" "" ""      "document"      ""
 737 \Format lyx22x     22.lyx "LyX 2.2.x"             "" "" ""      "document,menu=export"  ""
 738 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" "" ""      "document"      ""
 739 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""        ""      "document"      ""
 740 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""        ""      "document"      ""
 741 \Format lyxpreview lyxpreview "LyX Preview"       "" "" ""      ""      ""
 742 \Format pdftex     "pdftex_t, pdf_tex" PDFTEX                "" ""      ""      ""      ""
 743 \Format program    ""      Program                "" "" ""      ""      ""
 744 \Format pstex      "pstex_t, ps_tex" PSTEX                  "" ""       ""      ""      ""
 745 \Format wmf        wmf    "Windows Metafile"      "" "" ""      "vector"        "image/x-wmf"
 746 \Format emf        emf    "Enhanced Metafile"     "" "" ""      "vector"        "image/x-emf"
 747 \Format wordhtml  "html, htm" "HTML (MS Word)"    "" "" ""      "document"      ""
 748 ''')
 749
 750
 751 def checkConverterEntries():
 752     ''' Check all converters (\converter entries) '''
 753     checkProg('the pdflatex program', ['pdflatex $$i'],
 754         rc_entry = [ r'\converter pdflatex   pdf2       "%%"    "latex=pdflatex"' ])
 755
 756     checkProg('XeTeX', ['xelatex $$i'],
 757         rc_entry = [ r'\converter xetex      pdf4       "%%"    "latex=xelatex"' ])
 758
 759     checkLuatex()
 760
 761     # Look for tex2lyx in this order (see bugs #3308 and #6986):
 762     #   1)  If we're building LyX with autotools then tex2lyx is found
 763     #       in the subdirectory tex2lyx with respect to the binary dir.
 764     #   2)  If we're building LyX with cmake then tex2lyx is found
 765     #       in the binary dir.
 766     #   3)  If LyX was configured with a version suffix then tex2lyx
 767     #       will also have this version suffix.
 768     #   4)  Otherwise always use tex2lyx.
 769     in_binary_subdir = os.path.join(lyx_binary_dir, 'tex2lyx', 'tex2lyx')
 770     in_binary_subdir = os.path.abspath(in_binary_subdir).replace('\\', '/')
 771
 772     in_binary_dir = os.path.join(lyx_binary_dir, 'tex2lyx')
 773     in_binary_dir = os.path.abspath(in_binary_dir).replace('\\', '/')
 774
 775     path, t2l = checkProg('a LaTeX/Noweb -> LyX converter', [in_binary_subdir, in_binary_subdir + version_suffix, in_binary_dir, in_binary_dir + version_suffix, 'tex2lyx' + version_suffix, 'tex2lyx'],
 776         rc_entry = [r'''\converter latex      lyx        "%% -f $$i $$o"        ""
 777 \converter latexclipboard lyx        "%% -fixedenc utf8 -f $$i $$o"     ""
 778 \converter literate   lyx        "%% -n -m noweb -f $$i $$o"    ""
 779 \converter sweave   lyx        "%% -n -m sweave -f $$i $$o"     "needauth"
 780 \converter knitr   lyx        "%% -n -m knitr -f $$i $$o"       "needauth"'''], not_found = 'tex2lyx')
 781     if path == '':
 782         logger.warning("Failed to find tex2lyx on your system.")
 783
 784     #
 785     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
 786         rc_entry = [r'''\converter literate   latex      "%%"   ""
 787 \converter literate   pdflatex      "%%"        ""
 788 \converter literate   xetex         "%%"        ""
 789 \converter literate   luatex        "%%"        ""
 790 \converter literate   dviluatex     "%%"        ""'''])
 791     #
 792     checkProg('a Sweave -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxsweave.R $$p$$i $$p$$o $$e $$r'],
 793         rc_entry = [r'''\converter sweave   latex      "%%"     "needauth"
 794 \converter sweave   pdflatex   "%%"     "needauth"
 795 \converter sweave   xetex      "%%"     "needauth"
 796 \converter sweave   luatex     "%%"     "needauth"
 797 \converter sweave   dviluatex  "%%"     "needauth"'''])
 798     #
 799     checkProg('a knitr -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r'],
 800         rc_entry = [r'''\converter knitr   latex      "%%"      "needauth"
 801 \converter knitr   pdflatex   "%%"      "needauth"
 802 \converter knitr   xetex      "%%"      "needauth"
 803 \converter knitr   luatex     "%%"      "needauth"
 804 \converter knitr   dviluatex  "%%"      "needauth"'''])
 805     #
 806     checkProg('a Sweave -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxstangle.R $$i $$e $$r'],
 807         rc_entry = [ r'\converter sweave      r      "%%"    "needauth"' ])
 808     #
 809     checkProg('a knitr -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r tangle'],
 810         rc_entry = [ r'\converter knitr      r      "%%"    "needauth"' ])
 811     #
 812     checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex',
 813         'htmltolatex -input $$i -output $$o', 'htmltolatex.jar -input $$i -output $$o'],
 814         rc_entry = [ r'\converter html       latex      "%%"    ""',
 815                      r'\converter html       latex      "python -tt $$s/scripts/html2latexwrapper.py %% $$i $$o"        ""',
 816                      r'\converter html       latex      "%%"    ""',
 817                      r'\converter html       latex      "%%"    ""', '' ])
 818     #
 819     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
 820         rc_entry = [ r'\converter word       latex      "%%"    ""' ])
 821
 822     # eLyXer: search as an executable (elyxer.py, elyxer)
 823     path, elyxer = checkProg('a LyX -> HTML converter',
 824         ['elyxer.py --nofooter --directory $$r $$i $$o', 'elyxer --nofooter --directory $$r $$i $$o'],
 825         rc_entry = [ r'\converter lyx      html       "%%"      ""' ])
 826     path, elyxer = checkProg('a LyX -> HTML (MS Word) converter',
 827         ['elyxer.py --nofooter --html --directory $$r $$i $$o', 'elyxer --nofooter --html --directory $$r $$i $$o'],
 828         rc_entry = [ r'\converter lyx      wordhtml       "%%"  ""' ])
 829     path, elyxer = checkProg('a LyX -> OpenDocument (eLyXer) converter',
 830         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
 831         rc_entry = [ r'\converter lyx      odt2       "%%"      ""' ])
 832     path, elyxer = checkProg('a LyX -> Word converter',
 833         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
 834         rc_entry = [ r'\converter lyx      word      "%%"       ""' ])
 835     if elyxer.find('elyxer') >= 0:
 836       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
 837       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
 838     else:
 839       # search for HTML converters other than eLyXer
 840       # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
 841       path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i',
 842           '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o',
 843           'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
 844           rc_entry = [ r'\converter latex      html       "%%"  "needaux"' ])
 845       if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
 846         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
 847       else:
 848         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
 849       path, htmlconv = checkProg('a LaTeX -> HTML (MS Word) converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'",
 850           "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'",
 851           "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
 852           rc_entry = [ r'\converter latex      wordhtml   "%%"  "needaux"' ])
 853       if htmlconv.find('htlatex') >= 0:
 854         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
 855       else:
 856         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
 857
 858
 859     # Check if LyXBlogger is installed
 860     lyxblogger_found = checkModule('lyxblogger')
 861     if lyxblogger_found:
 862       addToRC(r'\Format    blog       blog       "LyXBlogger"           "" "" ""  "document"  ""')
 863       addToRC(r'\converter xhtml      blog       "python -m lyxblogger $$i"       ""')
 864
 865     #
 866     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
 867         rc_entry = [ r'\converter sxw        latex      "%%"    ""' ])
 868     #
 869     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
 870         rc_entry = [ r'\converter odt        latex      "%%"    ""' ])
 871     #
 872     checkProg('an Open Document (Pandoc) -> LaTeX converter', ['pandoc -s -f odt -o $$o -t latex $$i'],
 873         rc_entry = [ r'\converter odt3        latex      "%%"   ""' ])
 874     #
 875     checkProg('a MS Word Office Open XML converter -> LaTeX', ['pandoc -s -f docx -o $$o -t latex $$i'],
 876         rc_entry = [ r'\converter word2      latex      "%%"    ""' ])
 877     # Only define a converter to pdf6, otherwise the odt format could be
 878     # used as an intermediate step for export to pdf, which is not wanted.
 879     checkProg('an OpenDocument -> PDF converter', ['unoconv -f pdf --stdout $$i > $$o'],
 880         rc_entry = [ r'\converter odt        pdf6       "%%"    ""' ])
 881     # According to http://www.tug.org/applications/tex4ht/mn-commands.html
 882     # the command mk4ht oolatex $$i has to be used as default,
 883     # but as this would require to have Perl installed, in MiKTeX oolatex is
 884     # directly available as application.
 885     # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
 886     # Both SuSE and debian have oolatex
 887     checkProg('a LaTeX -> Open Document (tex4ht) converter', [
 888         'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
 889         'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
 890         rc_entry = [ r'\converter latex      odt        "%%"    "needaux"' ])
 891     # On windows it is called latex2rt.exe
 892     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
 893         rc_entry = [ r'\converter latex      rtf        "%%"    "needaux"' ])
 894     #
 895     checkProg('a LaTeX -> Open Document (Pandoc) converter', ['pandoc -s -f latex -o $$o -t odt $$i'],
 896         rc_entry = [ r'\converter latex      odt3        "%%"   ""' ])
 897     #
 898     checkProg('a LaTeX -> MS Word Office Open XML converter', ['pandoc -s -f latex -o $$o -t docx $$i'],
 899         rc_entry = [ r'\converter latex      word2       "%%"   ""' ])
 900     #
 901     checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
 902         rc_entry = [ r'\converter rtf      html        "%%"     ""' ])
 903     # Do not define a converter to pdf6, ps is a pure export format
 904     checkProg('a PS to PDF converter', ['ps2pdf $$i $$o'],
 905         rc_entry = [ r'\converter ps         pdf        "%%"    ""' ])
 906     #
 907     checkProg('a PS to TXT converter', ['pstotext $$i > $$o'],
 908         rc_entry = [ r'\converter ps         text2      "%%"    ""' ])
 909     #
 910     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
 911         rc_entry = [ r'\converter ps         text3      "%%"    ""' ])
 912     # Need to call ps2eps in a pipe, otherwise it would name the output file
 913     # depending on the extension of the input file. We do not know the input
 914     # file extension in general, so the resultfile= flag would not help.
 915     # Since ps2eps crops the image, we do not use it to convert from ps->eps.
 916     # This would create additional paths in the converter graph with unwanted
 917     # side effects (e.g. ps->pdf via ps2pdf would create a different result
 918     # than ps->eps->pdf via ps2eps and epstopdf).
 919     checkProg('a PS to EPS converter', ['ps2eps -- < $$i > $$o'],
 920         rc_entry = [ r'\converter eps2       eps      "%%"      ""' ])
 921     #
 922     checkProg('a PDF to PS converter', ['pdftops $$i $$o', 'pdf2ps $$i $$o'],
 923         rc_entry = [ r'\converter pdf         ps        "%%"    ""' ])
 924     # Only define a converter from pdf6 for graphics
 925     checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
 926         rc_entry = [ r'\converter pdf6        eps        "%%"   ""' ])
 927     # Create one converter for a PDF produced using TeX fonts and one for a
 928     # PDF produced using non-TeX fonts. This does not produce non-unique
 929     # conversion paths, since a given document either uses TeX fonts or not.
 930     checkProg('a PDF cropping tool', ['pdfcrop $$i $$o'],
 931         rc_entry = [ r'''\converter pdf2   pdf7       "%%"      ""
 932 \converter pdf4   pdf7       "%%"       ""''' ])
 933     # Create one converter for a PDF produced using TeX fonts and one for a
 934     # PDF produced using non-TeX fonts. This does not produce non-unique
 935     # conversion paths, since a given document either uses TeX fonts or not.
 936     checkProg('Ghostscript', ["gswin32c", "gswin64c", "gs"],
 937         rc_entry = [ r'''\converter pdf2   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"     ""
 938 \converter pdf4   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"      ""''' ])
 939     #
 940     checkProg('a Beamer info extractor', ['makebeamerinfo -p $$i'],
 941         rc_entry = [ r'\converter pdf2         beamer.info        "%%"  ""' ])
 942     #
 943     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
 944         rc_entry = [ r'\converter dvi        text4      "%%"    ""' ])
 945     #
 946     checkProg('a DVI to PS converter', ['dvips -o $$o $$i'],
 947         rc_entry = [ r'\converter dvi        ps         "%%"    ""' ])
 948     #
 949     checkProg('a DVI to cropped EPS converter', ['dvips -E -o $$o $$i'],
 950         rc_entry = [ r'\converter dvi        eps3         "%%"  ""' ])
 951     #
 952     checkProg('a DVI to PDF converter', ['dvipdfmx -o $$o $$i', 'dvipdfm -o $$o $$i'],
 953         rc_entry = [ r'\converter dvi        pdf3       "%%"    ""' ])
 954     #
 955     checkProg('a fax program', ['kdeprintfax $$i', 'ksendfax $$i', 'hylapex $$i'],
 956         rc_entry = [ r'\converter ps         fax        "%%"    ""'])
 957     #
 958     path, fig2dev = checkProg('a FIG -> Image converter', ['fig2dev'])
 959     if fig2dev == "fig2dev":
 960         addToRC(r'''\converter fig        eps        "fig2dev -L eps $$i $$o"   ""
 961 \converter fig        ppm        "fig2dev -L ppm $$i $$o"       ""
 962 \converter fig        svg        "fig2dev -L svg $$i $$o"       ""
 963 \converter fig        png        "fig2dev -L png $$i $$o"       ""
 964 \converter svg        pdftex     "python -tt $$s/scripts/svg2pdftex.py $$i $$o" ""
 965 \converter svg        pstex      "python -tt $$s/scripts/svg2pstex.py $$i $$o" ""
 966 \converter fig        pdftex     "python -tt $$s/scripts/fig2pdftex.py $$i $$o" ""
 967 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o"  ""''')
 968     #
 969     checkProg('a TIFF -> PS converter', ['tiff2ps $$i > $$o'],
 970         rc_entry = [ r'\converter tiff       eps        "%%"    ""'])
 971     #
 972     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
 973         rc_entry = [
 974             r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"    ""
 975 \converter tgif       png        "tgif -print -color -png -o $$d $$i"   ""
 976 \converter tgif       pdf6       "tgif -print -color -pdf -stdout $$i > $$o"    ""'''])
 977     #
 978     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
 979         rc_entry = [ r'\converter wmf        eps        "%%"    ""'])
 980     #
 981     checkProg('an EMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
 982         rc_entry = [ r'\converter emf        eps        "%%"    ""'])
 983     #
 984     checkProg('a WMF -> PDF converter', [inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
 985         rc_entry = [ r'\converter wmf        pdf6        "%%"   ""'])
 986     #
 987     checkProg('an EMF -> PDF converter', [inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
 988         rc_entry = [ r'\converter emf        pdf6        "%%"   ""'])
 989     # Only define a converter to pdf6 for graphics
 990     checkProg('an EPS -> PDF converter', ['epstopdf'],
 991         rc_entry = [ r'\converter eps        pdf6       "epstopdf --outfile=$$o $$i"    ""'])
 992     #
 993     checkProg('an EPS -> PNG converter', ['magick $$i $$o', 'convert $$i $$o'],
 994         rc_entry = [ r'\converter eps        png        "%%"    ""'])
 995     #
 996     # no agr -> pdf6 converter, since the pdf library used by gracebat is not
 997     # free software and therefore not compiled in in many installations.
 998     # Fortunately, this is not a big problem, because we will use epstopdf to
 999     # convert from agr to pdf6 via eps without loss of quality.
1000     checkProg('a Grace -> Image converter', ['gracebat'],
1001         rc_entry = [
1002             r'''\converter agr        eps        "gracebat -hardcopy -printfile $$o -hdevice EPS $$i 2>/dev/null"       ""
1003 \converter agr        png        "gracebat -hardcopy -printfile $$o -hdevice PNG $$i 2>/dev/null"       ""
1004 \converter agr        jpg        "gracebat -hardcopy -printfile $$o -hdevice JPEG $$i 2>/dev/null"      ""
1005 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"       ""'''])
1006     #
1007     checkProg('a Dot -> Image converter', ['dot'],
1008         rc_entry = [
1009             r'''\converter dot        eps        "dot -Teps $$i -o $$o" ""
1010 \converter dot        png        "dot -Tpng $$i -o $$o" ""'''])
1011     #
1012     path, dia = checkProg('a Dia -> Image converter', ['dia'])
1013     if dia == 'dia':
1014         addToRC(r'''\converter dia        png        "dia -e $$o -t png $$i"    ""
1015 \converter dia        eps        "dia -e $$o -t eps $$i"        ""
1016 \converter dia        svg        "dia -e $$o -t svg $$i"        ""''')
1017
1018     #
1019     # Actually, this produces EPS, but with a wrong bounding box (usually A4 or letter).
1020     # The eps2->eps converter then fixes the bounding box by cropping.
1021     # Although unoconv can convert to png and pdf as well, do not define
1022     # odg->png and odg->pdf converters, since the bb would be too large as well.
1023     checkProg('an OpenDocument -> EPS converter', ['libreoffice -headless -nologo -convert-to eps $$i', 'unoconv -f eps --stdout $$i > $$o'],
1024         rc_entry = [ r'\converter odg        eps2       "%%"    ""'])
1025     #
1026     checkProg('a SVG (compressed) -> SVG converter', ['gunzip -c $$i > $$o'],
1027         rc_entry = [ r'\converter svgz       svg        "%%"    ""'])
1028     #
1029     checkProg('a SVG -> SVG (compressed) converter', ['gzip -c $$i > $$o'],
1030         rc_entry = [ r'\converter svg        svgz       "%%"    ""'])
1031     # Only define a converter to pdf6 for graphics
1032     # Prefer rsvg-convert over inkscape since it is faster (see http://www.lyx.org/trac/ticket/9891)
1033     checkProg('a SVG -> PDF converter', ['rsvg-convert -f pdf -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
1034         rc_entry = [ r'''\converter svg        pdf6       "%%"    ""
1035 \converter svgz       pdf6       "%%"    ""'''],
1036         path = ['', inkscape_path])
1037     #
1038     checkProg('a SVG -> EPS converter', ['rsvg-convert -f ps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
1039         rc_entry = [ r'''\converter svg        eps        "%%"    ""
1040 \converter svgz       eps        "%%"    ""'''],
1041         path = ['', inkscape_path])
1042     #
1043     checkProg('a SVG -> PNG converter', ['rsvg-convert -f png -o $$o $$i', inkscape_name + ' --without-gui --file=$$i --export-png=$$o'],
1044         rc_entry = [ r'''\converter svg        png        "%%"    "",
1045 \converter svgz       png        "%%"    ""'''],
1046         path = ['', inkscape_path])
1047
1048     #
1049     # gnumeric/xls/ods to tex
1050     checkProg('a spreadsheet -> latex converter', ['ssconvert'],
1051        rc_entry = [ r'''\converter gnumeric latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1052 \converter oocalc latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1053 \converter excel  latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1054 \converter excel2 latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1055 \converter gnumeric html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1056 \converter oocalc html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1057 \converter excel  html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1058 \converter excel2 html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1059 '''])
1060
1061     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
1062     if (lilypond != ''):
1063         version_string = cmdOutput("lilypond --version")
1064         match = re.match('GNU LilyPond (\S+)', version_string)
1065         if match:
1066             version_number = match.groups()[0]
1067             version = version_number.split('.')
1068             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
1069                 addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps -dsafe --ps $$i"   ""
1070 \converter lilypond   png        "lilypond -dbackend=eps -dsafe --png $$i"      ""''')
1071                 addToRC(r'\converter lilypond   pdf6       "lilypond -dbackend=eps -dsafe --pdf $$i"    ""')
1072                 logger.info('+  found LilyPond version %s.' % version_number)
1073             elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
1074                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps --safe $$i"  ""
1075 \converter lilypond   png        "lilypond -b eps --png $$i"    ""''')
1076                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
1077                     addToRC(r'\converter lilypond   pdf6       "lilypond -b eps --pdf --safe $$i"       ""')
1078                 logger.info('+  found LilyPond version %s.' % version_number)
1079             else:
1080                 logger.info('+  found LilyPond, but version %s is too old.' % version_number)
1081         else:
1082             logger.info('+  found LilyPond, but could not extract version number.')
1083     #
1084     path, lilypond_book = checkProg('a LilyPond book (LaTeX) -> LaTeX converter', ['lilypond-book'])
1085     if (lilypond_book != ''):
1086         version_string = cmdOutput("lilypond-book --version")
1087         match = re.match('^(\S+)$', version_string)
1088         if match:
1089             version_number = match.groups()[0]
1090             version = version_number.split('.')
1091             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 13):
1092                 # Note: The --lily-output-dir flag is required because lilypond-book
1093                 #       does not process input again unless the input has changed,
1094                 #       even if the output format being requested is different. So
1095                 #       once a .eps file exists, lilypond-book won't create a .pdf
1096                 #       even when requested with --pdf. This is a problem if a user
1097                 #       clicks View PDF after having done a View DVI. To circumvent
1098                 #       this, use different output folders for eps and pdf outputs.
1099                 addToRC(r'\converter lilypond-book latex    "lilypond-book --safe --lily-output-dir=ly-eps $$i"                                ""')
1100                 addToRC(r'\converter lilypond-book pdflatex "lilypond-book --safe --pdf --latex-program=pdflatex --lily-output-dir=ly-pdf $$i" ""')
1101                 addToRC(r'\converter lilypond-book xetex    "lilypond-book --safe --pdf --latex-program=xelatex --lily-output-dir=ly-pdf $$i"  ""')
1102                 addToRC(r'\converter lilypond-book luatex   "lilypond-book --safe --pdf --latex-program=lualatex --lily-output-dir=ly-pdf $$i" ""')
1103                 addToRC(r'\converter lilypond-book dviluatex "lilypond-book --safe --latex-program=dvilualatex --lily-output-dir=ly-eps $$i" ""')
1104                 logger.info('+  found LilyPond-book version %s.' % version_number)
1105             else:
1106                 logger.info('+  found LilyPond-book, but version %s is too old.' % version_number)
1107         else:
1108             logger.info('+  found LilyPond-book, but could not extract version number.')
1109     #
1110     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
1111         rc_entry = [ r'\converter noteedit   lilypond   "%%"    ""' ])
1112     #
1113     # Currently, lyxpak outputs a gzip compressed tar archive on *nix
1114     # and a zip archive on Windows.
1115     # So, we configure the appropriate version according to the platform.
1116     cmd = r'\converter lyx %s "python -tt $$s/scripts/lyxpak.py $$r/$$f" ""'
1117     if os.name == 'nt':
1118         addToRC(r'\Format lyxzip     zip    "LyX Archive (zip)"     "" "" ""  "document,menu=export"    ""')
1119         addToRC(cmd % "lyxzip")
1120     else:
1121         addToRC(r'\Format lyxgz      gz     "LyX Archive (tar.gz)"  "" "" ""  "document,menu=export"    ""')
1122         addToRC(cmd % "lyxgz")
1123
1124     #
1125     # FIXME: no rc_entry? comment it out
1126     # checkProg('Image converter', ['convert $$i $$o'])
1127     #
1128     # Entries that do not need checkProg
1129     addToRC(r'''
1130 \converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"    ""
1131 \converter docbook    docbook-xml "cp $$i $$o"  "xml"
1132 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o"  ""
1133 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.3 -o $$o $$i"     ""
1134 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o $$i"     ""
1135 \converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.5 -o $$o $$i"     ""
1136 \converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.6 -o $$o $$i"     ""
1137 \converter lyx        lyx20x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.0 -o $$o $$i"     ""
1138 \converter lyx        lyx21x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.1 -o $$o $$i"     ""
1139 \converter lyx        lyx22x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.2 -o $$o $$i"     ""
1140 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c big5   $$i"   ""
1141 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c euc_jp $$i"   ""
1142 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c euc_kr $$i"   ""
1143 \converter clyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c big5   -o $$o $$i"  ""
1144 \converter jlyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -o $$o $$i"  ""
1145 \converter klyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -o $$o $$i"  ""
1146 \converter lyxpreview png        "python -tt $$s/scripts/lyxpreview2bitmap.py --png"    ""
1147 \converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py --ppm"    ""
1148 ''')
1149
1150
1151 def checkDocBook():
1152     ''' Check docbook '''
1153     path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
1154         rc_entry = [
1155             r'''\converter docbook    dvi        "sgmltools -b dvi $$i" ""
1156 \converter docbook    html       "sgmltools -b html $$i"        ""
1157 \converter docbook    ps         "sgmltools -b ps $$i"  ""''',
1158             r'''\converter docbook    dvi        "db2dvi $$i"   ""
1159 \converter docbook    html       "db2html $$i"  ""''',
1160             r'''\converter docbook    dvi        ""     ""
1161 \converter docbook    html       "" ""''',
1162             r'''\converter docbook    dvi        ""     ""
1163 \converter docbook    html       ""     ""'''])
1164     #
1165     if DOCBOOK != '':
1166         return ('yes', 'true', '\\def\\hasdocbook{yes}')
1167     else:
1168         return ('no', 'false', '')
1169
1170
1171 def checkOtherEntries():
1172     ''' entries other than Format and Converter '''
1173     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
1174         rc_entry = [ r'\chktex_command "%%"' ])
1175     checkProgAlternatives('BibTeX or alternative programs',
1176         ['bibtex', 'bibtex8', 'biber'],
1177         rc_entry = [ r'\bibtex_command "%%"' ],
1178         alt_rc_entry = [ r'\bibtex_alternatives "%%"' ])
1179     checkProg('a specific Japanese BibTeX variant',
1180         ['pbibtex', 'jbibtex', 'bibtex'],
1181         rc_entry = [ r'\jbibtex_command "%%"' ])
1182     checkProgAlternatives('available index processors',
1183         ['texindy', 'makeindex -c -q', 'xindy'],
1184         rc_entry = [ r'\index_command "%%"' ],
1185         alt_rc_entry = [ r'\index_alternatives "%%"' ])
1186     checkProg('an index processor appropriate to Japanese',
1187         ['mendex -c -q', 'jmakeindex -c -q', 'makeindex -c -q'],
1188         rc_entry = [ r'\jindex_command "%%"' ])
1189     checkProg('the splitindex processor', ['splitindex.pl', 'splitindex',
1190         'splitindex.class'], rc_entry = [ r'\splitindex_command "%%"' ])
1191     checkProg('a nomenclature processor', ['makeindex'],
1192         rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
1193     ## FIXME: OCTAVE is not used anywhere
1194     # path, OCTAVE = checkProg('Octave', ['octave'])
1195     ## FIXME: MAPLE is not used anywhere
1196     # path, MAPLE = checkProg('Maple', ['maple'])
1197     # Add the rest of the entries (no checkProg is required)
1198     addToRC(r'''\copier    fig        "python -tt $$s/scripts/fig_copy.py $$i $$o"
1199 \copier    pstex      "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1200 \copier    pdftex     "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1201 \copier    program    "python -tt $$s/scripts/ext_copy.py $$i $$o"
1202 ''')
1203
1204
1205 def processLayoutFile(file, bool_docbook):
1206     ''' process layout file and get a line of result
1207
1208         Declare lines look like this:
1209
1210         \DeclareLaTeXClass[<requirements>]{<description>}
1211
1212         Optionally, a \DeclareCategory line follows:
1213
1214         \DeclareCategory{<category>}
1215
1216         So for example (article.layout, scrbook.layout, svjog.layout)
1217
1218         \DeclareLaTeXClass{article}
1219         \DeclareCategory{Articles}
1220
1221         \DeclareLaTeXClass[scrbook]{book (koma-script)}
1222         \DeclareCategory{Books}
1223
1224         \DeclareLaTeXClass[svjour,svjog.clo]{article (Springer - svjour/jog)}
1225
1226         we'd expect this output:
1227
1228         "article" "article" "article" "false" "article.cls" "Articles"
1229         "scrbook" "scrbook" "book (koma-script)" "false" "scrbook.cls" "Books"
1230         "svjog" "svjour" "article (Springer - svjour/jog)" "false" "svjour.cls,svjog.clo" ""
1231     '''
1232     def checkForClassExtension(x):
1233         '''if the extension for a latex class is not
1234            provided, add .cls to the classname'''
1235         if not '.' in x:
1236             return x.strip() + '.cls'
1237         else:
1238             return x.strip()
1239     classname = file.split(os.sep)[-1].split('.')[0]
1240     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
1241     p = re.compile(r'^\s*#\s*\\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}\s*$')
1242     q = re.compile(r'^\s*#\s*\\DeclareCategory{(.*)}\s*$')
1243     classdeclaration = ""
1244     categorydeclaration = '""'
1245     for line in open(file).readlines():
1246         res = p.search(line)
1247         qres = q.search(line)
1248         if res != None:
1249             (classtype, optAll, opt, opt1, desc) = res.groups()
1250             avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
1251             if opt == None:
1252                 opt = classname
1253                 prereq_latex = checkForClassExtension(classname)
1254             else:
1255                 prereq_list = optAll[1:-1].split(',')
1256                 prereq_list = list(map(checkForClassExtension, prereq_list))
1257                 prereq_latex = ','.join(prereq_list)
1258             prereq_docbook = {'true':'', 'false':'docbook'}[bool_docbook]
1259             prereq = {'LaTeX':prereq_latex, 'DocBook':prereq_docbook}[classtype]
1260             classdeclaration = ('"%s" "%s" "%s" "%s" "%s"'
1261                                % (classname, opt, desc, avai, prereq))
1262             if categorydeclaration != '""':
1263                 return classdeclaration + " " + categorydeclaration
1264         if qres != None:
1265              categorydeclaration = '"%s"' % (qres.groups()[0])
1266              if classdeclaration != "":
1267                  return classdeclaration + " " + categorydeclaration
1268     if classdeclaration != "":
1269         return classdeclaration + " " + categorydeclaration
1270     logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
1271     return ""
1272
1273
1274 def checkLatexConfig(check_config, bool_docbook):
1275     ''' Explore the LaTeX configuration
1276         Return None (will be passed to sys.exit()) for success.
1277     '''
1278     msg = 'checking LaTeX configuration... '
1279     # if --without-latex-config is forced, or if there is no previous
1280     # version of textclass.lst, re-generate a default file.
1281     if not os.path.isfile('textclass.lst') or not check_config:
1282         # remove the files only if we want to regenerate
1283         removeFiles(['textclass.lst', 'packages.lst'])
1284         #
1285         # Then, generate a default textclass.lst. In case configure.py
1286         # fails, we still have something to start lyx.
1287         logger.info(msg + ' default values')
1288         logger.info('+checking list of textclasses... ')
1289         tx = open('textclass.lst', 'w')
1290         tx.write('''
1291 # This file declares layouts and their associated definition files
1292 # (include dir. relative to the place where this file is).
1293 # It contains only default values, since chkconfig.ltx could not be run
1294 # for some reason. Run ./configure.py if you need to update it after a
1295 # configuration change.
1296 ''')
1297         # build the list of available layout files and convert it to commands
1298         # for chkconfig.ltx
1299         foundClasses = []
1300         for file in (glob.glob(os.path.join('layouts', '*.layout'))
1301                      + glob.glob(os.path.join(srcdir, 'layouts', '*.layout'))):
1302             # valid file?
1303             if not os.path.isfile(file):
1304                 continue
1305             # get stuff between /xxxx.layout .
1306             classname = file.split(os.sep)[-1].split('.')[0]
1307             #  tr ' -' '__'`
1308             cleanclass = classname.replace(' ', '_')
1309             cleanclass = cleanclass.replace('-', '_')
1310             # make sure the same class is not considered twice
1311             if foundClasses.count(cleanclass) == 0: # not found before
1312                 foundClasses.append(cleanclass)
1313                 retval = processLayoutFile(file, bool_docbook)
1314                 if retval != "":
1315                     tx.write(retval)
1316         tx.close()
1317         logger.info('\tdone')
1318     if not os.path.isfile('packages.lst') or not check_config:
1319         logger.info('+generating default list of packages... ')
1320         removeFiles(['packages.lst'])
1321         tx = open('packages.lst', 'w')
1322         tx.close()
1323         logger.info('\tdone')
1324     if not check_config:
1325         return None
1326     # the following will generate textclass.lst.tmp, and packages.lst.tmp
1327     logger.info(msg + '\tauto')
1328     removeFiles(['chkconfig.classes', 'chkconfig.vars', 'chklayouts.tex',
1329         'wrap_chkconfig.ltx'])
1330     rmcopy = False
1331     if not os.path.isfile( 'chkconfig.ltx' ):
1332         shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
1333         rmcopy = True
1334     writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
1335     # Construct the list of classes to test for.
1336     # build the list of available layout files and convert it to commands
1337     # for chkconfig.ltx
1338     declare = re.compile(r'^\s*#\s*\\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}\s*$')
1339     category = re.compile(r'^\s*#\s*\\DeclareCategory{(.*)}\s*$')
1340     empty = re.compile(r'^\s*$')
1341     testclasses = list()
1342     for file in (glob.glob( os.path.join('layouts', '*.layout') )
1343                  + glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) ):
1344         nodeclaration = False
1345         if not os.path.isfile(file):
1346             continue
1347         classname = file.split(os.sep)[-1].split('.')[0]
1348         decline = ""
1349         catline = ""
1350         for line in open(file).readlines():
1351             if not empty.match(line) and line[0] != '#':
1352                 if decline == "":
1353                     logger.warning("Failed to find valid \Declare line "
1354                         "for layout file `%s'.\n\t=> Skipping this file!" % file)
1355                     nodeclaration = True
1356                 # A class, but no category declaration. Just break.
1357                 break
1358             if declare.search(line) != None:
1359                 decline = "\\TestDocClass{%s}{%s}" % (classname, line[1:].strip())
1360                 testclasses.append(decline)
1361             elif category.search(line) != None:
1362                 catline = ("\\DeclareCategory{%s}{%s}"
1363                            % (classname, category.search(line).groups()[0]))
1364                 testclasses.append(catline)
1365             if catline == "" or decline == "":
1366                 continue
1367             break
1368         if nodeclaration:
1369             continue
1370     testclasses.sort()
1371     cl = open('chklayouts.tex', 'w')
1372     for line in testclasses:
1373         cl.write(line + '\n')
1374     cl.close()
1375     #
1376     # we have chklayouts.tex, then process it
1377     latex_out = cmdOutput(LATEX + ' wrap_chkconfig.ltx', True)
1378     while True:
1379         line = latex_out.readline()
1380         if not line:
1381             break;
1382         if re.match('^\+', line):
1383             logger.info(line.strip())
1384     # if the command succeeds, None will be returned
1385     ret = latex_out.close()
1386     #
1387     # remove the copied file
1388     if rmcopy:
1389         removeFiles( [ 'chkconfig.ltx' ] )
1390     #
1391     # currently, values in chkconfig are only used to set
1392     # \font_encoding
1393     values = {}
1394     for line in open('chkconfig.vars').readlines():
1395         key, val = re.sub('-', '_', line).split('=')
1396         val = val.strip()
1397         values[key] = val.strip("'")
1398     # chk_fontenc may not exist
1399     try:
1400         addToRC(r'\font_encoding "%s"' % values["chk_fontenc"])
1401     except:
1402         pass
1403     # if configure successed, move textclass.lst.tmp to textclass.lst
1404     # and packages.lst.tmp to packages.lst
1405     if (os.path.isfile('textclass.lst.tmp')
1406           and len(open('textclass.lst.tmp').read()) > 0
1407         and os.path.isfile('packages.lst.tmp')
1408           and len(open('packages.lst.tmp').read()) > 0):
1409         shutil.move('textclass.lst.tmp', 'textclass.lst')
1410         shutil.move('packages.lst.tmp', 'packages.lst')
1411     return ret
1412
1413
1414 def checkModulesConfig():
1415   removeFiles(['lyxmodules.lst', 'chkmodules.tex'])
1416
1417   logger.info('+checking list of modules... ')
1418   tx = open('lyxmodules.lst', 'w')
1419   tx.write('''## This file declares modules and their associated definition files.
1420 ## It has been automatically generated by configure
1421 ## Use "Options/Reconfigure" if you need to update it after a
1422 ## configuration change.
1423 ## "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1424 ''')
1425
1426   # build the list of available modules
1427   seen = []
1428   # note that this searches the local directory first, then the
1429   # system directory. that way, we pick up the user's version first.
1430   for file in (glob.glob( os.path.join('layouts', '*.module') )
1431                + glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) ):
1432       # valid file?
1433       logger.info(file)
1434       if not os.path.isfile(file):
1435           continue
1436
1437       filename = file.split(os.sep)[-1]
1438       filename = filename[:-7]
1439       if seen.count(filename):
1440           continue
1441
1442       seen.append(filename)
1443       retval = processModuleFile(file, filename, bool_docbook)
1444       if retval != "":
1445           tx.write(retval)
1446   tx.close()
1447   logger.info('\tdone')
1448
1449
1450 def processModuleFile(file, filename, bool_docbook):
1451     ''' process module file and get a line of result
1452
1453         The top of a module file should look like this:
1454           #\DeclareLyXModule[LaTeX Packages]{ModuleName}
1455           #DescriptionBegin
1456           #...body of description...
1457           #DescriptionEnd
1458           #Requires: [list of required modules]
1459           #Excludes: [list of excluded modules]
1460           #Category: [category name]
1461         The last three lines are optional (though do give a category).
1462         We expect output:
1463           "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1464     '''
1465     remods = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
1466     rereqs = re.compile(r'#+\s*Requires: (.*)')
1467     reexcs = re.compile(r'#+\s*Excludes: (.*)')
1468     recaty = re.compile(r'#+\s*Category: (.*)')
1469     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1470     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1471
1472     modname = desc = pkgs = req = excl = catgy = ""
1473     readingDescription = False
1474     descLines = []
1475
1476     for line in open(file).readlines():
1477       if readingDescription:
1478         res = redend.search(line)
1479         if res != None:
1480           readingDescription = False
1481           desc = " ".join(descLines)
1482           # Escape quotes.
1483           desc = desc.replace('"', '\\"')
1484           continue
1485         descLines.append(line[1:].strip())
1486         continue
1487       res = redbeg.search(line)
1488       if res != None:
1489         readingDescription = True
1490         continue
1491       res = remods.search(line)
1492       if res != None:
1493           (pkgs, modname) = res.groups()
1494           if pkgs == None:
1495             pkgs = ""
1496           else:
1497             tmp = [s.strip() for s in pkgs.split(",")]
1498             pkgs = ",".join(tmp)
1499           continue
1500       res = rereqs.search(line)
1501       if res != None:
1502         req = res.group(1)
1503         tmp = [s.strip() for s in req.split("|")]
1504         req = "|".join(tmp)
1505         continue
1506       res = reexcs.search(line)
1507       if res != None:
1508         excl = res.group(1)
1509         tmp = [s.strip() for s in excl.split("|")]
1510         excl = "|".join(tmp)
1511         continue
1512       res = recaty.search(line)
1513       if res != None:
1514         catgy = res.group(1)
1515         continue
1516
1517     if modname == "":
1518       logger.warning("Module file without \DeclareLyXModule line. ")
1519       return ""
1520
1521     if pkgs != "":
1522         # this module has some latex dependencies:
1523         # append the dependencies to chkmodules.tex,
1524         # which is \input'ed by chkconfig.ltx
1525         testpackages = list()
1526         for pkg in pkgs.split(","):
1527             if "->" in pkg:
1528                 # this is a converter dependency: skip
1529                 continue
1530             if pkg.endswith(".sty"):
1531                 pkg = pkg[:-4]
1532             testpackages.append("\\TestPackage{%s}" % (pkg,))
1533         cm = open('chkmodules.tex', 'a')
1534         for line in testpackages:
1535             cm.write(line + '\n')
1536         cm.close()
1537
1538     return ('"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n'
1539             % (modname, filename, desc, pkgs, req, excl, catgy))
1540
1541
1542 def checkTeXAllowSpaces():
1543     ''' Let's check whether spaces are allowed in TeX file names '''
1544     tex_allows_spaces = 'false'
1545     if lyx_check_config:
1546         msg = "Checking whether TeX allows spaces in file names... "
1547         writeToFile('a b.tex', r'\message{working^^J}' )
1548         if LATEX != '':
1549             if os.name == 'nt' or sys.platform == 'cygwin':
1550                 latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}\makeatletter\@@end" """)
1551             else:
1552                 latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}\makeatletter\@@end' """)
1553         else:
1554             latex_out = ''
1555         if 'working' in latex_out:
1556             logger.info(msg + 'yes')
1557             tex_allows_spaces = 'true'
1558         else:
1559             logger.info(msg + 'no')
1560             tex_allows_spaces = 'false'
1561         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
1562         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
1563
1564
1565 def rescanTeXFiles():
1566     ''' Run kpsewhich to update information about TeX files '''
1567     logger.info("+Indexing TeX files... ")
1568     if not os.path.isfile( os.path.join(srcdir, 'scripts', 'TeXFiles.py') ):
1569         logger.error("configure: error: cannot find TeXFiles.py script")
1570         sys.exit(1)
1571     interpreter = sys.executable
1572     if interpreter == '':
1573         interpreter = "python"
1574     tfp = cmdOutput(interpreter + " -tt " + '"'
1575                     + os.path.join(srcdir, 'scripts', 'TeXFiles.py') + '"')
1576     logger.info(tfp)
1577     logger.info("\tdone")
1578
1579
1580 def removeTempFiles():
1581     # Final clean-up
1582     if not lyx_keep_temps:
1583         removeFiles(['chkconfig.vars', 'chklatex.ltx', 'chklatex.log',
1584             'chklayouts.tex', 'chkmodules.tex', 'missfont.log',
1585             'wrap_chkconfig.ltx', 'wrap_chkconfig.log'])
1586
1587
1588 if __name__ == '__main__':
1589     lyx_check_config = True
1590     lyx_kpsewhich = True
1591     outfile = 'lyxrc.defaults'
1592     lyxrc_fileformat = 20
1593     rc_entries = ''
1594     lyx_keep_temps = False
1595     version_suffix = ''
1596     lyx_binary_dir = ''
1597     ## Parse the command line
1598     for op in sys.argv[1:]:   # default shell/for list is $*, the options
1599         if op in [ '-help', '--help', '-h' ]:
1600             print('''Usage: configure [options]
1601 Options:
1602     --help                   show this help lines
1603     --keep-temps             keep temporary files (for debug. purposes)
1604     --without-kpsewhich      do not update TeX files information via kpsewhich
1605     --without-latex-config   do not run LaTeX to determine configuration
1606     --with-version-suffix=suffix suffix of binary installed files
1607     --binary-dir=directory   directory of binary installed files
1608 ''')
1609             sys.exit(0)
1610         elif op == '--without-kpsewhich':
1611             lyx_kpsewhich = False
1612         elif op == '--without-latex-config':
1613             lyx_check_config = False
1614         elif op == '--keep-temps':
1615             lyx_keep_temps = True
1616         elif op[0:22] == '--with-version-suffix=':  # never mind if op is not long enough
1617             version_suffix = op[22:]
1618         elif op[0:13] == '--binary-dir=':
1619             lyx_binary_dir = op[13:]
1620         else:
1621             print("Unknown option %s" % op)
1622             sys.exit(1)
1623     #
1624     # check if we run from the right directory
1625     srcdir = os.path.dirname(sys.argv[0])
1626     if srcdir == '':
1627         srcdir = '.'
1628     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
1629         logger.error("configure: error: cannot find chkconfig.ltx script")
1630         sys.exit(1)
1631     setEnviron()
1632     if sys.platform == 'darwin' and len(version_suffix) > 0:
1633         checkUpgrade()
1634     createDirectories()
1635     dtl_tools = checkDTLtools()
1636     ## Write the first part of outfile
1637     writeToFile(outfile, '''# This file has been automatically generated by LyX' lib/configure.py
1638 # script. It contains default settings that have been determined by
1639 # examining your system. PLEASE DO NOT MODIFY ANYTHING HERE! If you
1640 # want to customize LyX, use LyX' Preferences dialog or modify directly
1641 # the "preferences" file instead. Any setting in that file will
1642 # override the values given here.
1643
1644 Format %i
1645
1646 ''' % lyxrc_fileformat)
1647     # check latex
1648     LATEX = checkLatex(dtl_tools)
1649     # check java and perl before any checkProg that may require them
1650     java = checkProg('a java interpreter', ['java'])[1]
1651     perl = checkProg('a perl interpreter', ['perl'])[1]
1652     (inkscape_path, inkscape_name) = os.path.split(checkInkscape())
1653     checkFormatEntries(dtl_tools)
1654     checkConverterEntries()
1655     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
1656     checkTeXAllowSpaces()
1657     windows_style_tex_paths = checkTeXPaths()
1658     if windows_style_tex_paths != '':
1659         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
1660     checkOtherEntries()
1661     if lyx_kpsewhich:
1662         rescanTeXFiles()
1663     checkModulesConfig()
1664     # --without-latex-config can disable lyx_check_config
1665     ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
1666     removeTempFiles()
1667     # The return error code can be 256. Because most systems expect an error code
1668     # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
1669     # a None for success, 'ret is not None' is used to exit.
1670     sys.exit(ret is not None)