]> git.lyx.org Git - lyx.git/blob - lib/configure.py
fb5dcc647302532538821bacf39cc94fc419a455
[lyx.git] / lib / configure.py
1 #! /usr/bin/env python
2 # -*- coding: utf-8 -*-
3 #
4 # file configure.py
5 # This file is part of LyX, the document processor.
6 # Licence details can be found in the file COPYING.
7
8 # \author Bo Peng
9 # Full author contact details are available in file CREDITS.
10
11 from __future__ import print_function
12 import glob, logging, os, re, shutil, subprocess, sys, stat
13
14 # set up logging
15 logging.basicConfig(level = logging.DEBUG,
16     format = '%(levelname)s: %(message)s', # ignore application name
17     filename = 'configure.log',
18     filemode = 'w')
19 #
20 # Add a handler to log to console
21 console = logging.StreamHandler()
22 console.setLevel(logging.INFO) # the console only print out general information
23 formatter = logging.Formatter('%(message)s') # only print out the message itself
24 console.setFormatter(formatter)
25 logger = logging.getLogger('LyX')
26 logger.addHandler(console)
27
28 def writeToFile(filename, lines, append = False):
29     " utility function: write or append lines to filename "
30     if append:
31         file = open(filename, 'a')
32     else:
33         file = open(filename, 'w')
34     file.write(lines)
35     file.close()
36
37
38 def addToRC(lines):
39     ''' utility function: shortcut for appending lines to outfile
40         add newline at the end of lines.
41     '''
42     if lines.strip() != '':
43         writeToFile(outfile, lines + '\n', append = True)
44         logger.debug('Add to RC:\n' + lines + '\n\n')
45
46
47 def removeFiles(filenames):
48     '''utility function: 'rm -f'
49         ignore errors when file does not exist, or is a directory.
50     '''
51     for file in filenames:
52         try:
53             os.remove(file)
54             logger.debug('Removing file %s' % file)
55         except:
56             logger.debug('Failed to remove file %s' % file)
57             pass
58
59
60 def cmdOutput(cmd, async = False):
61     '''utility function: run a command and get its output as a string
62         cmd: command to run
63         async: if False, return whole output as a string, otherwise
64                return the stdout handle from which the output can be
65                read (the caller is then responsible for closing it)
66     '''
67     if os.name == 'nt':
68         b = False
69         if sys.version_info[0] < 3:
70             cmd = 'cmd /d /c pushd ' + shortPath(os.getcwdu()) + '&' + cmd
71         else:
72             cmd = 'cmd /d /c pushd ' + shortPath(os.getcwd()) + '&' + cmd
73     else:
74         b = True
75     pipe = subprocess.Popen(cmd, shell=b, close_fds=b, stdin=subprocess.PIPE, \
76                             stdout=subprocess.PIPE, universal_newlines=True)
77     pipe.stdin.close()
78     if async:
79         return pipe.stdout
80     output = pipe.stdout.read()
81     pipe.stdout.close()
82     return output.strip()
83
84
85 def shortPath(path):
86     ''' On Windows, return the short version of "path" if possible '''
87     if os.name == 'nt':
88         from ctypes import windll, create_unicode_buffer
89         GetShortPathName = windll.kernel32.GetShortPathNameW
90         shortlen = GetShortPathName(path, 0, 0)
91         shortpath = create_unicode_buffer(shortlen)
92         if GetShortPathName(path, shortpath, shortlen):
93             return shortpath.value
94     return path
95
96
97 def setEnviron():
98     ''' I do not really know why this is useful, but we might as well keep it.
99         NLS nuisances.
100         Only set these to C if already set.  These must not be set unconditionally
101         because not all systems understand e.g. LANG=C (notably SCO).
102         Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
103         Non-C LC_CTYPE values break the ctype check.
104     '''
105     os.environ['LANG'] = os.getenv('LANG', 'C')
106     os.environ['LC'] = os.getenv('LC_ALL', 'C')
107     os.environ['LC_MESSAGE'] = os.getenv('LC_MESSAGE', 'C')
108     os.environ['LC_CTYPE'] = os.getenv('LC_CTYPE', 'C')
109
110
111 def copy_tree(src, dst, preserve_symlinks=False, level=0):
112     ''' Copy an entire directory tree 'src' to a new location 'dst'.
113  
114     Code inspired from distutils.copy_tree.
115          Copying ignores non-regular files and the cache directory.
116     Pipes may be present as leftovers from LyX for lyx-server.
117
118     If 'preserve_symlinks' is true, symlinks will be
119     copied as symlinks (on platforms that support them!); otherwise
120     (the default), the destination of the symlink will be copied.
121     '''
122  
123     if not os.path.isdir(src):
124         raise FileError("cannot copy tree '%s': not a directory" % src)
125     try:
126         names = os.listdir(src)
127     except os.error as oserror:
128         (errno, errstr) = oserror.args
129         raise FileError("error listing files in '%s': %s" % (src, errstr))
130  
131     if not os.path.isdir(dst):
132         os.makedirs(dst)
133  
134     outputs = []
135  
136     for name in names:
137         src_name = os.path.join(src, name)
138         dst_name = os.path.join(dst, name)
139         if preserve_symlinks and os.path.islink(src_name):
140             link_dest = os.readlink(src_name)
141             os.symlink(link_dest, dst_name)
142             outputs.append(dst_name)
143         elif level == 0 and name == 'cache':
144             logger.info("Skip cache %s", src_name)
145         elif os.path.isdir(src_name):
146             outputs.extend(
147                 copy_tree(src_name, dst_name, preserve_symlinks, level=(level + 1)))
148         elif stat.S_ISREG(os.stat(src_name).st_mode) or os.path.islink(src_name):
149             shutil.copy2(src_name, dst_name)
150             outputs.append(dst_name)
151         else:
152             logger.info("Ignore non-regular file %s", src_name)
153  
154     return outputs
155
156
157 def checkUpgrade():
158     ''' Check for upgrade from previous version '''
159     cwd = os.getcwd()
160     basename = os.path.basename( cwd )
161     lyxrc = os.path.join(cwd, outfile)
162     if not os.path.isfile( lyxrc ) and basename.endswith( version_suffix ) :
163         logger.info('Checking for upgrade from previous version.')
164         parent = os.path.dirname(cwd)
165         appname = basename[:(-len(version_suffix))]
166         for version in ['-2.1', '-2.0', '-1.6' ]:
167             logger.debug('Checking for upgrade from previous version ' + version)
168             previous = os.path.join(parent, appname + version)
169             logger.debug('previous = ' + previous)
170             if os.path.isdir( previous ):
171                 logger.info('Found directory "%s".', previous)
172                 copy_tree( previous, cwd, True )
173                 logger.info('Content copied to directory "%s".', cwd)
174                 return
175
176
177 def createDirectories():
178     ''' Create the build directories if necessary '''
179     for dir in ['bind', 'clipart', 'doc', 'examples', 'images', 'kbd', \
180         'layouts', 'scripts', 'templates', 'ui' ]:
181         if not os.path.isdir( dir ):
182             try:
183                 os.mkdir( dir)
184                 logger.debug('Create directory %s.' % dir)
185             except:
186                 logger.error('Failed to create directory %s.' % dir)
187                 sys.exit(1)
188
189
190 def checkTeXPaths():
191     ''' Determine the path-style needed by the TeX engine on Win32 (Cygwin) '''
192     windows_style_tex_paths = ''
193     if LATEX == '':
194         return windows_style_tex_paths
195     if os.name == 'nt' or sys.platform == 'cygwin':
196         from tempfile import mkstemp
197         fd, tmpfname = mkstemp(suffix='.ltx')
198         if os.name == 'nt':
199             from locale import getdefaultlocale
200             language, encoding = getdefaultlocale()
201             if encoding == None:
202                 encoding = 'latin1'
203             if sys.version_info[0] < 3:
204                 inpname = shortPath(unicode(tmpfname, encoding)).replace('\\', '/')
205             else:
206                 inpname = shortPath(str(tmpfname, encoding)).replace('\\', '/')
207         else:
208             inpname = cmdOutput('cygpath -m ' + tmpfname)
209         logname = os.path.basename(re.sub("(?i).ltx", ".log", inpname))
210         inpname = inpname.replace('~', '\\string~')
211         os.write(fd, r'\relax')
212         os.close(fd)
213         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}\makeatletter\@@end"' % inpname)
214         if 'Error' in latex_out:
215             latex_out = cmdOutput(r'latex "\nonstopmode\input{\"%s\"}\makeatletter\@@end"' % inpname)
216         if 'Error' in latex_out:
217             logger.warning("configure: TeX engine needs posix-style paths in latex files")
218             windows_style_tex_paths = 'false'
219         else:
220             logger.info("configure: TeX engine needs windows-style paths in latex files")
221             windows_style_tex_paths = 'true'
222         removeFiles([tmpfname, logname, 'texput.log'])
223     return windows_style_tex_paths
224
225
226 ## Searching some useful programs
227 def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
228     '''
229         This function will search a program in $PATH plus given path
230         If found, return directory and program name (not the options).
231
232         description: description of the program
233
234         progs: check programs, for each prog, the first word is used
235             for searching but the whole string is used to replace
236             %% for a rc_entry. So, feel free to add '$$i' etc for programs.
237
238         path: additional paths (will be prepended to the program name)
239
240         rc_entry: entry to outfile, can be
241             1. emtpy: no rc entry will be added
242             2. one pattern: %% will be replaced by the first found program,
243                 or '' if no program is found.
244             3. several patterns for each prog and not_found. This is used
245                 when different programs have different usages. If you do not
246                 want not_found entry to be added to the RC file, you can specify
247                 an entry for each prog and use '' for the not_found entry.
248
249         not_found: the value that should be used instead of '' if no program
250             was found
251
252     '''
253     # one rc entry for each progs plus not_found entry
254     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
255         logger.error("rc entry should have one item or item for each prog and not_found.")
256         sys.exit(2)
257     logger.info('checking for ' + description + '...')
258     ## print '(' + ','.join(progs) + ')',
259     additional_path = path
260     path = os.environ["PATH"].split(os.pathsep) + additional_path
261     extlist = ['']
262     if "PATHEXT" in os.environ:
263         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
264     global java, perl
265     for idx in range(len(progs)):
266         # ac_prog may have options, ac_word is the command name
267         ac_prog = progs[idx]
268         ac_word = ac_prog.split(' ')[0]
269         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
270             continue
271         if ac_word.endswith('.pl') and perl == '':
272             continue
273         msg = '+checking for "' + ac_word + '"... '
274         for ac_dir in path:
275             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
276                 continue
277             for ext in extlist:
278                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
279                     logger.info(msg + ' yes')
280                     # deal with java and perl
281                     if ac_word.endswith('.class'):
282                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
283                     elif ac_word.endswith('.jar'):
284                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
285                     elif ac_word.endswith('.pl'):
286                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
287                     elif ac_dir in additional_path:
288                         ac_prog = ac_prog.replace(ac_word, r'\"%s\"' % (os.path.join(ac_dir, ac_word)))
289                     # write rc entries for this command
290                     if len(rc_entry) == 1:
291                         addToRC(rc_entry[0].replace('%%', ac_prog))
292                     elif len(rc_entry) > 1:
293                         addToRC(rc_entry[idx].replace('%%', ac_prog))
294                     return [ac_dir, ac_word]
295         # if not successful
296         logger.info(msg + ' no')
297     # write rc entries for 'not found'
298     if len(rc_entry) > 0:  # the last one.
299         addToRC(rc_entry[-1].replace('%%', not_found))
300     return ['', not_found]
301
302
303 def checkProgAlternatives(description, progs, rc_entry = [], alt_rc_entry = [], path = [], not_found = ''):
304     '''
305         The same as checkProg, but additionally, all found programs will be added
306         as alt_rc_entries
307     '''
308     # one rc entry for each progs plus not_found entry
309     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
310         logger.error("rc entry should have one item or item for each prog and not_found.")
311         sys.exit(2)
312     logger.info('checking for ' + description + '...')
313     ## print '(' + ','.join(progs) + ')',
314     additional_path = path
315     path = os.environ["PATH"].split(os.pathsep) + additional_path
316     extlist = ['']
317     if "PATHEXT" in os.environ:
318         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
319     found_prime = False
320     real_ac_dir = ''
321     real_ac_word = not_found
322     global java, perl
323     for idx in range(len(progs)):
324         # ac_prog may have options, ac_word is the command name
325         ac_prog = progs[idx]
326         ac_word = ac_prog.split(' ')[0]
327         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
328             continue
329         if ac_word.endswith('.pl') and perl == '':
330             continue
331         msg = '+checking for "' + ac_word + '"... '
332         found_alt = False
333         for ac_dir in path:
334             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
335                 continue
336             for ext in extlist:
337                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
338                     logger.info(msg + ' yes')
339                     pr = re.compile(r'(\\\S+)(.*)$')
340                     m = None
341                     # deal with java and perl
342                     if ac_word.endswith('.class'):
343                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
344                     elif ac_word.endswith('.jar'):
345                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
346                     elif ac_word.endswith('.pl'):
347                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
348                     elif ac_dir in additional_path:
349                         ac_prog = ac_prog.replace(ac_word, r'\"%s\"' % (os.path.join(ac_dir, ac_word)))
350                     # write rc entries for this command
351                     if found_prime == False:
352                         if len(rc_entry) == 1:
353                             addToRC(rc_entry[0].replace('%%', ac_prog))
354                         elif len(rc_entry) > 1:
355                             addToRC(rc_entry[idx].replace('%%', ac_prog))
356                         real_ac_dir = ac_dir
357                         real_ac_word = ac_word
358                         found_prime = True
359                     if len(alt_rc_entry) == 1:
360                         alt_rc = alt_rc_entry[0]
361                         if alt_rc == "":
362                             # if no explicit alt_rc is given, construct one
363                             m = pr.match(rc_entry[0])
364                             if m:
365                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
366                         addToRC(alt_rc.replace('%%', ac_prog))
367                     elif len(alt_rc_entry) > 1:
368                         alt_rc = alt_rc_entry[idx]
369                         if alt_rc == "":
370                             # if no explicit alt_rc is given, construct one
371                             m = pr.match(rc_entry[idx])
372                             if m:
373                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
374                         addToRC(alt_rc.replace('%%', ac_prog))
375                     found_alt = True
376                     break
377             if found_alt:
378                 break
379         if found_alt == False:
380             # if not successful
381             logger.info(msg + ' no')
382     if found_prime:
383         return [real_ac_dir, real_ac_word]
384     # write rc entries for 'not found'
385     if len(rc_entry) > 0:  # the last one.
386         addToRC(rc_entry[-1].replace('%%', not_found))
387     return ['', not_found]
388
389
390 def addAlternatives(rcs, alt_type):
391     '''
392         Returns a \\prog_alternatives string to be used as an alternative
393         rc entry.  alt_type can be a string or a list of strings.
394     '''
395     r = re.compile(r'\\Format (\S+).*$')
396     m = None
397     alt = ''
398     alt_token = '\\%s_alternatives '
399     if isinstance(alt_type, str):
400         alt_tokens = [alt_token % alt_type]
401     else:
402         alt_tokens = [alt_token % s for s in alt_type]
403     for idxx in range(len(rcs)):
404         if len(rcs) == 1:
405             m = r.match(rcs[0])
406             if m:
407                 alt = '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
408         elif len(rcs) > 1:
409             m = r.match(rcs[idxx])
410             if m:
411                 if idxx > 0:
412                     alt += '\n'
413                 alt += '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
414     return alt
415
416
417 def listAlternatives(progs, alt_type, rc_entry = []):
418     '''
419         Returns a list of \\prog_alternatives strings to be used as alternative
420         rc entries.  alt_type can be a string or a list of strings.
421     '''
422     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
423         logger.error("rc entry should have one item or item for each prog and not_found.")
424         sys.exit(2)
425     alt_rc_entry = []
426     for idx in range(len(progs)):
427         if len(rc_entry) == 1:
428             rcs = rc_entry[0].split('\n')
429             alt = addAlternatives(rcs, alt_type)
430             alt_rc_entry.insert(0, alt)
431         elif len(rc_entry) > 1:
432             rcs = rc_entry[idx].split('\n')
433             alt = addAlternatives(rcs, alt_type)
434             alt_rc_entry.insert(idx, alt)
435     return alt_rc_entry
436
437
438 def checkViewer(description, progs, rc_entry = [], path = []):
439     ''' The same as checkProgAlternatives, but for viewers '''
440     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
441     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
442
443
444 def checkEditor(description, progs, rc_entry = [], path = []):
445     ''' The same as checkProgAlternatives, but for editors '''
446     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
447     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
448
449
450 def checkViewerNoRC(description, progs, rc_entry = [], path = []):
451     ''' The same as checkViewer, but do not add rc entry '''
452     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
453     rc_entry = []
454     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
455
456
457 def checkEditorNoRC(description, progs, rc_entry = [], path = []):
458     ''' The same as checkViewer, but do not add rc entry '''
459     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
460     rc_entry = []
461     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
462
463
464 def checkViewerEditor(description, progs, rc_entry = [], path = []):
465     ''' The same as checkProgAlternatives, but for viewers and editors '''
466     alt_rc_entry = listAlternatives(progs, ['editor', 'viewer'], rc_entry)
467     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
468
469
470 def checkDTLtools():
471     ''' Check whether DTL tools are available (Windows only) '''
472     # Find programs! Returned path is not used now
473     if ((os.name == 'nt' or sys.platform == 'cygwin') and
474             checkProg('DVI to DTL converter', ['dv2dt']) != ['', ''] and
475             checkProg('DTL to DVI converter', ['dt2dv']) != ['', '']):
476         dtl_tools = True
477     else:
478         dtl_tools = False
479     return dtl_tools
480
481 def checkInkscape():
482     ''' Check whether Inkscape is available and return the full path (Windows only) '''
483     if os.name != 'nt':
484         return 'inkscape'
485     if sys.version_info[0] < 3:
486         import _winreg as winreg
487     else:
488         import winreg
489     aReg = winreg.ConnectRegistry(None, winreg.HKEY_CLASSES_ROOT)
490     try:
491         aKey = winreg.OpenKey(aReg, r"inkscape.svg\DefaultIcon")
492         val = winreg.QueryValueEx(aKey, "")
493         return str(val[0]).split('"')[1].replace('.exe', '')
494     except EnvironmentError:
495         try:
496             aKey = winreg.OpenKey(aReg, r"Applications\inkscape.exe\shell\open\command")
497             val = winreg.QueryValueEx(aKey, "")
498             return str(val[0]).split('"')[1].replace('.exe', '')
499         except EnvironmentError:
500             return 'inkscape'
501
502 def checkLatex(dtl_tools):
503     ''' Check latex, return lyx_check_config '''
504     path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'latex2e $$i'])
505     path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
506     #-----------------------------------------------------------------
507     path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
508     if PLATEX != '':
509         # check if PLATEX is pLaTeX2e
510         writeToFile('chklatex.ltx', r'\nonstopmode\makeatletter\@@end')
511         # run platex on chklatex.ltx and check result
512         if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
513             # We have the Japanese pLaTeX2e
514             addToRC(r'\converter platex   dvi       "%s"   "latex=platex"' % PLATEX)
515         else:
516             PLATEX = ''
517             removeFiles(['chklatex.ltx', 'chklatex.log'])
518     #-----------------------------------------------------------------
519     # use LATEX to convert from latex to dvi if PPLATEX is not available
520     if PPLATEX == '':
521         PPLATEX = LATEX
522     if dtl_tools:
523         # Windows only: DraftDVI
524         addToRC(r'''\converter latex      dvi2       "%s"       "latex"
525 \converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o"  ""''' % PPLATEX)
526     else:
527         addToRC(r'\converter latex      dvi        "%s" "latex"' % PPLATEX)
528     # no latex
529     if LATEX != '':
530         # Check if latex is usable
531         writeToFile('chklatex.ltx', r'''
532 \nonstopmode
533 \ifx\undefined\documentclass\else
534   \message{ThisIsLaTeX2e}
535 \fi
536 \makeatletter
537 \@@end
538 ''')
539         # run latex on chklatex.ltx and check result
540         if cmdOutput(LATEX + ' chklatex.ltx').find('ThisIsLaTeX2e') != -1:
541             # valid latex2e
542             return LATEX
543         else:
544             logger.warning("Latex not usable (not LaTeX2e) ")
545         # remove temporary files
546         removeFiles(['chklatex.ltx', 'chklatex.log'])
547     return ''
548
549
550 def checkLuatex():
551     ''' Check if luatex is there '''
552     path, LUATEX = checkProg('LuaTeX', ['lualatex $$i'])
553     path, DVILUATEX = checkProg('LuaTeX (DVI)', ['dvilualatex $$i'])
554     if LUATEX != '':
555         addToRC(r'\converter luatex      pdf5       "%s"        "latex=lualatex"' % LUATEX)
556     if DVILUATEX != '':
557         addToRC(r'\converter dviluatex   dvi3        "%s"       "latex=dvilualatex"' % DVILUATEX)
558
559
560 def checkModule(module):
561     ''' Check for a Python module, return the status '''
562     msg = 'checking for "' + module + ' module"... '
563     try:
564       __import__(module)
565       logger.info(msg + ' yes')
566       return True
567     except ImportError:
568       logger.info(msg + ' no')
569       return False
570
571
572 def checkFormatEntries(dtl_tools):
573     ''' Check all formats (\Format entries) '''
574     checkViewerEditor('a Tgif viewer and editor', ['tgif'],
575         rc_entry = [r'\Format tgif      "obj, tgo" Tgif                 "" "%%" "%%"    "vector"        "application/x-tgif"'])
576     #
577     checkViewerEditor('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
578         rc_entry = [r'\Format fig        fig     FIG                    "" "%%" "%%"    "vector"        "application/x-xfig"'])
579     #
580     checkViewerEditor('a Dia viewer and editor', ['dia'],
581         rc_entry = [r'\Format dia        dia     DIA                    "" "%%" "%%"    "vector,zipped=native", "application/x-dia-diagram"'])
582     #
583     checkViewerEditor('an OpenDocument drawing viewer and editor', ['libreoffice', 'lodraw', 'ooffice', 'oodraw', 'soffice'],
584         rc_entry = [r'\Format odg        "odg, sxd" "OpenDocument drawing"   "" "%%"    "%%"    "vector,zipped=native"  "application/vnd.oasis.opendocument.graphics"'])
585     #
586     checkViewerEditor('a Grace viewer and editor', ['xmgrace'],
587         rc_entry = [r'\Format agr        agr     Grace                  "" "%%" "%%"    "vector"        ""'])
588     #
589     checkViewerEditor('a FEN viewer and editor', ['xboard -lpf $$i -mode EditPosition'],
590         rc_entry = [r'\Format fen        fen     FEN                    "" "%%" "%%"    ""      ""'])
591     #
592     checkViewerEditor('a SVG viewer and editor', [inkscape_name],
593         rc_entry = [r'''\Format svg        "svg" SVG                "" "%%" "%%"        "vector"        "image/svg+xml"
594 \Format svgz       "svgz" "SVG (compressed)" "" "%%" "%%"       "vector,zipped=native"  ""'''],
595         path = [inkscape_path])
596     #
597     imageformats = r'''\Format bmp        bmp     BMP                    "" "%s"        "%s"    ""      "image/x-bmp"
598 \Format gif        gif     GIF                    "" "%s"       "%s"    ""      "image/gif"
599 \Format jpg       "jpg, jpeg" JPEG                "" "%s"       "%s"    ""      "image/jpeg"
600 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""      "image/x-portable-bitmap"
601 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""      "image/x-portable-graymap"
602 \Format png        png     PNG                    "" "%s"       "%s"    ""      "image/x-png"
603 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""      "image/x-portable-pixmap"
604 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""      "image/tiff"
605 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""      "image/x-xbitmap"
606 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""      "image/x-xpixmap"'''
607     path, iv = checkViewerNoRC('a raster image viewer', ['xv', 'kview', 'gimp-remote', 'gimp'], rc_entry = [imageformats])
608     path, ie = checkEditorNoRC('a raster image editor', ['gimp-remote', 'gimp'], rc_entry = [imageformats])
609     addToRC(imageformats % \
610         (iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie) )
611     #
612     checkViewerEditor('a text editor', ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
613         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
614         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""    "%%"    ""      ""
615 \Format docbook    sgml    DocBook                B  "" "%%"    "document,menu=export"  ""
616 \Format docbook-xml xml   "DocBook (XML)"         "" "" "%%"    "document,menu=export"  "application/docbook+xml"
617 \Format dot        dot    "Graphviz Dot"          "" "" "%%"    "vector"        "text/vnd.graphviz"
618 \Format dviluatex  tex    "LaTeX (dviluatex)"     "" "" "%%"    "document,menu=export"  ""
619 \Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document,menu=export"  ""
620 \Format literate   nw      NoWeb                  N  "" "%%"    "document,menu=export"  ""
621 \Format sweave     Rnw    "Sweave"                S  "" "%%"    "document,menu=export"  ""
622 \Format r          R      "R/S code"              "" "" "%%"    "document,menu=export"  ""
623 \Format knitr      Rnw    "Rnw (knitr)"           "" "" "%%"    "document,menu=export"  ""
624 \Format lilypond   ly     "LilyPond music"        "" "" "%%"    "vector"        "text/x-lilypond"
625 \Format lilypond-book    lytex "LilyPond book (LaTeX)"   "" ""  "%%"    "document,menu=export"  ""
626 \Format latex      tex    "LaTeX (plain)"         L  "" "%%"    "document,menu=export"  "text/x-tex"
627 \Format luatex     tex    "LaTeX (LuaTeX)"        "" "" "%%"    "document,menu=export"  ""
628 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" "" "%%"    "document,menu=export"  ""
629 \Format xetex      tex    "LaTeX (XeTeX)"         "" "" "%%"    "document,menu=export"  ""
630 \Format latexclipboard tex "LaTeX (clipboard)"    "" "" "%%"    ""      ""
631 \Format text       txt    "Plain text"            a  "" "%%"    "document,menu=export"  "text/plain"
632 \Format text2      txt    "Plain text (pstotext)" "" "" "%%"    "document"      ""
633 \Format text3      txt    "Plain text (ps2ascii)" "" "" "%%"    "document"      ""
634 \Format text4      txt    "Plain text (catdvi)"   "" "" "%%"    "document"      ""
635 \Format textparagraph txt "Plain Text, Join Lines" "" ""        "%%"    "document"      ""
636 \Format beamer.info pdf.info   "Info (Beamer)"         "" ""   "%%"    "document,menu=export"   ""''' ])
637    #Spreadsheets using ssconvert from gnumeric
638     checkViewer('gnumeric spreadsheet software', ['gnumeric'],
639       rc_entry = [r'''\Format gnumeric gnumeric "Gnumeric spreadsheet" "" ""    "%%"   "document"       "application/x-gnumeric"
640 \Format excel      xls    "Excel spreadsheet"      "" "" "%%"    "document"     "application/vnd.ms-excel"
641 \Format excel2     xlsx   "MS Excel Office Open XML" "" "" "%%" "document"      "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
642 \Format html_table html   "HTML Table (for spreadsheets)"      "" "" "%%"    "document" "text/html"
643 \Format oocalc     ods    "OpenDocument spreadsheet" "" "" "%%"    "document"   "application/vnd.oasis.opendocument.spreadsheet"'''])
644  #
645     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
646         rc_entry = [r'\Format xhtml      xhtml   "LyXHTML"              y "%%" ""    "document,menu=export"     "application/xhtml+xml"'])
647  #
648     checkEditor('a BibTeX editor', ['jabref', 'JabRef', \
649         'pybliographic', 'bibdesk', 'gbib', 'kbib', \
650         'kbibtex', 'sixpack', 'bibedit', 'tkbibtex' \
651         'xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
652         'jedit', 'TeXnicCenter', 'WinEdt', 'WinShell', 'PSPad', \
653         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
654         rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""    "%%"    ""      "text/x-bibtex"''' ])
655     #
656     #checkProg('a Postscript interpreter', ['gs'],
657     #  rc_entry = [ r'\ps_command "%%"' ])
658     checkViewer('a Postscript previewer', ['kghostview', 'okular', 'qpdfview --unique', 'evince', 'gv', 'ghostview -swap', 'gsview64', 'gsview32'],
659         rc_entry = [r'''\Format eps        eps     EPS                    "" "%%"       ""      "vector"        "image/x-eps"
660 \Format eps2       eps    "EPS (uncropped)"       "" "%%"       ""      "vector"        ""
661 \Format eps3       eps    "EPS (cropped)"         "" "%%"       ""      "document"      ""
662 \Format ps         ps      Postscript             t  "%%"       ""      "document,vector,menu=export"   "application/postscript"'''])
663     # for xdg-open issues look here: http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg151818.html
664     # the MIME type is set for pdf6, because that one needs to be autodetectable by libmime
665     checkViewer('a PDF previewer', ['pdfview', 'kpdf', 'okular', 'qpdfview --unique', 'evince', 'kghostview', 'xpdf', 'SumatraPDF', 'acrobat', 'acroread', 'mupdf', \
666                     'gv', 'ghostview', 'AcroRd32', 'gsview64', 'gsview32'],
667         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"       ""      "document,vector,menu=export"   ""
668 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"       ""      "document,vector,menu=export"   ""
669 \Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"       ""      "document,vector,menu=export"   ""
670 \Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"       ""      "document,vector,menu=export"   ""
671 \Format pdf5       pdf    "PDF (LuaTeX)"          u  "%%"       ""      "document,vector,menu=export"   ""
672 \Format pdf6       pdf    "PDF (graphics)"        "" "%%"       ""      "vector"        "application/pdf"
673 \Format pdf7       pdf    "PDF (cropped)"         "" "%%"       ""      "document,vector"       ""
674 \Format pdf8       pdf    "PDF (lower resolution)"         "" "%%"      ""      "document,vector"       ""'''])
675     #
676     checkViewer('a DVI previewer', ['xdvi', 'kdvi', 'okular', 'yap', 'dviout -Set=!m'],
677         rc_entry = [r'''\Format dvi        dvi     DVI                    D  "%%"       ""      "document,vector,menu=export"   "application/x-dvi"
678 \Format dvi3       dvi     "DVI (LuaTeX)"          V  "%%"      ""      "document,vector,menu=export"   ""'''])
679     if dtl_tools:
680         # Windows only: DraftDVI
681         addToRC(r'\Format dvi2       dvi     DraftDVI               ""  ""      ""      "vector"        ""')
682     #
683     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
684         rc_entry = [r'\Format html      "html, htm" HTML                H  "%%" ""      "document,menu=export"  "text/html"'])
685     #
686     checkViewerEditor('Noteedit', ['noteedit'],
687         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%" "%%"    "vector"        ""'])
688     #
689     checkViewerEditor('an OpenDocument viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
690         rc_entry = [r'''\Format odt        odt     "OpenDocument (tex4ht)"  "" "%%"     "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
691 \Format odt2       odt    "OpenDocument (eLyXer)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
692 \Format odt3       odt    "OpenDocument (Pandoc)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
693 \Format sxw        sxw    "OpenOffice.Org (sxw)"  "" "" ""      "document,vector"       "application/vnd.sun.xml.writer"'''])
694     #
695     checkViewerEditor('a Rich Text and Word viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
696         rc_entry = [r'''\Format rtf        rtf    "Rich Text Format"      "" "%%"       "%%"    "document,vector,menu=export"   "application/rtf"
697 \Format word       doc    "MS Word"               W  "%%"       "%%"    "document,vector,menu=export"   "application/msword"
698 \Format word2      docx    "MS Word Office Open XML"               O  "%%"      "%%"    "document,vector,menu=export"   "application/vnd.openxmlformats-officedocument.wordprocessingml.document"'''])
699     #
700     # entries that do not need checkProg
701     addToRC(r'''\Format csv        csv    "Table (CSV)"           "" "" ""      "document"      "text/csv"
702 \Format fax        ""      Fax                    "" "" ""      "document"      ""
703 \Format lyx        lyx     LyX                    "" "" ""      ""      "application/x-lyx"
704 \Format lyx13x     13.lyx "LyX 1.3.x"             "" "" ""      "document"      ""
705 \Format lyx14x     14.lyx "LyX 1.4.x"             "" "" ""      "document"      ""
706 \Format lyx15x     15.lyx "LyX 1.5.x"             "" "" ""      "document"      ""
707 \Format lyx16x     16.lyx "LyX 1.6.x"             "" "" ""      "document"      ""
708 \Format lyx20x     20.lyx "LyX 2.0.x"             "" "" ""      "document"      ""
709 \Format lyx21x     21.lyx "LyX 2.1.x"             "" "" ""      "document"      ""
710 \Format lyx22x     22.lyx "LyX 2.2.x"             "" "" ""      "document,menu=export"  ""
711 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" "" ""      "document"      ""
712 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""        ""      "document"      ""
713 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""        ""      "document"      ""
714 \Format lyxpreview lyxpreview "LyX Preview"       "" "" ""      ""      ""
715 \Format pdftex     "pdftex_t, pdf_tex" PDFTEX                "" ""      ""      ""      ""
716 \Format program    ""      Program                "" "" ""      ""      ""
717 \Format pstex      "pstex_t, ps_tex" PSTEX                  "" ""       ""      ""      ""
718 \Format wmf        wmf    "Windows Metafile"      "" "" ""      "vector"        "image/x-wmf"
719 \Format emf        emf    "Enhanced Metafile"     "" "" ""      "vector"        "image/x-emf"
720 \Format wordhtml  "html, htm" "HTML (MS Word)"    "" "" ""      "document"      ""
721 ''')
722
723
724 def checkConverterEntries():
725     ''' Check all converters (\converter entries) '''
726     checkProg('the pdflatex program', ['pdflatex $$i'],
727         rc_entry = [ r'\converter pdflatex   pdf2       "%%"    "latex=pdflatex"' ])
728
729     checkProg('XeTeX', ['xelatex $$i'],
730         rc_entry = [ r'\converter xetex      pdf4       "%%"    "latex=xelatex"' ])
731
732     checkLuatex()
733
734     # Look for tex2lyx in this order (see bugs #3308 and #6986):
735     #   1)  If we're building LyX with autotools then tex2lyx is found
736     #       in the subdirectory tex2lyx with respect to the binary dir.
737     #   2)  If we're building LyX with cmake then tex2lyx is found
738     #       in the binary dir.
739     #   3)  If LyX was configured with a version suffix then tex2lyx
740     #       will also have this version suffix.
741     #   4)  Otherwise always use tex2lyx.
742     in_binary_subdir = os.path.join(lyx_binary_dir, 'tex2lyx', 'tex2lyx')
743     in_binary_subdir = os.path.abspath(in_binary_subdir).replace('\\', '/')
744
745     in_binary_dir = os.path.join(lyx_binary_dir, 'tex2lyx')
746     in_binary_dir = os.path.abspath(in_binary_dir).replace('\\', '/')
747
748     path, t2l = checkProg('a LaTeX/Noweb -> LyX converter', [in_binary_subdir, in_binary_subdir + version_suffix, in_binary_dir, in_binary_dir + version_suffix, 'tex2lyx' + version_suffix, 'tex2lyx'],
749         rc_entry = [r'''\converter latex      lyx        "%% -f $$i $$o"        ""
750 \converter latexclipboard lyx        "%% -fixedenc utf8 -f $$i $$o"     ""
751 \converter literate   lyx        "%% -n -m noweb -f $$i $$o"    ""
752 \converter sweave   lyx        "%% -n -m sweave -f $$i $$o"     "needauth"
753 \converter knitr   lyx        "%% -n -m knitr -f $$i $$o"       "needauth"'''], not_found = 'tex2lyx')
754     if path == '':
755         logger.warning("Failed to find tex2lyx on your system.")
756
757     #
758     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
759         rc_entry = [r'''\converter literate   latex      "%%"   ""
760 \converter literate   pdflatex      "%%"        ""
761 \converter literate   xetex         "%%"        ""
762 \converter literate   luatex        "%%"        ""
763 \converter literate   dviluatex     "%%"        ""'''])
764     #
765     checkProg('a Sweave -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxsweave.R $$p$$i $$p$$o $$e $$r'],
766         rc_entry = [r'''\converter sweave   latex      "%%"     "needauth"
767 \converter sweave   pdflatex   "%%"     "needauth"
768 \converter sweave   xetex      "%%"     "needauth"
769 \converter sweave   luatex     "%%"     "needauth"
770 \converter sweave   dviluatex  "%%"     "needauth"'''])
771     #
772     checkProg('a knitr -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r'],
773         rc_entry = [r'''\converter knitr   latex      "%%"      "needauth"
774 \converter knitr   pdflatex   "%%"      "needauth"
775 \converter knitr   xetex      "%%"      "needauth"
776 \converter knitr   luatex     "%%"      "needauth"
777 \converter knitr   dviluatex  "%%"      "needauth"'''])
778     #
779     checkProg('a Sweave -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxstangle.R $$i $$e $$r'], 
780         rc_entry = [ r'\converter sweave      r      "%%"    "needauth"' ])
781     #
782     checkProg('a knitr -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r tangle'],
783         rc_entry = [ r'\converter knitr      r      "%%"    "needauth"' ])
784     #
785     checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex',
786         'htmltolatex -input $$i -output $$o', 'htmltolatex.jar -input $$i -output $$o'],
787         rc_entry = [ r'\converter html       latex      "%%"    ""', \
788                      r'\converter html       latex      "python -tt $$s/scripts/html2latexwrapper.py %% $$i $$o"        ""', \
789                      r'\converter html       latex      "%%"    ""', \
790                      r'\converter html       latex      "%%"    ""', '' ])
791     #
792     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
793         rc_entry = [ r'\converter word       latex      "%%"    ""' ])
794
795     # eLyXer: search as an executable (elyxer.py, elyxer)
796     path, elyxer = checkProg('a LyX -> HTML converter',
797         ['elyxer.py --nofooter --directory $$r $$i $$o', 'elyxer --nofooter --directory $$r $$i $$o'],
798         rc_entry = [ r'\converter lyx      html       "%%"      ""' ])
799     path, elyxer = checkProg('a LyX -> HTML (MS Word) converter',
800         ['elyxer.py --nofooter --html --directory $$r $$i $$o', 'elyxer --nofooter --html --directory $$r $$i $$o'],
801         rc_entry = [ r'\converter lyx      wordhtml       "%%"  ""' ])
802     path, elyxer = checkProg('a LyX -> OpenDocument (eLyXer) converter',
803         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
804         rc_entry = [ r'\converter lyx      odt2       "%%"      ""' ])
805     path, elyxer = checkProg('a LyX -> Word converter',
806         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
807         rc_entry = [ r'\converter lyx      word      "%%"       ""' ])
808     if elyxer.find('elyxer') >= 0:
809       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
810       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
811     else:
812       # search for HTML converters other than eLyXer
813       # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
814       path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i', \
815           '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o', \
816           'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
817           rc_entry = [ r'\converter latex      html       "%%"  "needaux"' ])
818       if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
819         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
820       else:
821         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
822       path, htmlconv = checkProg('a LaTeX -> HTML (MS Word) converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'", \
823           "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'", \
824           "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
825           rc_entry = [ r'\converter latex      wordhtml   "%%"  "needaux"' ])
826       if htmlconv.find('htlatex') >= 0:
827         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
828       else:
829         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
830
831
832     # Check if LyXBlogger is installed
833     lyxblogger_found = checkModule('lyxblogger')
834     if lyxblogger_found:
835       addToRC(r'\Format    blog       blog       "LyXBlogger"           "" "" ""  "document"  ""')
836       addToRC(r'\converter xhtml      blog       "python -m lyxblogger $$i"       ""')
837
838     #
839     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
840         rc_entry = [ r'\converter sxw        latex      "%%"    ""' ])
841     #
842     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
843         rc_entry = [ r'\converter odt        latex      "%%"    ""' ])
844     #
845     checkProg('an Open Document (Pandoc) -> LaTeX converter', ['pandoc -s -f odt -o $$o -t latex $$i'],
846         rc_entry = [ r'\converter odt3        latex      "%%"   ""' ])
847     #
848     checkProg('a MS Word Office Open XML converter -> LaTeX', ['pandoc -s -f docx -o $$o -t latex $$i'],
849         rc_entry = [ r'\converter word2      latex      "%%"    ""' ])
850     # Only define a converter to pdf6, otherwise the odt format could be
851     # used as an intermediate step for export to pdf, which is not wanted.
852     checkProg('an OpenDocument -> PDF converter', ['unoconv -f pdf --stdout $$i > $$o'],
853         rc_entry = [ r'\converter odt        pdf6       "%%"    ""' ])
854     # According to http://www.tug.org/applications/tex4ht/mn-commands.html
855     # the command mk4ht oolatex $$i has to be used as default,
856     # but as this would require to have Perl installed, in MiKTeX oolatex is
857     # directly available as application.
858     # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
859     # Both SuSE and debian have oolatex
860     checkProg('a LaTeX -> Open Document (tex4ht) converter', [
861         'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
862         'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
863         rc_entry = [ r'\converter latex      odt        "%%"    "needaux"' ])
864     # On windows it is called latex2rt.exe
865     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
866         rc_entry = [ r'\converter latex      rtf        "%%"    "needaux"' ])
867     #
868     checkProg('a LaTeX -> Open Document (Pandoc) converter', ['pandoc -s -f latex -o $$o -t odt $$i'],
869         rc_entry = [ r'\converter latex      odt3        "%%"   ""' ])
870     #
871     checkProg('a LaTeX -> MS Word Office Open XML converter', ['pandoc -s -f latex -o $$o -t docx $$i'],
872         rc_entry = [ r'\converter latex      word2       "%%"   ""' ])
873     #
874     checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
875         rc_entry = [ r'\converter rtf      html        "%%"     ""' ])
876     # Do not define a converter to pdf6, ps is a pure export format 
877     checkProg('a PS to PDF converter', ['ps2pdf $$i $$o'],
878         rc_entry = [ r'\converter ps         pdf        "%%"    ""' ])
879     #
880     checkProg('a PS to TXT converter', ['pstotext $$i > $$o'],
881         rc_entry = [ r'\converter ps         text2      "%%"    ""' ])
882     #
883     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
884         rc_entry = [ r'\converter ps         text3      "%%"    ""' ])
885     # Need to call ps2eps in a pipe, otherwise it would name the output file
886     # depending on the extension of the input file. We do not know the input
887     # file extension in general, so the resultfile= flag would not help.
888     # Since ps2eps crops the image, we do not use it to convert from ps->eps.
889     # This would create additional paths in the converter graph with unwanted
890     # side effects (e.g. ps->pdf via ps2pdf would create a different result
891     # than ps->eps->pdf via ps2eps and epstopdf).
892     checkProg('a PS to EPS converter', ['ps2eps -- < $$i > $$o'],
893         rc_entry = [ r'\converter eps2       eps      "%%"      ""' ])
894     #
895     checkProg('a PDF to PS converter', ['pdftops $$i $$o', 'pdf2ps $$i $$o'],
896         rc_entry = [ r'\converter pdf         ps        "%%"    ""' ])
897     # Only define a converter from pdf6 for graphics
898     checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
899         rc_entry = [ r'\converter pdf6        eps        "%%"   ""' ])
900     # Create one converter for a PDF produced using TeX fonts and one for a
901     # PDF produced using non-TeX fonts. This does not produce non-unique
902     # conversion paths, since a given document either uses TeX fonts or not.
903     checkProg('a PDF cropping tool', ['pdfcrop $$i $$o'],
904         rc_entry = [ r'''\converter pdf2   pdf7       "%%"      ""
905 \converter pdf4   pdf7       "%%"       ""''' ])
906     # Create one converter for a PDF produced using TeX fonts and one for a
907     # PDF produced using non-TeX fonts. This does not produce non-unique
908     # conversion paths, since a given document either uses TeX fonts or not.
909     checkProg('Ghostscript', ["gswin32c", "gswin64c", "gs"],
910         rc_entry = [ r'''\converter pdf2   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"     ""
911 \converter pdf4   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"      ""''' ])
912     #
913     checkProg('a Beamer info extractor', ['makebeamerinfo -p $$i'],
914         rc_entry = [ r'\converter pdf2         beamer.info        "%%"  ""' ])
915     #
916     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
917         rc_entry = [ r'\converter dvi        text4      "%%"    ""' ])
918     #
919     checkProg('a DVI to PS converter', ['dvips -o $$o $$i'],
920         rc_entry = [ r'\converter dvi        ps         "%%"    ""' ])
921     #
922     checkProg('a DVI to cropped EPS converter', ['dvips -E -o $$o $$i'],
923         rc_entry = [ r'\converter dvi        eps3         "%%"  ""' ])
924     #
925     checkProg('a DVI to PDF converter', ['dvipdfmx -o $$o $$i', 'dvipdfm -o $$o $$i'],
926         rc_entry = [ r'\converter dvi        pdf3       "%%"    ""' ])
927     #
928     checkProg('a fax program', ['kdeprintfax $$i', 'ksendfax $$i', 'hylapex $$i'],
929         rc_entry = [ r'\converter ps         fax        "%%"    ""'])
930     #
931     path, fig2dev = checkProg('a FIG -> Image converter', ['fig2dev'])
932     if fig2dev == "fig2dev":
933         addToRC(r'''\converter fig        eps        "fig2dev -L eps $$i $$o"   ""
934 \converter fig        ppm        "fig2dev -L ppm $$i $$o"       ""
935 \converter fig        svg        "fig2dev -L svg $$i $$o"       ""
936 \converter fig        png        "fig2dev -L png $$i $$o"       ""
937 \converter svg        pdftex     "python -tt $$s/scripts/svg2pdftex.py $$i $$o" ""
938 \converter svg        pstex      "python -tt $$s/scripts/svg2pstex.py $$i $$o" ""
939 \converter fig        pdftex     "python -tt $$s/scripts/fig2pdftex.py $$i $$o" ""
940 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o"  ""''')
941     #
942     checkProg('a TIFF -> PS converter', ['tiff2ps $$i > $$o'],
943         rc_entry = [ r'\converter tiff       eps        "%%"    ""'])
944     #
945     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
946         rc_entry = [
947             r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"    ""
948 \converter tgif       png        "tgif -print -color -png -o $$d $$i"   ""
949 \converter tgif       pdf6       "tgif -print -color -pdf -stdout $$i > $$o"    ""'''])
950     #
951     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
952         rc_entry = [ r'\converter wmf        eps        "%%"    ""'])
953     #
954     checkProg('an EMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
955         rc_entry = [ r'\converter emf        eps        "%%"    ""'])
956     #
957     checkProg('a WMF -> PDF converter', [inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
958         rc_entry = [ r'\converter wmf        pdf6        "%%"   ""'])
959     #
960     checkProg('an EMF -> PDF converter', [inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
961         rc_entry = [ r'\converter emf        pdf6        "%%"   ""'])
962     # Only define a converter to pdf6 for graphics
963     checkProg('an EPS -> PDF converter', ['epstopdf'],
964         rc_entry = [ r'\converter eps        pdf6       "epstopdf --outfile=$$o $$i"    ""'])
965     #
966     checkProg('an EPS -> PNG converter', ['magick $$i $$o', 'convert $$i $$o'],
967         rc_entry = [ r'\converter eps        png        "%%"    ""'])
968     #
969     # no agr -> pdf6 converter, since the pdf library used by gracebat is not
970     # free software and therefore not compiled in in many installations.
971     # Fortunately, this is not a big problem, because we will use epstopdf to
972     # convert from agr to pdf6 via eps without loss of quality.
973     checkProg('a Grace -> Image converter', ['gracebat'],
974         rc_entry = [
975             r'''\converter agr        eps        "gracebat -hardcopy -printfile $$o -hdevice EPS $$i 2>/dev/null"       ""
976 \converter agr        png        "gracebat -hardcopy -printfile $$o -hdevice PNG $$i 2>/dev/null"       ""
977 \converter agr        jpg        "gracebat -hardcopy -printfile $$o -hdevice JPEG $$i 2>/dev/null"      ""
978 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"       ""'''])
979     #
980     checkProg('a Dot -> Image converter', ['dot'],
981         rc_entry = [
982             r'''\converter dot        eps        "dot -Teps $$i -o $$o" ""
983 \converter dot        png        "dot -Tpng $$i -o $$o" ""'''])
984     #
985     path, dia = checkProg('a Dia -> Image converter', ['dia'])
986     if dia == 'dia':
987         addToRC(r'''\converter dia        png        "dia -e $$o -t png $$i"    ""
988 \converter dia        eps        "dia -e $$o -t eps $$i"        ""
989 \converter dia        svg        "dia -e $$o -t svg $$i"        ""''')
990
991     #
992     # Actually, this produces EPS, but with a wrong bounding box (usually A4 or letter).
993     # The eps2->eps converter then fixes the bounding box by cropping.
994     # Although unoconv can convert to png and pdf as well, do not define
995     # odg->png and odg->pdf converters, since the bb would be too large as well.
996     checkProg('an OpenDocument -> EPS converter', ['libreoffice -headless -nologo -convert-to eps $$i', 'unoconv -f eps --stdout $$i > $$o'],
997         rc_entry = [ r'\converter odg        eps2       "%%"    ""'])
998     #
999     checkProg('a SVG (compressed) -> SVG converter', ['gunzip -c $$i > $$o'],
1000         rc_entry = [ r'\converter svgz       svg        "%%"    ""'])
1001     #
1002     checkProg('a SVG -> SVG (compressed) converter', ['gzip -c $$i > $$o'],
1003         rc_entry = [ r'\converter svg        svgz       "%%"    ""'])
1004     # Only define a converter to pdf6 for graphics
1005     # Prefer rsvg-convert over inkscape since it is faster (see http://www.lyx.org/trac/ticket/9891)
1006     checkProg('a SVG -> PDF converter', ['rsvg-convert -f pdf -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
1007         rc_entry = [ r'''\converter svg        pdf6       "%%"    ""
1008 \converter svgz       pdf6       "%%"    ""'''],
1009         path = ['', inkscape_path])
1010     #
1011     checkProg('a SVG -> EPS converter', ['rsvg-convert -f ps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
1012         rc_entry = [ r'''\converter svg        eps        "%%"    ""
1013 \converter svgz       eps        "%%"    ""'''],
1014         path = ['', inkscape_path])
1015     #
1016     checkProg('a SVG -> PNG converter', ['rsvg-convert -f png -o $$o $$i', inkscape_name + ' --without-gui --file=$$i --export-png=$$o'],
1017         rc_entry = [ r'''\converter svg        png        "%%"    "",
1018 \converter svgz       png        "%%"    ""'''],
1019         path = ['', inkscape_path])
1020
1021     #
1022     # gnumeric/xls/ods to tex
1023     checkProg('a spreadsheet -> latex converter', ['ssconvert'],
1024        rc_entry = [ r'''\converter gnumeric latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1025 \converter oocalc latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1026 \converter excel  latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1027 \converter excel2 latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1028 \converter gnumeric html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1029 \converter oocalc html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1030 \converter excel  html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1031 \converter excel2 html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1032 '''])
1033
1034     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
1035     if (lilypond != ''):
1036         version_string = cmdOutput("lilypond --version")
1037         match = re.match('GNU LilyPond (\S+)', version_string)
1038         if match:
1039             version_number = match.groups()[0]
1040             version = version_number.split('.')
1041             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
1042                 addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps -dsafe --ps $$i"   ""
1043 \converter lilypond   png        "lilypond -dbackend=eps -dsafe --png $$i"      ""''')
1044                 addToRC(r'\converter lilypond   pdf6       "lilypond -dbackend=eps -dsafe --pdf $$i"    ""')
1045                 logger.info('+  found LilyPond version %s.' % version_number)
1046             elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
1047                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps --safe $$i"  ""
1048 \converter lilypond   png        "lilypond -b eps --png $$i"    ""''')
1049                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
1050                     addToRC(r'\converter lilypond   pdf6       "lilypond -b eps --pdf --safe $$i"       ""')
1051                 logger.info('+  found LilyPond version %s.' % version_number)
1052             else:
1053                 logger.info('+  found LilyPond, but version %s is too old.' % version_number)
1054         else:
1055             logger.info('+  found LilyPond, but could not extract version number.')
1056     #
1057     path, lilypond_book = checkProg('a LilyPond book (LaTeX) -> LaTeX converter', ['lilypond-book'])
1058     if (lilypond_book != ''):
1059         version_string = cmdOutput("lilypond-book --version")
1060         match = re.match('^(\S+)$', version_string)
1061         if match:
1062             version_number = match.groups()[0]
1063             version = version_number.split('.')
1064             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 13):
1065                 # Note: The --lily-output-dir flag is required because lilypond-book
1066                 #       does not process input again unless the input has changed,
1067                 #       even if the output format being requested is different. So
1068                 #       once a .eps file exists, lilypond-book won't create a .pdf
1069                 #       even when requested with --pdf. This is a problem if a user
1070                 #       clicks View PDF after having done a View DVI. To circumvent
1071                 #       this, use different output folders for eps and pdf outputs.
1072                 addToRC(r'\converter lilypond-book latex    "lilypond-book --safe --lily-output-dir=ly-eps $$i"                                ""')
1073                 addToRC(r'\converter lilypond-book pdflatex "lilypond-book --safe --pdf --latex-program=pdflatex --lily-output-dir=ly-pdf $$i" ""')
1074                 addToRC(r'\converter lilypond-book xetex    "lilypond-book --safe --pdf --latex-program=xelatex --lily-output-dir=ly-pdf $$i"  ""')
1075                 addToRC(r'\converter lilypond-book luatex   "lilypond-book --safe --pdf --latex-program=lualatex --lily-output-dir=ly-pdf $$i" ""')
1076                 addToRC(r'\converter lilypond-book dviluatex "lilypond-book --safe --latex-program=dvilualatex --lily-output-dir=ly-eps $$i" ""')
1077                 logger.info('+  found LilyPond-book version %s.' % version_number)
1078             else:
1079                 logger.info('+  found LilyPond-book, but version %s is too old.' % version_number)
1080         else:
1081             logger.info('+  found LilyPond-book, but could not extract version number.')
1082     #
1083     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
1084         rc_entry = [ r'\converter noteedit   lilypond   "%%"    ""' ])
1085     #
1086     # Currently, lyxpak outputs a gzip compressed tar archive on *nix
1087     # and a zip archive on Windows.
1088     # So, we configure the appropriate version according to the platform.
1089     cmd = r'\converter lyx %s "python -tt $$s/scripts/lyxpak.py $$r/$$f" ""'
1090     if os.name == 'nt':
1091         addToRC(r'\Format lyxzip     zip    "LyX Archive (zip)"     "" "" ""  "document,menu=export"    ""')
1092         addToRC(cmd % "lyxzip")
1093     else:
1094         addToRC(r'\Format lyxgz      gz     "LyX Archive (tar.gz)"  "" "" ""  "document,menu=export"    ""')
1095         addToRC(cmd % "lyxgz")
1096
1097     #
1098     # FIXME: no rc_entry? comment it out
1099     # checkProg('Image converter', ['convert $$i $$o'])
1100     #
1101     # Entries that do not need checkProg
1102     addToRC(r'''
1103 \converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"    ""
1104 \converter docbook    docbook-xml "cp $$i $$o"  "xml"
1105 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o"  ""
1106 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.3 -o $$o $$i"     ""
1107 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o $$i"     ""
1108 \converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.5 -o $$o $$i"     ""
1109 \converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.6 -o $$o $$i"     ""
1110 \converter lyx        lyx20x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.0 -o $$o $$i"     ""
1111 \converter lyx        lyx21x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.1 -o $$o $$i"     ""
1112 \converter lyx        lyx22x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.2 -o $$o $$i"     ""
1113 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c big5   $$i"   ""
1114 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c euc_jp $$i"   ""
1115 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c euc_kr $$i"   ""
1116 \converter clyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c big5   -o $$o $$i"  ""
1117 \converter jlyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -o $$o $$i"  ""
1118 \converter klyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -o $$o $$i"  ""
1119 \converter lyxpreview png        "python -tt $$s/scripts/lyxpreview2bitmap.py --png"    ""
1120 \converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py --ppm"    ""
1121 ''')
1122
1123
1124 def checkDocBook():
1125     ''' Check docbook '''
1126     path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
1127         rc_entry = [
1128             r'''\converter docbook    dvi        "sgmltools -b dvi $$i" ""
1129 \converter docbook    html       "sgmltools -b html $$i"        ""
1130 \converter docbook    ps         "sgmltools -b ps $$i"  ""''',
1131             r'''\converter docbook    dvi        "db2dvi $$i"   ""
1132 \converter docbook    html       "db2html $$i"  ""''',
1133             r'''\converter docbook    dvi        ""     ""
1134 \converter docbook    html       "" ""''',
1135             r'''\converter docbook    dvi        ""     ""
1136 \converter docbook    html       ""     ""'''])
1137     #
1138     if DOCBOOK != '':
1139         return ('yes', 'true', '\\def\\hasdocbook{yes}')
1140     else:
1141         return ('no', 'false', '')
1142
1143
1144 def checkOtherEntries():
1145     ''' entries other than Format and Converter '''
1146     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
1147         rc_entry = [ r'\chktex_command "%%"' ])
1148     checkProgAlternatives('BibTeX or alternative programs', ['bibtex', 'bibtex8', 'biber'],
1149         rc_entry = [ r'\bibtex_command "%%"' ],
1150         alt_rc_entry = [ r'\bibtex_alternatives "%%"' ])
1151     checkProg('a specific Japanese BibTeX variant', ['pbibtex', 'jbibtex', 'bibtex'],
1152         rc_entry = [ r'\jbibtex_command "%%"' ])
1153     checkProgAlternatives('available index processors', ['texindy', 'makeindex -c -q', 'xindy'],
1154         rc_entry = [ r'\index_command "%%"' ],
1155         alt_rc_entry = [ r'\index_alternatives "%%"' ])
1156     checkProg('an index processor appropriate to Japanese', ['mendex -c -q', 'jmakeindex -c -q', 'makeindex -c -q'],
1157         rc_entry = [ r'\jindex_command "%%"' ])
1158     checkProg('the splitindex processor', ['splitindex.pl', 'splitindex',
1159         'splitindex.class'], rc_entry = [ r'\splitindex_command "%%"' ])
1160     checkProg('a nomenclature processor', ['makeindex'],
1161         rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
1162     ## FIXME: OCTAVE is not used anywhere
1163     # path, OCTAVE = checkProg('Octave', ['octave'])
1164     ## FIXME: MAPLE is not used anywhere
1165     # path, MAPLE = checkProg('Maple', ['maple'])
1166     # Add the rest of the entries (no checkProg is required)
1167     addToRC(r'''\copier    fig        "python -tt $$s/scripts/fig_copy.py $$i $$o"
1168 \copier    pstex      "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1169 \copier    pdftex     "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1170 \copier    program    "python -tt $$s/scripts/ext_copy.py $$i $$o"
1171 ''')
1172
1173
1174 def processLayoutFile(file, bool_docbook):
1175     ''' process layout file and get a line of result
1176
1177         Declare lines look like this:
1178
1179         \DeclareLaTeXClass[<requirements>]{<description>}
1180         
1181         Optionally, a \DeclareCategory line follows:
1182         
1183         \DeclareCategory{<category>}
1184         
1185         So for example (article.layout, scrbook.layout, svjog.layout)
1186         
1187         \DeclareLaTeXClass{article}
1188         \DeclareCategory{Articles}
1189         
1190         \DeclareLaTeXClass[scrbook]{book (koma-script)}
1191         \DeclareCategory{Books}
1192         
1193         \DeclareLaTeXClass[svjour,svjog.clo]{article (Springer - svjour/jog)}
1194
1195         we'd expect this output:
1196
1197         "article" "article" "article" "false" "article.cls" "Articles"
1198         "scrbook" "scrbook" "book (koma-script)" "false" "scrbook.cls" "Books"
1199         "svjog" "svjour" "article (Springer - svjour/jog)" "false" "svjour.cls,svjog.clo" ""
1200     '''
1201     def checkForClassExtension(x):
1202         '''if the extension for a latex class is not
1203            provided, add .cls to the classname'''
1204         if not '.' in x:
1205             return x.strip() + '.cls'
1206         else:
1207             return x.strip()
1208     classname = file.split(os.sep)[-1].split('.')[0]
1209     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
1210     p = re.compile(r'^\s*#\s*\\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}\s*$')
1211     q = re.compile(r'^\s*#\s*\\DeclareCategory{(.*)}\s*$')
1212     classdeclaration = ""
1213     categorydeclaration = '""'
1214     for line in open(file).readlines():
1215         res = p.search(line)
1216         qres = q.search(line)
1217         if res != None:
1218             (classtype, optAll, opt, opt1, desc) = res.groups()
1219             avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
1220             if opt == None:
1221                 opt = classname
1222                 prereq_latex = checkForClassExtension(classname)
1223             else:
1224                 prereq_list = optAll[1:-1].split(',')
1225                 prereq_list = list(map(checkForClassExtension, prereq_list))
1226                 prereq_latex = ','.join(prereq_list)
1227             prereq_docbook = {'true':'', 'false':'docbook'}[bool_docbook]
1228             prereq = {'LaTeX':prereq_latex, 'DocBook':prereq_docbook}[classtype]
1229             classdeclaration = '"%s" "%s" "%s" "%s" "%s"' % (classname, opt, desc, avai, prereq)
1230             if categorydeclaration != '""':
1231                 return classdeclaration + " " + categorydeclaration
1232         if qres != None:
1233              categorydeclaration = '"%s"' % (qres.groups()[0])
1234              if classdeclaration != "":
1235                  return classdeclaration + " " + categorydeclaration
1236     if classdeclaration != "":
1237         return classdeclaration + " " + categorydeclaration
1238     logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
1239     return ""
1240
1241
1242 def checkLatexConfig(check_config, bool_docbook):
1243     ''' Explore the LaTeX configuration
1244         Return None (will be passed to sys.exit()) for success.
1245     '''
1246     msg = 'checking LaTeX configuration... '
1247     # if --without-latex-config is forced, or if there is no previous
1248     # version of textclass.lst, re-generate a default file.
1249     if not os.path.isfile('textclass.lst') or not check_config:
1250         # remove the files only if we want to regenerate
1251         removeFiles(['textclass.lst', 'packages.lst'])
1252         #
1253         # Then, generate a default textclass.lst. In case configure.py
1254         # fails, we still have something to start lyx.
1255         logger.info(msg + ' default values')
1256         logger.info('+checking list of textclasses... ')
1257         tx = open('textclass.lst', 'w')
1258         tx.write('''
1259 # This file declares layouts and their associated definition files
1260 # (include dir. relative to the place where this file is).
1261 # It contains only default values, since chkconfig.ltx could not be run
1262 # for some reason. Run ./configure.py if you need to update it after a
1263 # configuration change.
1264 ''')
1265         # build the list of available layout files and convert it to commands
1266         # for chkconfig.ltx
1267         foundClasses = []
1268         for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1269             glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1270             # valid file?
1271             if not os.path.isfile(file):
1272                 continue
1273             # get stuff between /xxxx.layout .
1274             classname = file.split(os.sep)[-1].split('.')[0]
1275             #  tr ' -' '__'`
1276             cleanclass = classname.replace(' ', '_')
1277             cleanclass = cleanclass.replace('-', '_')
1278             # make sure the same class is not considered twice
1279             if foundClasses.count(cleanclass) == 0: # not found before
1280                 foundClasses.append(cleanclass)
1281                 retval = processLayoutFile(file, bool_docbook)
1282                 if retval != "":
1283                     tx.write(retval)
1284         tx.close()
1285         logger.info('\tdone')
1286     if not os.path.isfile('packages.lst') or not check_config:
1287         logger.info('+generating default list of packages... ')
1288         removeFiles(['packages.lst'])
1289         tx = open('packages.lst', 'w')
1290         tx.close()
1291         logger.info('\tdone')
1292     if not check_config:
1293         return None
1294     # the following will generate textclass.lst.tmp, and packages.lst.tmp
1295     logger.info(msg + '\tauto')
1296     removeFiles(['chkconfig.classes', 'chkconfig.vars', 'chklayouts.tex',
1297         'wrap_chkconfig.ltx'])
1298     rmcopy = False
1299     if not os.path.isfile( 'chkconfig.ltx' ):
1300         shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
1301         rmcopy = True
1302     writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
1303     # Construct the list of classes to test for.
1304     # build the list of available layout files and convert it to commands
1305     # for chkconfig.ltx
1306     declare = re.compile(r'^\s*#\s*\\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}\s*$')
1307     category = re.compile(r'^\s*#\s*\\DeclareCategory{(.*)}\s*$')
1308     empty = re.compile(r'^\s*$')
1309     testclasses = list()
1310     for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1311         glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1312         nodeclaration = False
1313         if not os.path.isfile(file):
1314             continue
1315         classname = file.split(os.sep)[-1].split('.')[0]
1316         decline = ""
1317         catline = ""
1318         for line in open(file).readlines():
1319             if not empty.match(line) and line[0] != '#':
1320                 if decline == "":
1321                     logger.warning("Failed to find valid \Declare line for layout file `" + file + "'.\n\t=> Skipping this file!")
1322                     nodeclaration = True
1323                 # A class, but no category declaration. Just break.
1324                 break
1325             if declare.search(line) != None:
1326                 decline = "\\TestDocClass{%s}{%s}" % (classname, line[1:].strip())
1327                 testclasses.append(decline)
1328             elif category.search(line) != None:
1329                 catline = "\\DeclareCategory{%s}{%s}" % (classname, category.search(line).groups()[0])
1330                 testclasses.append(catline)
1331             if catline == "" or decline == "":
1332                 continue
1333             break
1334         if nodeclaration:
1335             continue
1336     testclasses.sort()
1337     cl = open('chklayouts.tex', 'w')
1338     for line in testclasses:
1339         cl.write(line + '\n')
1340     cl.close()
1341     #
1342     # we have chklayouts.tex, then process it
1343     latex_out = cmdOutput(LATEX + ' wrap_chkconfig.ltx', True)
1344     while True:
1345         line = latex_out.readline()
1346         if not line:
1347             break;
1348         if re.match('^\+', line):
1349             logger.info(line.strip())
1350     # if the command succeeds, None will be returned
1351     ret = latex_out.close()
1352     #
1353     # remove the copied file
1354     if rmcopy:
1355         removeFiles( [ 'chkconfig.ltx' ] )
1356     #
1357     # currently, values in chkconfig are only used to set
1358     # \font_encoding
1359     values = {}
1360     for line in open('chkconfig.vars').readlines():
1361         key, val = re.sub('-', '_', line).split('=')
1362         val = val.strip()
1363         values[key] = val.strip("'")
1364     # chk_fontenc may not exist
1365     try:
1366         addToRC(r'\font_encoding "%s"' % values["chk_fontenc"])
1367     except:
1368         pass
1369     # if configure successed, move textclass.lst.tmp to textclass.lst
1370     # and packages.lst.tmp to packages.lst
1371     if os.path.isfile('textclass.lst.tmp') and len(open('textclass.lst.tmp').read()) > 0 \
1372         and os.path.isfile('packages.lst.tmp') and len(open('packages.lst.tmp').read()) > 0:
1373         shutil.move('textclass.lst.tmp', 'textclass.lst')
1374         shutil.move('packages.lst.tmp', 'packages.lst')
1375     return ret
1376
1377
1378 def checkModulesConfig():
1379   removeFiles(['lyxmodules.lst', 'chkmodules.tex'])
1380
1381   logger.info('+checking list of modules... ')
1382   tx = open('lyxmodules.lst', 'w')
1383   tx.write('''## This file declares modules and their associated definition files.
1384 ## It has been automatically generated by configure
1385 ## Use "Options/Reconfigure" if you need to update it after a
1386 ## configuration change.
1387 ## "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1388 ''')
1389
1390   # build the list of available modules
1391   seen = []
1392   # note that this searches the local directory first, then the
1393   # system directory. that way, we pick up the user's version first.
1394   for file in glob.glob( os.path.join('layouts', '*.module') ) + \
1395       glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) :
1396       # valid file?
1397       logger.info(file)
1398       if not os.path.isfile(file):
1399           continue
1400
1401       filename = file.split(os.sep)[-1]
1402       filename = filename[:-7]
1403       if seen.count(filename):
1404           continue
1405
1406       seen.append(filename)
1407       retval = processModuleFile(file, filename, bool_docbook)
1408       if retval != "":
1409           tx.write(retval)
1410   tx.close()
1411   logger.info('\tdone')
1412
1413
1414 def processModuleFile(file, filename, bool_docbook):
1415     ''' process module file and get a line of result
1416
1417         The top of a module file should look like this:
1418           #\DeclareLyXModule[LaTeX Packages]{ModuleName}
1419           #DescriptionBegin
1420           #...body of description...
1421           #DescriptionEnd
1422           #Requires: [list of required modules]
1423           #Excludes: [list of excluded modules]
1424           #Category: [category name]
1425         The last three lines are optional (though do give a category).
1426         We expect output:
1427           "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1428     '''
1429     remods = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
1430     rereqs = re.compile(r'#+\s*Requires: (.*)')
1431     reexcs = re.compile(r'#+\s*Excludes: (.*)')
1432     recaty = re.compile(r'#+\s*Category: (.*)')
1433     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1434     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1435
1436     modname = desc = pkgs = req = excl = catgy = ""
1437     readingDescription = False
1438     descLines = []
1439
1440     for line in open(file).readlines():
1441       if readingDescription:
1442         res = redend.search(line)
1443         if res != None:
1444           readingDescription = False
1445           desc = " ".join(descLines)
1446           # Escape quotes.
1447           desc = desc.replace('"', '\\"')
1448           continue
1449         descLines.append(line[1:].strip())
1450         continue
1451       res = redbeg.search(line)
1452       if res != None:
1453         readingDescription = True
1454         continue
1455       res = remods.search(line)
1456       if res != None:
1457           (pkgs, modname) = res.groups()
1458           if pkgs == None:
1459             pkgs = ""
1460           else:
1461             tmp = [s.strip() for s in pkgs.split(",")]
1462             pkgs = ",".join(tmp)
1463           continue
1464       res = rereqs.search(line)
1465       if res != None:
1466         req = res.group(1)
1467         tmp = [s.strip() for s in req.split("|")]
1468         req = "|".join(tmp)
1469         continue
1470       res = reexcs.search(line)
1471       if res != None:
1472         excl = res.group(1)
1473         tmp = [s.strip() for s in excl.split("|")]
1474         excl = "|".join(tmp)
1475         continue
1476       res = recaty.search(line)
1477       if res != None:
1478         catgy = res.group(1)
1479         continue
1480
1481     if modname == "":
1482       logger.warning("Module file without \DeclareLyXModule line. ")
1483       return ""
1484
1485     if pkgs != "":
1486         # this module has some latex dependencies:
1487         # append the dependencies to chkmodules.tex,
1488         # which is \input'ed by chkconfig.ltx
1489         testpackages = list()
1490         for pkg in pkgs.split(","):
1491             if "->" in pkg:
1492                 # this is a converter dependency: skip
1493                 continue
1494             if pkg.endswith(".sty"):
1495                 pkg = pkg[:-4]
1496             testpackages.append("\\TestPackage{%s}" % (pkg,))
1497         cm = open('chkmodules.tex', 'a')
1498         for line in testpackages:
1499             cm.write(line + '\n')
1500         cm.close()
1501
1502     return '"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, desc, pkgs, req, excl, catgy)
1503
1504
1505 def checkCiteEnginesConfig():
1506   removeFiles(['lyxciteengines.lst', 'chkciteengines.tex'])
1507
1508   logger.info('+checking list of cite engines... ')
1509   tx = open('lyxciteengines.lst', 'w')
1510   tx.write('''## This file declares cite engines and their associated definition files.
1511 ## It has been automatically generated by configure
1512 ## Use "Options/Reconfigure" if you need to update it after a
1513 ## configuration change.
1514 ## "CiteEngineName" "filename" "CiteEngineType" "DefaultBiblio" "Description" "Packages" "Requires" "Excludes"
1515 ''')
1516
1517   # build the list of available modules
1518   seen = []
1519   # note that this searches the local directory first, then the
1520   # system directory. that way, we pick up the user's version first.
1521   for file in glob.glob( os.path.join('citeengines', '*.citeengine') ) + \
1522       glob.glob( os.path.join(srcdir, 'citeengines', '*.citeengine' ) ) :
1523       # valid file?
1524       logger.info(file)
1525       if not os.path.isfile(file):
1526           continue
1527
1528       filename = file.split(os.sep)[-1]
1529       filename = filename[:-11]
1530       if seen.count(filename):
1531           continue
1532
1533       seen.append(filename)
1534       retval = processCiteEngineFile(file, filename, bool_docbook)
1535       if retval != "":
1536           tx.write(retval)
1537   tx.close()
1538   logger.info('\tdone')
1539
1540
1541 def processCiteEngineFile(file, filename, bool_docbook):
1542     ''' process cite engines file and get a line of result
1543
1544         The top of a cite engine file should look like this:
1545           #\DeclareLyXCiteEngine[LaTeX Packages]{CiteEngineName}
1546           #DescriptionBegin
1547           #...body of description...
1548           #DescriptionEnd
1549           #Requires: [list of required engines]
1550           #Excludes: [list of excluded engines]
1551         The last two lines are optional.
1552         We expect output:
1553           "CiteEngineName" "filename" "CiteEngineType" "DefaultBiblio" "Description" "Packages" "Requires" "Excludes"
1554     '''
1555     remods = re.compile(r'\DeclareLyXCiteEngine\s*(?:\[([^]]*?)\])?{(.*)}')
1556     rereqs = re.compile(r'#+\s*Requires:\s*(.*)')
1557     reexcs = re.compile(r'#+\s*Excludes:\s*(.*)')
1558     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1559     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1560     recet = re.compile(r'\s*CiteEngineType\s*(.*)')
1561     redb = re.compile(r'\s*DefaultBiblio\s*(.*)')
1562
1563     modname = desc = pkgs = req = excl = cet = db = ""
1564     readingDescription = False
1565     descLines = []
1566
1567     for line in open(file).readlines():
1568       if readingDescription:
1569         res = redend.search(line)
1570         if res != None:
1571           readingDescription = False
1572           desc = " ".join(descLines)
1573           # Escape quotes.
1574           desc = desc.replace('"', '\\"')
1575           continue
1576         descLines.append(line[1:].strip())
1577         continue
1578       res = redbeg.search(line)
1579       if res != None:
1580         readingDescription = True
1581         continue
1582       res = remods.search(line)
1583       if res != None:
1584           (pkgs, modname) = res.groups()
1585           if pkgs == None:
1586             pkgs = ""
1587           else:
1588             tmp = [s.strip() for s in pkgs.split(",")]
1589             pkgs = ",".join(tmp)
1590           continue
1591       res = rereqs.search(line)
1592       if res != None:
1593         req = res.group(1)
1594         tmp = [s.strip() for s in req.split("|")]
1595         req = "|".join(tmp)
1596         continue
1597       res = reexcs.search(line)
1598       if res != None:
1599         excl = res.group(1)
1600         tmp = [s.strip() for s in excl.split("|")]
1601         excl = "|".join(tmp)
1602         continue
1603       res = recet.search(line)
1604       if res != None:
1605         cet = res.group(1)
1606         continue
1607       res = redb.search(line)
1608       if res != None:
1609         db = res.group(1)
1610         continue
1611
1612     if modname == "":
1613       logger.warning("Cite Engine File file without \DeclareLyXCiteEngine line. ")
1614       return ""
1615
1616     if pkgs != "":
1617         # this cite engine has some latex dependencies:
1618         # append the dependencies to chkciteengines.tex,
1619         # which is \input'ed by chkconfig.ltx
1620         testpackages = list()
1621         for pkg in pkgs.split(","):
1622             if "->" in pkg:
1623                 # this is a converter dependency: skip
1624                 continue
1625             if pkg.endswith(".sty"):
1626                 pkg = pkg[:-4]
1627             testpackages.append("\\TestPackage{%s}" % (pkg,))
1628         cm = open('chkciteengines.tex', 'a')
1629         for line in testpackages:
1630             cm.write(line + '\n')
1631         cm.close()
1632
1633     return '"%s" "%s" "%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, cet, db, desc, pkgs, req, excl)
1634
1635
1636 def checkTeXAllowSpaces():
1637     ''' Let's check whether spaces are allowed in TeX file names '''
1638     tex_allows_spaces = 'false'
1639     if lyx_check_config:
1640         msg = "Checking whether TeX allows spaces in file names... "
1641         writeToFile('a b.tex', r'\message{working^^J}' )
1642         if LATEX != '':
1643             if os.name == 'nt' or sys.platform == 'cygwin':
1644                 latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}\makeatletter\@@end" """)
1645             else:
1646                 latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}\makeatletter\@@end' """)
1647         else:
1648             latex_out = ''
1649         if 'working' in latex_out:
1650             logger.info(msg + 'yes')
1651             tex_allows_spaces = 'true'
1652         else:
1653             logger.info(msg + 'no')
1654             tex_allows_spaces = 'false'
1655         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
1656         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
1657
1658
1659 def rescanTeXFiles():
1660     ''' Run kpsewhich to update information about TeX files '''
1661     logger.info("+Indexing TeX files... ")
1662     if not os.path.isfile( os.path.join(srcdir, 'scripts', 'TeXFiles.py') ):
1663         logger.error("configure: error: cannot find TeXFiles.py script")
1664         sys.exit(1)
1665     interpreter = sys.executable
1666     if interpreter == '':
1667         interpreter = "python"
1668     tfp = cmdOutput(interpreter + " -tt " + '"' + os.path.join(srcdir, 'scripts', 'TeXFiles.py') + '"')
1669     logger.info(tfp)
1670     logger.info("\tdone")
1671
1672
1673 def removeTempFiles():
1674     # Final clean-up
1675     if not lyx_keep_temps:
1676         removeFiles(['chkconfig.vars', 'chklatex.ltx', 'chklatex.log',
1677             'chklayouts.tex', 'chkmodules.tex', 'chkciteengines.tex',
1678             'missfont.log', 'wrap_chkconfig.ltx', 'wrap_chkconfig.log'])
1679
1680
1681 if __name__ == '__main__':
1682     lyx_check_config = True
1683     lyx_kpsewhich = True
1684     outfile = 'lyxrc.defaults'
1685     lyxrc_fileformat = 20
1686     rc_entries = ''
1687     lyx_keep_temps = False
1688     version_suffix = ''
1689     lyx_binary_dir = ''
1690     ## Parse the command line
1691     for op in sys.argv[1:]:   # default shell/for list is $*, the options
1692         if op in [ '-help', '--help', '-h' ]:
1693             print('''Usage: configure [options]
1694 Options:
1695     --help                   show this help lines
1696     --keep-temps             keep temporary files (for debug. purposes)
1697     --without-kpsewhich      do not update TeX files information via kpsewhich
1698     --without-latex-config   do not run LaTeX to determine configuration
1699     --with-version-suffix=suffix suffix of binary installed files
1700     --binary-dir=directory   directory of binary installed files
1701 ''')
1702             sys.exit(0)
1703         elif op == '--without-kpsewhich':
1704             lyx_kpsewhich = False
1705         elif op == '--without-latex-config':
1706             lyx_check_config = False
1707         elif op == '--keep-temps':
1708             lyx_keep_temps = True
1709         elif op[0:22] == '--with-version-suffix=':  # never mind if op is not long enough
1710             version_suffix = op[22:]
1711         elif op[0:13] == '--binary-dir=':
1712             lyx_binary_dir = op[13:]
1713         else:
1714             print("Unknown option %s" % op)
1715             sys.exit(1)
1716     #
1717     # check if we run from the right directory
1718     srcdir = os.path.dirname(sys.argv[0])
1719     if srcdir == '':
1720         srcdir = '.'
1721     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
1722         logger.error("configure: error: cannot find chkconfig.ltx script")
1723         sys.exit(1)
1724     setEnviron()
1725     if sys.platform == 'darwin' and len(version_suffix) > 0:
1726         checkUpgrade()
1727     createDirectories()
1728     dtl_tools = checkDTLtools()
1729     ## Write the first part of outfile
1730     writeToFile(outfile, '''# This file has been automatically generated by LyX' lib/configure.py
1731 # script. It contains default settings that have been determined by
1732 # examining your system. PLEASE DO NOT MODIFY ANYTHING HERE! If you
1733 # want to customize LyX, use LyX' Preferences dialog or modify directly
1734 # the "preferences" file instead. Any setting in that file will
1735 # override the values given here.
1736
1737 Format %i
1738
1739 ''' % lyxrc_fileformat)
1740     # check latex
1741     LATEX = checkLatex(dtl_tools)
1742     # check java and perl before any checkProg that may require them
1743     java = checkProg('a java interpreter', ['java'])[1]
1744     perl = checkProg('a perl interpreter', ['perl'])[1]
1745     (inkscape_path, inkscape_name) = os.path.split(checkInkscape())
1746     checkFormatEntries(dtl_tools)
1747     checkConverterEntries()
1748     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
1749     checkTeXAllowSpaces()
1750     windows_style_tex_paths = checkTeXPaths()
1751     if windows_style_tex_paths != '':
1752         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
1753     checkOtherEntries()
1754     if lyx_kpsewhich:
1755         rescanTeXFiles()
1756     checkModulesConfig()
1757     checkCiteEnginesConfig()
1758     # --without-latex-config can disable lyx_check_config
1759     ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
1760     removeTempFiles()
1761     # The return error code can be 256. Because most systems expect an error code
1762     # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
1763     # a None for success, 'ret is not None' is used to exit.
1764     sys.exit(ret is not None)