]> git.lyx.org Git - lyx.git/blob - lib/configure.py
Update documentation for multiple bibliographies
[lyx.git] / lib / configure.py
1 #! /usr/bin/env python
2 # -*- coding: utf-8 -*-
3 #
4 # file configure.py
5 # This file is part of LyX, the document processor.
6 # Licence details can be found in the file COPYING.
7
8 # \author Bo Peng
9 # Full author contact details are available in file CREDITS.
10
11 from __future__ import print_function
12 import glob, logging, os, re, shutil, subprocess, sys, stat
13
14 # set up logging
15 logging.basicConfig(level = logging.DEBUG,
16     format = '%(levelname)s: %(message)s', # ignore application name
17     filename = 'configure.log',
18     filemode = 'w')
19 #
20 # Add a handler to log to console
21 console = logging.StreamHandler()
22 console.setLevel(logging.INFO) # the console only print out general information
23 formatter = logging.Formatter('%(message)s') # only print out the message itself
24 console.setFormatter(formatter)
25 logger = logging.getLogger('LyX')
26 logger.addHandler(console)
27
28 def writeToFile(filename, lines, append = False):
29     " utility function: write or append lines to filename "
30     if append:
31         file = open(filename, 'a')
32     else:
33         file = open(filename, 'w')
34     file.write(lines)
35     file.close()
36
37
38 def addToRC(lines):
39     ''' utility function: shortcut for appending lines to outfile
40         add newline at the end of lines.
41     '''
42     if lines.strip() != '':
43         writeToFile(outfile, lines + '\n', append = True)
44         logger.debug('Add to RC:\n' + lines + '\n\n')
45
46
47 def removeFiles(filenames):
48     '''utility function: 'rm -f'
49         ignore errors when file does not exist, or is a directory.
50     '''
51     for file in filenames:
52         try:
53             os.remove(file)
54             logger.debug('Removing file %s' % file)
55         except:
56             logger.debug('Failed to remove file %s' % file)
57             pass
58
59
60 def cmdOutput(cmd, async = False):
61     '''utility function: run a command and get its output as a string
62         cmd: command to run
63         async: if False, return whole output as a string, otherwise
64                return the stdout handle from which the output can be
65                read (the caller is then responsible for closing it)
66     '''
67     if os.name == 'nt':
68         b = False
69         if sys.version_info[0] < 3:
70             cmd = 'cmd /d /c pushd ' + shortPath(os.getcwdu()) + '&' + cmd
71         else:
72             cmd = 'cmd /d /c pushd ' + shortPath(os.getcwd()) + '&' + cmd
73     else:
74         b = True
75     pipe = subprocess.Popen(cmd, shell=b, close_fds=b, stdin=subprocess.PIPE,
76                             stdout=subprocess.PIPE, universal_newlines=True)
77     pipe.stdin.close()
78     if async:
79         return pipe.stdout
80     output = pipe.stdout.read()
81     pipe.stdout.close()
82     return output.strip()
83
84
85 def shortPath(path):
86     ''' On Windows, return the short version of "path" if possible '''
87     if os.name == 'nt':
88         from ctypes import windll, create_unicode_buffer
89         GetShortPathName = windll.kernel32.GetShortPathNameW
90         shortlen = GetShortPathName(path, 0, 0)
91         shortpath = create_unicode_buffer(shortlen)
92         if GetShortPathName(path, shortpath, shortlen):
93             return shortpath.value
94     return path
95
96
97 def setEnviron():
98     ''' I do not really know why this is useful, but we might as well keep it.
99         NLS nuisances.
100         Only set these to C if already set.  These must not be set unconditionally
101         because not all systems understand e.g. LANG=C (notably SCO).
102         Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
103         Non-C LC_CTYPE values break the ctype check.
104     '''
105     os.environ['LANG'] = os.getenv('LANG', 'C')
106     os.environ['LC'] = os.getenv('LC_ALL', 'C')
107     os.environ['LC_MESSAGE'] = os.getenv('LC_MESSAGE', 'C')
108     os.environ['LC_CTYPE'] = os.getenv('LC_CTYPE', 'C')
109
110
111 def copy_tree(src, dst, preserve_symlinks=False, level=0):
112     ''' Copy an entire directory tree 'src' to a new location 'dst'.
113
114     Code inspired from distutils.copy_tree.
115          Copying ignores non-regular files and the cache directory.
116     Pipes may be present as leftovers from LyX for lyx-server.
117
118     If 'preserve_symlinks' is true, symlinks will be
119     copied as symlinks (on platforms that support them!); otherwise
120     (the default), the destination of the symlink will be copied.
121     '''
122
123     if not os.path.isdir(src):
124         raise FileError("cannot copy tree '%s': not a directory" % src)
125     try:
126         names = os.listdir(src)
127     except os.error as oserror:
128         (errno, errstr) = oserror.args
129         raise FileError("error listing files in '%s': %s" % (src, errstr))
130
131     if not os.path.isdir(dst):
132         os.makedirs(dst)
133
134     outputs = []
135
136     for name in names:
137         src_name = os.path.join(src, name)
138         dst_name = os.path.join(dst, name)
139         if preserve_symlinks and os.path.islink(src_name):
140             link_dest = os.readlink(src_name)
141             os.symlink(link_dest, dst_name)
142             outputs.append(dst_name)
143         elif level == 0 and name == 'cache':
144             logger.info("Skip cache %s", src_name)
145         elif os.path.isdir(src_name):
146             outputs.extend(
147                 copy_tree(src_name, dst_name, preserve_symlinks, level=(level + 1)))
148         elif stat.S_ISREG(os.stat(src_name).st_mode) or os.path.islink(src_name):
149             shutil.copy2(src_name, dst_name)
150             outputs.append(dst_name)
151         else:
152             logger.info("Ignore non-regular file %s", src_name)
153
154     return outputs
155
156
157 def checkUpgrade():
158     ''' Check for upgrade from previous version '''
159     cwd = os.getcwd()
160     basename = os.path.basename( cwd )
161     lyxrc = os.path.join(cwd, outfile)
162     if not os.path.isfile( lyxrc ) and basename.endswith( version_suffix ) :
163         logger.info('Checking for upgrade from previous version.')
164         parent = os.path.dirname(cwd)
165         appname = basename[:(-len(version_suffix))]
166         for version in ['-2.1', '-2.0', '-1.6' ]:
167             logger.debug('Checking for upgrade from previous version ' + version)
168             previous = os.path.join(parent, appname + version)
169             logger.debug('previous = ' + previous)
170             if os.path.isdir( previous ):
171                 logger.info('Found directory "%s".', previous)
172                 copy_tree( previous, cwd, True )
173                 logger.info('Content copied to directory "%s".', cwd)
174                 return
175
176
177 def createDirectories():
178     ''' Create the build directories if necessary '''
179     for dir in ['bind', 'clipart', 'doc', 'examples', 'images', 'kbd',
180         'layouts', 'scripts', 'templates', 'ui' ]:
181         if not os.path.isdir( dir ):
182             try:
183                 os.mkdir( dir)
184                 logger.debug('Create directory %s.' % dir)
185             except:
186                 logger.error('Failed to create directory %s.' % dir)
187                 sys.exit(1)
188
189
190 def checkTeXPaths():
191     ''' Determine the path-style needed by the TeX engine on Win32 (Cygwin) '''
192     windows_style_tex_paths = ''
193     if LATEX == '':
194         return windows_style_tex_paths
195     if os.name == 'nt' or sys.platform == 'cygwin':
196         from tempfile import mkstemp
197         fd, tmpfname = mkstemp(suffix='.ltx')
198         if os.name == 'nt':
199             from locale import getdefaultlocale
200             language, encoding = getdefaultlocale()
201             if encoding == None:
202                 encoding = 'latin1'
203             if sys.version_info[0] < 3:
204                 inpname = shortPath(unicode(tmpfname, encoding)).replace('\\', '/')
205             else:
206                 inpname = shortPath(str(tmpfname, encoding)).replace('\\', '/')
207         else:
208             inpname = cmdOutput('cygpath -m ' + tmpfname)
209         logname = os.path.basename(re.sub("(?i).ltx", ".log", inpname))
210         inpname = inpname.replace('~', '\\string~')
211         os.write(fd, r'\relax')
212         os.close(fd)
213         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}\makeatletter\@@end"'
214                               % inpname)
215         if 'Error' in latex_out:
216             latex_out = cmdOutput(r'latex "\nonstopmode\input{\"%s\"}\makeatletter\@@end"'
217                                   % inpname)
218         if 'Error' in latex_out:
219             logger.warning("configure: TeX engine needs posix-style paths in latex files")
220             windows_style_tex_paths = 'false'
221         else:
222             logger.info("configure: TeX engine needs windows-style paths in latex files")
223             windows_style_tex_paths = 'true'
224         removeFiles([tmpfname, logname, 'texput.log'])
225     return windows_style_tex_paths
226
227
228 ## Searching some useful programs
229 def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
230     '''
231         This function will search a program in $PATH plus given path
232         If found, return directory and program name (not the options).
233
234         description: description of the program
235
236         progs: check programs, for each prog, the first word is used
237             for searching but the whole string is used to replace
238             %% for a rc_entry. So, feel free to add '$$i' etc for programs.
239
240         path: additional paths (will be prepended to the program name)
241
242         rc_entry: entry to outfile, can be
243             1. emtpy: no rc entry will be added
244             2. one pattern: %% will be replaced by the first found program,
245                 or '' if no program is found.
246             3. several patterns for each prog and not_found. This is used
247                 when different programs have different usages. If you do not
248                 want not_found entry to be added to the RC file, you can specify
249                 an entry for each prog and use '' for the not_found entry.
250
251         not_found: the value that should be used instead of '' if no program
252             was found
253
254     '''
255     # one rc entry for each progs plus not_found entry
256     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
257         logger.error("rc entry should have one item or item "
258                      "for each prog and not_found.")
259         sys.exit(2)
260     logger.info('checking for ' + description + '...')
261     ## print '(' + ','.join(progs) + ')',
262     additional_path = path
263     path = os.environ["PATH"].split(os.pathsep) + additional_path
264     extlist = ['']
265     if "PATHEXT" in os.environ:
266         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
267     global java, perl
268     for idx in range(len(progs)):
269         # ac_prog may have options, ac_word is the command name
270         ac_prog = progs[idx]
271         ac_word = ac_prog.split(' ')[0]
272         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
273             continue
274         if ac_word.endswith('.pl') and perl == '':
275             continue
276         msg = '+checking for "' + ac_word + '"... '
277         for ac_dir in path:
278             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
279                 continue
280             for ext in extlist:
281                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
282                     logger.info(msg + ' yes')
283                     # deal with java and perl
284                     if ac_word.endswith('.class'):
285                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"'
286                                     % (java, os.path.join(ac_dir, ac_word[:-6])))
287                     elif ac_word.endswith('.jar'):
288                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"'
289                                     % (java, os.path.join(ac_dir, ac_word)))
290                     elif ac_word.endswith('.pl'):
291                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"'
292                                     % (perl, os.path.join(ac_dir, ac_word)))
293                     elif ac_dir in additional_path:
294                         ac_prog = ac_prog.replace(ac_word, r'\"%s\"'
295                                     % (os.path.join(ac_dir, ac_word)))
296                     # write rc entries for this command
297                     if len(rc_entry) == 1:
298                         addToRC(rc_entry[0].replace('%%', ac_prog))
299                     elif len(rc_entry) > 1:
300                         addToRC(rc_entry[idx].replace('%%', ac_prog))
301                     return [ac_dir, ac_word]
302         # if not successful
303         logger.info(msg + ' no')
304     # write rc entries for 'not found'
305     if len(rc_entry) > 0:  # the last one.
306         addToRC(rc_entry[-1].replace('%%', not_found))
307     return ['', not_found]
308
309
310 def checkProgAlternatives(description, progs, rc_entry = [],
311                           alt_rc_entry = [], path = [], not_found = ''):
312     '''
313         The same as checkProg, but additionally, all found programs will be added
314         as alt_rc_entries
315     '''
316     # one rc entry for each progs plus not_found entry
317     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
318         logger.error("rc entry should have one item or item for each prog and not_found.")
319         sys.exit(2)
320     logger.info('checking for ' + description + '...')
321     ## print '(' + ','.join(progs) + ')',
322     additional_path = path
323     path = os.environ["PATH"].split(os.pathsep) + additional_path
324     extlist = ['']
325     if "PATHEXT" in os.environ:
326         extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
327     found_prime = False
328     real_ac_dir = ''
329     real_ac_word = not_found
330     global java, perl
331     for idx in range(len(progs)):
332         # ac_prog may have options, ac_word is the command name
333         ac_prog = progs[idx]
334         ac_word = ac_prog.split(' ')[0]
335         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
336             continue
337         if ac_word.endswith('.pl') and perl == '':
338             continue
339         msg = '+checking for "' + ac_word + '"... '
340         found_alt = False
341         for ac_dir in path:
342             if hasattr(os, "access") and not os.access(ac_dir, os.F_OK):
343                 continue
344             for ext in extlist:
345                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
346                     logger.info(msg + ' yes')
347                     pr = re.compile(r'(\\\S+)(.*)$')
348                     m = None
349                     # deal with java and perl
350                     if ac_word.endswith('.class'):
351                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"'
352                                     % (java, os.path.join(ac_dir, ac_word[:-6])))
353                     elif ac_word.endswith('.jar'):
354                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"'
355                                     % (java, os.path.join(ac_dir, ac_word)))
356                     elif ac_word.endswith('.pl'):
357                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"'
358                                     % (perl, os.path.join(ac_dir, ac_word)))
359                     elif ac_dir in additional_path:
360                         ac_prog = ac_prog.replace(ac_word, r'\"%s\"'
361                                     % (os.path.join(ac_dir, ac_word)))
362                     # write rc entries for this command
363                     if found_prime == False:
364                         if len(rc_entry) == 1:
365                             addToRC(rc_entry[0].replace('%%', ac_prog))
366                         elif len(rc_entry) > 1:
367                             addToRC(rc_entry[idx].replace('%%', ac_prog))
368                         real_ac_dir = ac_dir
369                         real_ac_word = ac_word
370                         found_prime = True
371                     if len(alt_rc_entry) == 1:
372                         alt_rc = alt_rc_entry[0]
373                         if alt_rc == "":
374                             # if no explicit alt_rc is given, construct one
375                             m = pr.match(rc_entry[0])
376                             if m:
377                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
378                         addToRC(alt_rc.replace('%%', ac_prog))
379                     elif len(alt_rc_entry) > 1:
380                         alt_rc = alt_rc_entry[idx]
381                         if alt_rc == "":
382                             # if no explicit alt_rc is given, construct one
383                             m = pr.match(rc_entry[idx])
384                             if m:
385                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
386                         addToRC(alt_rc.replace('%%', ac_prog))
387                     found_alt = True
388                     break
389             if found_alt:
390                 break
391         if found_alt == False:
392             # if not successful
393             logger.info(msg + ' no')
394     if found_prime:
395         return [real_ac_dir, real_ac_word]
396     # write rc entries for 'not found'
397     if len(rc_entry) > 0:  # the last one.
398         addToRC(rc_entry[-1].replace('%%', not_found))
399     return ['', not_found]
400
401
402 def addAlternatives(rcs, alt_type):
403     '''
404         Returns a \\prog_alternatives string to be used as an alternative
405         rc entry.  alt_type can be a string or a list of strings.
406     '''
407     r = re.compile(r'\\Format (\S+).*$')
408     m = None
409     alt = ''
410     alt_token = '\\%s_alternatives '
411     if isinstance(alt_type, str):
412         alt_tokens = [alt_token % alt_type]
413     else:
414         alt_tokens = [alt_token % s for s in alt_type]
415     for idxx in range(len(rcs)):
416         if len(rcs) == 1:
417             m = r.match(rcs[0])
418             if m:
419                 alt = '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
420         elif len(rcs) > 1:
421             m = r.match(rcs[idxx])
422             if m:
423                 if idxx > 0:
424                     alt += '\n'
425                 alt += '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
426     return alt
427
428
429 def listAlternatives(progs, alt_type, rc_entry = []):
430     '''
431         Returns a list of \\prog_alternatives strings to be used as alternative
432         rc entries.  alt_type can be a string or a list of strings.
433     '''
434     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
435         logger.error("rc entry should have one item or item for each prog and not_found.")
436         sys.exit(2)
437     alt_rc_entry = []
438     for idx in range(len(progs)):
439         if len(rc_entry) == 1:
440             rcs = rc_entry[0].split('\n')
441             alt = addAlternatives(rcs, alt_type)
442             alt_rc_entry.insert(0, alt)
443         elif len(rc_entry) > 1:
444             rcs = rc_entry[idx].split('\n')
445             alt = addAlternatives(rcs, alt_type)
446             alt_rc_entry.insert(idx, alt)
447     return alt_rc_entry
448
449
450 def checkViewer(description, progs, rc_entry = [], path = []):
451     ''' The same as checkProgAlternatives, but for viewers '''
452     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
453     return checkProgAlternatives(description, progs, rc_entry,
454                                  alt_rc_entry, path, not_found = 'auto')
455
456
457 def checkEditor(description, progs, rc_entry = [], path = []):
458     ''' The same as checkProgAlternatives, but for editors '''
459     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
460     return checkProgAlternatives(description, progs, rc_entry,
461                                  alt_rc_entry, path, not_found = 'auto')
462
463
464 def checkViewerNoRC(description, progs, rc_entry = [], path = []):
465     ''' The same as checkViewer, but do not add rc entry '''
466     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
467     rc_entry = []
468     return checkProgAlternatives(description, progs, rc_entry,
469                                  alt_rc_entry, path, not_found = 'auto')
470
471
472 def checkEditorNoRC(description, progs, rc_entry = [], path = []):
473     ''' The same as checkViewer, but do not add rc entry '''
474     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
475     rc_entry = []
476     return checkProgAlternatives(description, progs, rc_entry,
477                                  alt_rc_entry, path, not_found = 'auto')
478
479
480 def checkViewerEditor(description, progs, rc_entry = [], path = []):
481     ''' The same as checkProgAlternatives, but for viewers and editors '''
482     alt_rc_entry = listAlternatives(progs, ['editor', 'viewer'], rc_entry)
483     return checkProgAlternatives(description, progs, rc_entry,
484                                  alt_rc_entry, path, not_found = 'auto')
485
486
487 def checkDTLtools():
488     ''' Check whether DTL tools are available (Windows only) '''
489     # Find programs! Returned path is not used now
490     if ((os.name == 'nt' or sys.platform == 'cygwin') and
491             checkProg('DVI to DTL converter', ['dv2dt']) != ['', ''] and
492             checkProg('DTL to DVI converter', ['dt2dv']) != ['', '']):
493         dtl_tools = True
494     else:
495         dtl_tools = False
496     return dtl_tools
497
498 def checkInkscape():
499     ''' Check whether Inkscape is available and return the full path (Windows only) '''
500     if os.name != 'nt':
501         return 'inkscape'
502     if sys.version_info[0] < 3:
503         import _winreg as winreg
504     else:
505         import winreg
506     aReg = winreg.ConnectRegistry(None, winreg.HKEY_CLASSES_ROOT)
507     try:
508         aKey = winreg.OpenKey(aReg, r"inkscape.svg\DefaultIcon")
509         val = winreg.QueryValueEx(aKey, "")
510         return str(val[0]).split('"')[1].replace('.exe', '')
511     except EnvironmentError:
512         try:
513             aKey = winreg.OpenKey(aReg, r"Applications\inkscape.exe\shell\open\command")
514             val = winreg.QueryValueEx(aKey, "")
515             return str(val[0]).split('"')[1].replace('.exe', '')
516         except EnvironmentError:
517             return 'inkscape'
518
519 def checkLatex(dtl_tools):
520     ''' Check latex, return lyx_check_config '''
521     path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'latex2e $$i'])
522     path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
523     #-----------------------------------------------------------------
524     path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
525     if PLATEX != '':
526         # check if PLATEX is pLaTeX2e
527         writeToFile('chklatex.ltx', r'\nonstopmode\makeatletter\@@end')
528         # run platex on chklatex.ltx and check result
529         if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
530             # We have the Japanese pLaTeX2e
531             addToRC(r'\converter platex   dvi       "%s"   "latex=platex"' % PLATEX)
532         else:
533             PLATEX = ''
534             removeFiles(['chklatex.ltx', 'chklatex.log'])
535     #-----------------------------------------------------------------
536     # use LATEX to convert from latex to dvi if PPLATEX is not available
537     if PPLATEX == '':
538         PPLATEX = LATEX
539     if dtl_tools:
540         # Windows only: DraftDVI
541         addToRC(r'''\converter latex      dvi2       "%s"       "latex"
542 \converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o"  ""''' % PPLATEX)
543     else:
544         addToRC(r'\converter latex      dvi        "%s" "latex"' % PPLATEX)
545     # no latex
546     if LATEX != '':
547         # Check if latex is usable
548         writeToFile('chklatex.ltx', r'''
549 \nonstopmode
550 \ifx\undefined\documentclass\else
551   \message{ThisIsLaTeX2e}
552 \fi
553 \makeatletter
554 \@@end
555 ''')
556         # run latex on chklatex.ltx and check result
557         if cmdOutput(LATEX + ' chklatex.ltx').find('ThisIsLaTeX2e') != -1:
558             # valid latex2e
559             return LATEX
560         else:
561             logger.warning("Latex not usable (not LaTeX2e) ")
562         # remove temporary files
563         removeFiles(['chklatex.ltx', 'chklatex.log'])
564     return ''
565
566
567 def checkLuatex():
568     ''' Check if luatex is there '''
569     path, LUATEX = checkProg('LuaTeX', ['lualatex $$i'])
570     path, DVILUATEX = checkProg('LuaTeX (DVI)', ['dvilualatex $$i'])
571     if LUATEX != '':
572         addToRC(r'\converter luatex      pdf5       "%s"        "latex=lualatex"' % LUATEX)
573     if DVILUATEX != '':
574         addToRC(r'\converter dviluatex   dvi3        "%s"       "latex=dvilualatex"' % DVILUATEX)
575
576
577 def checkModule(module):
578     ''' Check for a Python module, return the status '''
579     msg = 'checking for "' + module + ' module"... '
580     try:
581       __import__(module)
582       logger.info(msg + ' yes')
583       return True
584     except ImportError:
585       logger.info(msg + ' no')
586       return False
587
588
589 def checkFormatEntries(dtl_tools):
590     ''' Check all formats (\Format entries) '''
591     checkViewerEditor('a Tgif viewer and editor', ['tgif'],
592         rc_entry = [r'\Format tgif      "obj, tgo" Tgif                 "" "%%" "%%"    "vector"        "application/x-tgif"'])
593     #
594     checkViewerEditor('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
595         rc_entry = [r'\Format fig        fig     FIG                    "" "%%" "%%"    "vector"        "application/x-xfig"'])
596     #
597     checkViewerEditor('a Dia viewer and editor', ['dia'],
598         rc_entry = [r'\Format dia        dia     DIA                    "" "%%" "%%"    "vector,zipped=native", "application/x-dia-diagram"'])
599     #
600     checkViewerEditor('an OpenDocument drawing viewer and editor', ['libreoffice', 'lodraw', 'ooffice', 'oodraw', 'soffice'],
601         rc_entry = [r'\Format odg        "odg, sxd" "OpenDocument drawing"   "" "%%"    "%%"    "vector,zipped=native"  "application/vnd.oasis.opendocument.graphics"'])
602     #
603     checkViewerEditor('a Grace viewer and editor', ['xmgrace'],
604         rc_entry = [r'\Format agr        agr     Grace                  "" "%%" "%%"    "vector"        ""'])
605     #
606     checkViewerEditor('a FEN viewer and editor', ['xboard -lpf $$i -mode EditPosition'],
607         rc_entry = [r'\Format fen        fen     FEN                    "" "%%" "%%"    ""      ""'])
608     #
609     checkViewerEditor('a SVG viewer and editor', [inkscape_name],
610         rc_entry = [r'''\Format svg        "svg" SVG                "" "%%" "%%"        "vector"        "image/svg+xml"
611 \Format svgz       "svgz" "SVG (compressed)" "" "%%" "%%"       "vector,zipped=native"  ""'''],
612         path = [inkscape_path])
613     #
614     imageformats = r'''\Format bmp        bmp     BMP                    "" "%s"        "%s"    ""      "image/x-bmp"
615 \Format gif        gif     GIF                    "" "%s"       "%s"    ""      "image/gif"
616 \Format jpg       "jpg, jpeg" JPEG                "" "%s"       "%s"    ""      "image/jpeg"
617 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""      "image/x-portable-bitmap"
618 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""      "image/x-portable-graymap"
619 \Format png        png     PNG                    "" "%s"       "%s"    ""      "image/x-png"
620 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""      "image/x-portable-pixmap"
621 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""      "image/tiff"
622 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""      "image/x-xbitmap"
623 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""      "image/x-xpixmap"'''
624     path, iv = checkViewerNoRC('a raster image viewer',
625         ['xv', 'gwenview', 'kview',
626          'eog', 'xviewer', 'ristretto', 'gpicview', 'lximage-qt',
627          'xdg-open', 'gimp-remote', 'gimp'],
628         rc_entry = [imageformats])
629     path, ie = checkEditorNoRC('a raster image editor',
630         ['gimp-remote', 'gimp'], rc_entry = [imageformats])
631     addToRC(imageformats % ((iv, ie)*10))
632     #
633     checkViewerEditor('a text editor',
634         ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate',
635          'nedit', 'gedit', 'geany', 'leafpad', 'mousepad', 'xed', 'notepad'],
636         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""    "%%"    ""      ""
637 \Format docbook    sgml    DocBook                B  "" "%%"    "document,menu=export"  ""
638 \Format docbook-xml xml   "DocBook (XML)"         "" "" "%%"    "document,menu=export"  "application/docbook+xml"
639 \Format dot        dot    "Graphviz Dot"          "" "" "%%"    "vector"        "text/vnd.graphviz"
640 \Format dviluatex  tex    "LaTeX (dviluatex)"     "" "" "%%"    "document,menu=export"  ""
641 \Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document,menu=export"  ""
642 \Format literate   nw      NoWeb                  N  "" "%%"    "document,menu=export"  ""
643 \Format sweave     Rnw    "Sweave"                S  "" "%%"    "document,menu=export"  ""
644 \Format r          R      "R/S code"              "" "" "%%"    "document,menu=export"  ""
645 \Format knitr      Rnw    "Rnw (knitr)"           "" "" "%%"    "document,menu=export"  ""
646 \Format lilypond   ly     "LilyPond music"        "" "" "%%"    "vector"        "text/x-lilypond"
647 \Format lilypond-book    lytex "LilyPond book (LaTeX)"   "" ""  "%%"    "document,menu=export"  ""
648 \Format latex      tex    "LaTeX (plain)"         L  "" "%%"    "document,menu=export"  "text/x-tex"
649 \Format luatex     tex    "LaTeX (LuaTeX)"        "" "" "%%"    "document,menu=export"  ""
650 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" "" "%%"    "document,menu=export"  ""
651 \Format xetex      tex    "LaTeX (XeTeX)"         "" "" "%%"    "document,menu=export"  ""
652 \Format latexclipboard tex "LaTeX (clipboard)"    "" "" "%%"    ""      ""
653 \Format text       txt    "Plain text"            a  "" "%%"    "document,menu=export"  "text/plain"
654 \Format text2      txt    "Plain text (pstotext)" "" "" "%%"    "document"      ""
655 \Format text3      txt    "Plain text (ps2ascii)" "" "" "%%"    "document"      ""
656 \Format text4      txt    "Plain text (catdvi)"   "" "" "%%"    "document"      ""
657 \Format textparagraph txt "Plain Text, Join Lines" "" ""        "%%"    "document"      ""
658 \Format beamer.info pdf.info   "Info (Beamer)"         "" ""   "%%"    "document,menu=export"   ""''' ])
659    #Spreadsheets using ssconvert from gnumeric
660     checkViewer('gnumeric spreadsheet software', ['gnumeric'],
661       rc_entry = [r'''\Format gnumeric gnumeric "Gnumeric spreadsheet" "" ""    "%%"   "document"       "application/x-gnumeric"
662 \Format excel      xls    "Excel spreadsheet"      "" "" "%%"    "document"     "application/vnd.ms-excel"
663 \Format excel2     xlsx   "MS Excel Office Open XML" "" "" "%%" "document"      "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
664 \Format html_table html   "HTML Table (for spreadsheets)"      "" "" "%%"    "document" "text/html"
665 \Format oocalc     ods    "OpenDocument spreadsheet" "" "" "%%"    "document"   "application/vnd.oasis.opendocument.spreadsheet"'''])
666  #
667     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
668         rc_entry = [r'\Format xhtml      xhtml   "LyXHTML"              y "%%" ""    "document,menu=export"     "application/xhtml+xml"'])
669  #
670     checkEditor('a BibTeX editor', ['jabref', 'JabRef',
671         'pybliographic', 'bibdesk', 'gbib', 'kbib',
672         'kbibtex', 'sixpack', 'bibedit', 'tkbibtex'
673         'xemacs', 'gvim', 'kedit', 'kwrite', 'kate',
674         'jedit', 'TeXnicCenter', 'WinEdt', 'WinShell', 'PSPad',
675         'nedit', 'gedit', 'notepad', 'geany', 'leafpad', 'mousepad'],
676         rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""    "%%"    ""      "text/x-bibtex"''' ])
677     #
678     #checkProg('a Postscript interpreter', ['gs'],
679     #  rc_entry = [ r'\ps_command "%%"' ])
680     checkViewer('a Postscript previewer',
681                 ['kghostview', 'okular', 'qpdfview --unique',
682                  'evince', 'xreader',
683                  'gv', 'ghostview -swap', 'gsview64', 'gsview32'],
684         rc_entry = [r'''\Format eps        eps     EPS                    "" "%%"       ""      "vector"        "image/x-eps"
685 \Format eps2       eps    "EPS (uncropped)"       "" "%%"       ""      "vector"        ""
686 \Format eps3       eps    "EPS (cropped)"         "" "%%"       ""      "document"      ""
687 \Format ps         ps      Postscript             t  "%%"       ""      "document,vector,menu=export"   "application/postscript"'''])
688     # for xdg-open issues look here: http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg151818.html
689     # maybe use "bestApplication()" from https://github.com/jleclanche/python-mime
690     # the MIME type is set for pdf6, because that one needs to be autodetectable by libmime
691     checkViewer('a PDF previewer',
692                 ['pdfview', 'kpdf', 'okular', 'qpdfview --unique',
693                  'evince', 'xreader', 'kghostview', 'xpdf', 'SumatraPDF',
694                  'acrobat', 'acroread', 'mupdf',
695                  'gv', 'ghostview', 'AcroRd32', 'gsview64', 'gsview32'],
696         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"       ""      "document,vector,menu=export"   ""
697 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"       ""      "document,vector,menu=export"   ""
698 \Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"       ""      "document,vector,menu=export"   ""
699 \Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"       ""      "document,vector,menu=export"   ""
700 \Format pdf5       pdf    "PDF (LuaTeX)"          u  "%%"       ""      "document,vector,menu=export"   ""
701 \Format pdf6       pdf    "PDF (graphics)"        "" "%%"       ""      "vector"        "application/pdf"
702 \Format pdf7       pdf    "PDF (cropped)"         "" "%%"       ""      "document,vector"       ""
703 \Format pdf8       pdf    "PDF (lower resolution)"         "" "%%"      ""      "document,vector"       ""'''])
704     #
705     checkViewer('a DVI previewer', ['xdvi', 'kdvi', 'okular',
706                                     'evince', 'xreader',
707                                     'yap', 'dviout -Set=!m'],
708         rc_entry = [r'''\Format dvi        dvi     DVI                    D  "%%"       ""      "document,vector,menu=export"   "application/x-dvi"
709 \Format dvi3       dvi     "DVI (LuaTeX)"          V  "%%"      ""      "document,vector,menu=export"   ""'''])
710     if dtl_tools:
711         # Windows only: DraftDVI
712         addToRC(r'\Format dvi2       dvi     DraftDVI               ""  ""      ""      "vector"        ""')
713     #
714     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
715         rc_entry = [r'\Format html      "html, htm" HTML                H  "%%" ""      "document,menu=export"  "text/html"'])
716     #
717     checkViewerEditor('Noteedit', ['noteedit'],
718         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%" "%%"    "vector"        ""'])
719     #
720     checkViewerEditor('an OpenDocument viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
721         rc_entry = [r'''\Format odt        odt     "OpenDocument (tex4ht)"  "" "%%"     "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
722 \Format odt2       odt    "OpenDocument (eLyXer)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
723 \Format odt3       odt    "OpenDocument (Pandoc)"  "" "%%"      "%%"    "document,vector,menu=export"   "application/vnd.oasis.opendocument.text"
724 \Format sxw        sxw    "OpenOffice.Org (sxw)"  "" "" ""      "document,vector"       "application/vnd.sun.xml.writer"'''])
725     #
726     checkViewerEditor('a Rich Text and Word viewer', ['libreoffice', 'lwriter', 'lowriter', 'oowriter', 'swriter', 'abiword'],
727         rc_entry = [r'''\Format rtf        rtf    "Rich Text Format"      "" "%%"       "%%"    "document,vector,menu=export"   "application/rtf"
728 \Format word       doc    "MS Word"               W  "%%"       "%%"    "document,vector,menu=export"   "application/msword"
729 \Format word2      docx    "MS Word Office Open XML"               O  "%%"      "%%"    "document,vector,menu=export"   "application/vnd.openxmlformats-officedocument.wordprocessingml.document"'''])
730     #
731     # entries that do not need checkProg
732     addToRC(r'''\Format csv        csv    "Table (CSV)"           "" "" ""      "document"      "text/csv"
733 \Format fax        ""      Fax                    "" "" ""      "document"      ""
734 \Format lyx        lyx     LyX                    "" "" ""      ""      "application/x-lyx"
735 \Format lyx13x     13.lyx "LyX 1.3.x"             "" "" ""      "document"      ""
736 \Format lyx14x     14.lyx "LyX 1.4.x"             "" "" ""      "document"      ""
737 \Format lyx15x     15.lyx "LyX 1.5.x"             "" "" ""      "document"      ""
738 \Format lyx16x     16.lyx "LyX 1.6.x"             "" "" ""      "document"      ""
739 \Format lyx20x     20.lyx "LyX 2.0.x"             "" "" ""      "document"      ""
740 \Format lyx21x     21.lyx "LyX 2.1.x"             "" "" ""      "document"      ""
741 \Format lyx22x     22.lyx "LyX 2.2.x"             "" "" ""      "document,menu=export"  ""
742 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" "" ""      "document"      ""
743 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""        ""      "document"      ""
744 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""        ""      "document"      ""
745 \Format lyxpreview lyxpreview "LyX Preview"       "" "" ""      ""      ""
746 \Format pdftex     "pdftex_t, pdf_tex" PDFTEX                "" ""      ""      ""      ""
747 \Format program    ""      Program                "" "" ""      ""      ""
748 \Format pstex      "pstex_t, ps_tex" PSTEX                  "" ""       ""      ""      ""
749 \Format wmf        wmf    "Windows Metafile"      "" "" ""      "vector"        "image/x-wmf"
750 \Format emf        emf    "Enhanced Metafile"     "" "" ""      "vector"        "image/x-emf"
751 \Format wordhtml  "html, htm" "HTML (MS Word)"    "" "" ""      "document"      ""
752 ''')
753
754
755 def checkConverterEntries():
756     ''' Check all converters (\converter entries) '''
757     checkProg('the pdflatex program', ['pdflatex $$i'],
758         rc_entry = [ r'\converter pdflatex   pdf2       "%%"    "latex=pdflatex"' ])
759
760     checkProg('XeTeX', ['xelatex $$i'],
761         rc_entry = [ r'\converter xetex      pdf4       "%%"    "latex=xelatex"' ])
762
763     checkLuatex()
764
765     # Look for tex2lyx in this order (see bugs #3308 and #6986):
766     #   1)  If we're building LyX with autotools then tex2lyx is found
767     #       in the subdirectory tex2lyx with respect to the binary dir.
768     #   2)  If we're building LyX with cmake then tex2lyx is found
769     #       in the binary dir.
770     #   3)  If LyX was configured with a version suffix then tex2lyx
771     #       will also have this version suffix.
772     #   4)  Otherwise always use tex2lyx.
773     in_binary_subdir = os.path.join(lyx_binary_dir, 'tex2lyx', 'tex2lyx')
774     in_binary_subdir = os.path.abspath(in_binary_subdir).replace('\\', '/')
775
776     in_binary_dir = os.path.join(lyx_binary_dir, 'tex2lyx')
777     in_binary_dir = os.path.abspath(in_binary_dir).replace('\\', '/')
778
779     path, t2l = checkProg('a LaTeX/Noweb -> LyX converter', [in_binary_subdir, in_binary_subdir + version_suffix, in_binary_dir, in_binary_dir + version_suffix, 'tex2lyx' + version_suffix, 'tex2lyx'],
780         rc_entry = [r'''\converter latex      lyx        "%% -f $$i $$o"        ""
781 \converter latexclipboard lyx        "%% -fixedenc utf8 -f $$i $$o"     ""
782 \converter literate   lyx        "%% -n -m noweb -f $$i $$o"    ""
783 \converter sweave   lyx        "%% -n -m sweave -f $$i $$o"     "needauth"
784 \converter knitr   lyx        "%% -n -m knitr -f $$i $$o"       "needauth"'''], not_found = 'tex2lyx')
785     if path == '':
786         logger.warning("Failed to find tex2lyx on your system.")
787
788     #
789     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
790         rc_entry = [r'''\converter literate   latex      "%%"   ""
791 \converter literate   pdflatex      "%%"        ""
792 \converter literate   xetex         "%%"        ""
793 \converter literate   luatex        "%%"        ""
794 \converter literate   dviluatex     "%%"        ""'''])
795     #
796     checkProg('a Sweave -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxsweave.R $$p$$i $$p$$o $$e $$r'],
797         rc_entry = [r'''\converter sweave   latex      "%%"     "needauth"
798 \converter sweave   pdflatex   "%%"     "needauth"
799 \converter sweave   xetex      "%%"     "needauth"
800 \converter sweave   luatex     "%%"     "needauth"
801 \converter sweave   dviluatex  "%%"     "needauth"'''])
802     #
803     checkProg('a knitr -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r'],
804         rc_entry = [r'''\converter knitr   latex      "%%"      "needauth"
805 \converter knitr   pdflatex   "%%"      "needauth"
806 \converter knitr   xetex      "%%"      "needauth"
807 \converter knitr   luatex     "%%"      "needauth"
808 \converter knitr   dviluatex  "%%"      "needauth"'''])
809     #
810     checkProg('a Sweave -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxstangle.R $$i $$e $$r'],
811         rc_entry = [ r'\converter sweave      r      "%%"    "needauth"' ])
812     #
813     checkProg('a knitr -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxknitr.R $$p$$i $$p$$o $$e $$r tangle'],
814         rc_entry = [ r'\converter knitr      r      "%%"    "needauth"' ])
815     #
816     checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex',
817         'htmltolatex -input $$i -output $$o', 'htmltolatex.jar -input $$i -output $$o'],
818         rc_entry = [ r'\converter html       latex      "%%"    ""',
819                      r'\converter html       latex      "python -tt $$s/scripts/html2latexwrapper.py %% $$i $$o"        ""',
820                      r'\converter html       latex      "%%"    ""',
821                      r'\converter html       latex      "%%"    ""', '' ])
822     #
823     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
824         rc_entry = [ r'\converter word       latex      "%%"    ""' ])
825
826     # eLyXer: search as an executable (elyxer.py, elyxer)
827     path, elyxer = checkProg('a LyX -> HTML converter',
828         ['elyxer.py --nofooter --directory $$r $$i $$o', 'elyxer --nofooter --directory $$r $$i $$o'],
829         rc_entry = [ r'\converter lyx      html       "%%"      ""' ])
830     path, elyxer = checkProg('a LyX -> HTML (MS Word) converter',
831         ['elyxer.py --nofooter --html --directory $$r $$i $$o', 'elyxer --nofooter --html --directory $$r $$i $$o'],
832         rc_entry = [ r'\converter lyx      wordhtml       "%%"  ""' ])
833     path, elyxer = checkProg('a LyX -> OpenDocument (eLyXer) converter',
834         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
835         rc_entry = [ r'\converter lyx      odt2       "%%"      ""' ])
836     path, elyxer = checkProg('a LyX -> Word converter',
837         ['elyxer.py --html --nofooter --unicode --directory $$r $$i $$o', 'elyxer --html --nofooter --unicode --directory $$r $$i $$o'],
838         rc_entry = [ r'\converter lyx      word      "%%"       ""' ])
839     if elyxer.find('elyxer') >= 0:
840       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
841       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
842     else:
843       # search for HTML converters other than eLyXer
844       # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
845       path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i',
846           '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o',
847           'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
848           rc_entry = [ r'\converter latex      html       "%%"  "needaux"' ])
849       if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
850         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
851       else:
852         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
853       path, htmlconv = checkProg('a LaTeX -> HTML (MS Word) converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'",
854           "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'",
855           "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
856           rc_entry = [ r'\converter latex      wordhtml   "%%"  "needaux"' ])
857       if htmlconv.find('htlatex') >= 0:
858         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
859       else:
860         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
861
862
863     # Check if LyXBlogger is installed
864     lyxblogger_found = checkModule('lyxblogger')
865     if lyxblogger_found:
866       addToRC(r'\Format    blog       blog       "LyXBlogger"           "" "" ""  "document"  ""')
867       addToRC(r'\converter xhtml      blog       "python -m lyxblogger $$i"       ""')
868
869     #
870     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
871         rc_entry = [ r'\converter sxw        latex      "%%"    ""' ])
872     #
873     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
874         rc_entry = [ r'\converter odt        latex      "%%"    ""' ])
875     #
876     checkProg('an Open Document (Pandoc) -> LaTeX converter', ['pandoc -s -f odt -o $$o -t latex $$i'],
877         rc_entry = [ r'\converter odt3        latex      "%%"   ""' ])
878     #
879     checkProg('a MS Word Office Open XML converter -> LaTeX', ['pandoc -s -f docx -o $$o -t latex $$i'],
880         rc_entry = [ r'\converter word2      latex      "%%"    ""' ])
881     # Only define a converter to pdf6, otherwise the odt format could be
882     # used as an intermediate step for export to pdf, which is not wanted.
883     checkProg('an OpenDocument -> PDF converter', ['unoconv -f pdf --stdout $$i > $$o'],
884         rc_entry = [ r'\converter odt        pdf6       "%%"    ""' ])
885     # According to http://www.tug.org/applications/tex4ht/mn-commands.html
886     # the command mk4ht oolatex $$i has to be used as default,
887     # but as this would require to have Perl installed, in MiKTeX oolatex is
888     # directly available as application.
889     # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
890     # Both SuSE and debian have oolatex
891     checkProg('a LaTeX -> Open Document (tex4ht) converter', [
892         'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
893         'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
894         rc_entry = [ r'\converter latex      odt        "%%"    "needaux"' ])
895     # On windows it is called latex2rt.exe
896     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
897         rc_entry = [ r'\converter latex      rtf        "%%"    "needaux"' ])
898     #
899     checkProg('a LaTeX -> Open Document (Pandoc) converter', ['pandoc -s -f latex -o $$o -t odt $$i'],
900         rc_entry = [ r'\converter latex      odt3        "%%"   ""' ])
901     #
902     checkProg('a LaTeX -> MS Word Office Open XML converter', ['pandoc -s -f latex -o $$o -t docx $$i'],
903         rc_entry = [ r'\converter latex      word2       "%%"   ""' ])
904     #
905     checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
906         rc_entry = [ r'\converter rtf      html        "%%"     ""' ])
907     # Do not define a converter to pdf6, ps is a pure export format
908     checkProg('a PS to PDF converter', ['ps2pdf $$i $$o'],
909         rc_entry = [ r'\converter ps         pdf        "%%"    ""' ])
910     #
911     checkProg('a PS to TXT converter', ['pstotext $$i > $$o'],
912         rc_entry = [ r'\converter ps         text2      "%%"    ""' ])
913     #
914     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
915         rc_entry = [ r'\converter ps         text3      "%%"    ""' ])
916     # Need to call ps2eps in a pipe, otherwise it would name the output file
917     # depending on the extension of the input file. We do not know the input
918     # file extension in general, so the resultfile= flag would not help.
919     # Since ps2eps crops the image, we do not use it to convert from ps->eps.
920     # This would create additional paths in the converter graph with unwanted
921     # side effects (e.g. ps->pdf via ps2pdf would create a different result
922     # than ps->eps->pdf via ps2eps and epstopdf).
923     checkProg('a PS to EPS converter', ['ps2eps -- < $$i > $$o'],
924         rc_entry = [ r'\converter eps2       eps      "%%"      ""' ])
925     #
926     checkProg('a PDF to PS converter', ['pdftops $$i $$o', 'pdf2ps $$i $$o'],
927         rc_entry = [ r'\converter pdf         ps        "%%"    ""' ])
928     # Only define a converter from pdf6 for graphics
929     checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
930         rc_entry = [ r'\converter pdf6        eps        "%%"   ""' ])
931     # Create one converter for a PDF produced using TeX fonts and one for a
932     # PDF produced using non-TeX fonts. This does not produce non-unique
933     # conversion paths, since a given document either uses TeX fonts or not.
934     checkProg('a PDF cropping tool', ['pdfcrop $$i $$o'],
935         rc_entry = [ r'''\converter pdf2   pdf7       "%%"      ""
936 \converter pdf4   pdf7       "%%"       ""''' ])
937     # Create one converter for a PDF produced using TeX fonts and one for a
938     # PDF produced using non-TeX fonts. This does not produce non-unique
939     # conversion paths, since a given document either uses TeX fonts or not.
940     checkProg('Ghostscript', ["gswin32c", "gswin64c", "gs"],
941         rc_entry = [ r'''\converter pdf2   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"     ""
942 \converter pdf4   pdf8       "python -tt $$s/scripts/convert_pdf.py $$i $$o ebook"      ""''' ])
943     #
944     checkProg('a Beamer info extractor', ['makebeamerinfo -p $$i'],
945         rc_entry = [ r'\converter pdf2         beamer.info        "%%"  ""' ])
946     #
947     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
948         rc_entry = [ r'\converter dvi        text4      "%%"    ""' ])
949     #
950     checkProg('a DVI to PS converter', ['dvips -o $$o $$i'],
951         rc_entry = [ r'\converter dvi        ps         "%%"    ""' ])
952     #
953     checkProg('a DVI to cropped EPS converter', ['dvips -E -o $$o $$i'],
954         rc_entry = [ r'\converter dvi        eps3         "%%"  ""' ])
955     #
956     checkProg('a DVI to PDF converter', ['dvipdfmx -o $$o $$i', 'dvipdfm -o $$o $$i'],
957         rc_entry = [ r'\converter dvi        pdf3       "%%"    ""' ])
958     #
959     checkProg('a fax program', ['kdeprintfax $$i', 'ksendfax $$i', 'hylapex $$i'],
960         rc_entry = [ r'\converter ps         fax        "%%"    ""'])
961     #
962     path, fig2dev = checkProg('a FIG -> Image converter', ['fig2dev'])
963     if fig2dev == "fig2dev":
964         addToRC(r'''\converter fig        eps        "fig2dev -L eps $$i $$o"   ""
965 \converter fig        ppm        "fig2dev -L ppm $$i $$o"       ""
966 \converter fig        svg        "fig2dev -L svg $$i $$o"       ""
967 \converter fig        png        "fig2dev -L png $$i $$o"       ""
968 \converter svg        pdftex     "python -tt $$s/scripts/svg2pdftex.py $$i $$o" ""
969 \converter svg        pstex      "python -tt $$s/scripts/svg2pstex.py $$i $$o" ""
970 \converter fig        pdftex     "python -tt $$s/scripts/fig2pdftex.py $$i $$o" ""
971 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o"  ""''')
972     #
973     checkProg('a TIFF -> PS converter', ['tiff2ps $$i > $$o'],
974         rc_entry = [ r'\converter tiff       eps        "%%"    ""'])
975     #
976     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
977         rc_entry = [
978             r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"    ""
979 \converter tgif       png        "tgif -print -color -png -o $$d $$i"   ""
980 \converter tgif       pdf6       "tgif -print -color -pdf -stdout $$i > $$o"    ""'''])
981     #
982     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
983         rc_entry = [ r'\converter wmf        eps        "%%"    ""'])
984     #
985     checkProg('an EMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
986         rc_entry = [ r'\converter emf        eps        "%%"    ""'])
987     #
988     checkProg('a WMF -> PDF converter', [inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
989         rc_entry = [ r'\converter wmf        pdf6        "%%"   ""'])
990     #
991     checkProg('an EMF -> PDF converter', [inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
992         rc_entry = [ r'\converter emf        pdf6        "%%"   ""'])
993     # Only define a converter to pdf6 for graphics
994     checkProg('an EPS -> PDF converter', ['epstopdf'],
995         rc_entry = [ r'\converter eps        pdf6       "epstopdf --outfile=$$o $$i"    ""'])
996     #
997     checkProg('an EPS -> PNG converter', ['magick $$i $$o', 'convert $$i $$o'],
998         rc_entry = [ r'\converter eps        png        "%%"    ""'])
999     #
1000     # no agr -> pdf6 converter, since the pdf library used by gracebat is not
1001     # free software and therefore not compiled in in many installations.
1002     # Fortunately, this is not a big problem, because we will use epstopdf to
1003     # convert from agr to pdf6 via eps without loss of quality.
1004     checkProg('a Grace -> Image converter', ['gracebat'],
1005         rc_entry = [
1006             r'''\converter agr        eps        "gracebat -hardcopy -printfile $$o -hdevice EPS $$i 2>/dev/null"       ""
1007 \converter agr        png        "gracebat -hardcopy -printfile $$o -hdevice PNG $$i 2>/dev/null"       ""
1008 \converter agr        jpg        "gracebat -hardcopy -printfile $$o -hdevice JPEG $$i 2>/dev/null"      ""
1009 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"       ""'''])
1010     #
1011     checkProg('a Dot -> Image converter', ['dot'],
1012         rc_entry = [
1013             r'''\converter dot        eps        "dot -Teps $$i -o $$o" ""
1014 \converter dot        png        "dot -Tpng $$i -o $$o" ""'''])
1015     #
1016     path, dia = checkProg('a Dia -> Image converter', ['dia'])
1017     if dia == 'dia':
1018         addToRC(r'''\converter dia        png        "dia -e $$o -t png $$i"    ""
1019 \converter dia        eps        "dia -e $$o -t eps $$i"        ""
1020 \converter dia        svg        "dia -e $$o -t svg $$i"        ""''')
1021
1022     #
1023     # Actually, this produces EPS, but with a wrong bounding box (usually A4 or letter).
1024     # The eps2->eps converter then fixes the bounding box by cropping.
1025     # Although unoconv can convert to png and pdf as well, do not define
1026     # odg->png and odg->pdf converters, since the bb would be too large as well.
1027     checkProg('an OpenDocument -> EPS converter', ['libreoffice -headless -nologo -convert-to eps $$i', 'unoconv -f eps --stdout $$i > $$o'],
1028         rc_entry = [ r'\converter odg        eps2       "%%"    ""'])
1029     #
1030     checkProg('a SVG (compressed) -> SVG converter', ['gunzip -c $$i > $$o'],
1031         rc_entry = [ r'\converter svgz       svg        "%%"    ""'])
1032     #
1033     checkProg('a SVG -> SVG (compressed) converter', ['gzip -c $$i > $$o'],
1034         rc_entry = [ r'\converter svg        svgz       "%%"    ""'])
1035     # Only define a converter to pdf6 for graphics
1036     # Prefer rsvg-convert over inkscape since it is faster (see http://www.lyx.org/trac/ticket/9891)
1037     checkProg('a SVG -> PDF converter', ['rsvg-convert -f pdf -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
1038         rc_entry = [ r'''\converter svg        pdf6       "%%"    ""
1039 \converter svgz       pdf6       "%%"    ""'''],
1040         path = ['', inkscape_path])
1041     #
1042     checkProg('a SVG -> EPS converter', ['rsvg-convert -f ps -o $$o $$i', inkscape_name + ' --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
1043         rc_entry = [ r'''\converter svg        eps        "%%"    ""
1044 \converter svgz       eps        "%%"    ""'''],
1045         path = ['', inkscape_path])
1046     #
1047     checkProg('a SVG -> PNG converter', ['rsvg-convert -f png -o $$o $$i', inkscape_name + ' --without-gui --file=$$i --export-png=$$o'],
1048         rc_entry = [ r'''\converter svg        png        "%%"    "",
1049 \converter svgz       png        "%%"    ""'''],
1050         path = ['', inkscape_path])
1051
1052     #
1053     # gnumeric/xls/ods to tex
1054     checkProg('a spreadsheet -> latex converter', ['ssconvert'],
1055        rc_entry = [ r'''\converter gnumeric latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1056 \converter oocalc latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1057 \converter excel  latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1058 \converter excel2 latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
1059 \converter gnumeric html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1060 \converter oocalc html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1061 \converter excel  html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1062 \converter excel2 html_table "ssconvert --export-type=Gnumeric_html:html40frag $$i $$o" ""
1063 '''])
1064
1065     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
1066     if (lilypond != ''):
1067         version_string = cmdOutput("lilypond --version")
1068         match = re.match('GNU LilyPond (\S+)', version_string)
1069         if match:
1070             version_number = match.groups()[0]
1071             version = version_number.split('.')
1072             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
1073                 addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps -dsafe --ps $$i"   ""
1074 \converter lilypond   png        "lilypond -dbackend=eps -dsafe --png $$i"      ""''')
1075                 addToRC(r'\converter lilypond   pdf6       "lilypond -dbackend=eps -dsafe --pdf $$i"    ""')
1076                 logger.info('+  found LilyPond version %s.' % version_number)
1077             elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
1078                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps --safe $$i"  ""
1079 \converter lilypond   png        "lilypond -b eps --png $$i"    ""''')
1080                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
1081                     addToRC(r'\converter lilypond   pdf6       "lilypond -b eps --pdf --safe $$i"       ""')
1082                 logger.info('+  found LilyPond version %s.' % version_number)
1083             else:
1084                 logger.info('+  found LilyPond, but version %s is too old.' % version_number)
1085         else:
1086             logger.info('+  found LilyPond, but could not extract version number.')
1087     #
1088     path, lilypond_book = checkProg('a LilyPond book (LaTeX) -> LaTeX converter', ['lilypond-book'])
1089     if (lilypond_book != ''):
1090         version_string = cmdOutput("lilypond-book --version")
1091         match = re.match('^(\S+)$', version_string)
1092         if match:
1093             version_number = match.groups()[0]
1094             version = version_number.split('.')
1095             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 13):
1096                 # Note: The --lily-output-dir flag is required because lilypond-book
1097                 #       does not process input again unless the input has changed,
1098                 #       even if the output format being requested is different. So
1099                 #       once a .eps file exists, lilypond-book won't create a .pdf
1100                 #       even when requested with --pdf. This is a problem if a user
1101                 #       clicks View PDF after having done a View DVI. To circumvent
1102                 #       this, use different output folders for eps and pdf outputs.
1103                 addToRC(r'\converter lilypond-book latex    "lilypond-book --safe --lily-output-dir=ly-eps $$i"                                ""')
1104                 addToRC(r'\converter lilypond-book pdflatex "lilypond-book --safe --pdf --latex-program=pdflatex --lily-output-dir=ly-pdf $$i" ""')
1105                 addToRC(r'\converter lilypond-book xetex    "lilypond-book --safe --pdf --latex-program=xelatex --lily-output-dir=ly-pdf $$i"  ""')
1106                 addToRC(r'\converter lilypond-book luatex   "lilypond-book --safe --pdf --latex-program=lualatex --lily-output-dir=ly-pdf $$i" ""')
1107                 addToRC(r'\converter lilypond-book dviluatex "lilypond-book --safe --latex-program=dvilualatex --lily-output-dir=ly-eps $$i" ""')
1108                 logger.info('+  found LilyPond-book version %s.' % version_number)
1109             else:
1110                 logger.info('+  found LilyPond-book, but version %s is too old.' % version_number)
1111         else:
1112             logger.info('+  found LilyPond-book, but could not extract version number.')
1113     #
1114     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
1115         rc_entry = [ r'\converter noteedit   lilypond   "%%"    ""' ])
1116     #
1117     # Currently, lyxpak outputs a gzip compressed tar archive on *nix
1118     # and a zip archive on Windows.
1119     # So, we configure the appropriate version according to the platform.
1120     cmd = r'\converter lyx %s "python -tt $$s/scripts/lyxpak.py $$r/$$f" ""'
1121     if os.name == 'nt':
1122         addToRC(r'\Format lyxzip     zip    "LyX Archive (zip)"     "" "" ""  "document,menu=export"    ""')
1123         addToRC(cmd % "lyxzip")
1124     else:
1125         addToRC(r'\Format lyxgz      gz     "LyX Archive (tar.gz)"  "" "" ""  "document,menu=export"    ""')
1126         addToRC(cmd % "lyxgz")
1127
1128     #
1129     # FIXME: no rc_entry? comment it out
1130     # checkProg('Image converter', ['convert $$i $$o'])
1131     #
1132     # Entries that do not need checkProg
1133     addToRC(r'''
1134 \converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"    ""
1135 \converter docbook    docbook-xml "cp $$i $$o"  "xml"
1136 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o"  ""
1137 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.3 -o $$o $$i"     ""
1138 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o $$i"     ""
1139 \converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.5 -o $$o $$i"     ""
1140 \converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -V 1.6 -o $$o $$i"     ""
1141 \converter lyx        lyx20x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.0 -o $$o $$i"     ""
1142 \converter lyx        lyx21x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.1 -o $$o $$i"     ""
1143 \converter lyx        lyx22x     "python -tt $$s/lyx2lyx/lyx2lyx -V 2.2 -o $$o $$i"     ""
1144 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c big5   $$i"   ""
1145 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c euc_jp $$i"   ""
1146 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -V 1.4 -o $$o -c euc_kr $$i"   ""
1147 \converter clyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c big5   -o $$o $$i"  ""
1148 \converter jlyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -o $$o $$i"  ""
1149 \converter klyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -o $$o $$i"  ""
1150 \converter lyxpreview png        "python -tt $$s/scripts/lyxpreview2bitmap.py --png"    ""
1151 \converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py --ppm"    ""
1152 ''')
1153
1154
1155 def checkDocBook():
1156     ''' Check docbook '''
1157     path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
1158         rc_entry = [
1159             r'''\converter docbook    dvi        "sgmltools -b dvi $$i" ""
1160 \converter docbook    html       "sgmltools -b html $$i"        ""
1161 \converter docbook    ps         "sgmltools -b ps $$i"  ""''',
1162             r'''\converter docbook    dvi        "db2dvi $$i"   ""
1163 \converter docbook    html       "db2html $$i"  ""''',
1164             r'''\converter docbook    dvi        ""     ""
1165 \converter docbook    html       "" ""''',
1166             r'''\converter docbook    dvi        ""     ""
1167 \converter docbook    html       ""     ""'''])
1168     #
1169     if DOCBOOK != '':
1170         return ('yes', 'true', '\\def\\hasdocbook{yes}')
1171     else:
1172         return ('no', 'false', '')
1173
1174
1175 def checkOtherEntries():
1176     ''' entries other than Format and Converter '''
1177     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
1178         rc_entry = [ r'\chktex_command "%%"' ])
1179     checkProgAlternatives('BibTeX or alternative programs',
1180         ['bibtex', 'bibtex8', 'biber'],
1181         rc_entry = [ r'\bibtex_command "automatic"' ],
1182         alt_rc_entry = [ r'\bibtex_alternatives "%%"' ])
1183     checkProgAlternatives('a specific Japanese BibTeX variant',
1184         ['pbibtex', 'upbibtex', 'jbibtex', 'bibtex', 'biber'],
1185         rc_entry = [ r'\jbibtex_command "automatic"' ],
1186         alt_rc_entry = [ r'\jbibtex_alternatives "%%"' ])
1187     checkProgAlternatives('available index processors',
1188         ['texindy', 'makeindex -c -q', 'xindy'],
1189         rc_entry = [ r'\index_command "%%"' ],
1190         alt_rc_entry = [ r'\index_alternatives "%%"' ])
1191     checkProg('an index processor appropriate to Japanese',
1192         ['mendex -c -q', 'jmakeindex -c -q', 'makeindex -c -q'],
1193         rc_entry = [ r'\jindex_command "%%"' ])
1194     checkProg('the splitindex processor', ['splitindex.pl', 'splitindex',
1195         'splitindex.class'], rc_entry = [ r'\splitindex_command "%%"' ])
1196     checkProg('a nomenclature processor', ['makeindex'],
1197         rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
1198     ## FIXME: OCTAVE is not used anywhere
1199     # path, OCTAVE = checkProg('Octave', ['octave'])
1200     ## FIXME: MAPLE is not used anywhere
1201     # path, MAPLE = checkProg('Maple', ['maple'])
1202     # Add the rest of the entries (no checkProg is required)
1203     addToRC(r'''\copier    fig        "python -tt $$s/scripts/fig_copy.py $$i $$o"
1204 \copier    pstex      "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1205 \copier    pdftex     "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
1206 \copier    program    "python -tt $$s/scripts/ext_copy.py $$i $$o"
1207 ''')
1208
1209
1210 def processLayoutFile(file, bool_docbook):
1211     ''' process layout file and get a line of result
1212
1213         Declare lines look like this:
1214
1215         \DeclareLaTeXClass[<requirements>]{<description>}
1216
1217         Optionally, a \DeclareCategory line follows:
1218
1219         \DeclareCategory{<category>}
1220
1221         So for example (article.layout, scrbook.layout, svjog.layout)
1222
1223         \DeclareLaTeXClass{article}
1224         \DeclareCategory{Articles}
1225
1226         \DeclareLaTeXClass[scrbook]{book (koma-script)}
1227         \DeclareCategory{Books}
1228
1229         \DeclareLaTeXClass[svjour,svjog.clo]{article (Springer - svjour/jog)}
1230
1231         we'd expect this output:
1232
1233         "article" "article" "article" "false" "article.cls" "Articles"
1234         "scrbook" "scrbook" "book (koma-script)" "false" "scrbook.cls" "Books"
1235         "svjog" "svjour" "article (Springer - svjour/jog)" "false" "svjour.cls,svjog.clo" ""
1236     '''
1237     def checkForClassExtension(x):
1238         '''if the extension for a latex class is not
1239            provided, add .cls to the classname'''
1240         if not '.' in x:
1241             return x.strip() + '.cls'
1242         else:
1243             return x.strip()
1244     classname = file.split(os.sep)[-1].split('.')[0]
1245     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
1246     p = re.compile(r'^\s*#\s*\\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}\s*$')
1247     q = re.compile(r'^\s*#\s*\\DeclareCategory{(.*)}\s*$')
1248     classdeclaration = ""
1249     categorydeclaration = '""'
1250     for line in open(file).readlines():
1251         res = p.search(line)
1252         qres = q.search(line)
1253         if res != None:
1254             (classtype, optAll, opt, opt1, desc) = res.groups()
1255             avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
1256             if opt == None:
1257                 opt = classname
1258                 prereq_latex = checkForClassExtension(classname)
1259             else:
1260                 prereq_list = optAll[1:-1].split(',')
1261                 prereq_list = list(map(checkForClassExtension, prereq_list))
1262                 prereq_latex = ','.join(prereq_list)
1263             prereq_docbook = {'true':'', 'false':'docbook'}[bool_docbook]
1264             prereq = {'LaTeX':prereq_latex, 'DocBook':prereq_docbook}[classtype]
1265             classdeclaration = ('"%s" "%s" "%s" "%s" "%s"'
1266                                % (classname, opt, desc, avai, prereq))
1267             if categorydeclaration != '""':
1268                 return classdeclaration + " " + categorydeclaration
1269         if qres != None:
1270              categorydeclaration = '"%s"' % (qres.groups()[0])
1271              if classdeclaration != "":
1272                  return classdeclaration + " " + categorydeclaration
1273     if classdeclaration != "":
1274         return classdeclaration + " " + categorydeclaration
1275     logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
1276     return ""
1277
1278
1279 def checkLatexConfig(check_config, bool_docbook):
1280     ''' Explore the LaTeX configuration
1281         Return None (will be passed to sys.exit()) for success.
1282     '''
1283     msg = 'checking LaTeX configuration... '
1284     # if --without-latex-config is forced, or if there is no previous
1285     # version of textclass.lst, re-generate a default file.
1286     if not os.path.isfile('textclass.lst') or not check_config:
1287         # remove the files only if we want to regenerate
1288         removeFiles(['textclass.lst', 'packages.lst'])
1289         #
1290         # Then, generate a default textclass.lst. In case configure.py
1291         # fails, we still have something to start lyx.
1292         logger.info(msg + ' default values')
1293         logger.info('+checking list of textclasses... ')
1294         tx = open('textclass.lst', 'w')
1295         tx.write('''
1296 # This file declares layouts and their associated definition files
1297 # (include dir. relative to the place where this file is).
1298 # It contains only default values, since chkconfig.ltx could not be run
1299 # for some reason. Run ./configure.py if you need to update it after a
1300 # configuration change.
1301 ''')
1302         # build the list of available layout files and convert it to commands
1303         # for chkconfig.ltx
1304         foundClasses = []
1305         for file in (glob.glob(os.path.join('layouts', '*.layout'))
1306                      + glob.glob(os.path.join(srcdir, 'layouts', '*.layout'))):
1307             # valid file?
1308             if not os.path.isfile(file):
1309                 continue
1310             # get stuff between /xxxx.layout .
1311             classname = file.split(os.sep)[-1].split('.')[0]
1312             #  tr ' -' '__'`
1313             cleanclass = classname.replace(' ', '_')
1314             cleanclass = cleanclass.replace('-', '_')
1315             # make sure the same class is not considered twice
1316             if foundClasses.count(cleanclass) == 0: # not found before
1317                 foundClasses.append(cleanclass)
1318                 retval = processLayoutFile(file, bool_docbook)
1319                 if retval != "":
1320                     tx.write(retval)
1321         tx.close()
1322         logger.info('\tdone')
1323     if not os.path.isfile('packages.lst') or not check_config:
1324         logger.info('+generating default list of packages... ')
1325         removeFiles(['packages.lst'])
1326         tx = open('packages.lst', 'w')
1327         tx.close()
1328         logger.info('\tdone')
1329     if not check_config:
1330         return None
1331     # the following will generate textclass.lst.tmp, and packages.lst.tmp
1332     logger.info(msg + '\tauto')
1333     removeFiles(['chkconfig.classes', 'chkconfig.vars', 'chklayouts.tex',
1334         'wrap_chkconfig.ltx'])
1335     rmcopy = False
1336     if not os.path.isfile( 'chkconfig.ltx' ):
1337         shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
1338         rmcopy = True
1339     writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
1340     # Construct the list of classes to test for.
1341     # build the list of available layout files and convert it to commands
1342     # for chkconfig.ltx
1343     declare = re.compile(r'^\s*#\s*\\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}\s*$')
1344     category = re.compile(r'^\s*#\s*\\DeclareCategory{(.*)}\s*$')
1345     empty = re.compile(r'^\s*$')
1346     testclasses = list()
1347     for file in (glob.glob( os.path.join('layouts', '*.layout') )
1348                  + glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) ):
1349         nodeclaration = False
1350         if not os.path.isfile(file):
1351             continue
1352         classname = file.split(os.sep)[-1].split('.')[0]
1353         decline = ""
1354         catline = ""
1355         for line in open(file).readlines():
1356             if not empty.match(line) and line[0] != '#':
1357                 if decline == "":
1358                     logger.warning("Failed to find valid \Declare line "
1359                         "for layout file `%s'.\n\t=> Skipping this file!" % file)
1360                     nodeclaration = True
1361                 # A class, but no category declaration. Just break.
1362                 break
1363             if declare.search(line) != None:
1364                 decline = "\\TestDocClass{%s}{%s}" % (classname, line[1:].strip())
1365                 testclasses.append(decline)
1366             elif category.search(line) != None:
1367                 catline = ("\\DeclareCategory{%s}{%s}"
1368                            % (classname, category.search(line).groups()[0]))
1369                 testclasses.append(catline)
1370             if catline == "" or decline == "":
1371                 continue
1372             break
1373         if nodeclaration:
1374             continue
1375     testclasses.sort()
1376     cl = open('chklayouts.tex', 'w')
1377     for line in testclasses:
1378         cl.write(line + '\n')
1379     cl.close()
1380     #
1381     # we have chklayouts.tex, then process it
1382     latex_out = cmdOutput(LATEX + ' wrap_chkconfig.ltx', True)
1383     while True:
1384         line = latex_out.readline()
1385         if not line:
1386             break;
1387         if re.match('^\+', line):
1388             logger.info(line.strip())
1389     # if the command succeeds, None will be returned
1390     ret = latex_out.close()
1391     #
1392     # remove the copied file
1393     if rmcopy:
1394         removeFiles( [ 'chkconfig.ltx' ] )
1395     #
1396     # currently, values in chkconfig are only used to set
1397     # \font_encoding
1398     values = {}
1399     for line in open('chkconfig.vars').readlines():
1400         key, val = re.sub('-', '_', line).split('=')
1401         val = val.strip()
1402         values[key] = val.strip("'")
1403     # chk_fontenc may not exist
1404     try:
1405         addToRC(r'\font_encoding "%s"' % values["chk_fontenc"])
1406     except:
1407         pass
1408     # if configure successed, move textclass.lst.tmp to textclass.lst
1409     # and packages.lst.tmp to packages.lst
1410     if (os.path.isfile('textclass.lst.tmp')
1411           and len(open('textclass.lst.tmp').read()) > 0
1412         and os.path.isfile('packages.lst.tmp')
1413           and len(open('packages.lst.tmp').read()) > 0):
1414         shutil.move('textclass.lst.tmp', 'textclass.lst')
1415         shutil.move('packages.lst.tmp', 'packages.lst')
1416     return ret
1417
1418
1419 def checkModulesConfig():
1420   removeFiles(['lyxmodules.lst', 'chkmodules.tex'])
1421
1422   logger.info('+checking list of modules... ')
1423   tx = open('lyxmodules.lst', 'w')
1424   tx.write('''## This file declares modules and their associated definition files.
1425 ## It has been automatically generated by configure
1426 ## Use "Options/Reconfigure" if you need to update it after a
1427 ## configuration change.
1428 ## "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1429 ''')
1430
1431   # build the list of available modules
1432   seen = []
1433   # note that this searches the local directory first, then the
1434   # system directory. that way, we pick up the user's version first.
1435   for file in (glob.glob( os.path.join('layouts', '*.module') )
1436                + glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) ):
1437       # valid file?
1438       logger.info(file)
1439       if not os.path.isfile(file):
1440           continue
1441
1442       filename = file.split(os.sep)[-1]
1443       filename = filename[:-7]
1444       if seen.count(filename):
1445           continue
1446
1447       seen.append(filename)
1448       retval = processModuleFile(file, filename, bool_docbook)
1449       if retval != "":
1450           tx.write(retval)
1451   tx.close()
1452   logger.info('\tdone')
1453
1454
1455 def processModuleFile(file, filename, bool_docbook):
1456     ''' process module file and get a line of result
1457
1458         The top of a module file should look like this:
1459           #\DeclareLyXModule[LaTeX Packages]{ModuleName}
1460           #DescriptionBegin
1461           #...body of description...
1462           #DescriptionEnd
1463           #Requires: [list of required modules]
1464           #Excludes: [list of excluded modules]
1465           #Category: [category name]
1466         The last three lines are optional (though do give a category).
1467         We expect output:
1468           "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1469     '''
1470     remods = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
1471     rereqs = re.compile(r'#+\s*Requires: (.*)')
1472     reexcs = re.compile(r'#+\s*Excludes: (.*)')
1473     recaty = re.compile(r'#+\s*Category: (.*)')
1474     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1475     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1476
1477     modname = desc = pkgs = req = excl = catgy = ""
1478     readingDescription = False
1479     descLines = []
1480
1481     for line in open(file).readlines():
1482       if readingDescription:
1483         res = redend.search(line)
1484         if res != None:
1485           readingDescription = False
1486           desc = " ".join(descLines)
1487           # Escape quotes.
1488           desc = desc.replace('"', '\\"')
1489           continue
1490         descLines.append(line[1:].strip())
1491         continue
1492       res = redbeg.search(line)
1493       if res != None:
1494         readingDescription = True
1495         continue
1496       res = remods.search(line)
1497       if res != None:
1498           (pkgs, modname) = res.groups()
1499           if pkgs == None:
1500             pkgs = ""
1501           else:
1502             tmp = [s.strip() for s in pkgs.split(",")]
1503             pkgs = ",".join(tmp)
1504           continue
1505       res = rereqs.search(line)
1506       if res != None:
1507         req = res.group(1)
1508         tmp = [s.strip() for s in req.split("|")]
1509         req = "|".join(tmp)
1510         continue
1511       res = reexcs.search(line)
1512       if res != None:
1513         excl = res.group(1)
1514         tmp = [s.strip() for s in excl.split("|")]
1515         excl = "|".join(tmp)
1516         continue
1517       res = recaty.search(line)
1518       if res != None:
1519         catgy = res.group(1)
1520         continue
1521
1522     if modname == "":
1523       logger.warning("Module file without \DeclareLyXModule line. ")
1524       return ""
1525
1526     if pkgs != "":
1527         # this module has some latex dependencies:
1528         # append the dependencies to chkmodules.tex,
1529         # which is \input'ed by chkconfig.ltx
1530         testpackages = list()
1531         for pkg in pkgs.split(","):
1532             if "->" in pkg:
1533                 # this is a converter dependency: skip
1534                 continue
1535             if pkg.endswith(".sty"):
1536                 pkg = pkg[:-4]
1537             testpackages.append("\\TestPackage{%s}" % (pkg,))
1538         cm = open('chkmodules.tex', 'a')
1539         for line in testpackages:
1540             cm.write(line + '\n')
1541         cm.close()
1542
1543     return ('"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n'
1544             % (modname, filename, desc, pkgs, req, excl, catgy))
1545
1546
1547 def checkCiteEnginesConfig():
1548   removeFiles(['lyxciteengines.lst', 'chkciteengines.tex'])
1549
1550   logger.info('+checking list of cite engines... ')
1551   tx = open('lyxciteengines.lst', 'w')
1552   tx.write('''## This file declares cite engines and their associated definition files.
1553 ## It has been automatically generated by configure
1554 ## Use "Options/Reconfigure" if you need to update it after a
1555 ## configuration change.
1556 ## "CiteEngineName" "filename" "CiteEngineType" "CiteFramework" "DefaultBiblio" "Description" "Packages"
1557 ''')
1558
1559   # build the list of available modules
1560   seen = []
1561   # note that this searches the local directory first, then the
1562   # system directory. that way, we pick up the user's version first.
1563   for file in glob.glob( os.path.join('citeengines', '*.citeengine') ) + \
1564       glob.glob( os.path.join(srcdir, 'citeengines', '*.citeengine' ) ) :
1565       # valid file?
1566       logger.info(file)
1567       if not os.path.isfile(file):
1568           continue
1569
1570       filename = file.split(os.sep)[-1]
1571       filename = filename[:-11]
1572       if seen.count(filename):
1573           continue
1574
1575       seen.append(filename)
1576       retval = processCiteEngineFile(file, filename, bool_docbook)
1577       if retval != "":
1578           tx.write(retval)
1579   tx.close()
1580   logger.info('\tdone')
1581
1582
1583 def processCiteEngineFile(file, filename, bool_docbook):
1584     ''' process cite engines file and get a line of result
1585
1586         The top of a cite engine file should look like this:
1587           #\DeclareLyXCiteEngine[LaTeX Packages]{CiteEngineName}
1588           #DescriptionBegin
1589           #...body of description...
1590           #DescriptionEnd
1591         We expect output:
1592           "CiteEngineName" "filename" "CiteEngineType" "CiteFramework" "DefaultBiblio" "Description" "Packages"
1593     '''
1594     remods = re.compile(r'\DeclareLyXCiteEngine\s*(?:\[([^]]*?)\])?{(.*)}')
1595     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1596     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1597     recet = re.compile(r'\s*CiteEngineType\s*(.*)')
1598     redb = re.compile(r'\s*DefaultBiblio\s*(.*)')
1599     resfm = re.compile(r'\s*CiteFramework\s*(.*)')
1600
1601     modname = desc = pkgs = cet = db = cfm = ""
1602     readingDescription = False
1603     descLines = []
1604
1605     for line in open(file).readlines():
1606       if readingDescription:
1607         res = redend.search(line)
1608         if res != None:
1609           readingDescription = False
1610           desc = " ".join(descLines)
1611           # Escape quotes.
1612           desc = desc.replace('"', '\\"')
1613           continue
1614         descLines.append(line[1:].strip())
1615         continue
1616       res = redbeg.search(line)
1617       if res != None:
1618         readingDescription = True
1619         continue
1620       res = remods.search(line)
1621       if res != None:
1622           (pkgs, modname) = res.groups()
1623           if pkgs == None:
1624             pkgs = ""
1625           else:
1626             tmp = [s.strip() for s in pkgs.split(",")]
1627             pkgs = ",".join(tmp)
1628           continue
1629       res = recet.search(line)
1630       if res != None:
1631         cet = res.group(1)
1632         continue
1633       res = redb.search(line)
1634       if res != None:
1635         db = res.group(1)
1636         continue
1637       res = resfm.search(line)
1638       if res != None:
1639         cfm = res.group(1)
1640         continue
1641
1642     if modname == "":
1643       logger.warning("Cite Engine File file without \DeclareLyXCiteEngine line. ")
1644       return ""
1645
1646     if pkgs != "":
1647         # this cite engine has some latex dependencies:
1648         # append the dependencies to chkciteengines.tex,
1649         # which is \input'ed by chkconfig.ltx
1650         testpackages = list()
1651         for pkg in pkgs.split(","):
1652             if "->" in pkg:
1653                 # this is a converter dependency: skip
1654                 continue
1655             if pkg.endswith(".sty"):
1656                 pkg = pkg[:-4]
1657             testpackages.append("\\TestPackage{%s}" % (pkg,))
1658         cm = open('chkciteengines.tex', 'a')
1659         for line in testpackages:
1660             cm.write(line + '\n')
1661         cm.close()
1662
1663     return '"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, cet, cfm, db, desc, pkgs)
1664
1665
1666 def checkTeXAllowSpaces():
1667     ''' Let's check whether spaces are allowed in TeX file names '''
1668     tex_allows_spaces = 'false'
1669     if lyx_check_config:
1670         msg = "Checking whether TeX allows spaces in file names... "
1671         writeToFile('a b.tex', r'\message{working^^J}' )
1672         if LATEX != '':
1673             if os.name == 'nt' or sys.platform == 'cygwin':
1674                 latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}\makeatletter\@@end" """)
1675             else:
1676                 latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}\makeatletter\@@end' """)
1677         else:
1678             latex_out = ''
1679         if 'working' in latex_out:
1680             logger.info(msg + 'yes')
1681             tex_allows_spaces = 'true'
1682         else:
1683             logger.info(msg + 'no')
1684             tex_allows_spaces = 'false'
1685         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
1686         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
1687
1688
1689 def rescanTeXFiles():
1690     ''' Run kpsewhich to update information about TeX files '''
1691     logger.info("+Indexing TeX files... ")
1692     if not os.path.isfile( os.path.join(srcdir, 'scripts', 'TeXFiles.py') ):
1693         logger.error("configure: error: cannot find TeXFiles.py script")
1694         sys.exit(1)
1695     interpreter = sys.executable
1696     if interpreter == '':
1697         interpreter = "python"
1698     tfp = cmdOutput(interpreter + " -tt " + '"'
1699                     + os.path.join(srcdir, 'scripts', 'TeXFiles.py') + '"')
1700     logger.info(tfp)
1701     logger.info("\tdone")
1702
1703
1704 def removeTempFiles():
1705     # Final clean-up
1706     if not lyx_keep_temps:
1707         removeFiles(['chkconfig.vars', 'chklatex.ltx', 'chklatex.log',
1708             'chklayouts.tex', 'chkmodules.tex', 'chkciteengines.tex',
1709             'missfont.log', 'wrap_chkconfig.ltx', 'wrap_chkconfig.log'])
1710
1711
1712 if __name__ == '__main__':
1713     lyx_check_config = True
1714     lyx_kpsewhich = True
1715     outfile = 'lyxrc.defaults'
1716     lyxrc_fileformat = 21
1717     rc_entries = ''
1718     lyx_keep_temps = False
1719     version_suffix = ''
1720     lyx_binary_dir = ''
1721     ## Parse the command line
1722     for op in sys.argv[1:]:   # default shell/for list is $*, the options
1723         if op in [ '-help', '--help', '-h' ]:
1724             print('''Usage: configure [options]
1725 Options:
1726     --help                   show this help lines
1727     --keep-temps             keep temporary files (for debug. purposes)
1728     --without-kpsewhich      do not update TeX files information via kpsewhich
1729     --without-latex-config   do not run LaTeX to determine configuration
1730     --with-version-suffix=suffix suffix of binary installed files
1731     --binary-dir=directory   directory of binary installed files
1732 ''')
1733             sys.exit(0)
1734         elif op == '--without-kpsewhich':
1735             lyx_kpsewhich = False
1736         elif op == '--without-latex-config':
1737             lyx_check_config = False
1738         elif op == '--keep-temps':
1739             lyx_keep_temps = True
1740         elif op[0:22] == '--with-version-suffix=':  # never mind if op is not long enough
1741             version_suffix = op[22:]
1742         elif op[0:13] == '--binary-dir=':
1743             lyx_binary_dir = op[13:]
1744         else:
1745             print("Unknown option %s" % op)
1746             sys.exit(1)
1747     #
1748     # check if we run from the right directory
1749     srcdir = os.path.dirname(sys.argv[0])
1750     if srcdir == '':
1751         srcdir = '.'
1752     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
1753         logger.error("configure: error: cannot find chkconfig.ltx script")
1754         sys.exit(1)
1755     setEnviron()
1756     if sys.platform == 'darwin' and len(version_suffix) > 0:
1757         checkUpgrade()
1758     createDirectories()
1759     dtl_tools = checkDTLtools()
1760     ## Write the first part of outfile
1761     writeToFile(outfile, '''# This file has been automatically generated by LyX' lib/configure.py
1762 # script. It contains default settings that have been determined by
1763 # examining your system. PLEASE DO NOT MODIFY ANYTHING HERE! If you
1764 # want to customize LyX, use LyX' Preferences dialog or modify directly
1765 # the "preferences" file instead. Any setting in that file will
1766 # override the values given here.
1767
1768 Format %i
1769
1770 ''' % lyxrc_fileformat)
1771     # check latex
1772     LATEX = checkLatex(dtl_tools)
1773     # check java and perl before any checkProg that may require them
1774     java = checkProg('a java interpreter', ['java'])[1]
1775     perl = checkProg('a perl interpreter', ['perl'])[1]
1776     (inkscape_path, inkscape_name) = os.path.split(checkInkscape())
1777     checkFormatEntries(dtl_tools)
1778     checkConverterEntries()
1779     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
1780     checkTeXAllowSpaces()
1781     windows_style_tex_paths = checkTeXPaths()
1782     if windows_style_tex_paths != '':
1783         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
1784     checkOtherEntries()
1785     if lyx_kpsewhich:
1786         rescanTeXFiles()
1787     checkModulesConfig()
1788     checkCiteEnginesConfig()
1789     # --without-latex-config can disable lyx_check_config
1790     ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
1791     removeTempFiles()
1792     # The return error code can be 256. Because most systems expect an error code
1793     # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
1794     # a None for success, 'ret is not None' is used to exit.
1795     sys.exit(ret is not None)