]> git.lyx.org Git - lyx.git/blob - lib/configure.py
b4ca005bf1558e27b691c954e70ef3402f1bb4d9
[lyx.git] / lib / configure.py
1 #! /usr/bin/env python
2 # -*- coding: utf-8 -*-
3 #
4 # file configure.py
5 # This file is part of LyX, the document processor.
6 # Licence details can be found in the file COPYING.
7
8 # \author Bo Peng
9 # Full author contact details are available in file CREDITS.
10
11 import glob, logging, os, re, shutil, subprocess, sys
12
13 # set up logging
14 logging.basicConfig(level = logging.DEBUG,
15     format = '%(levelname)s: %(message)s', # ignore application name
16     filename = 'configure.log',
17     filemode = 'w')
18 #
19 # Add a handler to log to console
20 console = logging.StreamHandler()
21 console.setLevel(logging.INFO) # the console only print out general information
22 formatter = logging.Formatter('%(message)s') # only print out the message itself
23 console.setFormatter(formatter)
24 logger = logging.getLogger('LyX')
25 logger.addHandler(console)
26
27 def writeToFile(filename, lines, append = False):
28     " utility function: write or append lines to filename "
29     if append:
30         file = open(filename, 'a')
31     else:
32         file = open(filename, 'w')
33     file.write(lines)
34     file.close()
35
36
37 def addToRC(lines):
38     ''' utility function: shortcut for appending lines to outfile
39         add newline at the end of lines.
40     '''
41     if lines.strip() != '':
42         writeToFile(outfile, lines + '\n', append = True)
43         logger.debug('Add to RC:\n' + lines + '\n\n')
44
45
46 def removeFiles(filenames):
47     '''utility function: 'rm -f'
48         ignore errors when file does not exist, or is a directory.
49     '''
50     for file in filenames:
51         try:
52             os.remove(file)
53             logger.debug('Removing file %s' % file)
54         except:
55             logger.debug('Failed to remove file %s' % file)
56             pass
57
58
59 def cmdOutput(cmd):
60     '''utility function: run a command and get its output as a string
61         cmd: command to run
62     '''
63     if os.name == 'nt':
64         b = False
65         cmd = 'cmd /d /c ' + cmd
66     else:
67         b = True
68     pipe = subprocess.Popen(cmd, shell=b, close_fds=b, stdin=subprocess.PIPE, \
69                             stdout=subprocess.PIPE, universal_newlines=True)
70     pipe.stdin.close()
71     output = pipe.stdout.read()
72     pipe.stdout.close()
73     return output.strip()
74
75
76 def setEnviron():
77     ''' I do not really know why this is useful, but we might as well keep it.
78         NLS nuisances.
79         Only set these to C if already set.  These must not be set unconditionally
80         because not all systems understand e.g. LANG=C (notably SCO).
81         Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
82         Non-C LC_CTYPE values break the ctype check.
83     '''
84     os.environ['LANG'] = os.getenv('LANG', 'C')
85     os.environ['LC'] = os.getenv('LC_ALL', 'C')
86     os.environ['LC_MESSAGE'] = os.getenv('LC_MESSAGE', 'C')
87     os.environ['LC_CTYPE'] = os.getenv('LC_CTYPE', 'C')
88
89
90 def createDirectories():
91     ''' Create the build directories if necessary '''
92     for dir in ['bind', 'clipart', 'doc', 'examples', 'images', 'kbd', \
93         'layouts', 'scripts', 'templates', 'ui' ]:
94         if not os.path.isdir( dir ):
95             try:
96                 os.mkdir( dir)
97                 logger.debug('Create directory %s.' % dir)
98             except:
99                 logger.error('Failed to create directory %s.' % dir)
100                 sys.exit(1)
101
102
103 def checkTeXPaths():
104     ''' Determine the path-style needed by the TeX engine on Win32 (Cygwin) '''
105     windows_style_tex_paths = ''
106     if LATEX == '':
107         return windows_style_tex_paths
108     if os.name == 'nt' or sys.platform == 'cygwin':
109         from tempfile import mkstemp
110         fd, tmpfname = mkstemp(suffix='.ltx')
111         if os.name == 'nt':
112             from ctypes import windll, create_unicode_buffer
113             GetShortPathName = windll.kernel32.GetShortPathNameW
114             longname = unicode(tmpfname)
115             shortlen = GetShortPathName(longname, 0, 0)
116             shortname = create_unicode_buffer(shortlen)
117             if GetShortPathName(longname, shortname, shortlen):
118                 inpname = shortname.value.replace('\\', '/')
119             else:
120                 inpname = tmpfname.replace('\\', '/')
121         else:
122             inpname = cmdOutput('cygpath -m ' + tmpfname)
123         logname = os.path.basename(inpname.replace('.ltx', '.log'))
124         inpname = inpname.replace('~', '\\string~')
125         os.write(fd, r'\relax')
126         os.close(fd)
127         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}\makeatletter\@@end"' % inpname)
128         if 'Error' in latex_out:
129             latex_out = cmdOutput(r'latex "\nonstopmode\input{\"%s\"}\makeatletter\@@end"' % inpname)
130         if 'Error' in latex_out:
131             logger.warning("configure: TeX engine needs posix-style paths in latex files")
132             windows_style_tex_paths = 'false'
133         else:
134             logger.info("configure: TeX engine needs windows-style paths in latex files")
135             windows_style_tex_paths = 'true'
136         removeFiles([tmpfname, logname, 'texput.log'])
137     return windows_style_tex_paths
138
139
140 ## Searching some useful programs
141 def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
142     '''
143         This function will search a program in $PATH plus given path
144         If found, return directory and program name (not the options).
145
146         description: description of the program
147
148         progs: check programs, for each prog, the first word is used
149             for searching but the whole string is used to replace
150             %% for a rc_entry. So, feel free to add '$$i' etc for programs.
151
152         path: additional pathes
153
154         rc_entry: entry to outfile, can be
155             1. emtpy: no rc entry will be added
156             2. one pattern: %% will be replaced by the first found program,
157                 or '' if no program is found.
158             3. several patterns for each prog and not_found. This is used
159                 when different programs have different usages. If you do not
160                 want not_found entry to be added to the RC file, you can specify
161                 an entry for each prog and use '' for the not_found entry.
162
163         not_found: the value that should be used instead of '' if no program
164             was found
165
166     '''
167     # one rc entry for each progs plus not_found entry
168     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
169         logger.error("rc entry should have one item or item for each prog and not_found.")
170         sys.exit(2)
171     logger.info('checking for ' + description + '...')
172     ## print '(' + ','.join(progs) + ')',
173     global java, perl
174     for idx in range(len(progs)):
175         # ac_prog may have options, ac_word is the command name
176         ac_prog = progs[idx]
177         ac_word = ac_prog.split(' ')[0]
178         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
179             continue
180         if ac_word.endswith('.pl') and perl == '':
181             continue
182         msg = '+checking for "' + ac_word + '"... '
183         path = os.environ["PATH"].split(os.pathsep) + path
184         extlist = ['']
185         if "PATHEXT" in os.environ:
186             extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
187         for ac_dir in path:
188             for ext in extlist:
189                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
190                     logger.info(msg + ' yes')
191                     # deal with java and perl
192                     if ac_word.endswith('.class'):
193                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
194                     elif ac_word.endswith('.jar'):
195                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
196                     elif ac_word.endswith('.pl'):
197                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
198                     # write rc entries for this command
199                     if len(rc_entry) == 1:
200                         addToRC(rc_entry[0].replace('%%', ac_prog))
201                     elif len(rc_entry) > 1:
202                         addToRC(rc_entry[idx].replace('%%', ac_prog))
203                     return [ac_dir, ac_word]
204         # if not successful
205         logger.info(msg + ' no')
206     # write rc entries for 'not found'
207     if len(rc_entry) > 0:  # the last one.
208         addToRC(rc_entry[-1].replace('%%', not_found))
209     return ['', not_found]
210
211
212 def checkProgAlternatives(description, progs, rc_entry = [], alt_rc_entry = [], path = [], not_found = ''):
213     '''
214         The same as checkProg, but additionally, all found programs will be added
215         as alt_rc_entries
216     '''
217     # one rc entry for each progs plus not_found entry
218     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
219         logger.error("rc entry should have one item or item for each prog and not_found.")
220         sys.exit(2)
221     logger.info('checking for ' + description + '...')
222     ## print '(' + ','.join(progs) + ')',
223     found_prime = False
224     real_ac_dir = ''
225     real_ac_word = not_found
226     global java, perl
227     for idx in range(len(progs)):
228         # ac_prog may have options, ac_word is the command name
229         ac_prog = progs[idx]
230         ac_word = ac_prog.split(' ')[0]
231         if (ac_word.endswith('.class') or ac_word.endswith('.jar')) and java == '':
232             continue
233         if ac_word.endswith('.pl') and perl == '':
234             continue
235         msg = '+checking for "' + ac_word + '"... '
236         path = os.environ["PATH"].split(os.pathsep) + path
237         extlist = ['']
238         if "PATHEXT" in os.environ:
239             extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
240         found_alt = False
241         for ac_dir in path:
242             for ext in extlist:
243                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
244                     logger.info(msg + ' yes')
245                     pr = re.compile(r'(\\\S+)(.*)$')
246                     m = None
247                     # deal with java and perl
248                     if ac_word.endswith('.class'):
249                         ac_prog = ac_prog.replace(ac_word, r'%s \"%s\"' % (java, os.path.join(ac_dir, ac_word[:-6])))
250                     elif ac_word.endswith('.jar'):
251                         ac_prog = ac_prog.replace(ac_word, r'%s -jar \"%s\"' % (java, os.path.join(ac_dir, ac_word)))
252                     elif ac_word.endswith('.pl'):
253                         ac_prog = ac_prog.replace(ac_word, r'%s -w \"%s\"' % (perl, os.path.join(ac_dir, ac_word)))
254                     # write rc entries for this command
255                     if found_prime == False:
256                         if len(rc_entry) == 1:
257                             addToRC(rc_entry[0].replace('%%', ac_prog))
258                         elif len(rc_entry) > 1:
259                             addToRC(rc_entry[idx].replace('%%', ac_prog))
260                         real_ac_dir = ac_dir
261                         real_ac_word = ac_word
262                         found_prime = True
263                     if len(alt_rc_entry) == 1:
264                         alt_rc = alt_rc_entry[0]
265                         if alt_rc == "":
266                             # if no explicit alt_rc is given, construct one
267                             m = pr.match(rc_entry[0])
268                             if m:
269                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
270                         addToRC(alt_rc.replace('%%', ac_prog))
271                     elif len(alt_rc_entry) > 1:
272                         alt_rc = alt_rc_entry[idx]
273                         if alt_rc == "":
274                             # if no explicit alt_rc is given, construct one
275                             m = pr.match(rc_entry[idx])
276                             if m:
277                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
278                         addToRC(alt_rc.replace('%%', ac_prog))
279                     found_alt = True
280                     break
281             if found_alt:
282                 break
283         if found_alt == False:
284             # if not successful
285             logger.info(msg + ' no')
286     if found_prime:
287         return [real_ac_dir, real_ac_word]
288     # write rc entries for 'not found'
289     if len(rc_entry) > 0:  # the last one.
290         addToRC(rc_entry[-1].replace('%%', not_found))
291     return ['', not_found]
292
293
294 def addAlternatives(rcs, alt_type):
295     '''
296         Returns a \\prog_alternatives string to be used as an alternative
297         rc entry.  alt_type can be a string or a list of strings.
298     '''
299     r = re.compile(r'\\Format (\S+).*$')
300     m = None
301     alt = ''
302     alt_token = '\\%s_alternatives '
303     if isinstance(alt_type, str):
304         alt_tokens = [alt_token % alt_type]
305     else:
306         alt_tokens = map(lambda s: alt_token % s, alt_type)
307     for idxx in range(len(rcs)):
308         if len(rcs) == 1:
309             m = r.match(rcs[0])
310             if m:
311                 alt = '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
312         elif len(rcs) > 1:
313             m = r.match(rcs[idxx])
314             if m:
315                 if idxx > 0:
316                     alt += '\n'
317                 alt += '\n'.join([s + m.group(1) + ' "%%"' for s in alt_tokens])
318     return alt
319
320
321 def listAlternatives(progs, alt_type, rc_entry = []):
322     '''
323         Returns a list of \\prog_alternatives strings to be used as alternative
324         rc entries.  alt_type can be a string or a list of strings.
325     '''
326     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
327         logger.error("rc entry should have one item or item for each prog and not_found.")
328         sys.exit(2)
329     alt_rc_entry = []
330     for idx in range(len(progs)):
331         if len(rc_entry) == 1:
332             rcs = rc_entry[0].split('\n')
333             alt = addAlternatives(rcs, alt_type)
334             alt_rc_entry.insert(0, alt)
335         elif len(rc_entry) > 1:
336             rcs = rc_entry[idx].split('\n')
337             alt = addAlternatives(rcs, alt_type)
338             alt_rc_entry.insert(idx, alt)
339     return alt_rc_entry
340
341
342 def checkViewer(description, progs, rc_entry = [], path = []):
343     ''' The same as checkProgAlternatives, but for viewers '''
344     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
345     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
346
347
348 def checkEditor(description, progs, rc_entry = [], path = []):
349     ''' The same as checkProgAlternatives, but for editors '''
350     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
351     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
352
353
354 def checkViewerNoRC(description, progs, rc_entry = [], path = []):
355     ''' The same as checkViewer, but do not add rc entry '''
356     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
357     rc_entry = []
358     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
359
360
361 def checkEditorNoRC(description, progs, rc_entry = [], path = []):
362     ''' The same as checkViewer, but do not add rc entry '''
363     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
364     rc_entry = []
365     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
366
367
368 def checkViewerEditor(description, progs, rc_entry = [], path = []):
369     ''' The same as checkProgAlternatives, but for viewers and editors '''
370     alt_rc_entry = listAlternatives(progs, ['editor', 'viewer'], rc_entry)
371     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
372
373
374 def checkDTLtools():
375     ''' Check whether DTL tools are available (Windows only) '''
376     # Find programs! Returned path is not used now
377     if ((os.name == 'nt' or sys.platform == 'cygwin') and
378             checkProg('DVI to DTL converter', ['dv2dt']) != ['', ''] and
379             checkProg('DTL to DVI converter', ['dt2dv']) != ['', '']):
380         dtl_tools = True
381     else:
382         dtl_tools = False
383     return dtl_tools
384
385
386 def checkLatex(dtl_tools):
387     ''' Check latex, return lyx_check_config '''
388     path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'latex2e $$i'])
389     path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
390     #-----------------------------------------------------------------
391     path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
392     if PLATEX != '':
393         # check if PLATEX is pLaTeX2e
394         writeToFile('chklatex.ltx', r'\nonstopmode\makeatletter\@@end')
395         # run platex on chklatex.ltx and check result
396         if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
397             # We have the Japanese pLaTeX2e
398             addToRC(r'\converter platex   dvi       "%s"   "latex=platex"' % PLATEX)
399         else:
400             PLATEX = ''
401             removeFiles(['chklatex.ltx', 'chklatex.log'])
402     #-----------------------------------------------------------------
403     # use LATEX to convert from latex to dvi if PPLATEX is not available
404     if PPLATEX == '':
405         PPLATEX = LATEX
406     if dtl_tools:
407         # Windows only: DraftDVI
408         addToRC(r'''\converter latex      dvi2       "%s"       "latex"
409 \converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o"  ""''' % PPLATEX)
410     else:
411         addToRC(r'\converter latex      dvi        "%s" "latex"' % PPLATEX)
412     # no latex
413     if LATEX != '':
414         # Check if latex is usable
415         writeToFile('chklatex.ltx', r'''
416 \nonstopmode
417 \ifx\undefined\documentclass\else
418   \message{ThisIsLaTeX2e}
419 \fi
420 \makeatletter
421 \@@end
422 ''')
423         # run latex on chklatex.ltx and check result
424         if cmdOutput(LATEX + ' chklatex.ltx').find('ThisIsLaTeX2e') != -1:
425             # valid latex2e
426             return LATEX
427         else:
428             logger.warning("Latex not usable (not LaTeX2e) ")
429         # remove temporary files
430         removeFiles(['chklatex.ltx', 'chklatex.log'])
431     return ''
432
433
434 def checkLuatex():
435     ''' Check if luatex is there and usable '''
436     path, LUATEX = checkProg('LuaTeX', ['lualatex $$i'])
437     path, DVILUATEX = checkProg('LuaTeX (DVI)', ['dvilualatex $$i'])
438     if LUATEX != '':
439     # luatex binary is there
440         msg = "checking if LuaTeX is usable ..."
441         # Check if luatex is usable
442         writeToFile('luatest.tex', r'''
443 \nonstopmode
444 \documentclass{minimal}
445 \usepackage{fontspec}
446 \begin{document}
447 .
448 \end{document}
449 ''')
450         # run lualatex on luatest.tex and check result
451         luatest = cmdOutput(LUATEX + ' luatest.tex')
452         if luatest.find('XeTeX is required to compile this document') != -1:
453             # fontspec/luatex too old! We do not support this version.
454             logger.info(msg + ' no (probably not recent enough)')
455         elif luatest.find('! LaTeX Error: File `fontspec.sty\' not found') != -1:
456             # fontspec missing
457             logger.info(msg + ' no (missing fontspec)')
458         else:
459             # working luatex
460             logger.info(msg + ' yes')
461             addToRC(r'\converter luatex      pdf5       "%s"    "latex=lualatex"' % LUATEX)
462             if DVILUATEX != '':
463                 addToRC(r'\converter luatex      dvi3        "%s"       "latex=dvilualatex"' % DVILUATEX)
464         # remove temporary files
465         removeFiles(['luatest.tex', 'luatest.log', 'luatest.aux', 'luatest.pdf'])
466
467
468 def checkModule(module):
469     ''' Check for a Python module, return the status '''
470     msg = 'checking for "' + module + ' module"... '
471     try:
472       __import__(module)
473       logger.info(msg + ' yes')
474       return True
475     except ImportError:
476       logger.info(msg + ' no')
477       return False
478
479
480 def checkFormatEntries(dtl_tools):
481     ''' Check all formats (\Format entries) '''
482     checkViewerEditor('a Tgif viewer and editor', ['tgif'],
483         rc_entry = [r'\Format tgif       obj     Tgif                   "" "%%" "%%"    "vector"'])
484     #
485     checkViewerEditor('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
486         rc_entry = [r'\Format fig        fig     FIG                    "" "%%" "%%"    "vector"'])
487     #
488     checkViewerEditor('a Dia viewer and editor', ['dia'],
489         rc_entry = [r'\Format dia        dia     DIA                    "" "%%" "%%"    "vector"'])
490     #
491     checkViewerEditor('a Grace viewer and editor', ['xmgrace'],
492         rc_entry = [r'\Format agr        agr     Grace                  "" "%%" "%%"    "vector"'])
493     #
494     checkViewerEditor('a FEN viewer and editor', ['xboard -lpf $$i -mode EditPosition'],
495         rc_entry = [r'\Format fen        fen     FEN                    "" "%%" "%%"    ""'])
496     #
497     checkViewerEditor('a SVG viewer and editor', ['inkscape'],
498         rc_entry = [r'\Format svg        svg     SVG                    "" "%%" "%%"    "vector"'])
499     #
500     path, iv = checkViewerNoRC('a raster image viewer', ['xv', 'kview', 'gimp-remote', 'gimp'],
501         rc_entry = [r'''\Format bmp        bmp     BMP                    "" "%s"       "%s"    ""
502 \Format gif        gif     GIF                    "" "%s"       "%s"    ""
503 \Format jpg       "jpg, jpeg" JPEG                "" "%s"       "%s"    ""
504 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""
505 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""
506 \Format png        png     PNG                    "" "%s"       "%s"    ""
507 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""
508 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""
509 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""
510 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""'''])
511     path, ie = checkEditorNoRC('a raster image editor', ['gimp-remote', 'gimp'],
512         rc_entry = [r'''\Format bmp        bmp     BMP                    "" "%s"       "%s"    ""
513 \Format gif        gif     GIF                    "" "%s"       "%s"    ""
514 \Format jpg       "jpg, jpeg" JPEG                "" "%s"       "%s"    ""
515 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""
516 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""
517 \Format png        png     PNG                    "" "%s"       "%s"    ""
518 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""
519 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""
520 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""
521 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""'''])
522     addToRC(r'''\Format bmp        bmp     BMP                    "" "%s"       "%s"    ""
523 \Format gif        gif     GIF                    "" "%s"       "%s"    ""
524 \Format jpg       "jpg, jpeg" JPEG                "" "%s"       "%s"    ""
525 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""
526 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""
527 \Format png        png     PNG                    "" "%s"       "%s"    ""
528 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""
529 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""
530 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""
531 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""''' % \
532         (iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie) )
533     #
534     checkViewerEditor('a text editor', ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
535         'nedit', 'gedit', 'notepad'],
536         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""    "%%"    ""
537 \Format asciiimage asc    "Plain text (image)"         "" ""    "%%"    ""
538 \Format asciixfig  asc    "Plain text (Xfig output)"   "" ""    "%%"    ""
539 \Format dateout    tmp    "date (output)"         "" "" "%%"    ""
540 \Format docbook    sgml    DocBook                B  "" "%%"    "document,menu=export"
541 \Format docbook-xml xml   "DocBook (XML)"         "" "" "%%"    "document,menu=export"
542 \Format dot        dot    "Graphviz Dot"          "" "" "%%"    "vector"
543 \Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document,menu=export"
544 \Format literate   nw      NoWeb                  N  "" "%%"    "document,menu=export"
545 \Format sweave     Rnw    "Sweave"                S  "" "%%"    "document,menu=export"
546 \Format r          R      "R/S code"              "" "" "%%"    "document,menu=export"
547 \Format lilypond   ly     "LilyPond music"        "" "" "%%"    "vector"
548 \Format lilypond-book    lytex "LilyPond book (LaTeX)"   "" ""  "%%"    "document,menu=export"
549 \Format latex      tex    "LaTeX (plain)"         L  "" "%%"    "document,menu=export"
550 \Format luatex     tex    "LaTeX (LuaTeX)"        "" "" "%%"    "document,menu=export"
551 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" "" "%%"    "document,menu=export"
552 \Format xetex      tex    "LaTeX (XeTeX)"         "" "" "%%"    "document,menu=export"
553 \Format text       txt    "Plain text"            a  "" "%%"    "document,menu=export"
554 \Format text2      txt    "Plain text (pstotext)" "" "" "%%"    "document"
555 \Format text3      txt    "Plain text (ps2ascii)" "" "" "%%"    "document"
556 \Format text4      txt    "Plain text (catdvi)"   "" "" "%%"    "document"
557 \Format textparagraph txt "Plain Text, Join Lines" "" ""        "%%"    "document"''' ])
558    #Spreadsheets using ssconvert from gnumeric
559     checkViewer('gnumeric spreadsheet software', ['gnumeric'],
560       rc_entry = [r'''\Format gnumeric gnumeric "Gnumeric spreadsheet" "" ""    "%%"   "document"
561 \Format excel      xls    "Excel spreadsheet"      "" "" "%%"    "document"
562 \Format oocalc     ods    "OpenOffice spreadsheet" "" "" "%%"    "document"'''])
563  #
564     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
565         rc_entry = [r'\Format xhtml      xhtml   "LyXHTML"              y "%%" ""    "document,menu=export"'])
566  #
567     checkEditor('a BibTeX editor', ['jabref', 'JabRef', \
568         'pybliographic', 'bibdesk', 'gbib', 'kbib', \
569         'kbibtex', 'sixpack', 'bibedit', 'tkbibtex' \
570         'xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
571         'nedit', 'gedit', 'notepad'],
572         rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""    "%%"    ""''' ])
573     #
574     #checkProg('a Postscript interpreter', ['gs'],
575     #  rc_entry = [ r'\ps_command "%%"' ])
576     checkViewer('a Postscript previewer', ['kghostview', 'okular', 'evince', 'gv', 'ghostview -swap'],
577         rc_entry = [r'''\Format eps        eps     EPS                    "" "%%"       ""      "vector"
578 \Format ps         ps      Postscript             t  "%%"       ""      "document,vector,menu=export"'''])
579     # for xdg-open issues look here: http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg151818.html
580     checkViewer('a PDF previewer', ['kpdf', 'okular', 'evince', 'kghostview', 'xpdf', 'acrobat', 'acroread', \
581                     'gv', 'ghostview'],
582         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"       ""      "document,vector,menu=export"
583 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"       ""      "document,vector,menu=export"
584 \Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"       ""      "document,vector,menu=export"
585 \Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"       ""      "document,vector,menu=export"
586 \Format pdf5       pdf    "PDF (LuaTeX)"          u  "%%"       ""      "document,vector,menu=export"'''])
587     #
588     checkViewer('a DVI previewer', ['xdvi', 'kdvi', 'okular', 'yap', 'dviout -Set=!m'],
589         rc_entry = [r'''\Format dvi        dvi     DVI                    D  "%%"       ""      "document,vector,menu=export"
590 \Format dvi3       dvi     "DVI (LuaTeX)"          V  "%%"      ""      "document,vector,menu=export"'''])
591     if dtl_tools:
592         # Windows only: DraftDVI
593         addToRC(r'\Format dvi2       dvi     DraftDVI               ""  ""      ""      "vector"')
594     #
595     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
596         rc_entry = [r'\Format html      "html, htm" HTML                H  "%%" ""      "document,menu=export"'])
597     #
598     checkViewerEditor('Noteedit', ['noteedit'],
599         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%" "%%"    "vector"'])
600     #
601     checkViewerEditor('an OpenDocument/OpenOffice viewer', ['swriter', 'oowriter', 'abiword'],
602         rc_entry = [r'''\Format odt        odt     OpenDocument           "" "%%"       "%%"    "document,vector,menu=export"
603 \Format sxw        sxw    "OpenOffice.Org (sxw)"  "" "" ""      "document,vector"'''])
604     #
605     checkViewerEditor('a Rich Text and Word viewer', ['swriter', 'oowriter', 'abiword'],
606         rc_entry = [r'''\Format rtf        rtf    "Rich Text Format"      "" "%%"       "%%"    "document,vector,menu=export"
607 \Format word       doc    "MS Word"               W  "%%"       "%%"    "document,vector,menu=export"'''])
608     #
609     # entries that do not need checkProg
610     addToRC(r'''\Format date       ""     "date command"          "" "" ""      ""
611 \Format csv        csv    "Table (CSV)"  "" ""  ""      "document"
612 \Format fax        ""      Fax                    "" "" ""      "document"
613 \Format lyx        lyx     LyX                    "" "" ""      ""
614 \Format lyx13x     13.lyx  "LyX 1.3.x"             "" ""        ""      "document"
615 \Format lyx14x     14.lyx  "LyX 1.4.x"             "" ""        ""      "document"
616 \Format lyx15x     15.lyx  "LyX 1.5.x"             "" ""        ""      "document"
617 \Format lyx16x     16.lyx  "LyX 1.6.x"             "" ""        ""      "document,menu=export"
618 \Format lyx20x     20.lyx  "LyX 2.0.x"             "" ""        ""      "document,menu=export"
619 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" "" ""      "document"
620 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""        ""      "document"
621 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""        ""      "document"
622 \Format lyxpreview lyxpreview "LyX Preview"       "" "" ""      ""
623 \Format pdftex     pdftex_t PDFTEX                "" "" ""      ""
624 \Format program    ""      Program                "" "" ""      ""
625 \Format pstex      pstex_t PSTEX                  "" "" ""      ""
626 \Format wmf        wmf    "Windows Metafile"      "" "" ""      "vector"
627 \Format emf        emf    "Enhanced Metafile"     "" "" ""      "vector"
628 \Format wordhtml  "html, htm" "HTML (MS Word)"    "" "" ""      "document"
629 ''')
630
631
632 def checkConverterEntries():
633     ''' Check all converters (\converter entries) '''
634     checkProg('the pdflatex program', ['pdflatex $$i'],
635         rc_entry = [ r'\converter pdflatex   pdf2       "%%"    "latex=pdflatex"' ])
636
637     checkProg('XeTeX', ['xelatex $$i'],
638         rc_entry = [ r'\converter xetex      pdf4       "%%"    "latex=xelatex"' ])
639
640     checkLuatex()
641
642     # Look for tex2lyx in this order (see bugs #3308 and #6986):
643     #   1)  If we're running LyX in-place then tex2lyx will be found
644     #       in ../src/tex2lyx with respect to the srcdir.
645     #   2)  If LyX was configured with a version suffix then tex2lyx
646     #       will also have this version suffix.
647     #   3)  Otherwise always use tex2lyx.
648     in_place = os.path.join(srcdir, '..', 'src', 'tex2lyx', 'tex2lyx')
649     in_place = os.path.abspath(in_place)
650
651     path, t2l = checkProg('a LaTeX/Noweb -> LyX converter', [in_place, 'tex2lyx' + version_suffix, 'tex2lyx'],
652         rc_entry = [r'''\converter latex      lyx        "%% -f $$i $$o"        ""
653 \converter literate   lyx        "%% -n -f $$i $$o"     ""'''], not_found = 'tex2lyx')
654     if path == '':
655         logger.warning("Failed to find tex2lyx on your system.")
656
657     #
658     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
659         rc_entry = [r'''\converter literate   latex      "%%"   ""
660 \converter literate   pdflatex      "%%"        ""'''])
661     #
662     checkProg('a Sweave -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxsweave.R $$p$$i $$p$$o $$e $$r'],
663         rc_entry = [r'''\converter sweave   latex      "%%"     ""
664 \converter sweave   pdflatex   "%%"     ""
665 \converter sweave   xetex      "%%"     ""
666 \converter sweave   luatex     "%%"     ""'''])
667     #
668     checkProg('a Sweave -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxstangle.R $$i $$e $$r'], 
669         rc_entry = [ r'\converter sweave      r      "%%"    ""' ])
670     #
671     checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex $$i',
672         'htmltolatex -input $$i -output $$o', 'htmltolatex.jar -input $$i -output $$o'],
673         rc_entry = [ r'\converter html       latex      "%%"    ""' ])
674     #
675     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
676         rc_entry = [ r'\converter word       latex      "%%"    ""' ])
677
678     # eLyXer: search as an executable (elyxer.py, elyxer)
679     path, elyxer = checkProg('a LyX -> HTML converter',
680         ['elyxer.py --directory $$r $$i $$o', 'elyxer --directory $$r $$i $$o'],
681         rc_entry = [ r'\converter lyx      html       "%%"      ""' ])
682     path, elyxer = checkProg('a LyX -> HTML (MS Word) converter',
683         ['elyxer.py --html --directory $$r $$i $$o', 'elyxer --html --directory $$r $$i $$o'],
684         rc_entry = [ r'\converter lyx      wordhtml       "%%"  ""' ])
685     if elyxer.find('elyxer') >= 0:
686       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
687       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
688     else:
689       # search for HTML converters other than eLyXer
690       # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
691       path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i', \
692           '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o', \
693           'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
694           rc_entry = [ r'\converter latex      html       "%%"  "needaux"' ])
695       if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
696         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
697       else:
698         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
699       path, htmlconv = checkProg('a LaTeX -> HTML (MS Word) converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'", \
700           "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'", \
701           "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
702           rc_entry = [ r'\converter latex      wordhtml   "%%"  "needaux"' ])
703       if htmlconv.find('htlatex') >= 0:
704         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
705       else:
706         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
707
708
709     # Check if LyXBlogger is installed
710     lyxblogger_found = checkModule('lyxblogger')
711     if lyxblogger_found:
712       addToRC(r'\Format    blog       blog       "LyXBlogger"           "" "" ""  "document"')
713       addToRC(r'\converter xhtml      blog       "python -m lyxblogger $$i"       ""')
714
715     #
716     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
717         rc_entry = [ r'\converter sxw        latex      "%%"    ""' ])
718     #
719     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
720         rc_entry = [ r'\converter odt        latex      "%%"    ""' ])
721     # According to http://www.tug.org/applications/tex4ht/mn-commands.html
722     # the command mk4ht oolatex $$i has to be used as default,
723     # but as this would require to have Perl installed, in MiKTeX oolatex is
724     # directly available as application.
725     # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
726     # Both SuSE and debian have oolatex
727     checkProg('a LaTeX -> Open Document converter', [
728         'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
729         'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
730         rc_entry = [ r'\converter latex      odt        "%%"    "needaux"' ])
731     # On windows it is called latex2rt.exe
732     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
733         rc_entry = [ r'\converter latex      rtf        "%%"    "needaux"' ])
734     #
735     checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
736         rc_entry = [ r'\converter rtf      html        "%%"     ""' ])
737     #
738     checkProg('a PS to PDF converter', ['ps2pdf13 $$i $$o'],
739         rc_entry = [ r'\converter ps         pdf        "%%"    ""' ])
740     #
741     checkProg('a PS to TXT converter', ['pstotext $$i > $$o'],
742         rc_entry = [ r'\converter ps         text2      "%%"    ""' ])
743     #
744     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
745         rc_entry = [ r'\converter ps         text3      "%%"    ""' ])
746     #
747     checkProg('a PS to EPS converter', ['ps2eps $$i'],
748         rc_entry = [ r'\converter ps         eps      "%%"      ""' ])
749     #
750     checkProg('a PDF to PS converter', ['pdf2ps $$i $$o', 'pdftops $$i $$o'],
751         rc_entry = [ r'\converter pdf         ps        "%%"    ""' ])
752     #
753     checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
754         rc_entry = [ r'\converter pdf         eps        "%%"   ""' ])
755     #
756     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
757         rc_entry = [ r'\converter dvi        text4      "%%"    ""' ])
758     #
759     checkProg('a DVI to PS converter', ['dvips -o $$o $$i'],
760         rc_entry = [ r'\converter dvi        ps         "%%"    ""' ])
761     #
762     checkProg('a DVI to PDF converter', ['dvipdfmx -o $$o $$i', 'dvipdfm -o $$o $$i'],
763         rc_entry = [ r'\converter dvi        pdf3       "%%"    ""' ])
764     #
765     checkProg('a fax program', ['kdeprintfax $$i', 'ksendfax $$i', 'hylapex $$i'],
766         rc_entry = [ r'\converter ps         fax        "%%"    ""'])
767     #
768     path, fig2dev = checkProg('a FIG -> Image converter', ['fig2dev'])
769     if fig2dev == "fig2dev":
770         addToRC(r'''\converter fig        eps        "fig2dev -L eps $$i $$o"   ""
771 \converter fig        ppm        "fig2dev -L ppm $$i $$o"       ""
772 \converter fig        png        "fig2dev -L png $$i $$o"       ""
773 \converter fig        pdftex     "python -tt $$s/scripts/fig2pdftex.py $$i $$o" ""
774 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o"  ""''')
775     #
776     checkProg('a TIFF -> PS converter', ['tiff2ps $$i > $$o'],
777         rc_entry = [ r'\converter tiff       eps        "%%"    ""', ''])
778     #
779     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
780         rc_entry = [
781             r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"    ""
782 \converter tgif       png        "tgif -print -color -png -o $$d $$i"   ""
783 \converter tgif       pdf        "tgif -print -color -pdf -stdout $$i > $$o"    ""''',
784             ''])
785     #
786     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
787         rc_entry = [ r'\converter wmf        eps        "%%"    ""'])
788     #
789     checkProg('an EMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
790         rc_entry = [ r'\converter emf        eps        "%%"    ""'])
791     #
792     checkProg('an EPS -> PDF converter', ['epstopdf'],
793         rc_entry = [ r'\converter eps        pdf        "epstopdf --outfile=$$o $$i"    ""', ''])
794     #
795     # no agr -> pdf converter, since the pdf library used by gracebat is not
796     # free software and therefore not compiled in in many installations.
797     # Fortunately, this is not a big problem, because we will use epstopdf to
798     # convert from agr to pdf via eps without loss of quality.
799     checkProg('a Grace -> Image converter', ['gracebat'],
800         rc_entry = [
801             r'''\converter agr        eps        "gracebat -hardcopy -printfile $$o -hdevice EPS $$i 2>/dev/null"       ""
802 \converter agr        png        "gracebat -hardcopy -printfile $$o -hdevice PNG $$i 2>/dev/null"       ""
803 \converter agr        jpg        "gracebat -hardcopy -printfile $$o -hdevice JPEG $$i 2>/dev/null"      ""
804 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"       ""''',
805             ''])
806     #
807     checkProg('a Dot -> Image converter', ['dot'],
808         rc_entry = [
809             r'''\converter dot        eps        "dot -Teps $$i -o $$o" ""
810 \converter dot        png        "dot -Tpng $$i -o $$o" ""''',
811             ''])
812     #
813     checkProg('a Dia -> PNG converter', ['dia -e $$o -t png $$i'],
814         rc_entry = [ r'\converter dia        png        "%%"    ""'])
815     #
816     checkProg('a Dia -> EPS converter', ['dia -e $$o -t eps $$i'],
817         rc_entry = [ r'\converter dia        eps        "%%"    ""'])
818     #
819     checkProg('a SVG -> PDF converter', ['rsvg-convert -f pdf -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
820         rc_entry = [ r'\converter svg        pdf        "%%"    ""'])
821     #
822     checkProg('a SVG -> EPS converter', ['rsvg-convert -f ps -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
823         rc_entry = [ r'\converter svg        eps        "%%"    ""'])
824     #
825     checkProg('a SVG -> PNG converter', ['rsvg-convert -f png -o $$o $$i', 'inkscape --without-gui --file=$$i --export-png=$$o'],
826         rc_entry = [ r'\converter svg        png        "%%"    ""'])
827
828     #
829     # gnumeric/xls/ods to tex
830     checkProg('a spreadsheet -> latex converter', ['ssconvert'],
831        rc_entry = [ r'''\converter gnumeric latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
832 \converter oocalc latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
833 \converter excel  latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""''',
834 ''])
835
836     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
837     if (lilypond != ''):
838         version_string = cmdOutput("lilypond --version")
839         match = re.match('GNU LilyPond (\S+)', version_string)
840         if match:
841             version_number = match.groups()[0]
842             version = version_number.split('.')
843             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
844                 addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps -dsafe --ps $$i"   ""
845 \converter lilypond   png        "lilypond -dbackend=eps -dsafe --png $$i"      ""''')
846                 addToRC(r'\converter lilypond   pdf        "lilypond -dbackend=eps -dsafe --pdf $$i"    ""')
847                 logger.info('+  found LilyPond version %s.' % version_number)
848             elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
849                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps --safe $$i"  ""
850 \converter lilypond   png        "lilypond -b eps --png $$i"    ""''')
851                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
852                     addToRC(r'\converter lilypond   pdf        "lilypond -b eps --pdf --safe $$i"       ""')
853                 logger.info('+  found LilyPond version %s.' % version_number)
854             else:
855                 logger.info('+  found LilyPond, but version %s is too old.' % version_number)
856         else:
857             logger.info('+  found LilyPond, but could not extract version number.')
858     #
859     path, lilypond_book = checkProg('a LilyPond book (LaTeX) -> LaTeX converter', ['lilypond-book'])
860     if (lilypond_book != ''):
861         version_string = cmdOutput("lilypond-book --version")
862         match = re.match('^(\S+)$', version_string)
863         if match:
864             version_number = match.groups()[0]
865             version = version_number.split('.')
866             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 13):
867                 # Note: The --lily-output-dir flag is required because lilypond-book
868                 #       does not process input again unless the input has changed,
869                 #       even if the output format being requested is different. So
870                 #       once a .eps file exists, lilypond-book won't create a .pdf
871                 #       even when requested with --pdf. This is a problem if a user
872                 #       clicks View PDF after having done a View DVI. To circumvent
873                 #       this, use different output folders for eps and pdf outputs.
874                 addToRC(r'\converter lilypond-book latex    "lilypond-book --safe --lily-output-dir=ly-eps $$i"                                ""')
875                 addToRC(r'\converter lilypond-book pdflatex "lilypond-book --safe --pdf --latex-program=pdflatex --lily-output-dir=ly-pdf $$i" ""')
876                 addToRC(r'\converter lilypond-book xetex    "lilypond-book --safe --pdf --latex-program=xelatex --lily-output-dir=ly-pdf $$i"  ""')
877                 addToRC(r'\converter lilypond-book luatex   "lilypond-book --safe --pdf --latex-program=lualatex --lily-output-dir=ly-pdf $$i" ""')
878                 logger.info('+  found LilyPond-book version %s.' % version_number)
879             else:
880                 logger.info('+  found LilyPond-book, but version %s is too old.' % version_number)
881         else:
882             logger.info('+  found LilyPond-book, but could not extract version number.')
883     #
884     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
885         rc_entry = [ r'\converter noteedit   lilypond   "%%"    ""', ''])
886     #
887     # Currently, lyxpak outputs a gzip compressed tar archive on *nix
888     # and a zip archive on Windows.
889     # So, we configure the appropriate version according to the platform.
890     cmd = r'\converter lyx %s "python -tt $$s/scripts/lyxpak.py $$r/$$i" ""'
891     if os.name == 'nt':
892         addToRC(r'\Format lyxzip     zip    "LyX Archive (zip)"     "" "" ""  "document,menu=export"')
893         addToRC(cmd % "lyxzip")
894     else:
895         addToRC(r'\Format lyxgz      gz     "LyX Archive (tar.gz)"  "" "" ""  "document,menu=export"')
896         addToRC(cmd % "lyxgz")
897
898     #
899     # FIXME: no rc_entry? comment it out
900     # checkProg('Image converter', ['convert $$i $$o'])
901     #
902     # Entries that do not need checkProg
903     addToRC(r'''
904 \converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"    ""
905 \converter date       dateout    "python -tt $$s/scripts/date.py %d-%m-%Y > $$o"        ""
906 \converter docbook    docbook-xml "cp $$i $$o"  "xml"
907 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o"  ""
908 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -t 221 $$i > $$o"      ""
909 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -t 245 $$i > $$o"      ""
910 \converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -t 276 $$i > $$o"      ""
911 \converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -t 345 $$i > $$o"      ""
912 \converter lyx        lyx20x     "python -tt $$s/lyx2lyx/lyx2lyx -t 413 $$i > $$o"      ""
913 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -c big5 -t 245 $$i > $$o"      ""
914 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -t 245 $$i > $$o"    ""
915 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -t 245 $$i > $$o"    ""
916 \converter clyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c big5 $$i > $$o"     ""
917 \converter jlyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp $$i > $$o"   ""
918 \converter klyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr $$i > $$o"   ""
919 \converter lyxpreview png        "python -tt $$s/scripts/lyxpreview2bitmap.py --png"    ""
920 \converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py --ppm"    ""
921 ''')
922
923
924 def checkDocBook():
925     ''' Check docbook '''
926     path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
927         rc_entry = [
928             r'''\converter docbook    dvi        "sgmltools -b dvi $$i" ""
929 \converter docbook    html       "sgmltools -b html $$i"        ""''',
930             r'''\converter docbook    dvi        "db2dvi $$i"   ""
931 \converter docbook    html       "db2html $$i"  ""''',
932             r'''\converter docbook    dvi        ""     ""
933 \converter docbook    html       "" ""''',
934             r'''\converter docbook    dvi        ""     ""
935 \converter docbook    html       ""     ""'''])
936     #
937     if DOCBOOK != '':
938         return ('yes', 'true', '\\def\\hasdocbook{yes}')
939     else:
940         return ('no', 'false', '')
941
942
943 def checkOtherEntries():
944     ''' entries other than Format and Converter '''
945     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
946         rc_entry = [ r'\chktex_command "%%"' ])
947     checkProgAlternatives('BibTeX or alternative programs', ['bibtex', 'bibtex8', 'biber'],
948         rc_entry = [ r'\bibtex_command "%%"' ],
949         alt_rc_entry = [ r'\bibtex_alternatives "%%"' ])
950     checkProg('a specific Japanese BibTeX variant', ['pbibtex', 'jbibtex', 'bibtex'],
951         rc_entry = [ r'\jbibtex_command "%%"' ])
952     checkProgAlternatives('available index processors', ['texindy', 'makeindex -c -q', 'xindy'],
953         rc_entry = [ r'\index_command "%%"' ],
954         alt_rc_entry = [ r'\index_alternatives "%%"' ])
955     checkProg('an index processor appropriate to Japanese', ['mendex -c -q', 'jmakeindex -c -q', 'makeindex -c -q'],
956         rc_entry = [ r'\jindex_command "%%"' ])
957     checkProg('the splitindex processor', ['splitindex.pl', 'splitindex',
958         'splitindex.class'], rc_entry = [ r'\splitindex_command "%%"' ])
959     checkProg('a nomenclature processor', ['makeindex'],
960         rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
961     ## FIXME: OCTAVE is not used anywhere
962     # path, OCTAVE = checkProg('Octave', ['octave'])
963     ## FIXME: MAPLE is not used anywhere
964     # path, MAPLE = checkProg('Maple', ['maple'])
965     checkProg('a spool command', ['lp', 'lpr'],
966         rc_entry = [
967             r'''\print_spool_printerprefix "-d "
968 \print_spool_command "lp"''',
969             r'''\print_spool_printerprefix "-P",
970 \print_spool_command "lpr"''',
971             ''])
972     # Add the rest of the entries (no checkProg is required)
973     addToRC(r'''\copier    fig        "python -tt $$s/scripts/fig_copy.py $$i $$o"
974 \copier    pstex      "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
975 \copier    pdftex     "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
976 \copier    program    "python -tt $$s/scripts/ext_copy.py $$i $$o"
977 ''')
978
979
980 def processLayoutFile(file, bool_docbook):
981     ''' process layout file and get a line of result
982
983         Declare lines look like this: (article.layout, scrbook.layout, svjog.layout)
984
985         \DeclareLaTeXClass{article}
986         \DeclareLaTeXClass[scrbook]{book (koma-script)}
987         \DeclareLaTeXClass[svjour,svjog.clo]{article (Springer - svjour/jog)}
988
989         we expect output:
990
991         "article" "article" "article" "false" "article.cls"
992         "scrbook" "scrbook" "book (koma-script)" "false" "scrbook.cls"
993         "svjog" "svjour" "article (Springer - svjour/jog)" "false" "svjour.cls,svjog.clo"
994     '''
995     def checkForClassExtension(x):
996         '''if the extension for a latex class is not
997            provided, add .cls to the classname'''
998         if not '.' in x:
999             return x.strip() + '.cls'
1000         else:
1001             return x.strip()
1002     classname = file.split(os.sep)[-1].split('.')[0]
1003     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
1004     p = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1005     for line in open(file).readlines():
1006         res = p.search(line)
1007         if res != None:
1008             (classtype, optAll, opt, opt1, desc) = res.groups()
1009             avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
1010             if opt == None:
1011                 opt = classname
1012                 prereq_latex = checkForClassExtension(classname)
1013             else:
1014                 prereq_list = optAll[1:-1].split(',')
1015                 prereq_list = map(checkForClassExtension, prereq_list)
1016                 prereq_latex = ','.join(prereq_list)
1017             prereq_docbook = {'true':'', 'false':'docbook'}[bool_docbook]
1018             prereq = {'LaTeX':prereq_latex, 'DocBook':prereq_docbook}[classtype]
1019             return '"%s" "%s" "%s" "%s" "%s"\n' % (classname, opt, desc, avai, prereq)
1020     logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
1021     return ""
1022
1023
1024 def checkLatexConfig(check_config, bool_docbook):
1025     ''' Explore the LaTeX configuration
1026         Return None (will be passed to sys.exit()) for success.
1027     '''
1028     msg = 'checking LaTeX configuration... '
1029     # if --without-latex-config is forced, or if there is no previous
1030     # version of textclass.lst, re-generate a default file.
1031     if not os.path.isfile('textclass.lst') or not check_config:
1032         # remove the files only if we want to regenerate
1033         removeFiles(['textclass.lst', 'packages.lst'])
1034         #
1035         # Then, generate a default textclass.lst. In case configure.py
1036         # fails, we still have something to start lyx.
1037         logger.info(msg + ' default values')
1038         logger.info('+checking list of textclasses... ')
1039         tx = open('textclass.lst', 'w')
1040         tx.write('''
1041 # This file declares layouts and their associated definition files
1042 # (include dir. relative to the place where this file is).
1043 # It contains only default values, since chkconfig.ltx could not be run
1044 # for some reason. Run ./configure.py if you need to update it after a
1045 # configuration change.
1046 ''')
1047         # build the list of available layout files and convert it to commands
1048         # for chkconfig.ltx
1049         foundClasses = []
1050         for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1051             glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1052             # valid file?
1053             if not os.path.isfile(file):
1054                 continue
1055             # get stuff between /xxxx.layout .
1056             classname = file.split(os.sep)[-1].split('.')[0]
1057             #  tr ' -' '__'`
1058             cleanclass = classname.replace(' ', '_')
1059             cleanclass = cleanclass.replace('-', '_')
1060             # make sure the same class is not considered twice
1061             if foundClasses.count(cleanclass) == 0: # not found before
1062                 foundClasses.append(cleanclass)
1063                 retval = processLayoutFile(file, bool_docbook)
1064                 if retval != "":
1065                     tx.write(retval)
1066         tx.close()
1067         logger.info('\tdone')
1068     if not check_config:
1069         return None
1070     # the following will generate textclass.lst.tmp, and packages.lst.tmp
1071     logger.info(msg + '\tauto')
1072     removeFiles(['chkconfig.classes', 'chkconfig.vars', 'chklayouts.tex',
1073         'wrap_chkconfig.ltx'])
1074     rmcopy = False
1075     if not os.path.isfile( 'chkconfig.ltx' ):
1076         shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
1077         rmcopy = True
1078     writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
1079     # Construct the list of classes to test for.
1080     # build the list of available layout files and convert it to commands
1081     # for chkconfig.ltx
1082     declare = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1083     empty = re.compile(r'^\s*$')
1084     testclasses = list()
1085     for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1086         glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1087         nodeclaration = False
1088         if not os.path.isfile(file):
1089             continue
1090         classname = file.split(os.sep)[-1].split('.')[0]
1091         for line in open(file).readlines():
1092             if not empty.match(line) and line[0] != '#':
1093                 logger.warning("Failed to find valid \Declare line for layout file `" + file + "'.\n\t=> Skipping this file!")
1094                 nodeclaration = True
1095                 break
1096             if declare.search(line) == None:
1097                 continue
1098             testclasses.append("\\TestDocClass{%s}{%s}" % (classname, line[1:].strip()))
1099             break
1100         if nodeclaration:
1101             continue
1102     testclasses.sort()
1103     cl = open('chklayouts.tex', 'w')
1104     for line in testclasses:
1105         cl.write(line + '\n')
1106     cl.close()
1107     #
1108     # we have chklayouts.tex, then process it
1109     ret = 1
1110     latex_out = cmdOutput(LATEX + ' wrap_chkconfig.ltx')
1111     for line in latex_out.splitlines():
1112         if re.match('^\+', line):
1113             logger.info(line.strip())
1114             # return None if the command succeeds
1115             if line == "+Inspection done.":
1116                 ret = None
1117     #
1118     # remove the copied file
1119     if rmcopy:
1120         removeFiles( [ 'chkconfig.ltx' ] )
1121     #
1122     # currently, values in chhkconfig are only used to set
1123     # \font_encoding
1124     values = {}
1125     for line in open('chkconfig.vars').readlines():
1126         key, val = re.sub('-', '_', line).split('=')
1127         val = val.strip()
1128         values[key] = val.strip("'")
1129     # chk_fontenc may not exist
1130     try:
1131         addToRC(r'\font_encoding "%s"' % values["chk_fontenc"])
1132     except:
1133         pass
1134     # if configure successed, move textclass.lst.tmp to textclass.lst
1135     # and packages.lst.tmp to packages.lst
1136     if os.path.isfile('textclass.lst.tmp') and len(open('textclass.lst.tmp').read()) > 0 \
1137         and os.path.isfile('packages.lst.tmp') and len(open('packages.lst.tmp').read()) > 0:
1138         shutil.move('textclass.lst.tmp', 'textclass.lst')
1139         shutil.move('packages.lst.tmp', 'packages.lst')
1140     return ret
1141
1142
1143 def checkModulesConfig():
1144   removeFiles(['lyxmodules.lst', 'chkmodules.tex'])
1145
1146   logger.info('+checking list of modules... ')
1147   tx = open('lyxmodules.lst', 'w')
1148   tx.write('''## This file declares modules and their associated definition files.
1149 ## It has been automatically generated by configure
1150 ## Use "Options/Reconfigure" if you need to update it after a
1151 ## configuration change.
1152 ## "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1153 ''')
1154
1155   # build the list of available modules
1156   seen = []
1157   # note that this searches the local directory first, then the
1158   # system directory. that way, we pick up the user's version first.
1159   for file in glob.glob( os.path.join('layouts', '*.module') ) + \
1160       glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) :
1161       # valid file?
1162       logger.info(file)
1163       if not os.path.isfile(file):
1164           continue
1165
1166       filename = file.split(os.sep)[-1]
1167       filename = filename[:-7]
1168       if seen.count(filename):
1169           continue
1170
1171       seen.append(filename)
1172       retval = processModuleFile(file, filename, bool_docbook)
1173       if retval != "":
1174           tx.write(retval)
1175   tx.close()
1176   logger.info('\tdone')
1177
1178
1179 def processModuleFile(file, filename, bool_docbook):
1180     ''' process module file and get a line of result
1181
1182         The top of a module file should look like this:
1183           #\DeclareLyXModule[LaTeX Packages]{ModuleName}
1184           #DescriptionBegin
1185           #...body of description...
1186           #DescriptionEnd
1187           #Requires: [list of required modules]
1188           #Excludes: [list of excluded modules]
1189           #Category: [category name]
1190         The last three lines are optional (though do give a category).
1191         We expect output:
1192           "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1193     '''
1194     remods = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
1195     rereqs = re.compile(r'#+\s*Requires: (.*)')
1196     reexcs = re.compile(r'#+\s*Excludes: (.*)')
1197     recaty = re.compile(r'#+\s*Category: (.*)')
1198     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1199     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1200
1201     modname = desc = pkgs = req = excl = catgy = ""
1202     readingDescription = False
1203     descLines = []
1204
1205     for line in open(file).readlines():
1206       if readingDescription:
1207         res = redend.search(line)
1208         if res != None:
1209           readingDescription = False
1210           desc = " ".join(descLines)
1211           # Escape quotes.
1212           desc = desc.replace('"', '\\"')
1213           continue
1214         descLines.append(line[1:].strip())
1215         continue
1216       res = redbeg.search(line)
1217       if res != None:
1218         readingDescription = True
1219         continue
1220       res = remods.search(line)
1221       if res != None:
1222           (pkgs, modname) = res.groups()
1223           if pkgs == None:
1224             pkgs = ""
1225           else:
1226             tmp = [s.strip() for s in pkgs.split(",")]
1227             pkgs = ",".join(tmp)
1228           continue
1229       res = rereqs.search(line)
1230       if res != None:
1231         req = res.group(1)
1232         tmp = [s.strip() for s in req.split("|")]
1233         req = "|".join(tmp)
1234         continue
1235       res = reexcs.search(line)
1236       if res != None:
1237         excl = res.group(1)
1238         tmp = [s.strip() for s in excl.split("|")]
1239         excl = "|".join(tmp)
1240         continue
1241       res = recaty.search(line)
1242       if res != None:
1243         catgy = res.group(1)
1244         continue
1245
1246     if modname == "":
1247       logger.warning("Module file without \DeclareLyXModule line. ")
1248       return ""
1249
1250     if pkgs != "":
1251         # this module has some latex dependencies:
1252         # append the dependencies to chkmodules.tex,
1253         # which is \input'ed by chkconfig.ltx
1254         testpackages = list()
1255         for pkg in pkgs.split(","):
1256             if "->" in pkg:
1257                 # this is a converter dependency: skip
1258                 continue
1259             if pkg.endswith(".sty"):
1260                 pkg = pkg[:-4]
1261             testpackages.append("\\TestPackage{%s}" % (pkg,))
1262         cm = open('chkmodules.tex', 'a')
1263         for line in testpackages:
1264             cm.write(line + '\n')
1265         cm.close()
1266
1267     return '"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, desc, pkgs, req, excl, catgy)
1268
1269
1270 def checkTeXAllowSpaces():
1271     ''' Let's check whether spaces are allowed in TeX file names '''
1272     tex_allows_spaces = 'false'
1273     if lyx_check_config:
1274         msg = "Checking whether TeX allows spaces in file names... "
1275         writeToFile('a b.tex', r'\message{working^^J}' )
1276         if LATEX != '':
1277             if os.name == 'nt' or sys.platform == 'cygwin':
1278                 latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}\makeatletter\@@end" """)
1279             else:
1280                 latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}\makeatletter\@@end' """)
1281         else:
1282             latex_out = ''
1283         if 'working' in latex_out:
1284             logger.info(msg + 'yes')
1285             tex_allows_spaces = 'true'
1286         else:
1287             logger.info(msg + 'no')
1288             tex_allows_spaces = 'false'
1289         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
1290         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
1291
1292
1293 def removeTempFiles():
1294     # Final clean-up
1295     if not lyx_keep_temps:
1296         removeFiles(['chkconfig.vars', 'chklatex.ltx', 'chklatex.log',
1297             'chklayouts.tex', 'chkmodules.tex', 'missfont.log',
1298             'wrap_chkconfig.ltx', 'wrap_chkconfig.log'])
1299
1300
1301 if __name__ == '__main__':
1302     lyx_check_config = True
1303     outfile = 'lyxrc.defaults'
1304     lyxrc_fileformat = 2
1305     rc_entries = ''
1306     lyx_keep_temps = False
1307     version_suffix = ''
1308     ## Parse the command line
1309     for op in sys.argv[1:]:   # default shell/for list is $*, the options
1310         if op in [ '-help', '--help', '-h' ]:
1311             print '''Usage: configure [options]
1312 Options:
1313     --help                   show this help lines
1314     --keep-temps             keep temporary files (for debug. purposes)
1315     --without-latex-config   do not run LaTeX to determine configuration
1316     --with-version-suffix=suffix suffix of binary installed files
1317 '''
1318             sys.exit(0)
1319         elif op == '--without-latex-config':
1320             lyx_check_config = False
1321         elif op == '--keep-temps':
1322             lyx_keep_temps = True
1323         elif op[0:22] == '--with-version-suffix=':  # never mind if op is not long enough
1324             version_suffix = op[22:]
1325         else:
1326             print "Unknown option", op
1327             sys.exit(1)
1328     #
1329     # check if we run from the right directory
1330     srcdir = os.path.dirname(sys.argv[0])
1331     if srcdir == '':
1332         srcdir = '.'
1333     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
1334         logger.error("configure: error: cannot find chkconfig.ltx script")
1335         sys.exit(1)
1336     setEnviron()
1337     createDirectories()
1338     dtl_tools = checkDTLtools()
1339     ## Write the first part of outfile
1340     writeToFile(outfile, '''# This file has been automatically generated by LyX' lib/configure.py
1341 # script. It contains default settings that have been determined by
1342 # examining your system. PLEASE DO NOT MODIFY ANYTHING HERE! If you
1343 # want to customize LyX, use LyX' Preferences dialog or modify directly
1344 # the "preferences" file instead. Any setting in that file will
1345 # override the values given here.
1346
1347 Format %i
1348
1349 ''' % lyxrc_fileformat)
1350     # check latex
1351     LATEX = checkLatex(dtl_tools)
1352     # check java and perl before any checkProg that may require them
1353     java = checkProg('a java interpreter', ['java'])[1]
1354     perl = checkProg('a perl interpreter', ['perl'])[1]
1355     checkFormatEntries(dtl_tools)
1356     checkConverterEntries()
1357     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
1358     checkTeXAllowSpaces()
1359     windows_style_tex_paths = checkTeXPaths()
1360     if windows_style_tex_paths != '':
1361         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
1362     checkOtherEntries()
1363     checkModulesConfig()
1364     # --without-latex-config can disable lyx_check_config
1365     ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
1366     removeTempFiles()
1367     # The return error code can be 256. Because most systems expect an error code
1368     # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
1369     # a None for success, 'ret is not None' is used to exit.
1370     sys.exit(ret is not None)