]> git.lyx.org Git - lyx.git/blob - lib/configure.py
5ca32a51924a7130319aa969fc9f1220497458f2
[lyx.git] / lib / configure.py
1 #! /usr/bin/env python
2 # -*- coding: utf-8 -*-
3 #
4 # file configure.py
5 # This file is part of LyX, the document processor.
6 # Licence details can be found in the file COPYING.
7
8 # \author Bo Peng
9 # Full author contact details are available in file CREDITS.
10
11 import glob, logging, os, re, shutil, subprocess, sys
12
13 # set up logging
14 logging.basicConfig(level = logging.DEBUG,
15     format = '%(levelname)s: %(message)s', # ignore application name
16     filename = 'configure.log',
17     filemode = 'w')
18 #
19 # Add a handler to log to console
20 console = logging.StreamHandler()
21 console.setLevel(logging.INFO) # the console only print out general information
22 formatter = logging.Formatter('%(message)s') # only print out the message itself
23 console.setFormatter(formatter)
24 logger = logging.getLogger('LyX')
25 logger.addHandler(console)
26
27 def writeToFile(filename, lines, append = False):
28     " utility function: write or append lines to filename "
29     if append:
30         file = open(filename, 'a')
31     else:
32         file = open(filename, 'w')
33     file.write(lines)
34     file.close()
35
36
37 def addToRC(lines):
38     ''' utility function: shortcut for appending lines to outfile
39         add newline at the end of lines.
40     '''
41     if lines.strip() != '':
42         writeToFile(outfile, lines + '\n', append = True)
43         logger.debug('Add to RC:\n' + lines + '\n\n')
44
45
46 def removeFiles(filenames):
47     '''utility function: 'rm -f'
48         ignore errors when file does not exist, or is a directory.
49     '''
50     for file in filenames:
51         try:
52             os.remove(file)
53             logger.debug('Removing file %s' % file)
54         except:
55             logger.debug('Failed to remove file %s' % file)
56             pass
57
58
59 def cmdOutput(cmd):
60     '''utility function: run a command and get its output as a string
61         cmd: command to run
62     '''
63     output = subprocess.check_output(cmd, shell=True)
64     return output.strip()
65
66
67 def setEnviron():
68     ''' I do not really know why this is useful, but we might as well keep it.
69         NLS nuisances.
70         Only set these to C if already set.  These must not be set unconditionally
71         because not all systems understand e.g. LANG=C (notably SCO).
72         Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
73         Non-C LC_CTYPE values break the ctype check.
74     '''
75     os.environ['LANG'] = os.getenv('LANG', 'C')
76     os.environ['LC'] = os.getenv('LC_ALL', 'C')
77     os.environ['LC_MESSAGE'] = os.getenv('LC_MESSAGE', 'C')
78     os.environ['LC_CTYPE'] = os.getenv('LC_CTYPE', 'C')
79
80
81 def createDirectories():
82     ''' Create the build directories if necessary '''
83     for dir in ['bind', 'clipart', 'doc', 'examples', 'images', 'kbd', \
84         'layouts', 'scripts', 'templates', 'ui' ]:
85         if not os.path.isdir( dir ):
86             try:
87                 os.mkdir( dir)
88                 logger.debug('Create directory %s.' % dir)
89             except:
90                 logger.error('Failed to create directory %s.' % dir)
91                 sys.exit(1)
92
93
94 def checkTeXPaths():
95     ''' Determine the path-style needed by the TeX engine on Win32 (Cygwin) '''
96     windows_style_tex_paths = ''
97     if LATEX == '':
98         return windows_style_tex_paths
99     if os.name == 'nt' or sys.platform == 'cygwin':
100         from tempfile import mkstemp
101         fd, tmpfname = mkstemp(suffix='.ltx')
102         if os.name == 'nt':
103             from ctypes import windll, create_unicode_buffer
104             GetShortPathName = windll.kernel32.GetShortPathNameW
105             longname = unicode(tmpfname)
106             shortlen = GetShortPathName(longname, 0, 0)
107             shortname = create_unicode_buffer(shortlen)
108             if GetShortPathName(longname, shortname, shortlen):
109                 inpname = shortname.value.replace('\\', '/')
110             else:
111                 inpname = tmpfname.replace('\\', '/')
112         else:
113             inpname = cmdOutput('cygpath -m ' + tmpfname)
114         logname = os.path.basename(inpname.replace('.ltx', '.log'))
115         inpname = inpname.replace('~', '\\string~')
116         os.write(fd, r'\relax')
117         os.close(fd)
118         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}\makeatletter\@@end"' % inpname)
119         if 'Error' in latex_out:
120             latex_out = cmdOutput(r'latex "\nonstopmode\input{\"%s\"}\makeatletter\@@end"' % inpname)
121         if 'Error' in latex_out:
122             logger.warning("configure: TeX engine needs posix-style paths in latex files")
123             windows_style_tex_paths = 'false'
124         else:
125             logger.info("configure: TeX engine needs windows-style paths in latex files")
126             windows_style_tex_paths = 'true'
127         removeFiles([tmpfname, logname, 'texput.log'])
128     return windows_style_tex_paths
129
130
131 ## Searching some useful programs
132 def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
133     '''
134         This function will search a program in $PATH plus given path
135         If found, return directory and program name (not the options).
136
137         description: description of the program
138
139         progs: check programs, for each prog, the first word is used
140             for searching but the whole string is used to replace
141             %% for a rc_entry. So, feel free to add '$$i' etc for programs.
142
143         path: additional pathes
144
145         rc_entry: entry to outfile, can be
146             1. emtpy: no rc entry will be added
147             2. one pattern: %% will be replaced by the first found program,
148                 or '' if no program is found.
149             3. several patterns for each prog and not_found. This is used
150                 when different programs have different usages. If you do not
151                 want not_found entry to be added to the RC file, you can specify
152                 an entry for each prog and use '' for the not_found entry.
153
154         not_found: the value that should be used instead of '' if no program
155             was found
156
157     '''
158     # one rc entry for each progs plus not_found entry
159     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
160         logger.error("rc entry should have one item or item for each prog and not_found.")
161         sys.exit(2)
162     logger.info('checking for ' + description + '...')
163     ## print '(' + ','.join(progs) + ')',
164     for idx in range(len(progs)):
165         # ac_prog may have options, ac_word is the command name
166         ac_prog = progs[idx]
167         ac_word = ac_prog.split(' ')[0]
168         msg = '+checking for "' + ac_word + '"... '
169         path = os.environ["PATH"].split(os.pathsep) + path
170         extlist = ['']
171         if "PATHEXT" in os.environ:
172             extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
173         for ac_dir in path:
174             for ext in extlist:
175                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
176                     logger.info(msg + ' yes')
177                     # write rc entries for this command
178                     if len(rc_entry) == 1:
179                         addToRC(rc_entry[0].replace('%%', ac_prog))
180                     elif len(rc_entry) > 1:
181                         addToRC(rc_entry[idx].replace('%%', ac_prog))
182                     return [ac_dir, ac_word]
183         # if not successful
184         logger.info(msg + ' no')
185     # write rc entries for 'not found'
186     if len(rc_entry) > 0:  # the last one.
187         addToRC(rc_entry[-1].replace('%%', not_found))
188     return ['', not_found]
189
190
191 def checkProgAlternatives(description, progs, rc_entry = [], alt_rc_entry = [], path = [], not_found = ''):
192     '''
193         The same as checkProg, but additionally, all found programs will be added
194         as alt_rc_entries
195     '''
196     # one rc entry for each progs plus not_found entry
197     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
198         logger.error("rc entry should have one item or item for each prog and not_found.")
199         sys.exit(2)
200     logger.info('checking for ' + description + '...')
201     ## print '(' + ','.join(progs) + ')',
202     found_prime = False
203     real_ac_dir = ''
204     real_ac_word = not_found
205     for idx in range(len(progs)):
206         # ac_prog may have options, ac_word is the command name
207         ac_prog = progs[idx]
208         ac_word = ac_prog.split(' ')[0]
209         msg = '+checking for "' + ac_word + '"... '
210         path = os.environ["PATH"].split(os.pathsep) + path
211         extlist = ['']
212         if "PATHEXT" in os.environ:
213             extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
214         found_alt = False
215         for ac_dir in path:
216             for ext in extlist:
217                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
218                     logger.info(msg + ' yes')
219                     pr = re.compile(r'(\\\S+)(.*)$')
220                     m = None
221                     # write rc entries for this command
222                     if found_prime == False:
223                         if len(rc_entry) == 1:
224                             addToRC(rc_entry[0].replace('%%', ac_prog))
225                         elif len(rc_entry) > 1:
226                             addToRC(rc_entry[idx].replace('%%', ac_prog))
227                         real_ac_dir = ac_dir
228                         real_ac_word = ac_word
229                         found_prime = True
230                     if len(alt_rc_entry) == 1:
231                         alt_rc = alt_rc_entry[0]
232                         if alt_rc == "":
233                             # if no explicit alt_rc is given, construct one
234                             m = pr.match(rc_entry[0])
235                             if m:
236                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
237                         addToRC(alt_rc.replace('%%', ac_prog))
238                     elif len(alt_rc_entry) > 1:
239                         alt_rc = alt_rc_entry[idx]
240                         if alt_rc == "":
241                             # if no explicit alt_rc is given, construct one
242                             m = pr.match(rc_entry[idx])
243                             if m:
244                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
245                         addToRC(alt_rc.replace('%%', ac_prog))
246                     found_alt = True
247                     break
248             if found_alt:
249                 break
250         if found_alt == False:
251             # if not successful
252             logger.info(msg + ' no')
253     if found_prime:
254         return [real_ac_dir, real_ac_word]
255     # write rc entries for 'not found'
256     if len(rc_entry) > 0:  # the last one.
257         addToRC(rc_entry[-1].replace('%%', not_found))
258     return ['', not_found]
259
260
261 def addAlternatives(rcs, alt_type):
262     '''
263         Returns a \\prog_alternatives string to be used as an alternative
264         rc entry.  alt_type can be a string or a list of strings.
265     '''
266     r = re.compile(r'\\Format (\S+).*$')
267     m = None
268     alt = ''
269     alt_token = '\\%s_alternatives '
270     if isinstance(alt_type, str):
271         alt_tokens = [alt_token % alt_type]
272     else:
273         alt_tokens = map(lambda s: alt_token % s, alt_type)
274     for idxx in range(len(rcs)):
275         if len(rcs) == 1:
276             m = r.match(rcs[0])
277             if m:
278                 alt = '\n'.join([s + m.group(1) + " %%" for s in alt_tokens])
279         elif len(rcs) > 1:
280             m = r.match(rcs[idxx])
281             if m:
282                 if idxx > 0:
283                     alt += '\n'
284                 alt += '\n'.join([s + m.group(1) + " %%" for s in alt_tokens])
285     return alt
286
287
288 def listAlternatives(progs, alt_type, rc_entry = []):
289     '''
290         Returns a list of \\prog_alternatives strings to be used as alternative
291         rc entries.  alt_type can be a string or a list of strings.
292     '''
293     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
294         logger.error("rc entry should have one item or item for each prog and not_found.")
295         sys.exit(2)
296     alt_rc_entry = []
297     for idx in range(len(progs)):
298         if len(rc_entry) == 1:
299             rcs = rc_entry[0].split('\n')
300             alt = addAlternatives(rcs, alt_type)
301             alt_rc_entry.insert(0, alt)
302         elif len(rc_entry) > 1:
303             rcs = rc_entry[idx].split('\n')
304             alt = addAlternatives(rcs, alt_type)
305             alt_rc_entry.insert(idx, alt)
306     return alt_rc_entry
307
308
309 def checkViewer(description, progs, rc_entry = [], path = []):
310     ''' The same as checkProgAlternatives, but for viewers '''
311     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
312     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
313
314
315 def checkEditor(description, progs, rc_entry = [], path = []):
316     ''' The same as checkProgAlternatives, but for editors '''
317     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
318     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
319
320
321 def checkViewerNoRC(description, progs, rc_entry = [], path = []):
322     ''' The same as checkViewer, but do not add rc entry '''
323     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
324     rc_entry = []
325     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
326
327
328 def checkEditorNoRC(description, progs, rc_entry = [], path = []):
329     ''' The same as checkViewer, but do not add rc entry '''
330     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
331     rc_entry = []
332     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
333
334
335 def checkViewerEditor(description, progs, rc_entry = [], path = []):
336     ''' The same as checkProgAlternatives, but for viewers and editors '''
337     alt_rc_entry = listAlternatives(progs, ['editor', 'viewer'], rc_entry)
338     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
339
340
341 def checkDTLtools():
342     ''' Check whether DTL tools are available (Windows only) '''
343     # Find programs! Returned path is not used now
344     if ((os.name == 'nt' or sys.platform == 'cygwin') and
345             checkProg('DVI to DTL converter', ['dv2dt']) != ['', ''] and
346             checkProg('DTL to DVI converter', ['dt2dv']) != ['', '']):
347         dtl_tools = True
348     else:
349         dtl_tools = False
350     return dtl_tools
351
352
353 def checkLatex(dtl_tools):
354     ''' Check latex, return lyx_check_config '''
355     path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'latex2e $$i'])
356     path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
357     #-----------------------------------------------------------------
358     path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
359     if PLATEX != '':
360         # check if PLATEX is pLaTeX2e
361         writeToFile('chklatex.ltx', r'\nonstopmode\makeatletter\@@end')
362         # run platex on chklatex.ltx and check result
363         if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
364             # We have the Japanese pLaTeX2e
365             addToRC(r'\converter platex   dvi       "%s"   "latex=platex"' % PLATEX)
366         else:
367             PLATEX = ''
368             removeFiles(['chklatex.ltx', 'chklatex.log'])
369     #-----------------------------------------------------------------
370     # use LATEX to convert from latex to dvi if PPLATEX is not available
371     if PPLATEX == '':
372         PPLATEX = LATEX
373     if dtl_tools:
374         # Windows only: DraftDVI
375         addToRC(r'''\converter latex      dvi2       "%s"       "latex"
376 \converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o"  ""''' % PPLATEX)
377     else:
378         addToRC(r'\converter latex      dvi        "%s" "latex"' % PPLATEX)
379     # no latex
380     if LATEX != '':
381         # Check if latex is usable
382         writeToFile('chklatex.ltx', r'''
383 \nonstopmode
384 \ifx\undefined\documentclass\else
385   \message{ThisIsLaTeX2e}
386 \fi
387 \makeatletter
388 \@@end
389 ''')
390         # run latex on chklatex.ltx and check result
391         if cmdOutput(LATEX + ' chklatex.ltx').find('ThisIsLaTeX2e') != -1:
392             # valid latex2e
393             return LATEX
394         else:
395             logger.warning("Latex not usable (not LaTeX2e) ")
396         # remove temporary files
397         removeFiles(['chklatex.ltx', 'chklatex.log'])
398     return ''
399
400
401 def checkLuatex():
402     ''' Check if luatex is there and usable '''
403     path, LUATEX = checkProg('LuaTeX', ['lualatex $$i'])
404     path, DVILUATEX = checkProg('LuaTeX (DVI)', ['dvilualatex $$i'])
405     if LUATEX != '':
406     # luatex binary is there
407         msg = "checking if LuaTeX is usable ..."
408         # Check if luatex is usable
409         writeToFile('luatest.tex', r'''
410 \nonstopmode
411 \documentclass{minimal}
412 \usepackage{fontspec}
413 \begin{document}
414 .
415 \end{document}
416 ''')
417         # run lualatex on luatest.tex and check result
418         try:
419             luatest = cmdOutput(LUATEX + ' luatest.tex')
420         except:
421             # certainly not working
422             logger.info('LuaTeX call failed.')
423             # remove temporary files
424             removeFiles(['luatest.tex', 'luatest.log', 'luatest.aux', 'luatest.pdf'])
425             return
426         if luatest.find('XeTeX is required to compile this document') != -1:
427             # fontspec/luatex too old! We do not support this version.
428             logger.info(msg + ' no (probably not recent enough)')
429         elif luatest.find('! LaTeX Error: File `fontspec.sty\' not found') != -1:
430             # fontspec missing
431             logger.info(msg + ' no (missing fontspec)')
432         else:
433             # working luatex
434             logger.info(msg + ' yes')
435             addToRC(r'\converter luatex      pdf5       "%s"    "latex=lualatex"' % LUATEX)
436             if DVILUATEX != '':
437                 addToRC(r'\converter luatex      dvi3        "%s"       "latex=dvilualatex"' % DVILUATEX)
438         # remove temporary files
439         removeFiles(['luatest.tex', 'luatest.log', 'luatest.aux', 'luatest.pdf'])
440
441
442 def checkModule(module):
443     ''' Check for a Python module, return the status '''
444     msg = 'checking for "' + module + ' module"... '
445     try:
446       __import__(module)
447       logger.info(msg + ' yes')
448       return True
449     except ImportError:
450       logger.info(msg + ' no')
451       return False
452
453
454 def checkFormatEntries(dtl_tools):
455     ''' Check all formats (\Format entries) '''
456     checkViewerEditor('a Tgif viewer and editor', ['tgif'],
457         rc_entry = [r'\Format tgif       obj     Tgif                   "" "%%" "%%"    "vector"'])
458     #
459     checkViewerEditor('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
460         rc_entry = [r'\Format fig        fig     FIG                    "" "%%" "%%"    "vector"'])
461     #
462     checkViewerEditor('a Dia viewer and editor', ['dia'],
463         rc_entry = [r'\Format dia        dia     DIA                    "" "%%" "%%"    "vector"'])
464     #
465     checkViewerEditor('a Grace viewer and editor', ['xmgrace'],
466         rc_entry = [r'\Format agr        agr     Grace                  "" "%%" "%%"    "vector"'])
467     #
468     checkViewerEditor('a FEN viewer and editor', ['xboard -lpf $$i -mode EditPosition'],
469         rc_entry = [r'\Format fen        fen     FEN                    "" "%%" "%%"    ""'])
470     #
471     checkViewerEditor('a SVG viewer and editor', ['inkscape'],
472         rc_entry = [r'\Format svg        svg     SVG                    "" "%%" "%%"    "vector"'])
473     #
474     path, iv = checkViewerNoRC('a raster image viewer', ['xv', 'kview', 'gimp-remote', 'gimp'],
475         rc_entry = [r'''\Format bmp        bmp     BMP                    "" "%s"       "%s"    ""
476 \Format gif        gif     GIF                    "" "%s"       "%s"    ""
477 \Format jpg        jpg     JPEG                   "" "%s"       "%s"    ""
478 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""
479 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""
480 \Format png        png     PNG                    "" "%s"       "%s"    ""
481 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""
482 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""
483 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""
484 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""'''])
485     path, ie = checkEditorNoRC('a raster image editor', ['gimp-remote', 'gimp'],
486         rc_entry = [r'''\Format bmp        bmp     BMP                    "" "%s"       "%s"    ""
487 \Format gif        gif     GIF                    "" "%s"       "%s"    ""
488 \Format jpg        jpg     JPEG                   "" "%s"       "%s"    ""
489 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""
490 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""
491 \Format png        png     PNG                    "" "%s"       "%s"    ""
492 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""
493 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""
494 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""
495 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""'''])
496     addToRC(r'''\Format bmp        bmp     BMP                    "" "%s"       "%s"    ""
497 \Format gif        gif     GIF                    "" "%s"       "%s"    ""
498 \Format jpg        jpg     JPEG                   "" "%s"       "%s"    ""
499 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""
500 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""
501 \Format png        png     PNG                    "" "%s"       "%s"    ""
502 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""
503 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""
504 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""
505 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""''' % \
506         (iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie) )
507     #
508     checkViewerEditor('a text editor', ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
509         'nedit', 'gedit', 'notepad'],
510         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""    "%%"    ""
511 \Format asciiimage asc    "Plain text (image)"         "" ""    "%%"    ""
512 \Format asciixfig  asc    "Plain text (Xfig output)"   "" ""    "%%"    ""
513 \Format dateout    tmp    "date (output)"         "" "" "%%"    ""
514 \Format docbook    sgml    DocBook                B  "" "%%"    "document,menu=export"
515 \Format docbook-xml xml   "DocBook (XML)"         "" "" "%%"    "document,menu=export"
516 \Format dot        dot    "Graphviz Dot"          "" "" "%%"    "vector"
517 \Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document,menu=export"
518 \Format literate   nw      NoWeb                  N  "" "%%"    "document,menu=export"
519 \Format sweave     Rnw    "Sweave"                S  "" "%%"    "document,menu=export"
520 \Format r          R      "R/S code"              "" "" "%%"    "document,menu=export"
521 \Format lilypond   ly     "LilyPond music"        "" "" "%%"    "vector"
522 \Format lilypond-book    lytex "LilyPond book (LaTeX)"   "" ""  "%%"    "document,menu=export"
523 \Format latex      tex    "LaTeX (plain)"         L  "" "%%"    "document,menu=export"
524 \Format luatex     tex    "LaTeX (LuaTeX)"        "" "" "%%"    "document,menu=export"
525 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" "" "%%"    "document,menu=export"
526 \Format xetex      tex    "LaTeX (XeTeX)"         "" "" "%%"    "document,menu=export"
527 \Format text       txt    "Plain text"            a  "" "%%"    "document,menu=export"
528 \Format text2      txt    "Plain text (pstotext)" "" "" "%%"    "document"
529 \Format text3      txt    "Plain text (ps2ascii)" "" "" "%%"    "document"
530 \Format text4      txt    "Plain text (catdvi)"   "" "" "%%"    "document"
531 \Format textparagraph txt "Plain Text, Join Lines" "" ""        "%%"    "document"''' ])
532    #Spreadsheets using ssconvert from gnumeric
533     checkViewer('gnumeric spreadsheet software', ['gnumeric'],
534       rc_entry = [r'''\Format gnumeric gnumeric "Gnumeric spreadsheet" "" ""    "%%"   "document"
535 \Format excel      xls    "Excel spreadsheet"      "" "" "%%"    "document"
536 \Format oocalc     ods    "OpenOffice spreadsheet" "" "" "%%"    "document"'''])
537  #
538     path, xhtmlview = checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
539         rc_entry = [r'\Format xhtml      xhtml   "LyXHTML"              y "%%" ""    "document,menu=export"'])
540     if xhtmlview == "":
541         addToRC(r'\Format xhtml      xhtml   "LyXHTML"              y "" ""  "document,menu=export"')
542  #
543     checkEditor('a BibTeX editor', ['jabref', 'JabRef', \
544         'pybliographic', 'bibdesk', 'gbib', 'kbib', \
545         'kbibtex', 'sixpack', 'bibedit', 'tkbibtex' \
546         'xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
547         'nedit', 'gedit', 'notepad'],
548         rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""    "%%"    ""''' ])
549     #
550     #checkProg('a Postscript interpreter', ['gs'],
551     #  rc_entry = [ r'\ps_command "%%"' ])
552     checkViewer('a Postscript previewer', ['kghostview', 'okular', 'evince', 'gv', 'ghostview -swap'],
553         rc_entry = [r'''\Format eps        eps     EPS                    "" "%%"       ""      "vector"
554 \Format ps         ps      Postscript             t  "%%"       ""      "document,vector,menu=export"'''])
555     # for xdg-open issues look here: http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg151818.html
556     checkViewer('a PDF previewer', ['kpdf', 'okular', 'evince', 'kghostview', 'xpdf', 'acrobat', 'acroread', \
557                     'gv', 'ghostview'],
558         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"       ""      "document,vector,menu=export"
559 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"       ""      "document,vector,menu=export"
560 \Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"       ""      "document,vector,menu=export"
561 \Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"       ""      "document,vector,menu=export"
562 \Format pdf5       pdf    "PDF (LuaTeX)"          u  "%%"       ""      "document,vector,menu=export"'''])
563     #
564     checkViewer('a DVI previewer', ['xdvi', 'kdvi', 'okular', 'yap', 'dviout -Set=!m'],
565         rc_entry = [r'''\Format dvi        dvi     DVI                    D  "%%"       ""      "document,vector,menu=export"
566 \Format dvi3       dvi     "DVI (LuaTeX)"          V  "%%"      ""      "document,vector,menu=export"'''])
567     if dtl_tools:
568         # Windows only: DraftDVI
569         addToRC(r'\Format dvi2       dvi     DraftDVI               ""  ""      ""      "vector"')
570     #
571     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
572         rc_entry = [r'\Format html       html    HTML                   H  "%%" ""      "document,menu=export"'])
573     #
574     checkViewerEditor('Noteedit', ['noteedit'],
575         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%" "%%"    "vector"'])
576     #
577     checkViewerEditor('an OpenDocument/OpenOffice viewer', ['swriter', 'oowriter', 'abiword'],
578         rc_entry = [r'''\Format odt        odt     OpenDocument           "" "%%"       "%%"    "document,vector,menu=export"
579 \Format sxw        sxw    "OpenOffice.Org (sxw)"  "" "" ""      "document,vector"'''])
580     #
581     checkViewerEditor('a Rich Text and Word viewer', ['swriter', 'oowriter', 'abiword'],
582         rc_entry = [r'''\Format rtf        rtf    "Rich Text Format"      "" "%%"       "%%"    "document,vector,menu=export"
583 \Format word       doc    "MS Word"               W  "%%"       "%%"    "document,vector,menu=export"'''])
584     #
585     # entries that do not need checkProg
586     addToRC(r'''\Format date       ""     "date command"          "" "" ""      ""
587 \Format csv        csv    "Table (CSV)"  "" ""  ""      "document"
588 \Format fax        ""      Fax                    "" "" ""      "document"
589 \Format lyx        lyx     LyX                    "" "" ""      ""
590 \Format lyx13x     13.lyx  "LyX 1.3.x"             "" ""        ""      "document"
591 \Format lyx14x     14.lyx  "LyX 1.4.x"             "" ""        ""      "document"
592 \Format lyx15x     15.lyx  "LyX 1.5.x"             "" ""        ""      "document"
593 \Format lyx16x     16.lyx  "LyX 1.6.x"             "" ""        ""      "document,menu=export"
594 \Format lyx20x     20.lyx  "LyX 2.0.x"             "" ""        ""      "document,menu=export"
595 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" "" ""      "document"
596 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""        ""      "document"
597 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""        ""      "document"
598 \Format lyxpreview lyxpreview "LyX Preview"       "" "" ""      ""
599 \Format lyxpreview-lytex  lyxpreview-lytex  "LyX Preview (LilyPond book)" "" "" ""      ""
600 \Format lyxpreview-platex lyxpreview-platex "LyX Preview (pLaTeX)"       "" ""  ""      ""
601 \Format pdftex     pdftex_t PDFTEX                "" "" ""      ""
602 \Format program    ""      Program                "" "" ""      ""
603 \Format pstex      pstex_t PSTEX                  "" "" ""      ""
604 \Format wmf        wmf    "Windows Metafile"      "" "" ""      "vector"
605 \Format emf        emf    "Enhanced Metafile"     "" "" ""      "vector"
606 \Format wordhtml   html   "HTML (MS Word)"        "" "" ""      "document"
607 ''')
608
609
610 def checkConverterEntries():
611     ''' Check all converters (\converter entries) '''
612     checkProg('the pdflatex program', ['pdflatex $$i'],
613         rc_entry = [ r'\converter pdflatex   pdf2       "%%"    "latex=pdflatex"' ])
614
615     checkProg('XeTeX', ['xelatex $$i'],
616         rc_entry = [ r'\converter xetex      pdf4       "%%"    "latex=xelatex"' ])
617
618     checkLuatex()
619
620     ''' If we're running LyX in-place then tex2lyx will be found in
621             ../src/tex2lyx. Add this directory to the PATH temporarily and
622             search for tex2lyx.
623             Use PATH to avoid any problems with paths-with-spaces.
624     '''
625     path_orig = os.environ["PATH"]
626     os.environ["PATH"] = os.path.join('..', 'src', 'tex2lyx') + \
627         os.pathsep + path_orig
628
629 # First search for tex2lyx with version suffix (bug 6986)
630     checkProg('a LaTeX/Noweb -> LyX converter', ['tex2lyx' + version_suffix, 'tex2lyx'],
631         rc_entry = [r'''\converter latex      lyx        "%% -f $$i $$o"        ""
632 \converter literate   lyx        "%% -n -f $$i $$o"     ""'''])
633
634     os.environ["PATH"] = path_orig
635
636     #
637     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
638         rc_entry = [r'''\converter literate   latex      "%%"   ""
639 \converter literate   pdflatex      "%%"        ""'''])
640     #
641     checkProg('a Sweave -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxsweave.R $$p$$i $$p$$o $$e $$r'],
642         rc_entry = [r'''\converter sweave   latex      "%%"     ""
643 \converter sweave   pdflatex   "%%"     ""
644 \converter sweave   xetex      "%%"     ""
645 \converter sweave   luatex     "%%"     ""'''])
646     #
647     checkProg('a Sweave -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxstangle.R $$i $$e $$r'], 
648         rc_entry = [ r'\converter sweave      r      "%%"    ""' ])
649     #
650     checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex $$i', \
651         'htmltolatex -input $$i -output $$o', 'java -jar htmltolatex.jar -input $$i -output $$o'],
652         rc_entry = [ r'\converter html       latex      "%%"    ""' ])
653     #
654     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
655         rc_entry = [ r'\converter word       latex      "%%"    ""' ])
656
657     # eLyXer: search as an executable (elyxer.py, elyxer)
658     path, elyxer = checkProg('a LyX -> HTML converter',
659         ['elyxer.py --directory $$r $$i $$o', 'elyxer --directory $$r $$i $$o'],
660         rc_entry = [ r'\converter lyx      html       "%%"      ""' ])
661     path, elyxer = checkProg('a LyX -> HTML (MS Word) converter',
662         ['elyxer.py --html --directory $$r $$i $$o', 'elyxer --html --directory $$r $$i $$o'],
663         rc_entry = [ r'\converter lyx      wordhtml       "%%"  ""' ])
664     if elyxer.find('elyxer') >= 0:
665       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
666       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
667     else:
668       # search for HTML converters other than eLyXer
669       # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
670       path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i', \
671           '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o', \
672           'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
673           rc_entry = [ r'\converter latex      html       "%%"  "needaux"' ])
674       if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
675         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
676       else:
677         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
678       path, htmlconv = checkProg('a LaTeX -> HTML (MS Word) converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'", \
679           "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'", \
680           "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
681           rc_entry = [ r'\converter latex      wordhtml   "%%"  "needaux"' ])
682       if htmlconv.find('htlatex') >= 0:
683         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
684       else:
685         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
686
687
688     # Check if LyXBlogger is installed
689     lyxblogger_found = checkModule('lyxblogger')
690     if lyxblogger_found:
691       addToRC(r'\Format    blog       blog       "LyXBlogger"           "" "" ""  "document"')
692       addToRC(r'\converter xhtml      blog       "python -m lyxblogger $$i"       ""')
693
694     #
695     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
696         rc_entry = [ r'\converter sxw        latex      "%%"    ""' ])
697     #
698     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
699         rc_entry = [ r'\converter odt        latex      "%%"    ""' ])
700     # According to http://www.tug.org/applications/tex4ht/mn-commands.html
701     # the command mk4ht oolatex $$i has to be used as default,
702     # but as this would require to have Perl installed, in MiKTeX oolatex is
703     # directly available as application.
704     # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
705     # Both SuSE and debian have oolatex
706     checkProg('a LaTeX -> Open Document converter', [
707         'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
708         'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
709         rc_entry = [ r'\converter latex      odt        "%%"    "needaux"' ])
710     # On windows it is called latex2rt.exe
711     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
712         rc_entry = [ r'\converter latex      rtf        "%%"    "needaux"' ])
713     #
714     checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
715         rc_entry = [ r'\converter rtf      html        "%%"     ""' ])
716     #
717     checkProg('a PS to PDF converter', ['ps2pdf13 $$i $$o'],
718         rc_entry = [ r'\converter ps         pdf        "%%"    ""' ])
719     #
720     checkProg('a PS to TXT converter', ['pstotext $$i > $$o'],
721         rc_entry = [ r'\converter ps         text2      "%%"    ""' ])
722     #
723     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
724         rc_entry = [ r'\converter ps         text3      "%%"    ""' ])
725     #
726     checkProg('a PS to EPS converter', ['ps2eps $$i'],
727         rc_entry = [ r'\converter ps         eps      "%%"      ""' ])
728     #
729     checkProg('a PDF to PS converter', ['pdf2ps $$i $$o', 'pdftops $$i $$o'],
730         rc_entry = [ r'\converter pdf         ps        "%%"    ""' ])
731     #
732     checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
733         rc_entry = [ r'\converter pdf         eps        "%%"   ""' ])
734     #
735     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
736         rc_entry = [ r'\converter dvi        text4      "%%"    ""' ])
737     #
738     checkProg('a DVI to PS converter', ['dvips -o $$o $$i'],
739         rc_entry = [ r'\converter dvi        ps         "%%"    ""' ])
740     #
741     checkProg('a DVI to PDF converter', ['dvipdfmx -o $$o $$i', 'dvipdfm -o $$o $$i'],
742         rc_entry = [ r'\converter dvi        pdf3       "%%"    ""' ])
743     #
744     path, dvipng = checkProg('dvipng', ['dvipng'])
745     path, dv2dt  = checkProg('DVI to DTL converter', ['dv2dt'])
746     if dvipng == "dvipng" and dv2dt == 'dv2dt':
747         addToRC(r'\converter lyxpreview png        "python -tt $$s/scripts/lyxpreview2bitmap.py"        ""')
748     else:
749         # set empty converter to override the default imagemagick
750         addToRC(r'\converter lyxpreview png        ""   ""')
751     if dv2dt == 'dv2dt':
752         addToRC(r'\converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py"        ""')
753     else:
754         # set empty converter to override the default imagemagick
755         addToRC(r'\converter lyxpreview ppm        ""   ""')
756     #
757     checkProg('a fax program', ['kdeprintfax $$i', 'ksendfax $$i', 'hylapex $$i'],
758         rc_entry = [ r'\converter ps         fax        "%%"    ""'])
759     #
760     path, fig2dev = checkProg('a FIG -> Image converter', ['fig2dev'])
761     if fig2dev == "fig2dev":
762         addToRC(r'''\converter fig        eps        "fig2dev -L eps $$i $$o"   ""
763 \converter fig        ppm        "fig2dev -L ppm $$i $$o"       ""
764 \converter fig        png        "fig2dev -L png $$i $$o"       ""
765 \converter fig        pdftex     "python -tt $$s/scripts/fig2pdftex.py $$i $$o" ""
766 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o"  ""''')
767     #
768     checkProg('a TIFF -> PS converter', ['tiff2ps $$i > $$o'],
769         rc_entry = [ r'\converter tiff       eps        "%%"    ""', ''])
770     #
771     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
772         rc_entry = [
773             r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"    ""
774 \converter tgif       png        "tgif -print -color -png -o $$d $$i"   ""
775 \converter tgif       pdf        "tgif -print -color -pdf -stdout $$i > $$o"    ""''',
776             ''])
777     #
778     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
779         rc_entry = [ r'\converter wmf        eps        "%%"    ""'])
780     #
781     checkProg('an EMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
782         rc_entry = [ r'\converter emf        eps        "%%"    ""'])
783     #
784     checkProg('an EPS -> PDF converter', ['epstopdf'],
785         rc_entry = [ r'\converter eps        pdf        "epstopdf --outfile=$$o $$i"    ""', ''])
786     #
787     # no agr -> pdf converter, since the pdf library used by gracebat is not
788     # free software and therefore not compiled in in many installations.
789     # Fortunately, this is not a big problem, because we will use epstopdf to
790     # convert from agr to pdf via eps without loss of quality.
791     checkProg('a Grace -> Image converter', ['gracebat'],
792         rc_entry = [
793             r'''\converter agr        eps        "gracebat -hardcopy -printfile $$o -hdevice EPS $$i 2>/dev/null"       ""
794 \converter agr        png        "gracebat -hardcopy -printfile $$o -hdevice PNG $$i 2>/dev/null"       ""
795 \converter agr        jpg        "gracebat -hardcopy -printfile $$o -hdevice JPEG $$i 2>/dev/null"      ""
796 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"       ""''',
797             ''])
798     #
799     checkProg('a Dot -> Image converter', ['dot'],
800         rc_entry = [
801             r'''\converter dot        eps        "dot -Teps $$i -o $$o" ""
802 \converter dot        png        "dot -Tpng $$i -o $$o" ""''',
803             ''])
804     #
805     checkProg('a Dia -> PNG converter', ['dia -e $$o -t png $$i'],
806         rc_entry = [ r'\converter dia        png        "%%"    ""'])
807     #
808     checkProg('a Dia -> EPS converter', ['dia -e $$o -t eps $$i'],
809         rc_entry = [ r'\converter dia        eps        "%%"    ""'])
810     #
811     checkProg('a SVG -> PDF converter', ['rsvg-convert -f pdf -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
812         rc_entry = [ r'\converter svg        pdf        "%%"    ""'])
813     #
814     checkProg('a SVG -> EPS converter', ['rsvg-convert -f ps -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
815         rc_entry = [ r'\converter svg        eps        "%%"    ""'])
816     #
817     checkProg('a SVG -> PNG converter', ['rsvg-convert -f png -o $$o $$i', 'inkscape --without-gui --file=$$i --export-png=$$o'],
818         rc_entry = [ r'\converter svg        png        "%%"    ""'])
819
820     #
821     # gnumeric/xls/ods to tex
822     checkProg('a spreadsheet -> latex converter', ['ssconvert'],
823        rc_entry = [ r'''\converter gnumeric latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
824 \converter ods latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
825 \converter xls latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""''',
826 ''])
827
828     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
829     if (lilypond != ''):
830         version_string = cmdOutput("lilypond --version")
831         match = re.match('GNU LilyPond (\S+)', version_string)
832         if match:
833             version_number = match.groups()[0]
834             version = version_number.split('.')
835             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
836                 addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps -dsafe --ps $$i"   ""
837 \converter lilypond   png        "lilypond -dbackend=eps -dsafe --png $$i"      ""''')
838                 addToRC(r'\converter lilypond   pdf        "lilypond -dbackend=eps -dsafe --pdf $$i"    ""')
839                 logger.info('+  found LilyPond version %s.' % version_number)
840             elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
841                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps --safe $$i"  ""
842 \converter lilypond   png        "lilypond -b eps --png $$i"    ""''')
843                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
844                     addToRC(r'\converter lilypond   pdf        "lilypond -b eps --pdf --safe $$i"       ""')
845                 logger.info('+  found LilyPond version %s.' % version_number)
846             else:
847                 logger.info('+  found LilyPond, but version %s is too old.' % version_number)
848         else:
849             logger.info('+  found LilyPond, but could not extract version number.')
850     #
851     path, lilypond_book = checkProg('a LilyPond book (LaTeX) -> LaTeX converter', ['lilypond-book'])
852     if (lilypond_book != ''):
853         version_string = cmdOutput("lilypond-book --version")
854         match = re.match('^(\S+)$', version_string)
855         if match:
856             version_number = match.groups()[0]
857             version = version_number.split('.')
858             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 13):
859                 if dv2dt == 'dv2dt':
860                     addToRC(r'\converter lyxpreview-lytex ppm "python -tt $$s/scripts/lyxpreview-lytex2bitmap.py" ""')
861                 else:
862                     # set empty converter to override the default imagemagick
863                     addToRC(r'\converter lyxpreview-lytex ppm "" ""')
864                 if dvipng == "dvipng" and dv2dt == 'dv2dt':
865                     addToRC(r'\converter lyxpreview-lytex png "python -tt $$s/scripts/lyxpreview-lytex2bitmap.py" ""')
866                 else:
867                     # set empty converter to override the default imagemagick
868                     addToRC(r'\converter lyxpreview-lytex png "" ""')
869                 # Note: The --lily-output-dir flag is required because lilypond-book
870                 #       does not process input again unless the input has changed,
871                 #       even if the output format being requested is different. So
872                 #       once a .eps file exists, lilypond-book won't create a .pdf
873                 #       even when requested with --pdf. This is a problem if a user
874                 #       clicks View PDF after having done a View DVI. To circumvent
875                 #       this, use different output folders for eps and pdf outputs.
876                 addToRC(r'\converter lilypond-book latex    "lilypond-book --safe --lily-output-dir=ly-eps $$i"                                ""')
877                 addToRC(r'\converter lilypond-book pdflatex "lilypond-book --safe --pdf --latex-program=pdflatex --lily-output-dir=ly-pdf $$i" ""')
878                 addToRC(r'\converter lilypond-book xetex    "lilypond-book --safe --pdf --latex-program=xelatex --lily-output-dir=ly-pdf $$i"  ""')
879                 addToRC(r'\converter lilypond-book luatex   "lilypond-book --safe --pdf --latex-program=lualatex --lily-output-dir=ly-pdf $$i" ""')
880                 logger.info('+  found LilyPond-book version %s.' % version_number)
881             else:
882                 logger.info('+  found LilyPond-book, but version %s is too old.' % version_number)
883         else:
884             logger.info('+  found LilyPond-book, but could not extract version number.')
885     #
886     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
887         rc_entry = [ r'\converter noteedit   lilypond   "%%"    ""', ''])
888     #
889     # Currently, lyxpak outputs a gzip compressed tar archive on *nix
890     # and a zip archive on Windows.
891     # So, we configure the appropriate version according to the platform.
892     cmd = r'\converter lyx %s "python -tt $$s/scripts/lyxpak.py $$r/$$i" ""'
893     if os.name == 'nt':
894         addToRC(r'\Format lyxzip     zip    "LyX Archive (zip)"     "" "" ""  "document,menu=export"')
895         addToRC(cmd % "lyxzip")
896     else:
897         addToRC(r'\Format lyxgz      gz     "LyX Archive (tar.gz)"  "" "" ""  "document,menu=export"')
898         addToRC(cmd % "lyxgz")
899
900     #
901     # FIXME: no rc_entry? comment it out
902     # checkProg('Image converter', ['convert $$i $$o'])
903     #
904     # Entries that do not need checkProg
905     addToRC(r'''\converter lyxpreview-platex ppm        "python -tt $$s/scripts/lyxpreview-platex2bitmap.py"    ""
906 \converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"    ""
907 \converter date       dateout    "python -tt $$s/scripts/date.py %d-%m-%Y > $$o"        ""
908 \converter docbook    docbook-xml "cp $$i $$o"  "xml"
909 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o"  ""
910 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -t 221 $$i > $$o"      ""
911 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -t 245 $$i > $$o"      ""
912 \converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -t 276 $$i > $$o"      ""
913 \converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -t 345 $$i > $$o"      ""
914 \converter lyx        lyx20x     "python -tt $$s/lyx2lyx/lyx2lyx -t 413 $$i > $$o"      ""
915 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -c big5 -t 245 $$i > $$o"      ""
916 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -t 245 $$i > $$o"    ""
917 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -t 245 $$i > $$o"    ""
918 \converter clyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c big5 $$i > $$o"     ""
919 \converter jlyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp $$i > $$o"   ""
920 \converter klyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr $$i > $$o"   ""
921 ''')
922
923
924 def checkDocBook():
925     ''' Check docbook '''
926     path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
927         rc_entry = [
928             r'''\converter docbook    dvi        "sgmltools -b dvi $$i" ""
929 \converter docbook    html       "sgmltools -b html $$i"        ""''',
930             r'''\converter docbook    dvi        "db2dvi $$i"   ""
931 \converter docbook    html       "db2html $$i"  ""''',
932             r'''\converter docbook    dvi        ""     ""
933 \converter docbook    html       "" ""''',
934             r'''\converter docbook    dvi        ""     ""
935 \converter docbook    html       ""     ""'''])
936     #
937     if DOCBOOK != '':
938         return ('yes', 'true', '\\def\\hasdocbook{yes}')
939     else:
940         return ('no', 'false', '')
941
942
943 def checkOtherEntries():
944     ''' entries other than Format and Converter '''
945     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
946         rc_entry = [ r'\chktex_command "%%"' ])
947     checkProgAlternatives('BibTeX or alternative programs', ['bibtex', 'bibtex8', 'biber'],
948         rc_entry = [ r'\bibtex_command "%%"' ],
949         alt_rc_entry = [ r'\bibtex_alternatives "%%"' ])
950     checkProg('a specific Japanese BibTeX variant', ['pbibtex', 'jbibtex', 'bibtex'],
951         rc_entry = [ r'\jbibtex_command "%%"' ])
952     checkProgAlternatives('available index processors', ['texindy', 'makeindex -c -q', 'xindy'],
953         rc_entry = [ r'\index_command "%%"' ],
954         alt_rc_entry = [ r'\index_alternatives "%%"' ])
955     checkProg('an index processor appropriate to Japanese', ['mendex -c -q', 'jmakeindex -c -q', 'makeindex -c -q'],
956         rc_entry = [ r'\jindex_command "%%"' ])
957     path, splitindex = checkProg('the splitindex processor', ['splitindex.pl', 'splitindex'],
958         rc_entry = [ r'\splitindex_command "%%"' ])
959     if splitindex == '':
960         checkProg('the splitindex processor (java version)', ['splitindex.class'],
961             rc_entry = [ r'\splitindex_command "java splitindex"' ])
962     checkProg('a nomenclature processor', ['makeindex'],
963         rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
964     ## FIXME: OCTAVE is not used anywhere
965     # path, OCTAVE = checkProg('Octave', ['octave'])
966     ## FIXME: MAPLE is not used anywhere
967     # path, MAPLE = checkProg('Maple', ['maple'])
968     checkProg('a spool command', ['lp', 'lpr'],
969         rc_entry = [
970             r'''\print_spool_printerprefix "-d "
971 \print_spool_command "lp"''',
972             r'''\print_spool_printerprefix "-P",
973 \print_spool_command "lpr"''',
974             ''])
975     # Add the rest of the entries (no checkProg is required)
976     addToRC(r'''\copier    fig        "python -tt $$s/scripts/fig_copy.py $$i $$o"
977 \copier    pstex      "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
978 \copier    pdftex     "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
979 \copier    program    "python -tt $$s/scripts/ext_copy.py $$i $$o"
980 ''')
981
982
983 def processLayoutFile(file, bool_docbook):
984     ''' process layout file and get a line of result
985
986         Declare lines look like this: (article.layout, scrbook.layout, svjog.layout)
987
988         \DeclareLaTeXClass{article}
989         \DeclareLaTeXClass[scrbook]{book (koma-script)}
990         \DeclareLaTeXClass[svjour,svjog.clo]{article (Springer - svjour/jog)}
991
992         we expect output:
993
994         "article" "article" "article" "false" "article.cls"
995         "scrbook" "scrbook" "book (koma-script)" "false" "scrbook.cls"
996         "svjog" "svjour" "article (Springer - svjour/jog)" "false" "svjour.cls,svjog.clo"
997     '''
998     def checkForClassExtension(x):
999         '''if the extension for a latex class is not
1000            provided, add .cls to the classname'''
1001         if not '.' in x:
1002             return x.strip() + '.cls'
1003         else:
1004             return x.strip()
1005     classname = file.split(os.sep)[-1].split('.')[0]
1006     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
1007     p = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1008     for line in open(file).readlines():
1009         res = p.search(line)
1010         if res != None:
1011             (classtype, optAll, opt, opt1, desc) = res.groups()
1012             avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
1013             if opt == None:
1014                 opt = classname
1015                 prereq_latex = checkForClassExtension(classname)
1016             else:
1017                 prereq_list = optAll[1:-1].split(',')
1018                 prereq_list = map(checkForClassExtension, prereq_list)
1019                 prereq_latex = ','.join(prereq_list)
1020             prereq_docbook = {'true':'', 'false':'docbook'}[bool_docbook]
1021             prereq = {'LaTeX':prereq_latex, 'DocBook':prereq_docbook}[classtype]
1022             return '"%s" "%s" "%s" "%s" "%s"\n' % (classname, opt, desc, avai, prereq)
1023     logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
1024     return ""
1025
1026
1027 def checkLatexConfig(check_config, bool_docbook):
1028     ''' Explore the LaTeX configuration
1029         Return None (will be passed to sys.exit()) for success.
1030     '''
1031     msg = 'checking LaTeX configuration... '
1032     # if --without-latex-config is forced, or if there is no previous
1033     # version of textclass.lst, re-generate a default file.
1034     if not os.path.isfile('textclass.lst') or not check_config:
1035         # remove the files only if we want to regenerate
1036         removeFiles(['textclass.lst', 'packages.lst'])
1037         #
1038         # Then, generate a default textclass.lst. In case configure.py
1039         # fails, we still have something to start lyx.
1040         logger.info(msg + ' default values')
1041         logger.info('+checking list of textclasses... ')
1042         tx = open('textclass.lst', 'w')
1043         tx.write('''
1044 # This file declares layouts and their associated definition files
1045 # (include dir. relative to the place where this file is).
1046 # It contains only default values, since chkconfig.ltx could not be run
1047 # for some reason. Run ./configure.py if you need to update it after a
1048 # configuration change.
1049 ''')
1050         # build the list of available layout files and convert it to commands
1051         # for chkconfig.ltx
1052         foundClasses = []
1053         for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1054             glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1055             # valid file?
1056             if not os.path.isfile(file):
1057                 continue
1058             # get stuff between /xxxx.layout .
1059             classname = file.split(os.sep)[-1].split('.')[0]
1060             #  tr ' -' '__'`
1061             cleanclass = classname.replace(' ', '_')
1062             cleanclass = cleanclass.replace('-', '_')
1063             # make sure the same class is not considered twice
1064             if foundClasses.count(cleanclass) == 0: # not found before
1065                 foundClasses.append(cleanclass)
1066                 retval = processLayoutFile(file, bool_docbook)
1067                 if retval != "":
1068                     tx.write(retval)
1069         tx.close()
1070         logger.info('\tdone')
1071     if not check_config:
1072         return None
1073     # the following will generate textclass.lst.tmp, and packages.lst.tmp
1074     logger.info(msg + '\tauto')
1075     removeFiles(['chkconfig.classes', 'chkconfig.vars', 'chklayouts.tex',
1076         'wrap_chkconfig.ltx'])
1077     rmcopy = False
1078     if not os.path.isfile( 'chkconfig.ltx' ):
1079         shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
1080         rmcopy = True
1081     writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
1082     # Construct the list of classes to test for.
1083     # build the list of available layout files and convert it to commands
1084     # for chkconfig.ltx
1085     declare = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1086     empty = re.compile(r'^\s*$')
1087     testclasses = list()
1088     for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1089         glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1090         nodeclaration = False
1091         if not os.path.isfile(file):
1092             continue
1093         classname = file.split(os.sep)[-1].split('.')[0]
1094         for line in open(file).readlines():
1095             if not empty.match(line) and line[0] != '#':
1096                 logger.warning("Failed to find valid \Declare line for layout file `" + file + "'.\n\t=> Skipping this file!")
1097                 nodeclaration = True
1098                 break
1099             if declare.search(line) == None:
1100                 continue
1101             testclasses.append("\\TestDocClass{%s}{%s}" % (classname, line[1:].strip()))
1102             break
1103         if nodeclaration:
1104             continue
1105     testclasses.sort()
1106     cl = open('chklayouts.tex', 'w')
1107     for line in testclasses:
1108         cl.write(line + '\n')
1109     cl.close()
1110     #
1111     # we have chklayouts.tex, then process it
1112     fout = subprocess.Popen([LATEX, "wrap_chkconfig.ltx"], stdout=subprocess.PIPE).stdout
1113     while True:
1114         line = fout.readline()
1115         if not line:
1116             break;
1117         if re.match('^\+', line):
1118             logger.info(line.strip())
1119     # if the command succeeds, None will be returned
1120     ret = fout.close()
1121     #
1122     # currently, values in chhkconfig are only used to set
1123     # \font_encoding
1124     values = {}
1125     for line in open('chkconfig.vars').readlines():
1126         key, val = re.sub('-', '_', line).split('=')
1127         val = val.strip()
1128         values[key] = val.strip("'")
1129     # chk_fontenc may not exist
1130     try:
1131         addToRC(r'\font_encoding "%s"' % values["chk_fontenc"])
1132     except:
1133         pass
1134     if rmcopy:   # remove the copied file
1135         removeFiles( [ 'chkconfig.ltx' ] )
1136     # if configure successed, move textclass.lst.tmp to textclass.lst
1137     # and packages.lst.tmp to packages.lst
1138     if os.path.isfile('textclass.lst.tmp') and len(open('textclass.lst.tmp').read()) > 0 \
1139         and os.path.isfile('packages.lst.tmp') and len(open('packages.lst.tmp').read()) > 0:
1140         shutil.move('textclass.lst.tmp', 'textclass.lst')
1141         shutil.move('packages.lst.tmp', 'packages.lst')
1142     return ret
1143
1144
1145 def checkModulesConfig():
1146   removeFiles(['lyxmodules.lst', 'chkmodules.tex'])
1147
1148   logger.info('+checking list of modules... ')
1149   tx = open('lyxmodules.lst', 'w')
1150   tx.write('''## This file declares modules and their associated definition files.
1151 ## It has been automatically generated by configure
1152 ## Use "Options/Reconfigure" if you need to update it after a
1153 ## configuration change.
1154 ## "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1155 ''')
1156
1157   # build the list of available modules
1158   seen = []
1159   # note that this searches the local directory first, then the
1160   # system directory. that way, we pick up the user's version first.
1161   for file in glob.glob( os.path.join('layouts', '*.module') ) + \
1162       glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) :
1163       # valid file?
1164       logger.info(file)
1165       if not os.path.isfile(file):
1166           continue
1167
1168       filename = file.split(os.sep)[-1]
1169       filename = filename[:-7]
1170       if seen.count(filename):
1171           continue
1172
1173       seen.append(filename)
1174       retval = processModuleFile(file, filename, bool_docbook)
1175       if retval != "":
1176           tx.write(retval)
1177   tx.close()
1178   logger.info('\tdone')
1179
1180
1181 def processModuleFile(file, filename, bool_docbook):
1182     ''' process module file and get a line of result
1183
1184         The top of a module file should look like this:
1185           #\DeclareLyXModule[LaTeX Packages]{ModuleName}
1186           #DescriptionBegin
1187           #...body of description...
1188           #DescriptionEnd
1189           #Requires: [list of required modules]
1190           #Excludes: [list of excluded modules]
1191           #Category: [category name]
1192         The last three lines are optional (though do give a category).
1193         We expect output:
1194           "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1195     '''
1196     remods = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
1197     rereqs = re.compile(r'#+\s*Requires: (.*)')
1198     reexcs = re.compile(r'#+\s*Excludes: (.*)')
1199     recaty = re.compile(r'#+\s*Category: (.*)')
1200     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1201     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1202
1203     modname = desc = pkgs = req = excl = catgy = ""
1204     readingDescription = False
1205     descLines = []
1206
1207     for line in open(file).readlines():
1208       if readingDescription:
1209         res = redend.search(line)
1210         if res != None:
1211           readingDescription = False
1212           desc = " ".join(descLines)
1213           # Escape quotes.
1214           desc = desc.replace('"', '\\"')
1215           continue
1216         descLines.append(line[1:].strip())
1217         continue
1218       res = redbeg.search(line)
1219       if res != None:
1220         readingDescription = True
1221         continue
1222       res = remods.search(line)
1223       if res != None:
1224           (pkgs, modname) = res.groups()
1225           if pkgs == None:
1226             pkgs = ""
1227           else:
1228             tmp = [s.strip() for s in pkgs.split(",")]
1229             pkgs = ",".join(tmp)
1230           continue
1231       res = rereqs.search(line)
1232       if res != None:
1233         req = res.group(1)
1234         tmp = [s.strip() for s in req.split("|")]
1235         req = "|".join(tmp)
1236         continue
1237       res = reexcs.search(line)
1238       if res != None:
1239         excl = res.group(1)
1240         tmp = [s.strip() for s in excl.split("|")]
1241         excl = "|".join(tmp)
1242         continue
1243       res = recaty.search(line)
1244       if res != None:
1245         catgy = res.group(1)
1246         continue
1247
1248     if modname == "":
1249       logger.warning("Module file without \DeclareLyXModule line. ")
1250       return ""
1251
1252     if pkgs != "":
1253         # this module has some latex dependencies:
1254         # append the dependencies to chkmodules.tex,
1255         # which is \input'ed by chkconfig.ltx
1256         testpackages = list()
1257         for pkg in pkgs.split(","):
1258             if "->" in pkg:
1259                 # this is a converter dependency: skip
1260                 continue
1261             if pkg.endswith(".sty"):
1262                 pkg = pkg[:-4]
1263             testpackages.append("\\TestPackage{%s}" % (pkg,))
1264         cm = open('chkmodules.tex', 'a')
1265         for line in testpackages:
1266             cm.write(line + '\n')
1267         cm.close()
1268
1269     return '"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, desc, pkgs, req, excl, catgy)
1270
1271
1272 def checkTeXAllowSpaces():
1273     ''' Let's check whether spaces are allowed in TeX file names '''
1274     tex_allows_spaces = 'false'
1275     if lyx_check_config:
1276         msg = "Checking whether TeX allows spaces in file names... "
1277         writeToFile('a b.tex', r'\message{working^^J}' )
1278         if LATEX != '':
1279             if os.name == 'nt' or sys.platform == 'cygwin':
1280                 latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}\makeatletter\@@end" """)
1281             else:
1282                 latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}\makeatletter\@@end' """)
1283         else:
1284             latex_out = ''
1285         if 'working' in latex_out:
1286             logger.info(msg + 'yes')
1287             tex_allows_spaces = 'true'
1288         else:
1289             logger.info(msg + 'no')
1290             tex_allows_spaces = 'false'
1291         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
1292         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
1293
1294
1295 def removeTempFiles():
1296     # Final clean-up
1297     if not lyx_keep_temps:
1298         removeFiles(['chkconfig.vars', 'chklatex.ltx', 'chklatex.log',
1299             'chklayouts.tex', 'chkmodules.tex', 'missfont.log',
1300             'wrap_chkconfig.ltx', 'wrap_chkconfig.log'])
1301
1302
1303 if __name__ == '__main__':
1304     lyx_check_config = True
1305     outfile = 'lyxrc.defaults'
1306     lyxrc_fileformat = 1
1307     rc_entries = ''
1308     lyx_keep_temps = False
1309     version_suffix = ''
1310     ## Parse the command line
1311     for op in sys.argv[1:]:   # default shell/for list is $*, the options
1312         if op in [ '-help', '--help', '-h' ]:
1313             print '''Usage: configure [options]
1314 Options:
1315     --help                   show this help lines
1316     --keep-temps             keep temporary files (for debug. purposes)
1317     --without-latex-config   do not run LaTeX to determine configuration
1318     --with-version-suffix=suffix suffix of binary installed files
1319 '''
1320             sys.exit(0)
1321         elif op == '--without-latex-config':
1322             lyx_check_config = False
1323         elif op == '--keep-temps':
1324             lyx_keep_temps = True
1325         elif op[0:22] == '--with-version-suffix=':  # never mind if op is not long enough
1326             version_suffix = op[22:]
1327         else:
1328             print "Unknown option", op
1329             sys.exit(1)
1330     #
1331     # check if we run from the right directory
1332     srcdir = os.path.dirname(sys.argv[0])
1333     if srcdir == '':
1334         srcdir = '.'
1335     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
1336         logger.error("configure: error: cannot find chkconfig.ltx script")
1337         sys.exit(1)
1338     setEnviron()
1339     createDirectories()
1340     dtl_tools = checkDTLtools()
1341     ## Write the first part of outfile
1342     writeToFile(outfile, '''# This file has been automatically generated by LyX' lib/configure.py
1343 # script. It contains default settings that have been determined by
1344 # examining your system. PLEASE DO NOT MODIFY ANYTHING HERE! If you
1345 # want to customize LyX, use LyX' Preferences dialog or modify directly
1346 # the "preferences" file instead. Any setting in that file will
1347 # override the values given here.
1348
1349 Format %i
1350
1351 ''' % lyxrc_fileformat)
1352     # check latex
1353     LATEX = checkLatex(dtl_tools)
1354     checkFormatEntries(dtl_tools)
1355     checkConverterEntries()
1356     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
1357     checkTeXAllowSpaces()
1358     windows_style_tex_paths = checkTeXPaths()
1359     if windows_style_tex_paths != '':
1360         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
1361     checkOtherEntries()
1362     checkModulesConfig()
1363     # --without-latex-config can disable lyx_check_config
1364     ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
1365     removeTempFiles()
1366     # The return error code can be 256. Because most systems expect an error code
1367     # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
1368     # a None for success, 'ret is not None' is used to exit.
1369     sys.exit(ret is not None)