]> git.lyx.org Git - lyx.git/blob - lib/configure.py
add430ccfc478c562e2e078a963673db821cb3c3
[lyx.git] / lib / configure.py
1 #! /usr/bin/env python
2 # -*- coding: utf-8 -*-
3 #
4 # file configure.py
5 # This file is part of LyX, the document processor.
6 # Licence details can be found in the file COPYING.
7
8 # \author Bo Peng
9 # Full author contact details are available in file CREDITS.
10
11 import glob, logging, os, re, shutil, subprocess, sys
12
13 # set up logging
14 logging.basicConfig(level = logging.DEBUG,
15     format = '%(levelname)s: %(message)s', # ignore application name
16     filename = 'configure.log',
17     filemode = 'w')
18 #
19 # Add a handler to log to console
20 console = logging.StreamHandler()
21 console.setLevel(logging.INFO) # the console only print out general information
22 formatter = logging.Formatter('%(message)s') # only print out the message itself
23 console.setFormatter(formatter)
24 logger = logging.getLogger('LyX')
25 logger.addHandler(console)
26
27 def writeToFile(filename, lines, append = False):
28     " utility function: write or append lines to filename "
29     if append:
30         file = open(filename, 'a')
31     else:
32         file = open(filename, 'w')
33     file.write(lines)
34     file.close()
35
36
37 def addToRC(lines):
38     ''' utility function: shortcut for appending lines to outfile
39         add newline at the end of lines.
40     '''
41     if lines.strip() != '':
42         writeToFile(outfile, lines + '\n', append = True)
43         logger.debug('Add to RC:\n' + lines + '\n\n')
44
45
46 def removeFiles(filenames):
47     '''utility function: 'rm -f'
48         ignore errors when file does not exist, or is a directory.
49     '''
50     for file in filenames:
51         try:
52             os.remove(file)
53             logger.debug('Removing file %s' % file)
54         except:
55             logger.debug('Failed to remove file %s' % file)
56             pass
57
58
59 def cmdOutput(cmd):
60     '''utility function: run a command and get its output as a string
61         cmd: command to run
62     '''
63     pipe = subprocess.Popen(cmd, shell=True, stdin=subprocess.PIPE, \
64                             stdout=subprocess.PIPE, universal_newlines=True)
65     pipe.stdin.close()
66     output = pipe.stdout.read()
67     pipe.stdout.close()
68     return output.strip()
69
70
71 def setEnviron():
72     ''' I do not really know why this is useful, but we might as well keep it.
73         NLS nuisances.
74         Only set these to C if already set.  These must not be set unconditionally
75         because not all systems understand e.g. LANG=C (notably SCO).
76         Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
77         Non-C LC_CTYPE values break the ctype check.
78     '''
79     os.environ['LANG'] = os.getenv('LANG', 'C')
80     os.environ['LC'] = os.getenv('LC_ALL', 'C')
81     os.environ['LC_MESSAGE'] = os.getenv('LC_MESSAGE', 'C')
82     os.environ['LC_CTYPE'] = os.getenv('LC_CTYPE', 'C')
83
84
85 def createDirectories():
86     ''' Create the build directories if necessary '''
87     for dir in ['bind', 'clipart', 'doc', 'examples', 'images', 'kbd', \
88         'layouts', 'scripts', 'templates', 'ui' ]:
89         if not os.path.isdir( dir ):
90             try:
91                 os.mkdir( dir)
92                 logger.debug('Create directory %s.' % dir)
93             except:
94                 logger.error('Failed to create directory %s.' % dir)
95                 sys.exit(1)
96
97
98 def checkTeXPaths():
99     ''' Determine the path-style needed by the TeX engine on Win32 (Cygwin) '''
100     windows_style_tex_paths = ''
101     if LATEX == '':
102         return windows_style_tex_paths
103     if os.name == 'nt' or sys.platform == 'cygwin':
104         from tempfile import mkstemp
105         fd, tmpfname = mkstemp(suffix='.ltx')
106         if os.name == 'nt':
107             from ctypes import windll, create_unicode_buffer
108             GetShortPathName = windll.kernel32.GetShortPathNameW
109             longname = unicode(tmpfname)
110             shortlen = GetShortPathName(longname, 0, 0)
111             shortname = create_unicode_buffer(shortlen)
112             if GetShortPathName(longname, shortname, shortlen):
113                 inpname = shortname.value.replace('\\', '/')
114             else:
115                 inpname = tmpfname.replace('\\', '/')
116         else:
117             inpname = cmdOutput('cygpath -m ' + tmpfname)
118         logname = os.path.basename(inpname.replace('.ltx', '.log'))
119         inpname = inpname.replace('~', '\\string~')
120         os.write(fd, r'\relax')
121         os.close(fd)
122         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}\makeatletter\@@end"' % inpname)
123         if 'Error' in latex_out:
124             latex_out = cmdOutput(r'latex "\nonstopmode\input{\"%s\"}\makeatletter\@@end"' % inpname)
125         if 'Error' in latex_out:
126             logger.warning("configure: TeX engine needs posix-style paths in latex files")
127             windows_style_tex_paths = 'false'
128         else:
129             logger.info("configure: TeX engine needs windows-style paths in latex files")
130             windows_style_tex_paths = 'true'
131         removeFiles([tmpfname, logname, 'texput.log'])
132     return windows_style_tex_paths
133
134
135 ## Searching some useful programs
136 def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
137     '''
138         This function will search a program in $PATH plus given path
139         If found, return directory and program name (not the options).
140
141         description: description of the program
142
143         progs: check programs, for each prog, the first word is used
144             for searching but the whole string is used to replace
145             %% for a rc_entry. So, feel free to add '$$i' etc for programs.
146
147         path: additional pathes
148
149         rc_entry: entry to outfile, can be
150             1. emtpy: no rc entry will be added
151             2. one pattern: %% will be replaced by the first found program,
152                 or '' if no program is found.
153             3. several patterns for each prog and not_found. This is used
154                 when different programs have different usages. If you do not
155                 want not_found entry to be added to the RC file, you can specify
156                 an entry for each prog and use '' for the not_found entry.
157
158         not_found: the value that should be used instead of '' if no program
159             was found
160
161     '''
162     # one rc entry for each progs plus not_found entry
163     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
164         logger.error("rc entry should have one item or item for each prog and not_found.")
165         sys.exit(2)
166     logger.info('checking for ' + description + '...')
167     ## print '(' + ','.join(progs) + ')',
168     for idx in range(len(progs)):
169         # ac_prog may have options, ac_word is the command name
170         ac_prog = progs[idx]
171         ac_word = ac_prog.split(' ')[0]
172         msg = '+checking for "' + ac_word + '"... '
173         path = os.environ["PATH"].split(os.pathsep) + path
174         extlist = ['']
175         if "PATHEXT" in os.environ:
176             extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
177         for ac_dir in path:
178             for ext in extlist:
179                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
180                     logger.info(msg + ' yes')
181                     # write rc entries for this command
182                     if len(rc_entry) == 1:
183                         addToRC(rc_entry[0].replace('%%', ac_prog))
184                     elif len(rc_entry) > 1:
185                         addToRC(rc_entry[idx].replace('%%', ac_prog))
186                     return [ac_dir, ac_word]
187         # if not successful
188         logger.info(msg + ' no')
189     # write rc entries for 'not found'
190     if len(rc_entry) > 0:  # the last one.
191         addToRC(rc_entry[-1].replace('%%', not_found))
192     return ['', not_found]
193
194
195 def checkProgAlternatives(description, progs, rc_entry = [], alt_rc_entry = [], path = [], not_found = ''):
196     '''
197         The same as checkProg, but additionally, all found programs will be added
198         as alt_rc_entries
199     '''
200     # one rc entry for each progs plus not_found entry
201     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
202         logger.error("rc entry should have one item or item for each prog and not_found.")
203         sys.exit(2)
204     logger.info('checking for ' + description + '...')
205     ## print '(' + ','.join(progs) + ')',
206     found_prime = False
207     real_ac_dir = ''
208     real_ac_word = not_found
209     for idx in range(len(progs)):
210         # ac_prog may have options, ac_word is the command name
211         ac_prog = progs[idx]
212         ac_word = ac_prog.split(' ')[0]
213         msg = '+checking for "' + ac_word + '"... '
214         path = os.environ["PATH"].split(os.pathsep) + path
215         extlist = ['']
216         if "PATHEXT" in os.environ:
217             extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
218         found_alt = False
219         for ac_dir in path:
220             for ext in extlist:
221                 if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
222                     logger.info(msg + ' yes')
223                     pr = re.compile(r'(\\\S+)(.*)$')
224                     m = None
225                     # write rc entries for this command
226                     if found_prime == False:
227                         if len(rc_entry) == 1:
228                             addToRC(rc_entry[0].replace('%%', ac_prog))
229                         elif len(rc_entry) > 1:
230                             addToRC(rc_entry[idx].replace('%%', ac_prog))
231                         real_ac_dir = ac_dir
232                         real_ac_word = ac_word
233                         found_prime = True
234                     if len(alt_rc_entry) == 1:
235                         alt_rc = alt_rc_entry[0]
236                         if alt_rc == "":
237                             # if no explicit alt_rc is given, construct one
238                             m = pr.match(rc_entry[0])
239                             if m:
240                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
241                         addToRC(alt_rc.replace('%%', ac_prog))
242                     elif len(alt_rc_entry) > 1:
243                         alt_rc = alt_rc_entry[idx]
244                         if alt_rc == "":
245                             # if no explicit alt_rc is given, construct one
246                             m = pr.match(rc_entry[idx])
247                             if m:
248                                 alt_rc = m.group(1) + "_alternatives" + m.group(2)
249                         addToRC(alt_rc.replace('%%', ac_prog))
250                     found_alt = True
251                     break
252             if found_alt:
253                 break
254         if found_alt == False:
255             # if not successful
256             logger.info(msg + ' no')
257     if found_prime:
258         return [real_ac_dir, real_ac_word]
259     # write rc entries for 'not found'
260     if len(rc_entry) > 0:  # the last one.
261         addToRC(rc_entry[-1].replace('%%', not_found))
262     return ['', not_found]
263
264
265 def addAlternatives(rcs, alt_type):
266     '''
267         Returns a \\prog_alternatives string to be used as an alternative
268         rc entry.  alt_type can be a string or a list of strings.
269     '''
270     r = re.compile(r'\\Format (\S+).*$')
271     m = None
272     alt = ''
273     alt_token = '\\%s_alternatives '
274     if isinstance(alt_type, str):
275         alt_tokens = [alt_token % alt_type]
276     else:
277         alt_tokens = map(lambda s: alt_token % s, alt_type)
278     for idxx in range(len(rcs)):
279         if len(rcs) == 1:
280             m = r.match(rcs[0])
281             if m:
282                 alt = '\n'.join([s + m.group(1) + " %%" for s in alt_tokens])
283         elif len(rcs) > 1:
284             m = r.match(rcs[idxx])
285             if m:
286                 if idxx > 0:
287                     alt += '\n'
288                 alt += '\n'.join([s + m.group(1) + " %%" for s in alt_tokens])
289     return alt
290
291
292 def listAlternatives(progs, alt_type, rc_entry = []):
293     '''
294         Returns a list of \\prog_alternatives strings to be used as alternative
295         rc entries.  alt_type can be a string or a list of strings.
296     '''
297     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
298         logger.error("rc entry should have one item or item for each prog and not_found.")
299         sys.exit(2)
300     alt_rc_entry = []
301     for idx in range(len(progs)):
302         if len(rc_entry) == 1:
303             rcs = rc_entry[0].split('\n')
304             alt = addAlternatives(rcs, alt_type)
305             alt_rc_entry.insert(0, alt)
306         elif len(rc_entry) > 1:
307             rcs = rc_entry[idx].split('\n')
308             alt = addAlternatives(rcs, alt_type)
309             alt_rc_entry.insert(idx, alt)
310     return alt_rc_entry
311
312
313 def checkViewer(description, progs, rc_entry = [], path = []):
314     ''' The same as checkProgAlternatives, but for viewers '''
315     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
316     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
317
318
319 def checkEditor(description, progs, rc_entry = [], path = []):
320     ''' The same as checkProgAlternatives, but for editors '''
321     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
322     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
323
324
325 def checkViewerNoRC(description, progs, rc_entry = [], path = []):
326     ''' The same as checkViewer, but do not add rc entry '''
327     alt_rc_entry = listAlternatives(progs, 'viewer', rc_entry)
328     rc_entry = []
329     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
330
331
332 def checkEditorNoRC(description, progs, rc_entry = [], path = []):
333     ''' The same as checkViewer, but do not add rc entry '''
334     alt_rc_entry = listAlternatives(progs, 'editor', rc_entry)
335     rc_entry = []
336     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
337
338
339 def checkViewerEditor(description, progs, rc_entry = [], path = []):
340     ''' The same as checkProgAlternatives, but for viewers and editors '''
341     alt_rc_entry = listAlternatives(progs, ['editor', 'viewer'], rc_entry)
342     return checkProgAlternatives(description, progs, rc_entry, alt_rc_entry, path, not_found = 'auto')
343
344
345 def checkDTLtools():
346     ''' Check whether DTL tools are available (Windows only) '''
347     # Find programs! Returned path is not used now
348     if ((os.name == 'nt' or sys.platform == 'cygwin') and
349             checkProg('DVI to DTL converter', ['dv2dt']) != ['', ''] and
350             checkProg('DTL to DVI converter', ['dt2dv']) != ['', '']):
351         dtl_tools = True
352     else:
353         dtl_tools = False
354     return dtl_tools
355
356
357 def checkLatex(dtl_tools):
358     ''' Check latex, return lyx_check_config '''
359     path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'latex2e $$i'])
360     path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
361     #-----------------------------------------------------------------
362     path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
363     if PLATEX != '':
364         # check if PLATEX is pLaTeX2e
365         writeToFile('chklatex.ltx', r'\nonstopmode\makeatletter\@@end')
366         # run platex on chklatex.ltx and check result
367         if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
368             # We have the Japanese pLaTeX2e
369             addToRC(r'\converter platex   dvi       "%s"   "latex=platex"' % PLATEX)
370         else:
371             PLATEX = ''
372             removeFiles(['chklatex.ltx', 'chklatex.log'])
373     #-----------------------------------------------------------------
374     # use LATEX to convert from latex to dvi if PPLATEX is not available
375     if PPLATEX == '':
376         PPLATEX = LATEX
377     if dtl_tools:
378         # Windows only: DraftDVI
379         addToRC(r'''\converter latex      dvi2       "%s"       "latex"
380 \converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o"  ""''' % PPLATEX)
381     else:
382         addToRC(r'\converter latex      dvi        "%s" "latex"' % PPLATEX)
383     # no latex
384     if LATEX != '':
385         # Check if latex is usable
386         writeToFile('chklatex.ltx', r'''
387 \nonstopmode
388 \ifx\undefined\documentclass\else
389   \message{ThisIsLaTeX2e}
390 \fi
391 \makeatletter
392 \@@end
393 ''')
394         # run latex on chklatex.ltx and check result
395         if cmdOutput(LATEX + ' chklatex.ltx').find('ThisIsLaTeX2e') != -1:
396             # valid latex2e
397             return LATEX
398         else:
399             logger.warning("Latex not usable (not LaTeX2e) ")
400         # remove temporary files
401         removeFiles(['chklatex.ltx', 'chklatex.log'])
402     return ''
403
404
405 def checkLuatex():
406     ''' Check if luatex is there and usable '''
407     path, LUATEX = checkProg('LuaTeX', ['lualatex $$i'])
408     path, DVILUATEX = checkProg('LuaTeX (DVI)', ['dvilualatex $$i'])
409     if LUATEX != '':
410     # luatex binary is there
411         msg = "checking if LuaTeX is usable ..."
412         # Check if luatex is usable
413         writeToFile('luatest.tex', r'''
414 \nonstopmode
415 \documentclass{minimal}
416 \usepackage{fontspec}
417 \begin{document}
418 .
419 \end{document}
420 ''')
421         # run lualatex on luatest.tex and check result
422         luatest = cmdOutput(LUATEX + ' luatest.tex')
423         if luatest.find('XeTeX is required to compile this document') != -1:
424             # fontspec/luatex too old! We do not support this version.
425             logger.info(msg + ' no (probably not recent enough)')
426         elif luatest.find('! LaTeX Error: File `fontspec.sty\' not found') != -1:
427             # fontspec missing
428             logger.info(msg + ' no (missing fontspec)')
429         else:
430             # working luatex
431             logger.info(msg + ' yes')
432             addToRC(r'\converter luatex      pdf5       "%s"    "latex=lualatex"' % LUATEX)
433             if DVILUATEX != '':
434                 addToRC(r'\converter luatex      dvi3        "%s"       "latex=dvilualatex"' % DVILUATEX)
435         # remove temporary files
436         removeFiles(['luatest.tex', 'luatest.log', 'luatest.aux', 'luatest.pdf'])
437
438
439 def checkModule(module):
440     ''' Check for a Python module, return the status '''
441     msg = 'checking for "' + module + ' module"... '
442     try:
443       __import__(module)
444       logger.info(msg + ' yes')
445       return True
446     except ImportError:
447       logger.info(msg + ' no')
448       return False
449
450
451 def checkFormatEntries(dtl_tools):
452     ''' Check all formats (\Format entries) '''
453     checkViewerEditor('a Tgif viewer and editor', ['tgif'],
454         rc_entry = [r'\Format tgif       obj     Tgif                   "" "%%" "%%"    "vector"'])
455     #
456     checkViewerEditor('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
457         rc_entry = [r'\Format fig        fig     FIG                    "" "%%" "%%"    "vector"'])
458     #
459     checkViewerEditor('a Dia viewer and editor', ['dia'],
460         rc_entry = [r'\Format dia        dia     DIA                    "" "%%" "%%"    "vector"'])
461     #
462     checkViewerEditor('a Grace viewer and editor', ['xmgrace'],
463         rc_entry = [r'\Format agr        agr     Grace                  "" "%%" "%%"    "vector"'])
464     #
465     checkViewerEditor('a FEN viewer and editor', ['xboard -lpf $$i -mode EditPosition'],
466         rc_entry = [r'\Format fen        fen     FEN                    "" "%%" "%%"    ""'])
467     #
468     checkViewerEditor('a SVG viewer and editor', ['inkscape'],
469         rc_entry = [r'\Format svg        svg     SVG                    "" "%%" "%%"    "vector"'])
470     #
471     path, iv = checkViewerNoRC('a raster image viewer', ['xv', 'kview', 'gimp-remote', 'gimp'],
472         rc_entry = [r'''\Format bmp        bmp     BMP                    "" "%s"       "%s"    ""
473 \Format gif        gif     GIF                    "" "%s"       "%s"    ""
474 \Format jpg        jpg     JPEG                   "" "%s"       "%s"    ""
475 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""
476 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""
477 \Format png        png     PNG                    "" "%s"       "%s"    ""
478 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""
479 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""
480 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""
481 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""'''])
482     path, ie = checkEditorNoRC('a raster image editor', ['gimp-remote', 'gimp'],
483         rc_entry = [r'''\Format bmp        bmp     BMP                    "" "%s"       "%s"    ""
484 \Format gif        gif     GIF                    "" "%s"       "%s"    ""
485 \Format jpg        jpg     JPEG                   "" "%s"       "%s"    ""
486 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""
487 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""
488 \Format png        png     PNG                    "" "%s"       "%s"    ""
489 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""
490 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""
491 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""
492 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""'''])
493     addToRC(r'''\Format bmp        bmp     BMP                    "" "%s"       "%s"    ""
494 \Format gif        gif     GIF                    "" "%s"       "%s"    ""
495 \Format jpg        jpg     JPEG                   "" "%s"       "%s"    ""
496 \Format pbm        pbm     PBM                    "" "%s"       "%s"    ""
497 \Format pgm        pgm     PGM                    "" "%s"       "%s"    ""
498 \Format png        png     PNG                    "" "%s"       "%s"    ""
499 \Format ppm        ppm     PPM                    "" "%s"       "%s"    ""
500 \Format tiff       tif     TIFF                   "" "%s"       "%s"    ""
501 \Format xbm        xbm     XBM                    "" "%s"       "%s"    ""
502 \Format xpm        xpm     XPM                    "" "%s"       "%s"    ""''' % \
503         (iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie) )
504     #
505     checkViewerEditor('a text editor', ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
506         'nedit', 'gedit', 'notepad'],
507         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""    "%%"    ""
508 \Format asciiimage asc    "Plain text (image)"         "" ""    "%%"    ""
509 \Format asciixfig  asc    "Plain text (Xfig output)"   "" ""    "%%"    ""
510 \Format dateout    tmp    "date (output)"         "" "" "%%"    ""
511 \Format docbook    sgml    DocBook                B  "" "%%"    "document,menu=export"
512 \Format docbook-xml xml   "DocBook (XML)"         "" "" "%%"    "document,menu=export"
513 \Format dot        dot    "Graphviz Dot"          "" "" "%%"    "vector"
514 \Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document,menu=export"
515 \Format literate   nw      NoWeb                  N  "" "%%"    "document,menu=export"
516 \Format sweave     Rnw    "Sweave"                S  "" "%%"    "document,menu=export"
517 \Format r          R      "R/S code"              "" "" "%%"    "document,menu=export"
518 \Format lilypond   ly     "LilyPond music"        "" "" "%%"    "vector"
519 \Format lilypond-book    lytex "LilyPond book (LaTeX)"   "" ""  "%%"    "document,menu=export"
520 \Format latex      tex    "LaTeX (plain)"         L  "" "%%"    "document,menu=export"
521 \Format luatex     tex    "LaTeX (LuaTeX)"        "" "" "%%"    "document,menu=export"
522 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" "" "%%"    "document,menu=export"
523 \Format xetex      tex    "LaTeX (XeTeX)"         "" "" "%%"    "document,menu=export"
524 \Format text       txt    "Plain text"            a  "" "%%"    "document,menu=export"
525 \Format text2      txt    "Plain text (pstotext)" "" "" "%%"    "document"
526 \Format text3      txt    "Plain text (ps2ascii)" "" "" "%%"    "document"
527 \Format text4      txt    "Plain text (catdvi)"   "" "" "%%"    "document"
528 \Format textparagraph txt "Plain Text, Join Lines" "" ""        "%%"    "document"''' ])
529    #Spreadsheets using ssconvert from gnumeric
530     checkViewer('gnumeric spreadsheet software', ['gnumeric'],
531       rc_entry = [r'''\Format gnumeric gnumeric "Gnumeric spreadsheet" "" ""    "%%"   "document"
532 \Format excel      xls    "Excel spreadsheet"      "" "" "%%"    "document"
533 \Format oocalc     ods    "OpenOffice spreadsheet" "" "" "%%"    "document"'''])
534  #
535     path, xhtmlview = checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
536         rc_entry = [r'\Format xhtml      xhtml   "LyXHTML"              y "%%" ""    "document,menu=export"'])
537     if xhtmlview == "":
538         addToRC(r'\Format xhtml      xhtml   "LyXHTML"              y "" ""  "document,menu=export"')
539  #
540     checkEditor('a BibTeX editor', ['jabref', 'JabRef', \
541         'pybliographic', 'bibdesk', 'gbib', 'kbib', \
542         'kbibtex', 'sixpack', 'bibedit', 'tkbibtex' \
543         'xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
544         'nedit', 'gedit', 'notepad'],
545         rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""    "%%"    ""''' ])
546     #
547     #checkProg('a Postscript interpreter', ['gs'],
548     #  rc_entry = [ r'\ps_command "%%"' ])
549     checkViewer('a Postscript previewer', ['kghostview', 'okular', 'evince', 'gv', 'ghostview -swap'],
550         rc_entry = [r'''\Format eps        eps     EPS                    "" "%%"       ""      "vector"
551 \Format ps         ps      Postscript             t  "%%"       ""      "document,vector,menu=export"'''])
552     # for xdg-open issues look here: http://www.mail-archive.com/lyx-devel@lists.lyx.org/msg151818.html
553     checkViewer('a PDF previewer', ['kpdf', 'okular', 'evince', 'kghostview', 'xpdf', 'acrobat', 'acroread', \
554                     'gv', 'ghostview'],
555         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"       ""      "document,vector,menu=export"
556 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"       ""      "document,vector,menu=export"
557 \Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"       ""      "document,vector,menu=export"
558 \Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"       ""      "document,vector,menu=export"
559 \Format pdf5       pdf    "PDF (LuaTeX)"          u  "%%"       ""      "document,vector,menu=export"'''])
560     #
561     checkViewer('a DVI previewer', ['xdvi', 'kdvi', 'okular', 'yap', 'dviout -Set=!m'],
562         rc_entry = [r'''\Format dvi        dvi     DVI                    D  "%%"       ""      "document,vector,menu=export"
563 \Format dvi3       dvi     "DVI (LuaTeX)"          V  "%%"      ""      "document,vector,menu=export"'''])
564     if dtl_tools:
565         # Windows only: DraftDVI
566         addToRC(r'\Format dvi2       dvi     DraftDVI               ""  ""      ""      "vector"')
567     #
568     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
569         rc_entry = [r'\Format html       html    HTML                   H  "%%" ""      "document,menu=export"'])
570     #
571     checkViewerEditor('Noteedit', ['noteedit'],
572         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%" "%%"    "vector"'])
573     #
574     checkViewerEditor('an OpenDocument/OpenOffice viewer', ['swriter', 'oowriter', 'abiword'],
575         rc_entry = [r'''\Format odt        odt     OpenDocument           "" "%%"       "%%"    "document,vector,menu=export"
576 \Format sxw        sxw    "OpenOffice.Org (sxw)"  "" "" ""      "document,vector"'''])
577     #
578     checkViewerEditor('a Rich Text and Word viewer', ['swriter', 'oowriter', 'abiword'],
579         rc_entry = [r'''\Format rtf        rtf    "Rich Text Format"      "" "%%"       "%%"    "document,vector,menu=export"
580 \Format word       doc    "MS Word"               W  "%%"       "%%"    "document,vector,menu=export"'''])
581     #
582     # entries that do not need checkProg
583     addToRC(r'''\Format date       ""     "date command"          "" "" ""      ""
584 \Format csv        csv    "Table (CSV)"  "" ""  ""      "document"
585 \Format fax        ""      Fax                    "" "" ""      "document"
586 \Format lyx        lyx     LyX                    "" "" ""      ""
587 \Format lyx13x     13.lyx  "LyX 1.3.x"             "" ""        ""      "document"
588 \Format lyx14x     14.lyx  "LyX 1.4.x"             "" ""        ""      "document"
589 \Format lyx15x     15.lyx  "LyX 1.5.x"             "" ""        ""      "document"
590 \Format lyx16x     16.lyx  "LyX 1.6.x"             "" ""        ""      "document,menu=export"
591 \Format lyx20x     20.lyx  "LyX 2.0.x"             "" ""        ""      "document,menu=export"
592 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" "" ""      "document"
593 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""        ""      "document"
594 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""        ""      "document"
595 \Format lyxpreview lyxpreview "LyX Preview"       "" "" ""      ""
596 \Format lyxpreview-lytex  lyxpreview-lytex  "LyX Preview (LilyPond book)" "" "" ""      ""
597 \Format lyxpreview-platex lyxpreview-platex "LyX Preview (pLaTeX)"       "" ""  ""      ""
598 \Format pdftex     pdftex_t PDFTEX                "" "" ""      ""
599 \Format program    ""      Program                "" "" ""      ""
600 \Format pstex      pstex_t PSTEX                  "" "" ""      ""
601 \Format wmf        wmf    "Windows Metafile"      "" "" ""      "vector"
602 \Format emf        emf    "Enhanced Metafile"     "" "" ""      "vector"
603 \Format wordhtml   html   "HTML (MS Word)"        "" "" ""      "document"
604 ''')
605
606
607 def checkConverterEntries():
608     ''' Check all converters (\converter entries) '''
609     checkProg('the pdflatex program', ['pdflatex $$i'],
610         rc_entry = [ r'\converter pdflatex   pdf2       "%%"    "latex=pdflatex"' ])
611
612     checkProg('XeTeX', ['xelatex $$i'],
613         rc_entry = [ r'\converter xetex      pdf4       "%%"    "latex=xelatex"' ])
614
615     checkLuatex()
616
617     ''' If we're running LyX in-place then tex2lyx will be found in
618             ../src/tex2lyx. Add this directory to the PATH temporarily and
619             search for tex2lyx.
620             Use PATH to avoid any problems with paths-with-spaces.
621     '''
622     path_orig = os.environ["PATH"]
623     os.environ["PATH"] = os.path.join('..', 'src', 'tex2lyx') + \
624         os.pathsep + path_orig
625
626 # First search for tex2lyx with version suffix (bug 6986)
627     checkProg('a LaTeX/Noweb -> LyX converter', ['tex2lyx' + version_suffix, 'tex2lyx'],
628         rc_entry = [r'''\converter latex      lyx        "%% -f $$i $$o"        ""
629 \converter literate   lyx        "%% -n -f $$i $$o"     ""'''])
630
631     os.environ["PATH"] = path_orig
632
633     #
634     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
635         rc_entry = [r'''\converter literate   latex      "%%"   ""
636 \converter literate   pdflatex      "%%"        ""'''])
637     #
638     checkProg('a Sweave -> LaTeX converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxsweave.R $$p$$i $$p$$o $$e $$r'],
639         rc_entry = [r'''\converter sweave   latex      "%%"     ""
640 \converter sweave   pdflatex   "%%"     ""
641 \converter sweave   xetex      "%%"     ""
642 \converter sweave   luatex     "%%"     ""'''])
643     #
644     checkProg('a Sweave -> R/S code converter', ['Rscript --verbose --no-save --no-restore $$s/scripts/lyxstangle.R $$i $$e $$r'], 
645         rc_entry = [ r'\converter sweave      r      "%%"    ""' ])
646     #
647     checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex $$i', \
648         'htmltolatex -input $$i -output $$o', 'java -jar htmltolatex.jar -input $$i -output $$o'],
649         rc_entry = [ r'\converter html       latex      "%%"    ""' ])
650     #
651     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
652         rc_entry = [ r'\converter word       latex      "%%"    ""' ])
653
654     # eLyXer: search as an executable (elyxer.py, elyxer)
655     path, elyxer = checkProg('a LyX -> HTML converter',
656         ['elyxer.py --directory $$r $$i $$o', 'elyxer --directory $$r $$i $$o'],
657         rc_entry = [ r'\converter lyx      html       "%%"      ""' ])
658     path, elyxer = checkProg('a LyX -> HTML (MS Word) converter',
659         ['elyxer.py --html --directory $$r $$i $$o', 'elyxer --html --directory $$r $$i $$o'],
660         rc_entry = [ r'\converter lyx      wordhtml       "%%"  ""' ])
661     if elyxer.find('elyxer') >= 0:
662       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
663       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,jpg,jpeg,css $$i $$o"''')
664     else:
665       # search for HTML converters other than eLyXer
666       # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
667       path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i', \
668           '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o', \
669           'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
670           rc_entry = [ r'\converter latex      html       "%%"  "needaux"' ])
671       if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
672         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
673       else:
674         addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
675       path, htmlconv = checkProg('a LaTeX -> HTML (MS Word) converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'", \
676           "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'", \
677           "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
678           rc_entry = [ r'\converter latex      wordhtml   "%%"  "needaux"' ])
679       if htmlconv.find('htlatex') >= 0:
680         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
681       else:
682         addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
683
684
685     # Check if LyXBlogger is installed
686     lyxblogger_found = checkModule('lyxblogger')
687     if lyxblogger_found:
688       addToRC(r'\Format    blog       blog       "LyXBlogger"           "" "" ""  "document"')
689       addToRC(r'\converter xhtml      blog       "python -m lyxblogger $$i"       ""')
690
691     #
692     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
693         rc_entry = [ r'\converter sxw        latex      "%%"    ""' ])
694     #
695     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
696         rc_entry = [ r'\converter odt        latex      "%%"    ""' ])
697     # According to http://www.tug.org/applications/tex4ht/mn-commands.html
698     # the command mk4ht oolatex $$i has to be used as default,
699     # but as this would require to have Perl installed, in MiKTeX oolatex is
700     # directly available as application.
701     # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
702     # Both SuSE and debian have oolatex
703     checkProg('a LaTeX -> Open Document converter', [
704         'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
705         'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
706         rc_entry = [ r'\converter latex      odt        "%%"    "needaux"' ])
707     # On windows it is called latex2rt.exe
708     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
709         rc_entry = [ r'\converter latex      rtf        "%%"    "needaux"' ])
710     #
711     checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
712         rc_entry = [ r'\converter rtf      html        "%%"     ""' ])
713     #
714     checkProg('a PS to PDF converter', ['ps2pdf13 $$i $$o'],
715         rc_entry = [ r'\converter ps         pdf        "%%"    ""' ])
716     #
717     checkProg('a PS to TXT converter', ['pstotext $$i > $$o'],
718         rc_entry = [ r'\converter ps         text2      "%%"    ""' ])
719     #
720     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
721         rc_entry = [ r'\converter ps         text3      "%%"    ""' ])
722     #
723     checkProg('a PS to EPS converter', ['ps2eps $$i'],
724         rc_entry = [ r'\converter ps         eps      "%%"      ""' ])
725     #
726     checkProg('a PDF to PS converter', ['pdf2ps $$i $$o', 'pdftops $$i $$o'],
727         rc_entry = [ r'\converter pdf         ps        "%%"    ""' ])
728     #
729     checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
730         rc_entry = [ r'\converter pdf         eps        "%%"   ""' ])
731     #
732     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
733         rc_entry = [ r'\converter dvi        text4      "%%"    ""' ])
734     #
735     checkProg('a DVI to PS converter', ['dvips -o $$o $$i'],
736         rc_entry = [ r'\converter dvi        ps         "%%"    ""' ])
737     #
738     checkProg('a DVI to PDF converter', ['dvipdfmx -o $$o $$i', 'dvipdfm -o $$o $$i'],
739         rc_entry = [ r'\converter dvi        pdf3       "%%"    ""' ])
740     #
741     path, dvipng = checkProg('dvipng', ['dvipng'])
742     path, dv2dt  = checkProg('DVI to DTL converter', ['dv2dt'])
743     if dvipng == "dvipng" and dv2dt == 'dv2dt':
744         addToRC(r'\converter lyxpreview png        "python -tt $$s/scripts/lyxpreview2bitmap.py"        ""')
745     else:
746         # set empty converter to override the default imagemagick
747         addToRC(r'\converter lyxpreview png        ""   ""')
748     if dv2dt == 'dv2dt':
749         addToRC(r'\converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py"        ""')
750     else:
751         # set empty converter to override the default imagemagick
752         addToRC(r'\converter lyxpreview ppm        ""   ""')
753     #
754     checkProg('a fax program', ['kdeprintfax $$i', 'ksendfax $$i', 'hylapex $$i'],
755         rc_entry = [ r'\converter ps         fax        "%%"    ""'])
756     #
757     path, fig2dev = checkProg('a FIG -> Image converter', ['fig2dev'])
758     if fig2dev == "fig2dev":
759         addToRC(r'''\converter fig        eps        "fig2dev -L eps $$i $$o"   ""
760 \converter fig        ppm        "fig2dev -L ppm $$i $$o"       ""
761 \converter fig        png        "fig2dev -L png $$i $$o"       ""
762 \converter fig        pdftex     "python -tt $$s/scripts/fig2pdftex.py $$i $$o" ""
763 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o"  ""''')
764     #
765     checkProg('a TIFF -> PS converter', ['tiff2ps $$i > $$o'],
766         rc_entry = [ r'\converter tiff       eps        "%%"    ""', ''])
767     #
768     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
769         rc_entry = [
770             r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"    ""
771 \converter tgif       png        "tgif -print -color -png -o $$d $$i"   ""
772 \converter tgif       pdf        "tgif -print -color -pdf -stdout $$i > $$o"    ""''',
773             ''])
774     #
775     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
776         rc_entry = [ r'\converter wmf        eps        "%%"    ""'])
777     #
778     checkProg('an EMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
779         rc_entry = [ r'\converter emf        eps        "%%"    ""'])
780     #
781     checkProg('an EPS -> PDF converter', ['epstopdf'],
782         rc_entry = [ r'\converter eps        pdf        "epstopdf --outfile=$$o $$i"    ""', ''])
783     #
784     # no agr -> pdf converter, since the pdf library used by gracebat is not
785     # free software and therefore not compiled in in many installations.
786     # Fortunately, this is not a big problem, because we will use epstopdf to
787     # convert from agr to pdf via eps without loss of quality.
788     checkProg('a Grace -> Image converter', ['gracebat'],
789         rc_entry = [
790             r'''\converter agr        eps        "gracebat -hardcopy -printfile $$o -hdevice EPS $$i 2>/dev/null"       ""
791 \converter agr        png        "gracebat -hardcopy -printfile $$o -hdevice PNG $$i 2>/dev/null"       ""
792 \converter agr        jpg        "gracebat -hardcopy -printfile $$o -hdevice JPEG $$i 2>/dev/null"      ""
793 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"       ""''',
794             ''])
795     #
796     checkProg('a Dot -> Image converter', ['dot'],
797         rc_entry = [
798             r'''\converter dot        eps        "dot -Teps $$i -o $$o" ""
799 \converter dot        png        "dot -Tpng $$i -o $$o" ""''',
800             ''])
801     #
802     checkProg('a Dia -> PNG converter', ['dia -e $$o -t png $$i'],
803         rc_entry = [ r'\converter dia        png        "%%"    ""'])
804     #
805     checkProg('a Dia -> EPS converter', ['dia -e $$o -t eps $$i'],
806         rc_entry = [ r'\converter dia        eps        "%%"    ""'])
807     #
808     checkProg('a SVG -> PDF converter', ['rsvg-convert -f pdf -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-pdf=$$o'],
809         rc_entry = [ r'\converter svg        pdf        "%%"    ""'])
810     #
811     checkProg('a SVG -> EPS converter', ['rsvg-convert -f ps -o $$o $$i', 'inkscape --file=$$i --export-area-drawing --without-gui --export-eps=$$o'],
812         rc_entry = [ r'\converter svg        eps        "%%"    ""'])
813     #
814     checkProg('a SVG -> PNG converter', ['rsvg-convert -f png -o $$o $$i', 'inkscape --without-gui --file=$$i --export-png=$$o'],
815         rc_entry = [ r'\converter svg        png        "%%"    ""'])
816
817     #
818     # gnumeric/xls/ods to tex
819     checkProg('a spreadsheet -> latex converter', ['ssconvert'],
820        rc_entry = [ r'''\converter gnumeric latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
821 \converter ods latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""
822 \converter xls latex "ssconvert --export-type=Gnumeric_html:latex $$i $$o" ""''',
823 ''])
824
825     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
826     if (lilypond != ''):
827         version_string = cmdOutput("lilypond --version")
828         match = re.match('GNU LilyPond (\S+)', version_string)
829         if match:
830             version_number = match.groups()[0]
831             version = version_number.split('.')
832             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
833                 addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps -dsafe --ps $$i"   ""
834 \converter lilypond   png        "lilypond -dbackend=eps -dsafe --png $$i"      ""''')
835                 addToRC(r'\converter lilypond   pdf        "lilypond -dbackend=eps -dsafe --pdf $$i"    ""')
836                 logger.info('+  found LilyPond version %s.' % version_number)
837             elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
838                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps --safe $$i"  ""
839 \converter lilypond   png        "lilypond -b eps --png $$i"    ""''')
840                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
841                     addToRC(r'\converter lilypond   pdf        "lilypond -b eps --pdf --safe $$i"       ""')
842                 logger.info('+  found LilyPond version %s.' % version_number)
843             else:
844                 logger.info('+  found LilyPond, but version %s is too old.' % version_number)
845         else:
846             logger.info('+  found LilyPond, but could not extract version number.')
847     #
848     path, lilypond_book = checkProg('a LilyPond book (LaTeX) -> LaTeX converter', ['lilypond-book'])
849     if (lilypond_book != ''):
850         version_string = cmdOutput("lilypond-book --version")
851         match = re.match('^(\S+)$', version_string)
852         if match:
853             version_number = match.groups()[0]
854             version = version_number.split('.')
855             if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 13):
856                 if dv2dt == 'dv2dt':
857                     addToRC(r'\converter lyxpreview-lytex ppm "python -tt $$s/scripts/lyxpreview-lytex2bitmap.py" ""')
858                 else:
859                     # set empty converter to override the default imagemagick
860                     addToRC(r'\converter lyxpreview-lytex ppm "" ""')
861                 if dvipng == "dvipng" and dv2dt == 'dv2dt':
862                     addToRC(r'\converter lyxpreview-lytex png "python -tt $$s/scripts/lyxpreview-lytex2bitmap.py" ""')
863                 else:
864                     # set empty converter to override the default imagemagick
865                     addToRC(r'\converter lyxpreview-lytex png "" ""')
866                 # Note: The --lily-output-dir flag is required because lilypond-book
867                 #       does not process input again unless the input has changed,
868                 #       even if the output format being requested is different. So
869                 #       once a .eps file exists, lilypond-book won't create a .pdf
870                 #       even when requested with --pdf. This is a problem if a user
871                 #       clicks View PDF after having done a View DVI. To circumvent
872                 #       this, use different output folders for eps and pdf outputs.
873                 addToRC(r'\converter lilypond-book latex    "lilypond-book --safe --lily-output-dir=ly-eps $$i"                                ""')
874                 addToRC(r'\converter lilypond-book pdflatex "lilypond-book --safe --pdf --latex-program=pdflatex --lily-output-dir=ly-pdf $$i" ""')
875                 addToRC(r'\converter lilypond-book xetex    "lilypond-book --safe --pdf --latex-program=xelatex --lily-output-dir=ly-pdf $$i"  ""')
876                 addToRC(r'\converter lilypond-book luatex   "lilypond-book --safe --pdf --latex-program=lualatex --lily-output-dir=ly-pdf $$i" ""')
877                 logger.info('+  found LilyPond-book version %s.' % version_number)
878             else:
879                 logger.info('+  found LilyPond-book, but version %s is too old.' % version_number)
880         else:
881             logger.info('+  found LilyPond-book, but could not extract version number.')
882     #
883     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
884         rc_entry = [ r'\converter noteedit   lilypond   "%%"    ""', ''])
885     #
886     # Currently, lyxpak outputs a gzip compressed tar archive on *nix
887     # and a zip archive on Windows.
888     # So, we configure the appropriate version according to the platform.
889     cmd = r'\converter lyx %s "python -tt $$s/scripts/lyxpak.py $$r/$$i" ""'
890     if os.name == 'nt':
891         addToRC(r'\Format lyxzip     zip    "LyX Archive (zip)"     "" "" ""  "document,menu=export"')
892         addToRC(cmd % "lyxzip")
893     else:
894         addToRC(r'\Format lyxgz      gz     "LyX Archive (tar.gz)"  "" "" ""  "document,menu=export"')
895         addToRC(cmd % "lyxgz")
896
897     #
898     # FIXME: no rc_entry? comment it out
899     # checkProg('Image converter', ['convert $$i $$o'])
900     #
901     # Entries that do not need checkProg
902     addToRC(r'''\converter lyxpreview-platex ppm        "python -tt $$s/scripts/lyxpreview-platex2bitmap.py"    ""
903 \converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"    ""
904 \converter date       dateout    "python -tt $$s/scripts/date.py %d-%m-%Y > $$o"        ""
905 \converter docbook    docbook-xml "cp $$i $$o"  "xml"
906 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o"  ""
907 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -t 221 $$i > $$o"      ""
908 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -t 245 $$i > $$o"      ""
909 \converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -t 276 $$i > $$o"      ""
910 \converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -t 345 $$i > $$o"      ""
911 \converter lyx        lyx20x     "python -tt $$s/lyx2lyx/lyx2lyx -t 413 $$i > $$o"      ""
912 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -c big5 -t 245 $$i > $$o"      ""
913 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -t 245 $$i > $$o"    ""
914 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -t 245 $$i > $$o"    ""
915 \converter clyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c big5 $$i > $$o"     ""
916 \converter jlyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp $$i > $$o"   ""
917 \converter klyx       lyx        "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr $$i > $$o"   ""
918 ''')
919
920
921 def checkDocBook():
922     ''' Check docbook '''
923     path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
924         rc_entry = [
925             r'''\converter docbook    dvi        "sgmltools -b dvi $$i" ""
926 \converter docbook    html       "sgmltools -b html $$i"        ""''',
927             r'''\converter docbook    dvi        "db2dvi $$i"   ""
928 \converter docbook    html       "db2html $$i"  ""''',
929             r'''\converter docbook    dvi        ""     ""
930 \converter docbook    html       "" ""''',
931             r'''\converter docbook    dvi        ""     ""
932 \converter docbook    html       ""     ""'''])
933     #
934     if DOCBOOK != '':
935         return ('yes', 'true', '\\def\\hasdocbook{yes}')
936     else:
937         return ('no', 'false', '')
938
939
940 def checkOtherEntries():
941     ''' entries other than Format and Converter '''
942     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
943         rc_entry = [ r'\chktex_command "%%"' ])
944     checkProgAlternatives('BibTeX or alternative programs', ['bibtex', 'bibtex8', 'biber'],
945         rc_entry = [ r'\bibtex_command "%%"' ],
946         alt_rc_entry = [ r'\bibtex_alternatives "%%"' ])
947     checkProg('a specific Japanese BibTeX variant', ['pbibtex', 'jbibtex', 'bibtex'],
948         rc_entry = [ r'\jbibtex_command "%%"' ])
949     checkProgAlternatives('available index processors', ['texindy', 'makeindex -c -q', 'xindy'],
950         rc_entry = [ r'\index_command "%%"' ],
951         alt_rc_entry = [ r'\index_alternatives "%%"' ])
952     checkProg('an index processor appropriate to Japanese', ['mendex -c -q', 'jmakeindex -c -q', 'makeindex -c -q'],
953         rc_entry = [ r'\jindex_command "%%"' ])
954     path, splitindex = checkProg('the splitindex processor', ['splitindex.pl', 'splitindex'],
955         rc_entry = [ r'\splitindex_command "%%"' ])
956     if splitindex == '':
957         checkProg('the splitindex processor (java version)', ['splitindex.class'],
958             rc_entry = [ r'\splitindex_command "java splitindex"' ])
959     checkProg('a nomenclature processor', ['makeindex'],
960         rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
961     ## FIXME: OCTAVE is not used anywhere
962     # path, OCTAVE = checkProg('Octave', ['octave'])
963     ## FIXME: MAPLE is not used anywhere
964     # path, MAPLE = checkProg('Maple', ['maple'])
965     checkProg('a spool command', ['lp', 'lpr'],
966         rc_entry = [
967             r'''\print_spool_printerprefix "-d "
968 \print_spool_command "lp"''',
969             r'''\print_spool_printerprefix "-P",
970 \print_spool_command "lpr"''',
971             ''])
972     # Add the rest of the entries (no checkProg is required)
973     addToRC(r'''\copier    fig        "python -tt $$s/scripts/fig_copy.py $$i $$o"
974 \copier    pstex      "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
975 \copier    pdftex     "python -tt $$s/scripts/tex_copy.py $$i $$o $$l"
976 \copier    program    "python -tt $$s/scripts/ext_copy.py $$i $$o"
977 ''')
978
979
980 def processLayoutFile(file, bool_docbook):
981     ''' process layout file and get a line of result
982
983         Declare lines look like this: (article.layout, scrbook.layout, svjog.layout)
984
985         \DeclareLaTeXClass{article}
986         \DeclareLaTeXClass[scrbook]{book (koma-script)}
987         \DeclareLaTeXClass[svjour,svjog.clo]{article (Springer - svjour/jog)}
988
989         we expect output:
990
991         "article" "article" "article" "false" "article.cls"
992         "scrbook" "scrbook" "book (koma-script)" "false" "scrbook.cls"
993         "svjog" "svjour" "article (Springer - svjour/jog)" "false" "svjour.cls,svjog.clo"
994     '''
995     def checkForClassExtension(x):
996         '''if the extension for a latex class is not
997            provided, add .cls to the classname'''
998         if not '.' in x:
999             return x.strip() + '.cls'
1000         else:
1001             return x.strip()
1002     classname = file.split(os.sep)[-1].split('.')[0]
1003     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
1004     p = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1005     for line in open(file).readlines():
1006         res = p.search(line)
1007         if res != None:
1008             (classtype, optAll, opt, opt1, desc) = res.groups()
1009             avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
1010             if opt == None:
1011                 opt = classname
1012                 prereq_latex = checkForClassExtension(classname)
1013             else:
1014                 prereq_list = optAll[1:-1].split(',')
1015                 prereq_list = map(checkForClassExtension, prereq_list)
1016                 prereq_latex = ','.join(prereq_list)
1017             prereq_docbook = {'true':'', 'false':'docbook'}[bool_docbook]
1018             prereq = {'LaTeX':prereq_latex, 'DocBook':prereq_docbook}[classtype]
1019             return '"%s" "%s" "%s" "%s" "%s"\n' % (classname, opt, desc, avai, prereq)
1020     logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
1021     return ""
1022
1023
1024 def checkLatexConfig(check_config, bool_docbook):
1025     ''' Explore the LaTeX configuration
1026         Return None (will be passed to sys.exit()) for success.
1027     '''
1028     msg = 'checking LaTeX configuration... '
1029     # if --without-latex-config is forced, or if there is no previous
1030     # version of textclass.lst, re-generate a default file.
1031     if not os.path.isfile('textclass.lst') or not check_config:
1032         # remove the files only if we want to regenerate
1033         removeFiles(['textclass.lst', 'packages.lst'])
1034         #
1035         # Then, generate a default textclass.lst. In case configure.py
1036         # fails, we still have something to start lyx.
1037         logger.info(msg + ' default values')
1038         logger.info('+checking list of textclasses... ')
1039         tx = open('textclass.lst', 'w')
1040         tx.write('''
1041 # This file declares layouts and their associated definition files
1042 # (include dir. relative to the place where this file is).
1043 # It contains only default values, since chkconfig.ltx could not be run
1044 # for some reason. Run ./configure.py if you need to update it after a
1045 # configuration change.
1046 ''')
1047         # build the list of available layout files and convert it to commands
1048         # for chkconfig.ltx
1049         foundClasses = []
1050         for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1051             glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1052             # valid file?
1053             if not os.path.isfile(file):
1054                 continue
1055             # get stuff between /xxxx.layout .
1056             classname = file.split(os.sep)[-1].split('.')[0]
1057             #  tr ' -' '__'`
1058             cleanclass = classname.replace(' ', '_')
1059             cleanclass = cleanclass.replace('-', '_')
1060             # make sure the same class is not considered twice
1061             if foundClasses.count(cleanclass) == 0: # not found before
1062                 foundClasses.append(cleanclass)
1063                 retval = processLayoutFile(file, bool_docbook)
1064                 if retval != "":
1065                     tx.write(retval)
1066         tx.close()
1067         logger.info('\tdone')
1068     if not check_config:
1069         return None
1070     # the following will generate textclass.lst.tmp, and packages.lst.tmp
1071     logger.info(msg + '\tauto')
1072     removeFiles(['chkconfig.classes', 'chkconfig.vars', 'chklayouts.tex',
1073         'wrap_chkconfig.ltx'])
1074     rmcopy = False
1075     if not os.path.isfile( 'chkconfig.ltx' ):
1076         shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
1077         rmcopy = True
1078     writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
1079     # Construct the list of classes to test for.
1080     # build the list of available layout files and convert it to commands
1081     # for chkconfig.ltx
1082     declare = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
1083     empty = re.compile(r'^\s*$')
1084     testclasses = list()
1085     for file in glob.glob( os.path.join('layouts', '*.layout') ) + \
1086         glob.glob( os.path.join(srcdir, 'layouts', '*.layout' ) ) :
1087         nodeclaration = False
1088         if not os.path.isfile(file):
1089             continue
1090         classname = file.split(os.sep)[-1].split('.')[0]
1091         for line in open(file).readlines():
1092             if not empty.match(line) and line[0] != '#':
1093                 logger.warning("Failed to find valid \Declare line for layout file `" + file + "'.\n\t=> Skipping this file!")
1094                 nodeclaration = True
1095                 break
1096             if declare.search(line) == None:
1097                 continue
1098             testclasses.append("\\TestDocClass{%s}{%s}" % (classname, line[1:].strip()))
1099             break
1100         if nodeclaration:
1101             continue
1102     testclasses.sort()
1103     cl = open('chklayouts.tex', 'w')
1104     for line in testclasses:
1105         cl.write(line + '\n')
1106     cl.close()
1107     #
1108     # we have chklayouts.tex, then process it
1109     pipe = subprocess.Popen([LATEX, "wrap_chkconfig.ltx"], \
1110                             stdin=subprocess.PIPE, stdout=subprocess.PIPE, \
1111                             universal_newlines=True)
1112     pipe.stdin.close()
1113     while True:
1114         line = pipe.stdout.readline()
1115         if not line:
1116             break;
1117         if re.match('^\+', line):
1118             logger.info(line.strip())
1119     # if the command succeeds, None will be returned
1120     ret = pipe.stdout.close()
1121     #
1122     # currently, values in chhkconfig are only used to set
1123     # \font_encoding
1124     values = {}
1125     for line in open('chkconfig.vars').readlines():
1126         key, val = re.sub('-', '_', line).split('=')
1127         val = val.strip()
1128         values[key] = val.strip("'")
1129     # chk_fontenc may not exist
1130     try:
1131         addToRC(r'\font_encoding "%s"' % values["chk_fontenc"])
1132     except:
1133         pass
1134     if rmcopy:   # remove the copied file
1135         removeFiles( [ 'chkconfig.ltx' ] )
1136     # if configure successed, move textclass.lst.tmp to textclass.lst
1137     # and packages.lst.tmp to packages.lst
1138     if os.path.isfile('textclass.lst.tmp') and len(open('textclass.lst.tmp').read()) > 0 \
1139         and os.path.isfile('packages.lst.tmp') and len(open('packages.lst.tmp').read()) > 0:
1140         shutil.move('textclass.lst.tmp', 'textclass.lst')
1141         shutil.move('packages.lst.tmp', 'packages.lst')
1142     return ret
1143
1144
1145 def checkModulesConfig():
1146   removeFiles(['lyxmodules.lst', 'chkmodules.tex'])
1147
1148   logger.info('+checking list of modules... ')
1149   tx = open('lyxmodules.lst', 'w')
1150   tx.write('''## This file declares modules and their associated definition files.
1151 ## It has been automatically generated by configure
1152 ## Use "Options/Reconfigure" if you need to update it after a
1153 ## configuration change.
1154 ## "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1155 ''')
1156
1157   # build the list of available modules
1158   seen = []
1159   # note that this searches the local directory first, then the
1160   # system directory. that way, we pick up the user's version first.
1161   for file in glob.glob( os.path.join('layouts', '*.module') ) + \
1162       glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) :
1163       # valid file?
1164       logger.info(file)
1165       if not os.path.isfile(file):
1166           continue
1167
1168       filename = file.split(os.sep)[-1]
1169       filename = filename[:-7]
1170       if seen.count(filename):
1171           continue
1172
1173       seen.append(filename)
1174       retval = processModuleFile(file, filename, bool_docbook)
1175       if retval != "":
1176           tx.write(retval)
1177   tx.close()
1178   logger.info('\tdone')
1179
1180
1181 def processModuleFile(file, filename, bool_docbook):
1182     ''' process module file and get a line of result
1183
1184         The top of a module file should look like this:
1185           #\DeclareLyXModule[LaTeX Packages]{ModuleName}
1186           #DescriptionBegin
1187           #...body of description...
1188           #DescriptionEnd
1189           #Requires: [list of required modules]
1190           #Excludes: [list of excluded modules]
1191           #Category: [category name]
1192         The last three lines are optional (though do give a category).
1193         We expect output:
1194           "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes" "Category"
1195     '''
1196     remods = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
1197     rereqs = re.compile(r'#+\s*Requires: (.*)')
1198     reexcs = re.compile(r'#+\s*Excludes: (.*)')
1199     recaty = re.compile(r'#+\s*Category: (.*)')
1200     redbeg = re.compile(r'#+\s*DescriptionBegin\s*$')
1201     redend = re.compile(r'#+\s*DescriptionEnd\s*$')
1202
1203     modname = desc = pkgs = req = excl = catgy = ""
1204     readingDescription = False
1205     descLines = []
1206
1207     for line in open(file).readlines():
1208       if readingDescription:
1209         res = redend.search(line)
1210         if res != None:
1211           readingDescription = False
1212           desc = " ".join(descLines)
1213           # Escape quotes.
1214           desc = desc.replace('"', '\\"')
1215           continue
1216         descLines.append(line[1:].strip())
1217         continue
1218       res = redbeg.search(line)
1219       if res != None:
1220         readingDescription = True
1221         continue
1222       res = remods.search(line)
1223       if res != None:
1224           (pkgs, modname) = res.groups()
1225           if pkgs == None:
1226             pkgs = ""
1227           else:
1228             tmp = [s.strip() for s in pkgs.split(",")]
1229             pkgs = ",".join(tmp)
1230           continue
1231       res = rereqs.search(line)
1232       if res != None:
1233         req = res.group(1)
1234         tmp = [s.strip() for s in req.split("|")]
1235         req = "|".join(tmp)
1236         continue
1237       res = reexcs.search(line)
1238       if res != None:
1239         excl = res.group(1)
1240         tmp = [s.strip() for s in excl.split("|")]
1241         excl = "|".join(tmp)
1242         continue
1243       res = recaty.search(line)
1244       if res != None:
1245         catgy = res.group(1)
1246         continue
1247
1248     if modname == "":
1249       logger.warning("Module file without \DeclareLyXModule line. ")
1250       return ""
1251
1252     if pkgs != "":
1253         # this module has some latex dependencies:
1254         # append the dependencies to chkmodules.tex,
1255         # which is \input'ed by chkconfig.ltx
1256         testpackages = list()
1257         for pkg in pkgs.split(","):
1258             if "->" in pkg:
1259                 # this is a converter dependency: skip
1260                 continue
1261             if pkg.endswith(".sty"):
1262                 pkg = pkg[:-4]
1263             testpackages.append("\\TestPackage{%s}" % (pkg,))
1264         cm = open('chkmodules.tex', 'a')
1265         for line in testpackages:
1266             cm.write(line + '\n')
1267         cm.close()
1268
1269     return '"%s" "%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, desc, pkgs, req, excl, catgy)
1270
1271
1272 def checkTeXAllowSpaces():
1273     ''' Let's check whether spaces are allowed in TeX file names '''
1274     tex_allows_spaces = 'false'
1275     if lyx_check_config:
1276         msg = "Checking whether TeX allows spaces in file names... "
1277         writeToFile('a b.tex', r'\message{working^^J}' )
1278         if LATEX != '':
1279             if os.name == 'nt' or sys.platform == 'cygwin':
1280                 latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}\makeatletter\@@end" """)
1281             else:
1282                 latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}\makeatletter\@@end' """)
1283         else:
1284             latex_out = ''
1285         if 'working' in latex_out:
1286             logger.info(msg + 'yes')
1287             tex_allows_spaces = 'true'
1288         else:
1289             logger.info(msg + 'no')
1290             tex_allows_spaces = 'false'
1291         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
1292         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
1293
1294
1295 def removeTempFiles():
1296     # Final clean-up
1297     if not lyx_keep_temps:
1298         removeFiles(['chkconfig.vars', 'chklatex.ltx', 'chklatex.log',
1299             'chklayouts.tex', 'chkmodules.tex', 'missfont.log',
1300             'wrap_chkconfig.ltx', 'wrap_chkconfig.log'])
1301
1302
1303 if __name__ == '__main__':
1304     lyx_check_config = True
1305     outfile = 'lyxrc.defaults'
1306     lyxrc_fileformat = 1
1307     rc_entries = ''
1308     lyx_keep_temps = False
1309     version_suffix = ''
1310     ## Parse the command line
1311     for op in sys.argv[1:]:   # default shell/for list is $*, the options
1312         if op in [ '-help', '--help', '-h' ]:
1313             print '''Usage: configure [options]
1314 Options:
1315     --help                   show this help lines
1316     --keep-temps             keep temporary files (for debug. purposes)
1317     --without-latex-config   do not run LaTeX to determine configuration
1318     --with-version-suffix=suffix suffix of binary installed files
1319 '''
1320             sys.exit(0)
1321         elif op == '--without-latex-config':
1322             lyx_check_config = False
1323         elif op == '--keep-temps':
1324             lyx_keep_temps = True
1325         elif op[0:22] == '--with-version-suffix=':  # never mind if op is not long enough
1326             version_suffix = op[22:]
1327         else:
1328             print "Unknown option", op
1329             sys.exit(1)
1330     #
1331     # check if we run from the right directory
1332     srcdir = os.path.dirname(sys.argv[0])
1333     if srcdir == '':
1334         srcdir = '.'
1335     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
1336         logger.error("configure: error: cannot find chkconfig.ltx script")
1337         sys.exit(1)
1338     setEnviron()
1339     createDirectories()
1340     dtl_tools = checkDTLtools()
1341     ## Write the first part of outfile
1342     writeToFile(outfile, '''# This file has been automatically generated by LyX' lib/configure.py
1343 # script. It contains default settings that have been determined by
1344 # examining your system. PLEASE DO NOT MODIFY ANYTHING HERE! If you
1345 # want to customize LyX, use LyX' Preferences dialog or modify directly
1346 # the "preferences" file instead. Any setting in that file will
1347 # override the values given here.
1348
1349 Format %i
1350
1351 ''' % lyxrc_fileformat)
1352     # check latex
1353     LATEX = checkLatex(dtl_tools)
1354     checkFormatEntries(dtl_tools)
1355     checkConverterEntries()
1356     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
1357     checkTeXAllowSpaces()
1358     windows_style_tex_paths = checkTeXPaths()
1359     if windows_style_tex_paths != '':
1360         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
1361     checkOtherEntries()
1362     checkModulesConfig()
1363     # --without-latex-config can disable lyx_check_config
1364     ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
1365     removeTempFiles()
1366     # The return error code can be 256. Because most systems expect an error code
1367     # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
1368     # a None for success, 'ret is not None' is used to exit.
1369     sys.exit(ret is not None)