]> git.lyx.org Git - lyx.git/blobdiff - lib/configure.py
start XeTeX support.
[lyx.git] / lib / configure.py
index 8201b6cce7ebe810742e5ded0c6c65f52cbb3061..aff725605a23a322831e7ffe0bf269df52045cc5 100644 (file)
@@ -8,26 +8,21 @@
 # \author Bo Peng
 # Full author contact details are available in file CREDITS.
 
-import sys, os, re, shutil, glob
-
-
-class Tee:
-    ''' Writing to a Tee object will write to all file objects it keeps.
-        That is to say, writing to Tee(sys.stdout, open(logfile, 'w')) will
-        write to sys.stdout as well as a log file.
-    '''
-    def __init__(self, *args):
-        self.files = args
-
-    def write(self, data):
-        for f in self.files:
-            result = f.write(data)
-        return result
-
-    def writelines(self, seq):
-        for i in seq:
-            self.write(i)
+import sys, os, re, shutil, glob, logging
 
+# set up logging
+logging.basicConfig(level = logging.DEBUG,
+    format = '%(levelname)s: %(message)s', # ignore application name
+    filename = 'configure.log',
+    filemode = 'w')
+#
+# Add a handler to log to console
+console = logging.StreamHandler()
+console.setLevel(logging.INFO) # the console only print out general information
+formatter = logging.Formatter('%(message)s') # only print out the message itself
+console.setFormatter(formatter)
+logger = logging.getLogger('LyX')
+logger.addHandler(console)
 
 def writeToFile(filename, lines, append = False):
     " utility function: write or append lines to filename "
@@ -45,6 +40,7 @@ def addToRC(lines):
     '''
     if lines.strip() != '':
         writeToFile(outfile, lines + '\n', append = True)
+        logger.debug('Add to RC:\n' + lines + '\n\n')
 
 
 def removeFiles(filenames):
@@ -54,7 +50,9 @@ def removeFiles(filenames):
     for file in filenames:
         try:
             os.remove(file)
+            logger.debug('Removing file %s' % file)
         except:
+            logger.debug('Failed to remove file %s' % file)
             pass
 
 
@@ -73,7 +71,7 @@ def setEnviron():
         NLS nuisances.
         Only set these to C if already set.  These must not be set unconditionally
         because not all systems understand e.g. LANG=C (notably SCO).
-        Fixing LC_MESSAGES prevents Solaris sh from translating var values in `set'!
+        Fixing LC_MESSAGES prevents Solaris sh from translating var values in set!
         Non-C LC_CTYPE values break the ctype check.
     '''
     os.environ['LANG'] = os.getenv('LANG', 'C')
@@ -89,8 +87,9 @@ def createDirectories():
         if not os.path.isdir( dir ):
             try:
                 os.mkdir( dir)
+                logger.debug('Create directory %s.' % dir)
             except:
-                print "Failed to create directory ", dir
+                logger.error('Failed to create directory %s.' % dir)
                 sys.exit(1)
 
 
@@ -104,17 +103,18 @@ def checkTeXPaths():
             inpname = tmpfname.replace('\\', '/')
         else:
             inpname = cmdOutput('cygpath -m ' + tmpfname)
+        logname = os.path.basename(inpname.replace('.ltx', '.log'))
         inpname = inpname.replace('~', '\\string~')
         os.write(fd, r'\relax')
         os.close(fd)
         latex_out = cmdOutput(r'latex "\nonstopmode\input{%s}"' % inpname)
         if 'Error' in latex_out:
-            print "configure: TeX engine needs posix-style paths in latex files"
+            logger.warning("configure: TeX engine needs posix-style paths in latex files")
             windows_style_tex_paths = 'false'
         else:
-            print "configure: TeX engine needs windows-style paths in latex files"
+            logger.info("configure: TeX engine needs windows-style paths in latex files")
             windows_style_tex_paths = 'true'
-        removeFiles([tmpfname, 'texput.log'])
+        removeFiles([tmpfname, logname, 'texput.log'])
     return windows_style_tex_paths
 
 
@@ -147,29 +147,31 @@ def checkProg(description, progs, rc_entry = [], path = [], not_found = ''):
     '''
     # one rc entry for each progs plus not_found entry
     if len(rc_entry) > 1 and len(rc_entry) != len(progs) + 1:
-        print "rc entry should have one item or item for each prog and not_found."
+        logger.error("rc entry should have one item or item for each prog and not_found.")
         sys.exit(2)
-    print 'checking for ' + description + '...'
+    logger.info('checking for ' + description + '...')
     ## print '(' + ','.join(progs) + ')',
     for idx in range(len(progs)):
         # ac_prog may have options, ac_word is the command name
         ac_prog = progs[idx]
         ac_word = ac_prog.split(' ')[0]
-        print '+checking for "' + ac_word + '"... ',
+        msg = '+checking for "' + ac_word + '"... '
         path = os.environ["PATH"].split(os.pathsep) + path
+        extlist = ['']
+        if os.environ.has_key("PATHEXT"):
+            extlist = extlist + os.environ["PATHEXT"].split(os.pathsep)
         for ac_dir in path:
-            # check both ac_word and ac_word.exe (for windows system)
-            if os.path.isfile( os.path.join(ac_dir, ac_word) ) or \
-                os.path.isfile( os.path.join(ac_dir, ac_word + ".exe") ):
-                print ' yes'
-                # write rc entries for this command
-                if len(rc_entry) == 1:
-                    addToRC(rc_entry[0].replace('%%', ac_prog))
-                elif len(rc_entry) > 1:
-                    addToRC(rc_entry[idx].replace('%%', ac_prog))
-                return [ac_dir, ac_word]
+            for ext in extlist:
+                if os.path.isfile( os.path.join(ac_dir, ac_word + ext) ):
+                    logger.info(msg + ' yes')
+                    # write rc entries for this command
+                    if len(rc_entry) == 1:
+                        addToRC(rc_entry[0].replace('%%', ac_prog))
+                    elif len(rc_entry) > 1:
+                        addToRC(rc_entry[idx].replace('%%', ac_prog))
+                    return [ac_dir, ac_word]
         # if not successful
-        print ' no'
+        logger.info(msg + ' no')
     # write rc entries for 'not found'
     if len(rc_entry) > 0:  # the last one.
         addToRC(rc_entry[-1].replace('%%', not_found))
@@ -195,14 +197,34 @@ def checkDTLtools():
 
 def checkLatex(dtl_tools):
     ''' Check latex, return lyx_check_config '''
+    path, LATEX = checkProg('a Latex2e program', ['latex $$i', 'platex $$i', 'latex2e $$i'])
+    path, PPLATEX = checkProg('a DVI postprocessing program', ['pplatex $$i'])
+    #-----------------------------------------------------------------
+    path, PLATEX = checkProg('pLaTeX, the Japanese LaTeX', ['platex $$i'])
+    if PLATEX != '':
+        # check if PLATEX is pLaTeX2e
+        writeToFile('chklatex.ltx', '''
+\\nonstopmode
+\\@@end
+''')
+        # run platex on chklatex.ltx and check result
+        if cmdOutput(PLATEX + ' chklatex.ltx').find('pLaTeX2e') != -1:
+            # We have the Japanese pLaTeX2e
+            addToRC(r'\converter platex   dvi       "%s"   "latex"' % PLATEX)
+            LATEX = PLATEX
+        else:
+            PLATEX = ''
+            removeFiles(['chklatex.ltx', 'chklatex.log'])
+    #-----------------------------------------------------------------
+    # use LATEX to convert from latex to dvi if PPLATEX is not available    
+    if PPLATEX == '':
+        PPLATEX = LATEX
     if dtl_tools:
         # Windows only: DraftDVI
-        converter_entry = r'''\converter latex      dvi2       "%%"    "latex"
-\converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o" ""'''
+        addToRC(r'''\converter latex      dvi2       "%s"      "latex"
+\converter dvi2       dvi        "python -tt $$s/scripts/clean_dvi.py $$i $$o" ""''' % PPLATEX)
     else:
-        converter_entry = r'\converter latex      dvi        "%%"      "latex"'
-    path, LATEX = checkProg('a Latex2e program', ['pplatex $$i', 'latex $$i', 'latex2e $$i'],
-        rc_entry = [converter_entry])
+        addToRC(r'\converter latex      dvi        "%s"        "latex"' % PPLATEX)
     # no latex
     if LATEX != '':
         # Check if latex is usable
@@ -218,7 +240,7 @@ def checkLatex(dtl_tools):
             # valid latex2e
             return LATEX
         else:
-            print "Latex not usable (not LaTeX2e) "
+            logger.warning("Latex not usable (not LaTeX2e) ")
         # remove temporary files
         removeFiles(['chklatex.ltx', 'chklatex.log'])
     return ''
@@ -229,9 +251,12 @@ def checkFormatEntries(dtl_tools):
     checkViewer('a Tgif viewer and editor', ['tgif'],
         rc_entry = [r'\Format tgif       obj     Tgif                   "" "%%"        "%%"    "vector"'])
     #
-    checkViewer('a FIG viewer and editor', ['xfig'],
+    checkViewer('a FIG viewer and editor', ['xfig', 'jfig3-itext.jar', 'jfig3.jar'],
         rc_entry = [r'\Format fig        fig     FIG                    "" "%%"        "%%"    "vector"'])
     #
+    checkViewer('a Dia viewer and editor', ['dia'],
+        rc_entry = [r'\Format dia        dia     DIA                    "" "%%"        "%%"    "vector"'])
+    #
     checkViewer('a Grace viewer and editor', ['xmgrace'],
         rc_entry = [r'\Format agr        agr     Grace                  "" "%%"        "%%"    "vector"'])
     #
@@ -252,7 +277,7 @@ def checkFormatEntries(dtl_tools):
 \Format xpm        xpm     XPM                    "" "%s"      "%s"    ""''' % \
         (iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie, iv, ie) )
     #
-    checkViewer('a text editor', ['xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
+    checkViewer('a text editor', ['sensible-editor', 'xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
         'nedit', 'gedit', 'notepad'],
         rc_entry = [r'''\Format asciichess asc    "Plain text (chess output)"  "" ""   "%%"    ""
 \Format asciiimage asc    "Plain text (image)"         "" ""   "%%"    ""
@@ -260,16 +285,25 @@ def checkFormatEntries(dtl_tools):
 \Format dateout    tmp    "date (output)"         "" ""        "%%"    ""
 \Format docbook    sgml    DocBook                B  ""        "%%"    "document"
 \Format docbook-xml xml   "Docbook (XML)"         "" ""        "%%"    "document"
+\Format dot        dot    "Graphviz Dot"          "" ""        "%%"    "vector"
+\Format platex     tex    "LaTeX (pLaTeX)"        "" "" "%%"    "document"
 \Format literate   nw      NoWeb                  N  ""        "%%"    "document"
 \Format lilypond   ly     "LilyPond music"        "" ""        "%%"    "vector"
 \Format latex      tex    "LaTeX (plain)"         L  ""        "%%"    "document"
-\Format linuxdoc   sgml    LinuxDoc               x  ""        "%%"    "document"
 \Format pdflatex   tex    "LaTeX (pdflatex)"      "" ""        "%%"    "document"
+\Format xetex      tex    "LaTeX (XeTeX)"         "" ""        "%%"    "document"
 \Format text       txt    "Plain text"            a  ""        "%%"    "document"
 \Format text2      txt    "Plain text (pstotext)" "" ""        "%%"    "document"
 \Format text3      txt    "Plain text (ps2ascii)" "" ""        "%%"    "document"
 \Format text4      txt    "Plain text (catdvi)"   "" ""        "%%"    "document"
 \Format textparagraph txt "Plain Text, Join Lines" "" ""       "%%"    "document"''' ])
+ #
+    checkViewer('a BibTeX editor', ['sensible-editor', 'jabref', 'JabRef', \
+        'pybliographic', 'bibdesk', 'gbib', 'kbib', \
+        'kbibtex', 'sixpack', 'bibedit', 'tkbibtex' \
+        'xemacs', 'gvim', 'kedit', 'kwrite', 'kate', \
+        'nedit', 'gedit', 'notepad'],
+        rc_entry = [r'''\Format bibtex bib    "BibTeX"         "" ""   "%%"    ""''' ])
     #
     #checkProg('a Postscript interpreter', ['gs'],
     #  rc_entry = [ r'\ps_command "%%"' ])
@@ -281,13 +315,14 @@ def checkFormatEntries(dtl_tools):
                    'gv', 'ghostview'],
         rc_entry = [r'''\Format pdf        pdf    "PDF (ps2pdf)"          P  "%%"      ""      "document,vector"
 \Format pdf2       pdf    "PDF (pdflatex)"        F  "%%"      ""      "document,vector"
-\Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"      ""      "document,vector"'''])
+\Format pdf3       pdf    "PDF (dvipdfm)"         m  "%%"      ""      "document,vector"
+\Format pdf4       pdf    "PDF (XeTeX)"           X  "%%"      ""      "document,vector"'''])
     #
     checkViewer('a DVI previewer', ['xdvi', 'kdvi'],
         rc_entry = [r'\Format dvi        dvi     DVI                    D  "%%"        ""      "document,vector"'])
     if dtl_tools:
         # Windows only: DraftDVI
-        addToRC(r'\Format dvi2       dvi     DraftDVI               "" ""      "document,vector"')
+        addToRC(r'\Format dvi2       dvi     DraftDVI               "" ""      ""      "vector"')
     #
     checkViewer('an HTML previewer', ['firefox', 'mozilla file://$$p$$i', 'netscape'],
         rc_entry = [r'\Format html       html    HTML                   H  "%%"        ""      "document"'])
@@ -295,19 +330,23 @@ def checkFormatEntries(dtl_tools):
     checkViewer('Noteedit', ['noteedit'],
         rc_entry = [r'\Format noteedit   not     Noteedit               "" "%%"        "%%"    "vector"'])
     #
-    checkViewer('an OpenDocument viewer', ['oowriter'],
+    checkViewer('an OpenDocument viewer', ['swriter', 'oowriter'],
         rc_entry = [r'\Format odt        odt     OpenDocument           "" "%%"        "%%"    "document,vector"'])
     #
     # entried that do not need checkProg
     addToRC(r'''\Format date       ""     "date command"          "" ""        ""      ""
+\Format csv        csv    "Table (CSV)"  "" "" ""      "document"
 \Format fax        ""      Fax                    "" ""        ""      "document"
 \Format lyx        lyx     LyX                    "" ""        ""      ""
 \Format lyx13x     lyx13  "LyX 1.3.x"             "" ""        ""      "document"
 \Format lyx14x     lyx14  "LyX 1.4.x"             "" ""        ""      "document"
+\Format lyx15x     lyx15  "LyX 1.5.x"             "" ""        ""      "document"
+\Format lyx16x     lyx16  "LyX 1.6.x"             "" ""        ""      "document"
 \Format clyx       cjklyx "CJK LyX 1.4.x (big5)"  "" ""        ""      "document"
 \Format jlyx       cjklyx "CJK LyX 1.4.x (euc-jp)" "" ""       ""      "document"
 \Format klyx       cjklyx "CJK LyX 1.4.x (euc-kr)" "" ""       ""      "document"
 \Format lyxpreview lyxpreview "LyX Preview"       "" ""        ""      ""
+\Format lyxpreview-platex lyxpreview-platex "LyX Preview (pLaTeX)"       "" "" ""      ""
 \Format pdftex     pdftex_t PDFTEX                "" ""        ""      ""
 \Format program    ""      Program                "" ""        ""      ""
 \Format pstex      pstex_t PSTEX                  "" ""        ""      ""
@@ -324,6 +363,9 @@ def checkConverterEntries():
     ''' Check all converters (\converter entries) '''
     checkProg('the pdflatex program', ['pdflatex $$i'],
         rc_entry = [ r'\converter pdflatex   pdf2       "%%"   "latex"' ])
+
+    checkProg('XeTeX', ['xelatex $$i'],
+        rc_entry = [ r'\converter xetex      pdf4       "%%"   "latex"' ])
     
     ''' If we're running LyX in-place then tex2lyx will be found in
             ../src/tex2lyx. Add this directory to the PATH temporarily and
@@ -342,26 +384,31 @@ def checkConverterEntries():
 
     #
     checkProg('a Noweb -> LaTeX converter', ['noweave -delay -index $$i > $$o'],
-        rc_entry = [ r'\converter literate   latex      "%%"   ""' ])
+        rc_entry = [r'''\converter literate   latex      "%%"  ""
+\converter literate   pdflatex      "%%"       ""'''])
     #
-    checkProg('an HTML -> LaTeX converter', ['html2latex $$i'],
+    checkProg('an HTML -> LaTeX converter', ['html2latex $$i', 'gnuhtml2latex $$i', \
+        'htmltolatex -input $$i -output $$o', 'java -jar htmltolatex.jar -input $$i -output $$o'],
         rc_entry = [ r'\converter html       latex      "%%"   ""' ])
     #
     checkProg('an MS Word -> LaTeX converter', ['wvCleanLatex $$i $$o'],
         rc_entry = [ r'\converter word       latex      "%%"   ""' ])
-    #
-    path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o', \
+    # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
+    path, htmlconv = checkProg('a LaTeX -> HTML converter', ['htlatex $$i', 'htlatex.sh $$i', \
+        '/usr/share/tex4ht/htlatex $$i', 'tth  -t -e2 -L$$b < $$i > $$o', \
         'latex2html -no_subdir -split 0 -show_section_numbers $$i', 'hevea -s $$i'],
         rc_entry = [ r'\converter latex      html       "%%"   "needaux"' ])
-    if htmlconv == 'htlatex' or htmlconv == 'latex2html':
+    if htmlconv.find('htlatex') >= 0 or htmlconv == 'latex2html':
       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
     else:
       addToRC(r'''\copier    html       "python -tt $$s/scripts/ext_copy.py $$i $$o"''')
 
-    #
-    path, htmlconv = checkProg('a LaTeX -> MS Word converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
+    # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
+    path, htmlconv = checkProg('a LaTeX -> MS Word converter', ["htlatex $$i 'html,word' 'symbol/!' '-cvalidate'", \
+        "htlatex.sh $$i 'html,word' 'symbol/!' '-cvalidate'", \
+       "/usr/share/tex4ht/htlatex $$i 'html,word' 'symbol/!' '-cvalidate'"],
         rc_entry = [ r'\converter latex      wordhtml   "%%"   "needaux"' ])
-    if htmlconv == 'htlatex':
+    if htmlconv.find('htlatex') >= 0:
       addToRC(r'''\copier    wordhtml       "python -tt $$s/scripts/ext_copy.py -e html,png,css $$i $$o"''')
     #
     checkProg('an OpenOffice.org -> LaTeX converter', ['w2l -clean $$i'],
@@ -369,13 +416,23 @@ def checkConverterEntries():
     #
     checkProg('an OpenDocument -> LaTeX converter', ['w2l -clean $$i'],
         rc_entry = [ r'\converter odt        latex      "%%"   ""' ])
-    #
-    checkProg('a LaTeX -> Open Document converter', ['oolatex $$i', 'oolatex.sh $$i', 'mk4ht oolatex $$i'],
+    # According to http://www.tug.org/applications/tex4ht/mn-commands.html
+    # the command mk4ht oolatex $$i has to be used as default,
+    # but as this would require to have Perl installed, in MiKTeX oolatex is
+    # directly available as application.
+    # On SuSE the scripts have a .sh suffix, and on debian they are in /usr/share/tex4ht/
+    # Both SuSE and debian have oolatex
+    checkProg('a LaTeX -> Open Document converter', [
+        'oolatex $$i', 'mk4ht oolatex $$i', 'oolatex.sh $$i', '/usr/share/tex4ht/oolatex $$i',
+        'htlatex $$i \'xhtml,ooffice\' \'ooffice/! -cmozhtf\' \'-coo\' \'-cvalidate\''],
         rc_entry = [ r'\converter latex      odt        "%%"   "needaux"' ])
     # On windows it is called latex2rt.exe
     checkProg('a LaTeX -> RTF converter', ['latex2rtf -p -S -o $$o $$i', 'latex2rt -p -S -o $$o $$i'],
         rc_entry = [ r'\converter latex      rtf        "%%"   "needaux"' ])
     #
+    checkProg('a RTF -> HTML converter', ['unrtf --html  $$i > $$o'],
+        rc_entry = [ r'\converter rtf      html        "%%"    ""' ])
+    #
     checkProg('a PS to PDF converter', ['ps2pdf13 $$i $$o'],
         rc_entry = [ r'\converter ps         pdf        "%%"   ""' ])
     #
@@ -385,6 +442,15 @@ def checkConverterEntries():
     checkProg('a PS to TXT converter', ['ps2ascii $$i $$o'],
         rc_entry = [ r'\converter ps         text3      "%%"   ""' ])
     #
+    checkProg('a PS to EPS converter', ['ps2eps $$i'],
+        rc_entry = [ r'\converter ps         eps      "%%"     ""' ])
+    #
+    checkProg('a PDF to PS converter', ['pdf2ps $$i $$o', 'pdftops $$i $$o'],
+        rc_entry = [ r'\converter pdf         ps        "%%"   ""' ])
+    #
+    checkProg('a PDF to EPS converter', ['pdftops -eps -f 1 -l 1 $$i $$o'],
+        rc_entry = [ r'\converter pdf         eps        "%%"  ""' ])
+    #
     checkProg('a DVI to TXT converter', ['catdvi $$i > $$o'],
         rc_entry = [ r'\converter dvi        text4      "%%"   ""' ])
     #
@@ -415,10 +481,9 @@ def checkConverterEntries():
     #
     checkProg('a TGIF -> EPS/PPM converter', ['tgif'],
         rc_entry = [
-            r'''\converter tgif       eps        "tgif -stdout -print -color -eps $$i > $$o"   ""
-\converter tgif       ppm        "tgif -stdout -print -color -ppm $$i > $$o"   ""
-\converter tgif       png        "tgif -stdout -print -color -png $$i > $$o"   ""
-\converter tgif       pdf        "tgif -stdout -print -color -pdf $$i > $$o"   ""''',
+            r'''\converter tgif       eps        "tgif -print -color -eps -stdout $$i > $$o"   ""
+\converter tgif       png        "tgif -print -color -png -o $$d $$i"  ""
+\converter tgif       pdf        "tgif -print -color -pdf -stdout $$i > $$o"   ""''',
             ''])
     #
     checkProg('a WMF -> EPS converter', ['metafile2eps $$i $$o', 'wmf2eps -o $$o $$i'],
@@ -442,6 +507,15 @@ def checkConverterEntries():
 \converter agr        ppm        "gracebat -hardcopy -printfile $$o -hdevice PNM $$i 2>/dev/null"      ""''',
             ''])
     #
+    checkProg('a Dot -> PDF converter', ['dot -Tpdf $$i -o $$o'],
+        rc_entry = [ r'\converter dot        pdf        "%%"   ""'])
+    #
+    checkProg('a Dia -> PNG converter', ['dia -e $$o -t png $$i'],
+        rc_entry = [ r'\converter dia        png        "%%"   ""'])
+    #
+    checkProg('a Dia -> EPS converter', ['dia -e $$o -t eps $$i'],
+        rc_entry = [ r'\converter dia        eps        "%%"   ""'])
+    #
     #
     path, lilypond = checkProg('a LilyPond -> EPS/PDF/PNG converter', ['lilypond'])
     if (lilypond != ''):
@@ -450,16 +524,21 @@ def checkConverterEntries():
         if match:
             version_number = match.groups()[0]
             version = version_number.split('.')
-            if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
+            if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 11):
+                addToRC(r'''\converter lilypond   eps        "lilypond -dbackend=eps --ps $$i" ""
+\converter lilypond   png        "lilypond -dbackend=eps --png $$i"    ""''')
+                addToRC(r'\converter lilypond   pdf        "lilypond -dbackend=eps --pdf $$i"  ""')
+                print '+  found LilyPond version %s.' % version_number
+            elif int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 6):
                 addToRC(r'''\converter lilypond   eps        "lilypond -b eps --ps $$i"        ""
 \converter lilypond   png        "lilypond -b eps --png $$i"   ""''')
                 if int(version[0]) > 2 or (len(version) > 1 and int(version[0]) == 2 and int(version[1]) >= 9):
                     addToRC(r'\converter lilypond   pdf        "lilypond -b eps --pdf $$i"     ""')
-                print '+  found LilyPond version %s.' % version_number
+                logger.info('+  found LilyPond version %s.' % version_number)
             else:
-                print '+  found LilyPond, but version %s is too old.' % version_number
+                logger.info('+  found LilyPond, but version %s is too old.' % version_number)
         else:
-            print '+  found LilyPond, but could not extract version number.'
+            logger.info('+  found LilyPond, but could not extract version number.')
     #
     checkProg('a Noteedit -> LilyPond converter', ['noteedit --export-lilypond $$i'],
         rc_entry = [ r'\converter noteedit   lilypond   "%%"   ""', ''])
@@ -469,6 +548,8 @@ def checkConverterEntries():
     #
     # Entries that do not need checkProg
     addToRC(r'''\converter lyxpreview ppm        "python -tt $$s/scripts/lyxpreview2bitmap.py" ""
+\converter lyxpreview-platex ppm        "python -tt $$s/scripts/lyxpreview-platex2bitmap.py"   ""
+\converter csv        lyx        "python -tt $$s/scripts/csv2lyx.py $$i $$o"   ""
 \converter date       dateout    "python -tt $$s/scripts/date.py %d-%m-%Y > $$o"       ""
 \converter docbook    docbook-xml "cp $$i $$o" "xml"
 \converter fen        asciichess "python -tt $$s/scripts/fen2ascii.py $$i $$o" ""
@@ -476,6 +557,8 @@ def checkConverterEntries():
 \converter fig        pstex      "python -tt $$s/scripts/fig2pstex.py $$i $$o" ""
 \converter lyx        lyx13x     "python -tt $$s/lyx2lyx/lyx2lyx -t 221 $$i > $$o"     ""
 \converter lyx        lyx14x     "python -tt $$s/lyx2lyx/lyx2lyx -t 245 $$i > $$o"     ""
+\converter lyx        lyx15x     "python -tt $$s/lyx2lyx/lyx2lyx -t 276 $$i > $$o"     ""
+\converter lyx        lyx16x     "python -tt $$s/lyx2lyx/lyx2lyx -t 345 $$i > $$o"     ""
 \converter lyx        clyx       "python -tt $$s/lyx2lyx/lyx2lyx -c big5 -t 245 $$i > $$o"     ""
 \converter lyx        jlyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_jp -t 245 $$i > $$o"   ""
 \converter lyx        klyx       "python -tt $$s/lyx2lyx/lyx2lyx -c euc_kr -t 245 $$i > $$o"   ""
@@ -485,34 +568,17 @@ def checkConverterEntries():
 ''')
 
 
-def checkLinuxDoc():
-    ''' Check linuxdoc '''
-    #
-    path, LINUXDOC = checkProg('SGML-tools 1.x (LinuxDoc)', ['sgml2lyx'],
-        rc_entry = [
-        r'''\converter linuxdoc   lyx        "sgml2lyx $$i"    ""
-\converter linuxdoc   latex      "sgml2latex $$i"      ""
-\converter linuxdoc   dvi        "sgml2latex -o dvi $$i"       ""
-\converter linuxdoc   html       "sgml2html $$i"       ""''',
-        r'''\converter linuxdoc   lyx        ""        ""
-\converter linuxdoc   latex      ""    ""
-\converter linuxdoc   dvi        ""    ""
-\converter linuxdoc   html       ""    ""''' ])
-    if LINUXDOC != '':
-        return ('yes', 'true', '\\def\\haslinuxdoc{yes}')
-    else:
-        return ('no', 'false', '')
-
-
 def checkDocBook():
     ''' Check docbook '''
-    path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook) or db2x scripts', ['sgmltools', 'db2dvi'],
+    path, DOCBOOK = checkProg('SGML-tools 2.x (DocBook), db2x scripts or xsltproc', ['sgmltools', 'db2dvi', 'xsltproc'],
         rc_entry = [
             r'''\converter docbook    dvi        "sgmltools -b dvi $$i"        ""
 \converter docbook    html       "sgmltools -b html $$i"       ""''',
             r'''\converter docbook    dvi        "db2dvi $$i"  ""
 \converter docbook    html       "db2html $$i" ""''',
             r'''\converter docbook    dvi        ""    ""
+\converter docbook    html       "" ""''',
+            r'''\converter docbook    dvi        ""    ""
 \converter docbook    html       ""    ""'''])
     #
     if DOCBOOK != '':
@@ -523,15 +589,14 @@ def checkDocBook():
 
 def checkOtherEntries():
     ''' entries other than Format and Converter '''
-    checkProg('a *roff formatter', ['groff', 'nroff'],
-        rc_entry = [
-            r'\plaintext_roff_command "groff -t -Tlatin1 $$FName"',
-            r'\plaintext_roff_command "tbl $$FName | nroff"',
-            r'\plaintext_roff_command ""' ])
     checkProg('ChkTeX', ['chktex -n1 -n3 -n6 -n9 -n22 -n25 -n30 -n38'],
         rc_entry = [ r'\chktex_command "%%"' ])
-    checkProg('a spellchecker', ['ispell'],
-        rc_entry = [ r'\spell_command "%%"' ])
+    checkProg('BibTeX', ['jbibtex', 'bibtex'],
+        rc_entry = [ r'\bibtex_command "%%"' ])
+    checkProg('an index processor', ['texindy', 'makeindex -c -q'],
+        rc_entry = [ r'\index_command "%%"' ])
+    checkProg('a nomenclature processor', ['makeindex'],
+        rc_entry = [ r'\nomencl_command "makeindex -s nomencl.ist"' ])
     ## FIXME: OCTAVE is not used anywhere
     # path, OCTAVE = checkProg('Octave', ['octave'])
     ## FIXME: MAPLE is not used anywhere
@@ -551,7 +616,7 @@ def checkOtherEntries():
 ''')
 
 
-def processLayoutFile(file, bool_docbook, bool_linuxdoc):
+def processLayoutFile(file, bool_docbook):
     ''' process layout file and get a line of result
         
         Declare lines look like this: (article.layout, scrbook.layout, svjog.layout)
@@ -568,28 +633,34 @@ def processLayoutFile(file, bool_docbook, bool_linuxdoc):
     '''
     classname = file.split(os.sep)[-1].split('.')[0]
     # return ('LaTeX', '[a,b]', 'a', ',b,c', 'article') for \DeclareLaTeXClass[a,b,c]{article}
-    p = re.compile(r'\Declare(LaTeX|DocBook|LinuxDoc)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
+    p = re.compile(r'\Declare(LaTeX|DocBook)Class\s*(\[([^,]*)(,.*)*\])*\s*{(.*)}')
     for line in open(file).readlines():
         res = p.search(line)
         if res != None:
             (classtype, optAll, opt, opt1, desc) = res.groups()
-            avai = {'LaTeX':'false', 'DocBook':bool_docbook, 'LinuxDoc':bool_linuxdoc}[classtype]
+            avai = {'LaTeX':'false', 'DocBook':bool_docbook}[classtype]
             if opt == None:
                 opt = classname
             return '"%s" "%s" "%s" "%s"\n' % (classname, opt, desc, avai)
-    print "Layout file without \DeclareXXClass line. "
-    sys.exit(2)
+    logger.warning("Layout file " + file + " has no \DeclareXXClass line. ")
+    return ""
 
-    
-def checkLatexConfig(check_config, bool_docbook, bool_linuxdoc):
-    ''' Explore the LaTeX configuration '''
-    print 'checking LaTeX configuration... ',
-    # First, remove the files that we want to re-create
-    removeFiles(['textclass.lst', 'packages.lst', 'chkconfig.sed'])
-    #
-    if not check_config:
-        print ' default values'
-        print '+checking list of textclasses... '
+
+def checkLatexConfig(check_config, bool_docbook):
+    ''' Explore the LaTeX configuration 
+        Return None (will be passed to sys.exit()) for success.
+    '''
+    msg = 'checking LaTeX configuration... '
+    # if --without-latex-config is forced, or if there is no previous 
+    # version of textclass.lst, re-generate a default file.
+    if not os.path.isfile('textclass.lst') or not check_config:
+        # remove the files only if we want to regenerate
+        removeFiles(['textclass.lst', 'packages.lst'])
+        #
+        # Then, generate a default textclass.lst. In case configure.py
+        # fails, we still have something to start lyx.
+        logger.info(msg + ' default values')
+        logger.info('+checking list of textclasses... ')
         tx = open('textclass.lst', 'w')
         tx.write('''
 # This file declares layouts and their associated definition files
@@ -614,19 +685,23 @@ def checkLatexConfig(check_config, bool_docbook, bool_linuxdoc):
             # make sure the same class is not considered twice
             if foundClasses.count(cleanclass) == 0: # not found before
                 foundClasses.append(cleanclass)
-                tx.write(processLayoutFile(file, bool_docbook, bool_linuxdoc))
+                retval = processLayoutFile(file, bool_docbook)
+                if retval != "":
+                    tx.write(retval)
         tx.close()
-        print '\tdone'
+        logger.info('\tdone')
+    if not check_config:
+        return None
+    # the following will generate textclass.lst.tmp, and packages.lst.tmp
     else:
-        print '\tauto'
+        logger.info(msg + '\tauto')
         removeFiles(['wrap_chkconfig.ltx', 'chkconfig.vars', \
             'chkconfig.classes', 'chklayouts.tex'])
         rmcopy = False
         if not os.path.isfile( 'chkconfig.ltx' ):
-            shutil.copy( os.path.join(srcdir, 'chkconfig.ltx'),  'chkconfig.ltx' )
+            shutil.copyfile( os.path.join(srcdir, 'chkconfig.ltx'), 'chkconfig.ltx' )
             rmcopy = True
-        writeToFile('wrap_chkconfig.ltx', '%s\n%s\n\\input{chkconfig.ltx}\n' \
-            % (linuxdoc_cmd, docbook_cmd) )
+        writeToFile('wrap_chkconfig.ltx', '%s\n\\input{chkconfig.ltx}\n' % docbook_cmd)
         # Construct the list of classes to test for.
         # build the list of available layout files and convert it to commands
         # for chkconfig.ltx
@@ -641,7 +716,7 @@ def checkLatexConfig(check_config, bool_docbook, bool_linuxdoc):
                 if p1.search(line) == None:
                     continue
                 if line[0] != '#':
-                    print "Wrong input layout file with line '" + line
+                    logger.error("Wrong input layout file with line '" + line)
                     sys.exit(3)
                 testclasses.append("\\TestDocClass{%s}{%s}" % (classname, line[1:].strip()))
                 break
@@ -658,8 +733,9 @@ def checkLatexConfig(check_config, bool_docbook, bool_linuxdoc):
             if not line:
                 break;
             if re.match('^\+', line):
-                print line,
-        fout.close()
+                logger.info(line.strip())
+        # if the command succeeds, None will be returned
+        ret = fout.close()
         #
         # currently, values in chhkconfig are only used to set
         # \font_encoding
@@ -675,76 +751,121 @@ def checkLatexConfig(check_config, bool_docbook, bool_linuxdoc):
             pass
         if rmcopy:   # remove the copied file
             removeFiles( [ 'chkconfig.ltx' ] )
-
-
-def createLaTeXConfig():
-    ''' create LaTeXConfig.lyx '''
-    # if chkconfig.sed does not exist (because LaTeX did not run),
-    # then provide a standard version.
-    if not os.path.isfile('chkconfig.sed'):
-        writeToFile('chkconfig.sed', 's!@.*@!???!g\n')
-    print "creating packages.lst"
-    # if packages.lst does not exist (because LaTeX did not run),
-    # then provide a standard version.
-    if not os.path.isfile('packages.lst'):
-        writeToFile('packages.lst', '''
-### This file should contain the list of LaTeX packages that have been
-### recognized by LyX. Unfortunately, since configure could not find
-### your LaTeX2e program, the tests have not been run. Run ./configure.py
-### if you need to update it after a configuration change.
+        # if configure successed, move textclass.lst.tmp to textclass.lst
+        # and packages.lst.tmp to packages.lst
+        if os.path.isfile('textclass.lst.tmp') and len(open('textclass.lst.tmp').read()) > 0 \
+            and os.path.isfile('packages.lst.tmp') and len(open('packages.lst.tmp').read()) > 0:
+            shutil.move('textclass.lst.tmp', 'textclass.lst')
+            shutil.move('packages.lst.tmp', 'packages.lst')
+        return ret
+
+
+def checkModulesConfig():
+  removeFiles(['lyxmodules.lst'])
+
+  logger.info('+checking list of modules... ')
+  tx = open('lyxmodules.lst', 'w')
+  tx.write('''## This file declares modules and their associated definition files.
+## It has been automatically generated by configure
+## Use "Options/Reconfigure" if you need to update it after a
+## configuration change. 
 ''')
-    print 'creating doc/LaTeXConfig.lyx'
-    #
-    # This is originally done by sed, using a
-    # tex-generated file chkconfig.sed
-    ##sed -f chkconfig.sed ${srcdir}/doc/LaTeXConfig.lyx.in
-    ##  >doc/LaTeXConfig.lyx
-    # Now, we have to do it by hand (python).
-    #
-    # add to chekconfig.sed
-    writeToFile('chkconfig.sed', '''s!@chk_linuxdoc@!%s!g
-s!@chk_docbook@!%s!g
-    ''' % (chk_linuxdoc, chk_docbook) , append=True)
-    # process this sed file!!!!
-    lyxin = open( os.path.join(srcdir, 'doc', 'LaTeXConfig.lyx.in')).readlines()
-    # get the rules
-    p = re.compile(r's!(.*)!(.*)!g')
-    # process each sed replace.
-    for sed in open('chkconfig.sed').readlines():
-        if sed.strip() == '':
-            continue
-        try:
-            fr, to = p.match(sed).groups()
-            # if latex did not run, change all @name@ to '???'
-            if fr == '@.*@':
-                for line in range(len(lyxin)):
-                    lyxin[line] = re.sub('@.*@', to, lyxin[line])
-            else:
-                for line in range(len(lyxin)):
-                    lyxin[line] = lyxin[line].replace(fr, to)
-        except:  # wrong sed entry?
-            print "Wrong sed entry in chkconfig.sed: '" + sed + "'"
-            sys.exit(4)
-    # 
-    writeToFile( os.path.join('doc', 'LaTeXConfig.lyx'),
-        ''.join(lyxin))
+  # build the list of available modules
+  foundClasses = []
+  for file in glob.glob( os.path.join('layouts', '*.module') ) + \
+      glob.glob( os.path.join(srcdir, 'layouts', '*.module' ) ) :
+      # valid file?
+      logger.info(file)
+      if not os.path.isfile(file): 
+          continue
+      retval = processModuleFile(file, bool_docbook)
+      if retval != "":
+          tx.write(retval)
+  tx.close()
+  logger.info('\tdone')
+
+
+def processModuleFile(file, bool_docbook):
+    ''' process module file and get a line of result
+
+        The top of a module file should look like this:
+          #\DeclareLyXModule[LaTeX Packages]{ModuleName}
+          #BeginDescription
+          #...body of description...
+          #EndDescription
+          #Requires: [list of required modules]
+          #Excludes: [list of excluded modules]
+        The last two lines are optional
+        We expect output:
+          "ModuleName" "filename" "Description" "Packages" "Requires" "Excludes"
+    '''
+    p = re.compile(r'\DeclareLyXModule\s*(?:\[([^]]*?)\])?{(.*)}')
+    r = re.compile(r'#+\s*Requires: (.*)')
+    x = re.compile(r'#+\s*Excludes: (.*)')
+    b = re.compile(r'#+\s*DescriptionBegin\s*$')
+    e = re.compile(r'#+\s*DescriptionEnd\s*$')
+
+    modname = desc = pkgs = req = excl = ""
+    readingDescription = False
+    descLines = []
+    filename = file.split(os.sep)[-1]
+    filename = filename[:-7]
+
+    for line in open(file).readlines():
+      if readingDescription:
+        res = e.search(line)
+        if res != None:
+          readingDescription = False
+          desc = " ".join(descLines)
+          continue
+        descLines.append(line[1:].strip())
+        continue
+      res = b.search(line)
+      if res != None:
+        readingDescription = True
+        continue
+      res = p.search(line)
+      if res != None:
+          (pkgs, modname) = res.groups()
+          if pkgs == None:
+            pkgs = ""
+          else:
+            tmp = [s.strip() for s in pkgs.split(",")]
+            pkgs = ",".join(tmp)
+          continue
+      res = r.search(line)
+      if res != None:
+        req = res.group(1)
+        tmp = [s.strip() for s in req.split("|")]
+        req = "|".join(tmp)
+        continue
+      res = x.search(line)
+      if res != None:
+        excl = res.group(1)
+        tmp = [s.strip() for s in excl.split("|")]
+        excl = "|".join(tmp)
+        continue
+    if modname != "":
+        return '"%s" "%s" "%s" "%s" "%s" "%s"\n' % (modname, filename, desc, pkgs, req, excl)
+    logger.warning("Module file without \DeclareLyXModule line. ")
+    return ""
 
 
 def checkTeXAllowSpaces():
     ''' Let's check whether spaces are allowed in TeX file names '''
     tex_allows_spaces = 'false'
     if lyx_check_config:
-        print "Checking whether TeX allows spaces in file names... ",
+        msg = "Checking whether TeX allows spaces in file names... "
         writeToFile('a b.tex', r'\message{working^^J}' )
         if os.name == 'nt':
             latex_out = cmdOutput(LATEX + r""" "\nonstopmode\input{\"a b\"}" """)
         else:
             latex_out = cmdOutput(LATEX + r""" '\nonstopmode\input{"a b"}' """)
         if 'working' in latex_out:
-            print 'yes'
+            logger.info(msg + 'yes')
             tex_allows_spaces = 'true'
         else:
-            print 'no'
+            logger.info(msg + 'no')
             tex_allows_spaces = 'false'
         addToRC(r'\tex_allows_spaces ' + tex_allows_spaces)
         removeFiles( [ 'a b.tex', 'a b.log', 'texput.log' ])
@@ -753,7 +874,7 @@ def checkTeXAllowSpaces():
 def removeTempFiles():
     # Final clean-up
     if not lyx_keep_temps:
-        removeFiles(['chkconfig.sed', 'chkconfig.vars',  \
+        removeFiles(['chkconfig.vars',  \
             'wrap_chkconfig.ltx', 'wrap_chkconfig.log', \
             'chklayouts.tex', 'missfont.log', 
             'chklatex.ltx', 'chklatex.log'])
@@ -765,7 +886,6 @@ if __name__ == '__main__':
     rc_entries = ''
     lyx_keep_temps = False
     version_suffix = ''
-    logfile = 'configure.log'
     ## Parse the command line
     for op in sys.argv[1:]:   # default shell/for list is $*, the options
         if op in [ '-help', '--help', '-h' ]:
@@ -787,16 +907,12 @@ Options:
             print "Unknown option", op
             sys.exit(1)
     #
-    # set up log file for stdout and stderr
-    log = open(logfile, 'w')
-    sys.stdout = Tee(sys.stdout, log)
-    sys.stderr = Tee(sys.stderr, log)
     # check if we run from the right directory
     srcdir = os.path.dirname(sys.argv[0])
     if srcdir == '':
         srcdir = '.'
     if not os.path.isfile( os.path.join(srcdir, 'chkconfig.ltx') ):
-        print "configure: error: cannot find chkconfig.ltx script"
+        logger.error("configure: error: cannot find chkconfig.ltx script")
         sys.exit(1)
     setEnviron()
     createDirectories()
@@ -814,13 +930,16 @@ Options:
     LATEX = checkLatex(dtl_tools)
     checkFormatEntries(dtl_tools)
     checkConverterEntries()
-    (chk_linuxdoc, bool_linuxdoc, linuxdoc_cmd) = checkLinuxDoc()
     (chk_docbook, bool_docbook, docbook_cmd) = checkDocBook()
     checkTeXAllowSpaces()
     if windows_style_tex_paths != '':
         addToRC(r'\tex_expects_windows_paths %s' % windows_style_tex_paths)
     checkOtherEntries()
     # --without-latex-config can disable lyx_check_config
-    checkLatexConfig( lyx_check_config and LATEX != '', bool_docbook, bool_linuxdoc)
-    createLaTeXConfig()
+    ret = checkLatexConfig(lyx_check_config and LATEX != '', bool_docbook)
+    checkModulesConfig() #lyx_check_config and LATEX != '')
     removeTempFiles()
+    # The return error code can be 256. Because most systems expect an error code
+    # in the range 0-127, 256 can be interpretted as 'success'. Because we expect
+    # a None for success, 'ret is not None' is used to exit.
+    sys.exit(ret is not None)