]> git.lyx.org Git - lyx.git/blobdiff - development/scons/SConstruct
Scons: update_po target, move processing functions to po/lyx_pot.py
[lyx.git] / development / scons / SConstruct
index e6dc0ce7535bf22e85bda94dabb18ca710bc8fd5..aa16849ce7f9b617756226793f7e3dc698835c85 100644 (file)
@@ -15,7 +15,6 @@
 import os, sys, copy, cPickle, glob, time
 
 # scons_utils.py defines a few utility function
-sys.path.append('config')
 import scons_utils as utils
 # import all file lists
 from scons_manifest import *
@@ -42,7 +41,8 @@ from SCons.Node.FS import default_fs
 scons_dir = default_fs.SConstruct_dir.path
 # get the ../.. of scons_dir
 top_src_dir = os.path.split(os.path.split(default_fs.SConstruct_dir.abspath)[0])[0]
-
+sys.path.append(os.path.join(top_src_dir, 'lib', 'doc'))
+import depend
 
 #----------------------------------------------------------
 # Global definitions
@@ -191,6 +191,12 @@ opts.AddOptions(
     ('prefix', 'install architecture-independent files in PREFIX', default_prefix),
     # replace the default name and location of the windows installer
     ('win_installer', 'name or full path to the windows installer', None),
+    # the deps package used to create minimal installer (qt and other libraries)
+    ('deps_dir', 'path to the development depedency packages with zlib, iconv, zlib and qt libraries', None),
+    # whether or not build bundle installer
+    BoolOption('bundle', 'Whether or not build bundle installer', False),
+    # the bundle directory, containing bundled applications
+    PathOption('bundle_dir', 'path to the bundle dependency package with miktex setup.exe etc', None),
     # build directory, will use $mode if not set
     ('build_dir', 'Build directory', None),
     # version suffix
@@ -249,7 +255,7 @@ if (not ARGUMENTS.has_key('load_option') or \
         and opt_cache.has_key('qt_dir'):
         opt_cache.pop('qt_dir')
     # and we do not cache some options (dest_dir is obsolete)
-    for arg in ['load_option', 'dest_dir']:
+    for arg in ['load_option', 'dest_dir', 'bundle']:
         if opt_cache.has_key(arg):
             opt_cache.pop(arg)
     # remove obsolete cached keys (well, SConstruct is evolving. :-)
@@ -710,6 +716,9 @@ else:
 #
 # check for msgfmt command
 env['MSGFMT'] = conf.CheckCommand('msgfmt')
+env['MSGMERGE'] = conf.CheckCommand('msgmerge')
+env['XGETTEXT'] = conf.CheckCommand('xgettext')
+env['MSGUNIQ'] = conf.CheckCommand('msguniq')
 
 # if under windows, check the nsis compiler
 if platform_name == 'win32':
@@ -724,6 +733,7 @@ if platform_name == 'cygwin':
 #
 # install customized builders
 env['BUILDERS']['substFile'] = Builder(action = utils.env_subst)
+env['BUILDERS']['installTOC'] = Builder(action = utils.env_toc)
 
 
 #----------------------------------------------------------
@@ -1486,10 +1496,11 @@ def appExists(apppath, appname):
     return os.path.isfile(File(env.subst('$BUILDDIR/common/%s/${PROGPREFIX}%s$PROGSUFFIX' % (apppath, appname))).abspath)
 
 targets = BUILD_TARGETS
+build_install = 'install' in targets or 'installer' in targets
 build_installer = 'installer' in targets
 # msvc need to pass full target name, so I have to look for path/lyx etc
 build_lyx = build_installer or targets == [] or True in ['lyx' in x for x in targets] \
-    or 'install' in targets or 'all' in targets
+    or build_install or 'all' in targets
 build_boost = (included_boost and not libExists('boost_regex')) or 'boost' in targets
 build_intl = (included_gettext and not libExists('included_intl')) or 'intl' in targets
 build_support = build_lyx or True in [x in targets for x in ['support', 'client', 'tex2lyx']]
@@ -1499,11 +1510,12 @@ build_frontends = build_lyx or 'frontends' in targets
 build_graphics = build_lyx or 'graphics' in targets
 build_controllers = build_lyx or 'controllers' in targets
 build_client = True in ['client' in x for x in targets] \
-    or 'install' in targets or 'all' in targets or build_installer
+    or build_install or 'all' in targets or build_installer
 build_tex2lyx = True in ['tex2lyx' in x for x in targets] \
-    or 'install' in targets or 'all' in targets or build_installer
+    or build_install or 'all' in targets or build_installer
 build_lyxbase = build_lyx or 'lyxbase' in targets
-build_po = 'po' in targets or 'install' in targets or 'all' in targets
+update_po = 'update_po' in targets
+build_po = 'po' in targets or build_install or 'all' in targets
 build_qt4 = (build_lyx and frontend == 'qt4') or 'qt4' in targets
 build_msvs_projects = use_vc and 'msvs_projects' in targets
 
@@ -1964,6 +1976,73 @@ if build_msvs_projects:
         full_target = File(env.subst('$BUILDDIR/lyx$PROGSUFFIX')).abspath)
 
 
+if update_po:
+    #
+    # update po files
+    #
+    print 'Updating po/*.po files...'
+
+    # whether or not update po files
+    if not env['XGETTEXT'] or not env['MSGMERGE'] or not env['MSGUNIQ']:
+        print 'xgettext or msgmerge does not exist. Can not merge po files'
+        Exit(1)
+    # build language_l10n.pot, ui_l10n.pot, layouts_l10n.pot, qt4_l10n.pot
+    # and combine them to lyx.po
+    env['LYX_POT'] = 'python $TOP_SRCDIR/po/lyx_pot.py'
+    lyx_po = env.Command('$BUILDDIR/po/lyx.po',
+        env.Command('$BUILDDIR/po/all.po',
+            [env.Command('$BUILDDIR/po/language_l10n.pot', '$TOP_SRCDIR/lib/languages', 
+                '$LYX_POT -b $TOP_SRCDIR -t languages -o $TARGET $SOURCES'),
+             env.Command('$BUILDDIR/po/qt4_l10n.pot', 
+                ['$TOP_SRCDIR/src/frontends/qt4/ui/%s' % x for x in src_frontends_qt4_ui_files],
+                '$LYX_POT -b $TOP_SRCDIR -t qt4 -o $TARGET $SOURCES'),
+             env.Command('$BUILDDIR/po/layouts_l10n.pot', 
+                ['$TOP_SRCDIR/lib/layouts/%s' % x for x in lib_layouts_files],
+                '$LYX_POT -b $TOP_SRCDIR -t layouts -o $TARGET $SOURCES'),
+             env.Command('$BUILDDIR/po/ui_l10n.pot', 
+                ['$TOP_SRCDIR/lib/ui/%s' % x for x in lib_ui_files],
+                '$LYX_POT -b $TOP_SRCDIR -t ui -o $TARGET $SOURCES'),
+             ], utils.env_cat),
+        '$MSGUNIQ -o $TARGET $SOURCE'
+    )
+    # create a builder that generate real po files
+    env['BUILDERS']['xgettext'] = Builder(action=['''$XGETTEXT \
+        --default-domain=${SOURCE.filebase} \
+        --directory=$TOP_SRCDIR \
+           --add-comments=TRANSLATORS: \
+        --language=C++ --join-existing --keyword=_ --keyword=N_ --keyword=qt_ \
+           --files-from=$TOP_SRCDIR/po/POTFILES.in \
+           --copyright-holder='LyX Developers' \
+           --msgid-bugs-address='lyx-devel@lists.lyx.org' ''',
+        Copy('$TARGET', '$SOURCE')]
+        )
+    env['BUILDERS']['msgmerge'] = Builder(action=[
+        '$MSGMERGE -o $TARGET $SOURCE ${TARGET.base}.po',
+        Copy('${TARGET.base}.po', '$TARGET')]
+        )
+    #   ==> lyx.pot
+    lyx_pot = env.xgettext('$BUILDDIR/po/lyx.pot', lyx_po)
+    #
+    import glob
+    # files to translate
+    transfiles = glob.glob(os.path.join(env.Dir('$TOP_SRCDIR/po').abspath, '*.po'))
+    # possibly *only* handle these languages
+    languages = None
+    if env.has_key('languages'):
+        languages = env.make_list(env['lanauges'])
+    # for each po file, generate pot
+    for po_file in transfiles:
+        # get filename
+        fname = os.path.split(po_file)[1]
+        # country code
+        country = fname.split('.')[0]
+        #
+        if not languages or country in languages:
+            # merge po files
+            # FIXME: Depends on POTFILES.in and its content
+            Alias('update_po', env.msgmerge(po_file + '_new', lyx_pot))
+
+
 if build_po:
     #
     # po/
@@ -1985,7 +2064,7 @@ if build_po:
         print 'msgfmt does not exist. Can not process po files'
     else:
         # create a builder
-        env['BUILDERS']['Transfiles'] = Builder(action='$MSGFMT $SOURCE -o $TARGET',suffix='.gmo',src_suffix='.po')
+        env['BUILDERS']['Transfiles'] = Builder(action='$MSGFMT $SOURCE -c --statistics -o $TARGET',suffix='.gmo',src_suffix='.po')
         #
         for f in transfiles:
             # get filename
@@ -1997,50 +2076,7 @@ if build_po:
                 gmo_files.extend(env.Transfiles(f))
 
 
-if build_installer:
-    #
-    # build windows installer using NSIS
-    #
-    # NOTE:
-    # There is a nsis builder on scons wiki but it does not work with
-    # our lyx.nsi because it does not dig through all the include directives
-    # and find the dependencies automatically. Also, it can not parse
-    # OutFile in lyx.nsi since it is defined as SETUP_EXE which is in turn
-    # something rely on date.
-    # Because of this, I am doing a simple nsis builder here.
-    if platform_name != 'win32':
-        print 'installer target is only available for windows platform'
-        Exit(1)
-    if env.has_key('NSIS') and env['NSIS'] is not None:
-        # create a builder to strip and install
-        env['BUILDERS']['installer'] = Builder(generator=utils.env_nsis)
-    else:
-        print 'No nsis compiler is found. Existing...'
-        Exit(2)
-    if not env.has_key('win_installer') or env['win_installer'] is None:
-        if devel_version:
-            env['win_installer'] = '%s-%s-%s-Installer.exe' % (package_name, package_version, time.strftime('%Y-%m-%d'))
-        else:
-            env['win_installer'] = '%s-%s-Installer.exe' % (package_name, package_version)
-    # if absolute path is given, use it, otherwise, write to current directory
-    if not (':' in env['win_installer'] or '/' in env['win_installer'] or '\\' in env['win_installer']):
-        env['win_installer'] = os.path.join(env.Dir('$BUILDDIR').abspath, env['win_installer'])
-    env.Append(NSISDEFINES={'ExeFile':env['win_installer']})
-    installer = env.installer(env['win_installer'],
-        '$TOP_SRCDIR/development/Win32/packaging/installer/lyx.nsi')
-    # since I can not use a scanner, explicit dependent is required
-    env.Depends(installer, [lyx, tex2lyx] + \
-        ['$TOP_SRCDIR/development/Win32/packaging/installer/%s' % x for x in win32_packaging_installer_files] + \
-        ['$TOP_SRCDIR/development/Win32/packaging/installer/components/%s' % x for x in win32_packaging_installer_components_files] + \
-        ['$TOP_SRCDIR/development/Win32/packaging/installer/dialogs/%s' % x for x in win32_packaging_installer_dialogs_files] + \
-        ['$TOP_SRCDIR/development/Win32/packaging/installer/graphics/%s' % x for x in win32_packaging_installer_graphics_files] + \
-        ['$TOP_SRCDIR/development/Win32/packaging/installer/include/%s' % x for x in win32_packaging_installer_include_files] + \
-        ['$TOP_SRCDIR/development/Win32/packaging/installer/lang/%s' % x for x in win32_packaging_installer_lang_files ]
-    )
-    frontend_env.Alias('installer', installer)
-
-
-if 'install' in targets:
+if build_install:
     #
     # this part is a bit messy right now. Since scons will provide
     # --DESTDIR option soon, at least the dest_dir handling can be 
@@ -2080,6 +2116,7 @@ if 'install' in targets:
         share_dest_dir = os.path.join(dest_prefix_dir, share_dir)
     man_dest_dir = os.path.join(dest_prefix_dir, man_dir)
     locale_dest_dir = os.path.join(dest_prefix_dir, locale_dir)
+    env['LYX2LYX_DEST'] = os.path.join(share_dest_dir, 'lyx2lyx')
     #
     import glob
     #
@@ -2111,22 +2148,86 @@ if 'install' in targets:
     dirs = []
     for (dir,files) in [
             ('.', lib_files),  
-            ('clipart', lib_clipart_files),
-            ('examples', lib_examples_files),
             ('images', lib_images_files),
             ('images/math', lib_images_math_files),
-            ('bind', lib_bind_files),
             ('kbd', lib_kbd_files),
             ('layouts', lib_layouts_files),
             ('scripts', lib_scripts_files),
             ('templates', lib_templates_files),
             ('tex', lib_tex_files),
             ('ui', lib_ui_files),
+            ('bind', lib_bind_files),
+            ('bind/de', lib_bind_de_files),
+            ('bind/fi', lib_bind_fi_files),
+            ('bind/pt', lib_bind_pt_files),
+            ('bind/sv', lib_bind_sv_files),
             ('doc', lib_doc_files),
+            ('doc/clipart', lib_doc_clipart_files),
+            ('doc/cs', lib_doc_cs_files),
+            ('doc/da', lib_doc_da_files),
+            ('doc/de', lib_doc_de_files),
+            ('doc/es', lib_doc_es_files),
+            ('doc/es/clipart', lib_doc_es_clipart_files),
+            ('doc/eu', lib_doc_eu_files),
+            ('doc/fr', lib_doc_fr_files),
+            ('doc/he', lib_doc_he_files),
+            ('doc/hu', lib_doc_hu_files),
+            ('doc/it', lib_doc_it_files),
+            ('doc/nl', lib_doc_nl_files),
+            ('doc/nb', lib_doc_nb_files),
+            ('doc/pl', lib_doc_pl_files),
+            ('doc/pt', lib_doc_pt_files),
+            ('doc/ro', lib_doc_ro_files),
+            ('doc/ru', lib_doc_ru_files),
+            ('doc/sk', lib_doc_sk_files),
+            ('doc/sl', lib_doc_sl_files),
+            ('doc/sv', lib_doc_sv_files),
+            ('examples', lib_examples_files),
+            ('examples/ca', lib_examples_ca_files),
+            ('examples/cs', lib_examples_cs_files),
+            ('examples/da', lib_examples_da_files),
+            ('examples/de', lib_examples_de_files),
+            ('examples/es', lib_examples_es_files),
+            ('examples/eu', lib_examples_eu_files),
+            ('examples/fr', lib_examples_fr_files),
+            ('examples/he', lib_examples_he_files),
+            ('examples/hu', lib_examples_hu_files),
+            ('examples/it', lib_examples_it_files),
+            ('examples/nl', lib_examples_nl_files),
+            ('examples/pl', lib_examples_pl_files),
+            ('examples/pt', lib_examples_pt_files),
+            ('examples/ru', lib_examples_ru_files),
+            ('examples/sl', lib_examples_sl_files),
+            ('examples/ro', lib_examples_ro_files),
             ('lyx2lyx', lib_lyx2lyx_files)]:
         dirs.append(env.Install(os.path.join(share_dest_dir, dir),
             [env.subst('$TOP_SRCDIR/lib/%s/%s' % (dir, file)) for file in files]))
     Alias('install', dirs)
+
+    # subst and install lyx2lyx_version.py which is not in scons_manifest.py
+    env.Depends(share_dest_dir + '/lyx2lyx/lyx2lyx_version.py', '$BUILDDIR/common/config.h')
+    env.substFile(share_dest_dir + '/lyx2lyx/lyx2lyx_version.py',
+        '$TOP_SRCDIR/lib/lyx2lyx/lyx2lyx_version.py.in')
+    Alias('install', share_dest_dir + '/lyx2lyx/lyx2lyx_version.py')
+    sys.path.append(share_dest_dir + '/lyx2lyx')
+    
+    # generate TOC files for each doc
+    languages = depend.all_documents(env.Dir('$TOP_SRCDIR/lib/doc').abspath)
+    tocs = []
+    for lang in languages.keys():
+        if os.path.isdir(os.path.join(env.Dir('$TOP_SRCDIR/lib/doc').abspath, lang)):
+            toc = env.installTOC(os.path.join(share_dest_dir, 'doc', lang, 'TOC.lyx'),
+                languages[lang])
+            tocs.append(toc)
+            # doc_toc.build_toc needs a installed version of lyx2lyx to execute
+            env.Depends(toc, share_dest_dir + '/lyx2lyx/lyx2lyx_version.py')
+        else:
+            # this is for English
+            toc = env.installTOC(os.path.join(share_dest_dir, 'doc', 'TOC.lyx'),
+                languages[lang])
+            tocs.append(toc)
+            env.Depends(toc, share_dest_dir + '/lyx2lyx/lyx2lyx_version.py')
+    Alias('install', tocs)
     
     if platform_name == 'cygwin':
         # cygwin packaging requires a file /usr/share/doc/Cygwin/foot-vendor-suffix.README
@@ -2152,11 +2253,6 @@ if 'install' in targets:
         env.Install(postinstall_path, tmp_script)
         Alias('install', postinstall_path)
 
-    # subst and install lyx2lyx_version.py which is not in scons_manifest.py
-    env.Depends(share_dest_dir + '/lyx2lyx/lyx2lyx_version.py', '$BUILDDIR/common/config.h')
-    env.substFile(share_dest_dir + '/lyx2lyx/lyx2lyx_version.py',
-        '$TOP_SRCDIR/lib/lyx2lyx/lyx2lyx_version.py.in')
-    Alias('install', share_dest_dir + '/lyx2lyx/lyx2lyx_version.py')
 
     # man
     env.InstallAs(os.path.join(man_dest_dir, 'lyx' + version_suffix + '.1'),
@@ -2176,5 +2272,72 @@ if 'install' in targets:
         Alias('install', dest_file)
 
 
+if build_installer:
+    #
+    # build windows installer using NSIS
+    #
+    # NOTE:
+    # There is a nsis builder on scons wiki but it does not work with
+    # our lyx.nsi because it does not dig through all the include directives
+    # and find the dependencies automatically. Also, it can not parse
+    # OutFile in lyx.nsi since it is defined as SETUP_EXE which is in turn
+    # something rely on date.
+    # Because of this, I am doing a simple nsis builder here.
+    if platform_name != 'win32':
+        print 'installer target is only available for windows platform'
+        Exit(1)
+    if env.has_key('NSIS') and env['NSIS'] is not None:
+        # create a builder to strip and install
+        env['BUILDERS']['installer'] = Builder(generator=utils.env_nsis)
+    else:
+        print 'No nsis compiler is found. Existing...'
+        Exit(2)
+    if not env.has_key('win_installer') or env['win_installer'] is None:
+        if devel_version:
+            env['win_installer'] = '%s-%s-%s-Installer.exe' % (package_name, package_version, time.strftime('%Y-%m-%d'))
+        else:
+            env['win_installer'] = '%s-%s-Installer.exe' % (package_name, package_version)
+    # provide default setting            
+    if not env.has_key('deps_dir') or env['deps_dir'] is None:
+        env['deps_dir'] = os.path.join(env.Dir('$TOP_SRCDIR').abspath, 'lyx-windows-deps-msvc-qt4')
+    if not os.path.isdir(env.Dir('$deps_dir').abspath):
+        print 'Development dependency package is not found.'
+        Exit(1)    
+    else:
+        env['deps_dir'] = env.Dir('$deps_dir').abspath
+    # build bundle?
+    if env.has_key('bundle_dir') and os.path.isdir(env.Dir('$bundle_dir').abspath):
+        env['bundle_dir'] = env.Dir('$bundle_dir').abspath
+    elif os.path.isdir(os.path.join(env.Dir('$TOP_SRCDIR').abspath, 'lyx-windows-bundle-deps')):
+        env['bundle_dir'] = os.path.join(env.Dir('$TOP_SRCDIR').abspath, 'lyx-windows-bundle-deps')
+    else:
+        env['bundle_dir'] = None
+    # if absolute path is given, use it, otherwise, write to current directory
+    if not (':' in env['win_installer'] or '/' in env['win_installer'] or '\\' in env['win_installer']):
+        env['win_installer'] = os.path.join(env.Dir('$BUILDDIR').abspath, env['win_installer'])
+    env.Append(NSISDEFINES={
+        'ExeFile':env['win_installer'],
+        'BundleExeFile':env['win_installer'].replace('.exe', '-bundle.exe'),
+        'FilesLyx':env.Dir(dest_prefix_dir).abspath,
+        'FilesDeps':env['deps_dir'],
+        'FilesBundle':env['bundle_dir'],
+        })
+    installer = env.installer(env['win_installer'],
+        '$TOP_SRCDIR/development/Win32/packaging/installer/lyx.nsi')
+    # since I can not use a scanner, explicit dependent is required
+    env.Depends(installer, 'install')
+    env.Alias('installer', installer)
+    # also generate bundle?
+    if env.has_key('bundle') and env['bundle']:
+        if env['bundle_dir'] is None or not os.path.isdir(env['bundle_dir']):
+            print 'Bundle directory does not exist (default to %s\lyx-windows-bundle-deps.' % env.Dir('$TOP_SRCDIR').abspath
+            print 'Use bundle_dir option to specify'
+            Exit(1)
+        # generator of the builder will add bundle stuff depending on output name
+        bundle_installer = env.installer(env['win_installer'].replace('.exe', '-bundle.exe'),
+            '$TOP_SRCDIR/development/Win32/packaging/installer/lyx.nsi')
+        env.Depends(bundle_installer, 'install')
+        env.Alias('installer', bundle_installer)
+
 Default('lyx')
 Alias('all', ['lyx', 'client', 'tex2lyx'])