lib/lyx2lyx/lyx_2_0.py

   1 # -*- coding: utf-8 -*-
   2 # This file is part of lyx2lyx
   3 # -*- coding: utf-8 -*-
   4 # Copyright (C) 2010 The LyX team
   5 #
   6 # This program is free software; you can redistribute it and/or
   7 # modify it under the terms of the GNU General Public License
   8 # as published by the Free Software Foundation; either version 2
   9 # of the License, or (at your option) any later version.
  10 #
  11 # This program is distributed in the hope that it will be useful,
  12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 # GNU General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU General Public License
  17 # along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  19
  20 """ Convert files to the file format generated by lyx 2.0"""
  21
  22 import re, string
  23 import unicodedata
  24 import sys, os
  25
  26 from parser_tools import find_token, find_end_of, find_tokens, \
  27   find_end_of_inset, find_end_of_layout, get_value, get_value_string
  28
  29 from lyx2lyx_tools import add_to_preamble, insert_to_preamble, \
  30   put_cmd_in_ert, lyx2latex, latex_length, revert_flex_inset, \
  31   revert_font_attrs, revert_layout_command, hex2ratio
  32
  33 ####################################################################
  34 # Private helper functions
  35
  36 def remove_option(document, m, option):
  37     ''' removes option from line m. returns whether we did anything '''
  38     l = document.body[m].find(option)
  39     if l == -1:
  40         return False
  41     val = document.body[m][l:].split('"')[1]
  42     document.body[m] = document.body[m][:l - 1] + document.body[m][l+len(option + '="' + val + '"'):]
  43     return True
  44
  45
  46 # DO NOT USE THIS ROUTINE ANY MORE. Better yet, replace the uses that
  47 # have been made of it with uses of put_cmd_in_ert.
  48 def old_put_cmd_in_ert(string):
  49     for rep in unicode_reps:
  50         string = string.replace(rep[1], rep[0].replace('\\\\', '\\'))
  51     string = string.replace('\\', "\\backslash\n")
  52     string = "\\begin_inset ERT\nstatus collapsed\n\\begin_layout Plain Layout\n" \
  53       + string + "\n\\end_layout\n\\end_inset"
  54     return string
  55
  56
  57 ###############################################################################
  58 ###
  59 ### Conversion and reversion routines
  60 ###
  61 ###############################################################################
  62
  63 def revert_swiss(document):
  64     " Set language german-ch to ngerman "
  65     i = 0
  66     if document.language == "german-ch":
  67         document.language = "ngerman"
  68         i = find_token(document.header, "\\language", 0)
  69         if i != -1:
  70             document.header[i] = "\\language ngerman"
  71     j = 0
  72     while True:
  73         j = find_token(document.body, "\\lang german-ch", j)
  74         if j == -1:
  75             return
  76         document.body[j] = document.body[j].replace("\\lang german-ch", "\\lang ngerman")
  77         j = j + 1
  78
  79
  80 def revert_tabularvalign(document):
  81    " Revert the tabular valign option "
  82    i = 0
  83    while True:
  84       i = find_token(document.body, "\\begin_inset Tabular", i)
  85       if i == -1:
  86           return
  87       end = find_end_of_inset(document.body, i)
  88       if end == -1:
  89           document.warning("Can't find end of inset at line " + str(i))
  90           i += 1
  91           continue
  92       fline = find_token(document.body, "<features", i, end)
  93       if fline == -1:
  94           document.warning("Can't find features for inset at line " + str(i))
  95           i += 1
  96           continue
  97       p = document.body[fline].find("islongtable")
  98       if p != -1:
  99           q = document.body[fline].find("tabularvalignment")
 100           if q != -1:
 101               # FIXME
 102               # This seems wrong: It removes everything after
 103               # tabularvalignment, too.
 104               document.body[fline] = document.body[fline][:q - 1] + '>'
 105           i += 1
 106           continue
 107
 108        # no longtable
 109       tabularvalignment = 'c'
 110       # which valignment is specified?
 111       m = document.body[fline].find('tabularvalignment="top"')
 112       if m != -1:
 113           tabularvalignment = 't'
 114       m = document.body[fline].find('tabularvalignment="bottom"')
 115       if m != -1:
 116           tabularvalignment = 'b'
 117       # delete tabularvalignment
 118       q = document.body[fline].find("tabularvalignment")
 119       if q != -1:
 120           # FIXME
 121           # This seems wrong: It removes everything after
 122           # tabularvalignment, too.
 123           document.body[fline] = document.body[fline][:q - 1] + '>'
 124
 125       # don't add a box when centered
 126       if tabularvalignment == 'c':
 127           i = end
 128           continue
 129       subst = ['\\end_layout', '\\end_inset']
 130       document.body[end:end] = subst # just inserts those lines
 131       subst = ['\\begin_inset Box Frameless',
 132           'position "' + tabularvalignment +'"',
 133           'hor_pos "c"',
 134           'has_inner_box 1',
 135           'inner_pos "c"',
 136           'use_parbox 0',
 137           # we don't know the width, assume 50%
 138           'width "50col%"',
 139           'special "none"',
 140           'height "1in"',
 141           'height_special "totalheight"',
 142           'status open',
 143           '',
 144           '\\begin_layout Plain Layout']
 145       document.body[i:i] = subst # this just inserts the array at i
 146       # since there could be a tabular inside a tabular, we cannot
 147       # jump to end
 148       i += len(subst)
 149
 150
 151 def revert_phantom_types(document, ptype, cmd):
 152     " Reverts phantom to ERT "
 153     i = 0
 154     while True:
 155       i = find_token(document.body, "\\begin_inset Phantom " + ptype, i)
 156       if i == -1:
 157           return
 158       end = find_end_of_inset(document.body, i)
 159       if end == -1:
 160           document.warning("Can't find end of inset at line " + str(i))
 161           i += 1
 162           continue
 163       blay = find_token(document.body, "\\begin_layout Plain Layout", i, end)
 164       if blay == -1:
 165           document.warning("Can't find layout for inset at line " + str(i))
 166           i = end
 167           continue
 168       bend = find_token(document.body, "\\end_layout", blay, end)
 169       if bend == -1:
 170           document.warning("Malformed LyX document: Could not find end of Phantom inset's layout.")
 171           i = end
 172           continue
 173       substi = ["\\begin_inset ERT", "status collapsed", "",
 174                 "\\begin_layout Plain Layout", "", "", "\\backslash",
 175                 cmd + "{", "\\end_layout", "", "\\end_inset"]
 176       substj = ["\\size default", "", "\\begin_inset ERT", "status collapsed", "",
 177                 "\\begin_layout Plain Layout", "", "}", "\\end_layout", "", "\\end_inset"]
 178       # do the later one first so as not to mess up the numbering
 179       document.body[bend:end + 1] = substj
 180       document.body[i:blay + 1] = substi
 181       i = end + len(substi) + len(substj) - (end - bend) - (blay - i) - 2
 182
 183
 184 def revert_phantom(document):
 185     revert_phantom_types(document, "Phantom", "phantom")
 186
 187 def revert_hphantom(document):
 188     revert_phantom_types(document, "HPhantom", "hphantom")
 189
 190 def revert_vphantom(document):
 191     revert_phantom_types(document, "VPhantom", "vphantom")
 192
 193
 194 def revert_xetex(document):
 195     " Reverts documents that use XeTeX "
 196     i = find_token(document.header, '\\use_xetex', 0)
 197     if i == -1:
 198         document.warning("Malformed LyX document: Missing \\use_xetex.")
 199         return
 200     if get_value(document.header, "\\use_xetex", i) == 'false':
 201         del document.header[i]
 202         return
 203     del document.header[i]
 204     # 1.) set doc encoding to utf8-plain
 205     i = find_token(document.header, "\\inputencoding", 0)
 206     if i == -1:
 207         document.warning("Malformed LyX document: Missing \\inputencoding.")
 208     document.header[i] = "\\inputencoding utf8-plain"
 209     # 2.) check font settings
 210     l = find_token(document.header, "\\font_roman", 0)
 211     if l == -1:
 212         document.warning("Malformed LyX document: Missing \\font_roman.")
 213     line = document.header[l]
 214     l = re.compile(r'\\font_roman (.*)$')
 215     m = l.match(line)
 216     roman = m.group(1)
 217     l = find_token(document.header, "\\font_sans", 0)
 218     if l == -1:
 219         document.warning("Malformed LyX document: Missing \\font_sans.")
 220     line = document.header[l]
 221     l = re.compile(r'\\font_sans (.*)$')
 222     m = l.match(line)
 223     sans = m.group(1)
 224     l = find_token(document.header, "\\font_typewriter", 0)
 225     if l == -1:
 226         document.warning("Malformed LyX document: Missing \\font_typewriter.")
 227     line = document.header[l]
 228     l = re.compile(r'\\font_typewriter (.*)$')
 229     m = l.match(line)
 230     typewriter = m.group(1)
 231     osf = get_value(document.header, '\\font_osf', 0) == "true"
 232     sf_scale = float(get_value(document.header, '\\font_sf_scale', 0))
 233     tt_scale = float(get_value(document.header, '\\font_tt_scale', 0))
 234     # 3.) set preamble stuff
 235     pretext = '%% This document must be processed with xelatex!\n'
 236     pretext += '\\usepackage{fontspec}\n'
 237     if roman != "default":
 238         pretext += '\\setmainfont[Mapping=tex-text]{' + roman + '}\n'
 239     if sans != "default":
 240         pretext += '\\setsansfont['
 241         if sf_scale != 100:
 242             pretext += 'Scale=' + str(sf_scale / 100) + ','
 243         pretext += 'Mapping=tex-text]{' + sans + '}\n'
 244     if typewriter != "default":
 245         pretext += '\\setmonofont'
 246         if tt_scale != 100:
 247             pretext += '[Scale=' + str(tt_scale / 100) + ']'
 248         pretext += '{' + typewriter + '}\n'
 249     if osf:
 250         pretext += '\\defaultfontfeatures{Numbers=OldStyle}\n'
 251     pretext += '\usepackage{xunicode}\n'
 252     pretext += '\usepackage{xltxtra}\n'
 253     insert_to_preamble(0, document, pretext)
 254     # 4.) reset font settings
 255     i = find_token(document.header, "\\font_roman", 0)
 256     if i == -1:
 257         document.warning("Malformed LyX document: Missing \\font_roman.")
 258     document.header[i] = "\\font_roman default"
 259     i = find_token(document.header, "\\font_sans", 0)
 260     if i == -1:
 261         document.warning("Malformed LyX document: Missing \\font_sans.")
 262     document.header[i] = "\\font_sans default"
 263     i = find_token(document.header, "\\font_typewriter", 0)
 264     if i == -1:
 265         document.warning("Malformed LyX document: Missing \\font_typewriter.")
 266     document.header[i] = "\\font_typewriter default"
 267     i = find_token(document.header, "\\font_osf", 0)
 268     if i == -1:
 269         document.warning("Malformed LyX document: Missing \\font_osf.")
 270     document.header[i] = "\\font_osf false"
 271     i = find_token(document.header, "\\font_sc", 0)
 272     if i == -1:
 273         document.warning("Malformed LyX document: Missing \\font_sc.")
 274     document.header[i] = "\\font_sc false"
 275     i = find_token(document.header, "\\font_sf_scale", 0)
 276     if i == -1:
 277         document.warning("Malformed LyX document: Missing \\font_sf_scale.")
 278     document.header[i] = "\\font_sf_scale 100"
 279     i = find_token(document.header, "\\font_tt_scale", 0)
 280     if i == -1:
 281         document.warning("Malformed LyX document: Missing \\font_tt_scale.")
 282     document.header[i] = "\\font_tt_scale 100"
 283
 284
 285 def revert_outputformat(document):
 286     " Remove default output format param "
 287     i = find_token(document.header, '\\default_output_format', 0)
 288     if i == -1:
 289         document.warning("Malformed LyX document: Missing \\default_output_format.")
 290         return
 291     del document.header[i]
 292
 293
 294 def revert_backgroundcolor(document):
 295     " Reverts background color to preamble code "
 296     i = find_token(document.header, "\\backgroundcolor", 0)
 297     if i == -1:
 298         return
 299     colorcode = get_value(document.header, '\\backgroundcolor', i)
 300     del document.header[i]
 301     # don't clutter the preamble if backgroundcolor is not set
 302     if colorcode == "#ffffff":
 303         return
 304     red   = hex2ratio(colorcode[1:3])
 305     green = hex2ratio(colorcode[3:5])
 306     blue  = hex2ratio(colorcode[5:7])
 307     insert_to_preamble(0, document,
 308                           '% Commands inserted by lyx2lyx to set the background color\n'
 309                           + '\\@ifundefined{definecolor}{\\usepackage{color}}{}\n'
 310                           + '\\definecolor{page_backgroundcolor}{rgb}{'
 311                           + red + ',' + green + ',' + blue + '}\n'
 312                           + '\\pagecolor{page_backgroundcolor}\n')
 313
 314
 315 def revert_splitindex(document):
 316     " Reverts splitindex-aware documents "
 317     i = find_token(document.header, '\\use_indices', 0)
 318     if i == -1:
 319         document.warning("Malformed LyX document: Missing \\use_indices.")
 320         return
 321     indices = get_value(document.header, "\\use_indices", i)
 322     preamble = ""
 323     useindices = (indices == "true")
 324     if useindices:
 325          preamble += "\\usepackage{splitidx}\n"
 326     del document.header[i]
 327
 328     # deal with index declarations in the preamble
 329     i = 0
 330     while True:
 331         i = find_token(document.header, "\\index", i)
 332         if i == -1:
 333             break
 334         k = find_token(document.header, "\\end_index", i)
 335         if k == -1:
 336             document.warning("Malformed LyX document: Missing \\end_index.")
 337             return
 338         if useindices:
 339           line = document.header[i]
 340           l = re.compile(r'\\index (.*)$')
 341           m = l.match(line)
 342           iname = m.group(1)
 343           ishortcut = get_value(document.header, '\\shortcut', i, k)
 344           if ishortcut != "":
 345               preamble += "\\newindex[" + iname + "]{" + ishortcut + "}\n"
 346         del document.header[i:k + 1]
 347     if preamble != "":
 348         insert_to_preamble(0, document, preamble)
 349
 350     # deal with index insets
 351     # these need to have the argument removed
 352     i = 0
 353     while True:
 354         i = find_token(document.body, "\\begin_inset Index", i)
 355         if i == -1:
 356             break
 357         line = document.body[i]
 358         l = re.compile(r'\\begin_inset Index (.*)$')
 359         m = l.match(line)
 360         itype = m.group(1)
 361         if itype == "idx" or indices == "false":
 362             document.body[i] = "\\begin_inset Index"
 363         else:
 364             k = find_end_of_inset(document.body, i)
 365             if k == -1:
 366                 document.warning("Can't find end of index inset!")
 367                 i += 1
 368                 continue
 369             content = lyx2latex(document, document.body[i:k])
 370             # escape quotes
 371             content = content.replace('"', r'\"')
 372             subst = put_cmd_in_ert("\\sindex[" + itype + "]{" + content + "}")
 373             document.body[i:k + 1] = subst
 374         i = i + 1
 375
 376     # deal with index_print insets
 377     i = 0
 378     while True:
 379         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
 380         if i == -1:
 381             return
 382         k = find_end_of_inset(document.body, i)
 383         ptype = get_value(document.body, 'type', i, k).strip('"')
 384         if ptype == "idx":
 385             j = find_token(document.body, "type", i, k)
 386             del document.body[j]
 387         elif not useindices:
 388             del document.body[i:k + 1]
 389         else:
 390             subst = put_cmd_in_ert("\\printindex[" + ptype + "]{}")
 391             document.body[i:k + 1] = subst
 392         i = i + 1
 393
 394
 395 def convert_splitindex(document):
 396     " Converts index and printindex insets to splitindex-aware format "
 397     i = 0
 398     while True:
 399         i = find_token(document.body, "\\begin_inset Index", i)
 400         if i == -1:
 401             break
 402         document.body[i] = document.body[i].replace("\\begin_inset Index",
 403             "\\begin_inset Index idx")
 404         i = i + 1
 405     i = 0
 406     while True:
 407         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
 408         if i == -1:
 409             return
 410         if document.body[i + 1].find('LatexCommand printindex') == -1:
 411             document.warning("Malformed LyX document: Incomplete printindex inset.")
 412             return
 413         subst = ["LatexCommand printindex",
 414             "type \"idx\""]
 415         document.body[i + 1:i + 2] = subst
 416         i = i + 1
 417
 418
 419 def revert_subindex(document):
 420     " Reverts \\printsubindex CommandInset types "
 421     i = find_token(document.header, '\\use_indices', 0)
 422     if i == -1:
 423         document.warning("Malformed LyX document: Missing \\use_indices.")
 424         return
 425     indices = get_value(document.header, "\\use_indices", i)
 426     useindices = (indices == "true")
 427     i = 0
 428     while True:
 429         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
 430         if i == -1:
 431             return
 432         k = find_end_of_inset(document.body, i)
 433         ctype = get_value(document.body, 'LatexCommand', i, k)
 434         if ctype != "printsubindex":
 435             i = k + 1
 436             continue
 437         ptype = get_value(document.body, 'type', i, k).strip('"')
 438         if not useindices:
 439             del document.body[i:k + 1]
 440         else:
 441             subst = put_cmd_in_ert("\\printsubindex[" + ptype + "]{}")
 442             document.body[i:k + 1] = subst
 443         i = i + 1
 444
 445
 446 def revert_printindexall(document):
 447     " Reverts \\print[sub]index* CommandInset types "
 448     i = find_token(document.header, '\\use_indices', 0)
 449     if i == -1:
 450         document.warning("Malformed LyX document: Missing \\use_indices.")
 451         return
 452     indices = get_value(document.header, "\\use_indices", i)
 453     useindices = (indices == "true")
 454     i = 0
 455     while True:
 456         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
 457         if i == -1:
 458             return
 459         k = find_end_of_inset(document.body, i)
 460         ctype = get_value(document.body, 'LatexCommand', i, k)
 461         if ctype != "printindex*" and ctype != "printsubindex*":
 462             i = k
 463             continue
 464         if not useindices:
 465             del document.body[i:k + 1]
 466         else:
 467             subst = put_cmd_in_ert("\\" + ctype + "{}")
 468             document.body[i:k + 1] = subst
 469         i = i + 1
 470
 471
 472 def revert_strikeout(document):
 473   " Reverts \\strikeout font attribute "
 474   changed = revert_font_attrs(document, "\\uuline", "\\uuline")
 475   changed = revert_font_attrs(document, "\\uwave", "\\uwave") or changed
 476   changed = revert_font_attrs(document, "\\strikeout", "\\sout")  or changed
 477   if changed == True:
 478     insert_to_preamble(0, document,
 479         '% Commands inserted by lyx2lyx for proper underlining\n'
 480         + '\\PassOptionsToPackage{normalem}{ulem}\n'
 481         + '\\usepackage{ulem}\n')
 482
 483
 484 def revert_ulinelatex(document):
 485     " Reverts \\uline font attribute "
 486     i = find_token(document.body, '\\bar under', 0)
 487     if i == -1:
 488         return
 489     insert_to_preamble(0, document,
 490             '% Commands inserted by lyx2lyx for proper underlining\n'
 491             + '\\PassOptionsToPackage{normalem}{ulem}\n'
 492             + '\\usepackage{ulem}\n'
 493             + '\\let\\cite@rig\\cite\n'
 494             + '\\newcommand{\\b@xcite}[2][\\%]{\\def\\def@pt{\\%}\\def\\pas@pt{#1}\n'
 495             + '  \\mbox{\\ifx\\def@pt\\pas@pt\\cite@rig{#2}\\else\\cite@rig[#1]{#2}\\fi}}\n'
 496             + '\\renewcommand{\\underbar}[1]{{\\let\\cite\\b@xcite\\uline{#1}}}\n')
 497
 498
 499 def revert_custom_processors(document):
 500     " Remove bibtex_command and index_command params "
 501     i = find_token(document.header, '\\bibtex_command', 0)
 502     if i == -1:
 503         document.warning("Malformed LyX document: Missing \\bibtex_command.")
 504     else:
 505         del document.header[i]
 506     i = find_token(document.header, '\\index_command', 0)
 507     if i == -1:
 508         document.warning("Malformed LyX document: Missing \\index_command.")
 509     else:
 510         del document.header[i]
 511
 512
 513 def convert_nomencl_width(document):
 514     " Add set_width param to nomencl_print "
 515     i = 0
 516     while True:
 517       i = find_token(document.body, "\\begin_inset CommandInset nomencl_print", i)
 518       if i == -1:
 519         break
 520       document.body.insert(i + 2, "set_width \"none\"")
 521       i = i + 1
 522
 523
 524 def revert_nomencl_width(document):
 525     " Remove set_width param from nomencl_print "
 526     i = 0
 527     while True:
 528       i = find_token(document.body, "\\begin_inset CommandInset nomencl_print", i)
 529       if i == -1:
 530         break
 531       j = find_end_of_inset(document.body, i)
 532       l = find_token(document.body, "set_width", i, j)
 533       if l == -1:
 534             document.warning("Can't find set_width option for nomencl_print!")
 535             i = j
 536             continue
 537       del document.body[l]
 538       i = j - 1
 539
 540
 541 def revert_nomencl_cwidth(document):
 542     " Remove width param from nomencl_print "
 543     i = 0
 544     while True:
 545       i = find_token(document.body, "\\begin_inset CommandInset nomencl_print", i)
 546       if i == -1:
 547         break
 548       j = find_end_of_inset(document.body, i)
 549       l = find_token(document.body, "width", i, j)
 550       if l == -1:
 551         document.warning("Can't find width option for nomencl_print!")
 552         i = j
 553         continue
 554       width = get_value(document.body, "width", i, j).strip('"')
 555       del document.body[l]
 556       add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
 557       add_to_preamble(document, ["\\setlength{\\nomlabelwidth}{" + width + "}"])
 558       i = j - 1
 559
 560
 561 def revert_applemac(document):
 562     " Revert applemac encoding to auto "
 563     if document.encoding != "applemac":
 564       return
 565     document.encoding = "auto"
 566     i = find_token(document.header, "\\encoding", 0)
 567     if i != -1:
 568         document.header[i] = "\\encoding auto"
 569
 570
 571 def revert_longtable_align(document):
 572     " Remove longtable alignment setting "
 573     i = 0
 574     while True:
 575       i = find_token(document.body, "\\begin_inset Tabular", i)
 576       if i == -1:
 577           break
 578       end = find_end_of_inset(document.body, i)
 579       if end == -1:
 580           document.warning("Can't find end of inset at line " + str(i))
 581           i += 1
 582           continue
 583       fline = find_token(document.body, "<features", i, end)
 584       if fline == -1:
 585           document.warning("Can't find features for inset at line " + str(i))
 586           i += 1
 587           continue
 588       j = document.body[fline].find("longtabularalignment")
 589       if j == -1:
 590           i += 1
 591           continue
 592       # FIXME Is this correct? It wipes out everything after the
 593       # one we found.
 594       document.body[fline] = document.body[fline][:j - 1] + '>'
 595       # since there could be a tabular inside this one, we
 596       # cannot jump to end.
 597       i += 1
 598
 599
 600 def revert_branch_filename(document):
 601     " Remove \\filename_suffix parameter from branches "
 602     i = 0
 603     while True:
 604         i = find_token(document.header, "\\filename_suffix", i)
 605         if i == -1:
 606             return
 607         del document.header[i]
 608
 609
 610 def revert_paragraph_indentation(document):
 611     " Revert custom paragraph indentation to preamble code "
 612     i = find_token(document.header, "\\paragraph_indentation", 0)
 613     if i == -1:
 614       return
 615     length = get_value(document.header, "\\paragraph_indentation", i)
 616     # we need only remove the line if indentation is default
 617     if length != "default":
 618       # handle percent lengths
 619       length = latex_length(length)[1]
 620       add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
 621       add_to_preamble(document, ["\\setlength{\\parindent}{" + length + "}"])
 622     del document.header[i]
 623
 624
 625 def revert_percent_skip_lengths(document):
 626     " Revert relative lengths for paragraph skip separation to preamble code "
 627     i = find_token(document.header, "\\defskip", 0)
 628     if i == -1:
 629         return
 630     length = get_value(document.header, "\\defskip", i)
 631     # only revert when a custom length was set and when
 632     # it used a percent length
 633     if length in ('smallskip', 'medskip', 'bigskip'):
 634         return
 635     # handle percent lengths
 636     percent, length = latex_length(length)
 637     if percent:
 638         add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
 639         add_to_preamble(document, ["\\setlength{\\parskip}{" + length + "}"])
 640         # set defskip to medskip as default
 641         document.header[i] = "\\defskip medskip"
 642
 643
 644 def revert_percent_vspace_lengths(document):
 645     " Revert relative VSpace lengths to ERT "
 646     i = 0
 647     while True:
 648       i = find_token(document.body, "\\begin_inset VSpace", i)
 649       if i == -1:
 650           break
 651       # only revert if a custom length was set and if
 652       # it used a percent length
 653       r = re.compile(r'\\begin_inset VSpace (.*)$')
 654       m = r.match(document.body[i])
 655       length = m.group(1)
 656       if length in ('defskip', 'smallskip', 'medskip', 'bigskip', 'vfill'):
 657          i += 1
 658          continue
 659       # check if the space has a star (protected space)
 660       protected = (document.body[i].rfind("*") != -1)
 661       if protected:
 662           length = length.rstrip('*')
 663       # handle percent lengths
 664       percent, length = latex_length(length)
 665       # revert the VSpace inset to ERT
 666       if percent:
 667           if protected:
 668               subst = put_cmd_in_ert("\\vspace*{" + length + "}")
 669           else:
 670               subst = put_cmd_in_ert("\\vspace{" + length + "}")
 671           document.body[i:i + 2] = subst
 672       i += 1
 673
 674
 675 def revert_percent_hspace_lengths(document):
 676     " Revert relative HSpace lengths to ERT "
 677     i = 0
 678     while True:
 679       i = find_token(document.body, "\\begin_inset space \\hspace", i)
 680       if i == -1:
 681           break
 682       j = find_end_of_inset(document.body, i)
 683       if j == -1:
 684           document.warning("Can't find end of inset at line " + str(i))
 685           i += 1
 686           continue
 687       # only revert if a custom length was set...
 688       length = get_value(document.body, '\\length', i + 1, j)
 689       if length == '':
 690           document.warning("Malformed lyx document: Missing '\\length' in Space inset.")
 691           i = j
 692           continue
 693       protected = ""
 694       if document.body[i].find("\\hspace*{}") != -1:
 695           protected = "*"
 696       # ...and if it used a percent length
 697       percent, length = latex_length(length)
 698       # revert the HSpace inset to ERT
 699       if percent:
 700           subst = put_cmd_in_ert("\\hspace" + protected + "{" + length + "}")
 701           document.body[i:j + 1] = subst
 702       # if we did a substitution, this will still be ok
 703       i = j
 704
 705
 706 def revert_hspace_glue_lengths(document):
 707     " Revert HSpace glue lengths to ERT "
 708     i = 0
 709     while True:
 710       i = find_token(document.body, "\\begin_inset space \\hspace", i)
 711       if i == -1:
 712           break
 713       j = find_end_of_inset(document.body, i)
 714       if j == -1:
 715           document.warning("Can't find end of inset at line " + str(i))
 716           i += 1
 717           continue
 718       length = get_value(document.body, '\\length', i + 1, j)
 719       if length == '':
 720           document.warning("Malformed lyx document: Missing '\\length' in Space inset.")
 721           i = j
 722           continue
 723       protected = ""
 724       if document.body[i].find("\\hspace*{}") != -1:
 725           protected = "*"
 726       # only revert if the length contains a plus or minus at pos != 0
 727       if length.find('-',1) != -1 or length.find('+',1) != -1:
 728           # handle percent lengths
 729           length = latex_length(length)[1]
 730           # revert the HSpace inset to ERT
 731           subst = put_cmd_in_ert("\\hspace" + protected + "{" + length + "}")
 732           document.body[i:j+1] = subst
 733       i = j
 734
 735
 736 def convert_author_id(document):
 737     " Add the author_id to the \\author definition and make sure 0 is not used"
 738     i = 0
 739     anum = 1
 740     re_author = re.compile(r'(\\author) (\".*\")\s*(.*)$')
 741
 742     while True:
 743         i = find_token(document.header, "\\author", i)
 744         if i == -1:
 745             break
 746         m = re_author.match(document.header[i])
 747         if m:
 748             name = m.group(2)
 749             email = m.group(3)
 750             document.header[i] = "\\author %i %s %s" % (anum, name, email)
 751         # FIXME Should this really be incremented if we didn't match?
 752         anum += 1
 753         i += 1
 754
 755     i = 0
 756     while True:
 757         i = find_token(document.body, "\\change_", i)
 758         if i == -1:
 759             break
 760         change = document.body[i].split(' ');
 761         if len(change) == 3:
 762             type = change[0]
 763             author_id = int(change[1])
 764             time = change[2]
 765             document.body[i] = "%s %i %s" % (type, author_id + 1, time)
 766         i += 1
 767
 768
 769 def revert_author_id(document):
 770     " Remove the author_id from the \\author definition "
 771     i = 0
 772     anum = 0
 773     rx = re.compile(r'(\\author)\s+(\d+)\s+(\".*\")\s*(.*)$')
 774     idmap = dict()
 775
 776     while True:
 777         i = find_token(document.header, "\\author", i)
 778         if i == -1:
 779             break
 780         m = rx.match(document.header[i])
 781         if m:
 782             author_id = int(m.group(2))
 783             idmap[author_id] = anum
 784             name = m.group(3)
 785             email = m.group(4)
 786             document.header[i] = "\\author %s %s" % (name, email)
 787         i += 1
 788         # FIXME Should this be incremented if we didn't match?
 789         anum += 1
 790
 791     i = 0
 792     while True:
 793         i = find_token(document.body, "\\change_", i)
 794         if i == -1:
 795             break
 796         change = document.body[i].split(' ');
 797         if len(change) == 3:
 798             type = change[0]
 799             author_id = int(change[1])
 800             time = change[2]
 801             document.body[i] = "%s %i %s" % (type, idmap[author_id], time)
 802         i += 1
 803
 804
 805 def revert_suppress_date(document):
 806     " Revert suppressing of default document date to preamble code "
 807     i = find_token(document.header, "\\suppress_date", 0)
 808     if i == -1:
 809         return
 810     # remove the preamble line and write to the preamble
 811     # when suppress_date was true
 812     date = get_value(document.header, "\\suppress_date", i)
 813     if date == "true":
 814         add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
 815         add_to_preamble(document, ["\\date{}"])
 816     del document.header[i]
 817
 818
 819 def revert_mhchem(document):
 820     "Revert mhchem loading to preamble code"
 821
 822     mhchem = "off"
 823     i = find_token(document.header, "\\use_mhchem", 0)
 824     if i == -1:
 825         document.warning("Malformed LyX document: Could not find mhchem setting.")
 826         mhchem = "auto"
 827     else:
 828         val = get_value(document.header, "\\use_mhchem", i)
 829         if val == "1":
 830             mhchem = "auto"
 831         elif val == "2":
 832             mhchem = "on"
 833         del document.header[i]
 834
 835     if mhchem == "auto":
 836         i = 0
 837         while True:
 838             i = find_token(document.body, "\\begin_inset Formula", i)
 839             if i == -1:
 840                break
 841             line = document.body[i]
 842             if line.find("\\ce{") != -1 or line.find("\\cf{") != 1:
 843               mhchem = "on"
 844               break
 845             i += 1
 846
 847     if mhchem == "on":
 848         pre = ["% lyx2lyx mhchem commands",
 849           "\\PassOptionsToPackage{version=3}{mhchem}",
 850           "\\usepackage{mhchem}"]
 851         add_to_preamble(document, pre)
 852
 853
 854 def revert_fontenc(document):
 855     " Remove fontencoding param "
 856     i = find_token(document.header, '\\fontencoding', 0)
 857     if i == -1:
 858         document.warning("Malformed LyX document: Missing \\fontencoding.")
 859         return
 860     del document.header[i]
 861
 862
 863 def merge_gbrief(document):
 864     " Merge g-brief-en and g-brief-de to one class "
 865
 866     if document.textclass != "g-brief-de":
 867         if document.textclass == "g-brief-en":
 868             document.textclass = "g-brief"
 869             document.set_textclass()
 870         return
 871
 872     obsoletedby = { "Brieftext":       "Letter",
 873                     "Unterschrift":    "Signature",
 874                     "Strasse":         "Street",
 875                     "Zusatz":          "Addition",
 876                     "Ort":             "Town",
 877                     "Land":            "State",
 878                     "RetourAdresse":   "ReturnAddress",
 879                     "MeinZeichen":     "MyRef",
 880                     "IhrZeichen":      "YourRef",
 881                     "IhrSchreiben":    "YourMail",
 882                     "Telefon":         "Phone",
 883                     "BLZ":             "BankCode",
 884                     "Konto":           "BankAccount",
 885                     "Postvermerk":     "PostalComment",
 886                     "Adresse":         "Address",
 887                     "Datum":           "Date",
 888                     "Betreff":         "Reference",
 889                     "Anrede":          "Opening",
 890                     "Anlagen":         "Encl.",
 891                     "Verteiler":       "cc",
 892                     "Gruss":           "Closing"}
 893     i = 0
 894     while 1:
 895         i = find_token(document.body, "\\begin_layout", i)
 896         if i == -1:
 897             break
 898
 899         layout = document.body[i][14:]
 900         if layout in obsoletedby:
 901             document.body[i] = "\\begin_layout " + obsoletedby[layout]
 902
 903         i += 1
 904
 905     document.textclass = "g-brief"
 906     document.set_textclass()
 907
 908
 909 def revert_gbrief(document):
 910     " Revert g-brief to g-brief-en "
 911     if document.textclass == "g-brief":
 912         document.textclass = "g-brief-en"
 913         document.set_textclass()
 914
 915
 916 def revert_html_options(document):
 917     " Remove html options "
 918     i = find_token(document.header, '\\html_use_mathml', 0)
 919     if i != -1:
 920         del document.header[i]
 921     i = find_token(document.header, '\\html_be_strict', 0)
 922     if i != -1:
 923         del document.header[i]
 924
 925
 926 def revert_includeonly(document):
 927     i = 0
 928     while True:
 929         i = find_token(document.header, "\\begin_includeonly", i)
 930         if i == -1:
 931             return
 932         j = find_end_of(document.header, i, "\\begin_includeonly", "\\end_includeonly")
 933         if j == -1:
 934             document.warning("Unable to find end of includeonly section!!")
 935             break
 936         document.header[i : j + 1] = []
 937
 938
 939 def revert_includeall(document):
 940     " Remove maintain_unincluded_children param "
 941     i = find_token(document.header, '\\maintain_unincluded_children', 0)
 942     if i != -1:
 943         del document.header[i]
 944
 945
 946 def revert_multirow(document):
 947     " Revert multirow cells in tables to TeX-code"
 948     i = 0
 949     multirow = False
 950     while True:
 951       # cell type 3 is multirow begin cell
 952       i = find_token(document.body, '<cell multirow="3"', i)
 953       if i == -1:
 954           break
 955       # a multirow cell was found
 956       multirow = True
 957       # remove the multirow tag, set the valignment to top
 958       # and remove the bottom line
 959       # FIXME Are we sure these always have space around them?
 960       document.body[i] = document.body[i].replace(' multirow="3" ', ' ')
 961       document.body[i] = document.body[i].replace('valignment="middle"', 'valignment="top"')
 962       document.body[i] = document.body[i].replace(' bottomline="true" ', ' ')
 963       # write ERT to create the multirow cell
 964       # use 2 rows and 2cm as default with because the multirow span
 965       # and the column width is only hardly accessible
 966       cend = find_token(document.body, "</cell>", i)
 967       if cend == -1:
 968           document.warning("Malformed LyX document: Could not find end of tabular cell.")
 969           i += 1
 970           continue
 971       blay = find_token(document.body, "\\begin_layout", i, cend)
 972       if blay == -1:
 973           document.warning("Can't find layout for cell!")
 974           i = j
 975           continue
 976       bend = find_end_of_layout(document.body, blay)
 977       if blay == -1:
 978           document.warning("Can't find end of layout for cell!")
 979           i = cend
 980           continue
 981
 982       # do the later one first, so as not to mess up the numbering
 983       # we are wrapping the whole cell in this ert
 984       # so before the end of the layout...
 985       document.body[bend:bend] = put_cmd_in_ert("}")
 986       # ...and after the beginning
 987       document.body[blay+1:blay+1] = put_cmd_in_ert("\\multirow{2}{2cm}{")
 988
 989       while True:
 990           # cell type 4 is multirow part cell
 991           k = find_token(document.body, '<cell multirow="4"', cend)
 992           if k == -1:
 993               break
 994           # remove the multirow tag, set the valignment to top
 995           # and remove the top line
 996           # FIXME Are we sure these always have space around them?
 997           document.body[k] = document.body[k].replace(' multirow="4" ', ' ')
 998           document.body[k] = document.body[k].replace('valignment="middle"', 'valignment="top"')
 999           document.body[k] = document.body[k].replace(' topline="true" ', ' ')
1000           k += 1
1001       # this will always be ok
1002       i = cend
1003
1004     if multirow == True:
1005         add_to_preamble(document,
1006           ["% lyx2lyx multirow additions ", "\\usepackage{multirow}"])
1007
1008
1009 def convert_math_output(document):
1010     " Convert \html_use_mathml to \html_math_output "
1011     i = find_token(document.header, "\\html_use_mathml", 0)
1012     if i == -1:
1013         return
1014     rgx = re.compile(r'\\html_use_mathml\s+(\w+)')
1015     m = rgx.match(document.header[i])
1016     newval = "0" # MathML
1017     if m:
1018       val = m.group(1)
1019       if val != "true":
1020         newval = "2" # Images
1021     else:
1022       document.warning("Can't match " + document.header[i])
1023     document.header[i] = "\\html_math_output " + newval
1024
1025
1026 def revert_math_output(document):
1027     " Revert \html_math_output to \html_use_mathml "
1028     i = find_token(document.header, "\\html_math_output", 0)
1029     if i == -1:
1030         return
1031     rgx = re.compile(r'\\html_math_output\s+(\d)')
1032     m = rgx.match(document.header[i])
1033     newval = "true"
1034     if m:
1035         val = m.group(1)
1036         if val == "1" or val == "2":
1037             newval = "false"
1038     else:
1039         document.warning("Unable to match " + document.header[i])
1040     document.header[i] = "\\html_use_mathml " + newval
1041
1042
1043
1044 def revert_inset_preview(document):
1045     " Dissolves the preview inset "
1046     i = 0
1047     while True:
1048       i = find_token(document.body, "\\begin_inset Preview", i)
1049       if i == -1:
1050           return
1051       iend = find_end_of_inset(document.body, i)
1052       if iend == -1:
1053           document.warning("Malformed LyX document: Could not find end of Preview inset.")
1054           i += 1
1055           continue
1056
1057       # This has several issues.
1058       # We need to do something about the layouts inside InsetPreview.
1059       # If we just leave the first one, then we have something like:
1060       # \begin_layout Standard
1061       # ...
1062       # \begin_layout Standard
1063       # and we get a "no \end_layout" error. So something has to be done.
1064       # Ideally, we would check if it is the same as the layout we are in.
1065       # If so, we just remove it; if not, we end the active one. But it is
1066       # not easy to know what layout we are in, due to depth changes, etc,
1067       # and it is not clear to me how much work it is worth doing. In most
1068       # cases, the layout will probably be the same.
1069       #
1070       # For the same reason, we have to remove the \end_layout tag at the
1071       # end of the last layout in the inset. Again, that will sometimes be
1072       # wrong, but it will usually be right. To know what to do, we would
1073       # again have to know what layout the inset is in.
1074
1075       blay = find_token(document.body, "\\begin_layout", i, iend)
1076       if blay == -1:
1077           document.warning("Can't find layout for preview inset!")
1078           # always do the later one first...
1079           del document.body[iend]
1080           del document.body[i]
1081           # deletions mean we do not need to reset i
1082           continue
1083
1084       # This is where we would check what layout we are in.
1085       # The check for Standard is definitely wrong.
1086       #
1087       # lay = document.body[blay].split(None, 1)[1]
1088       # if lay != oldlayout:
1089       #     # record a boolean to tell us what to do later....
1090       #     # better to do it later, since (a) it won't mess up
1091       #     # the numbering and (b) we only modify at the end.
1092
1093       # we want to delete the last \\end_layout in this inset, too.
1094       # note that this may not be the \\end_layout that goes with blay!!
1095       bend = find_end_of_layout(document.body, blay)
1096       while True:
1097           tmp = find_token(document.body, "\\end_layout", bend + 1, iend)
1098           if tmp == -1:
1099               break
1100           bend = tmp
1101       if bend == blay:
1102           document.warning("Unable to find last layout in preview inset!")
1103           del document.body[iend]
1104           del document.body[i]
1105           # deletions mean we do not need to reset i
1106           continue
1107       # always do the later one first...
1108       del document.body[iend]
1109       del document.body[bend]
1110       del document.body[i:blay + 1]
1111       # we do not need to reset i
1112
1113
1114 def revert_equalspacing_xymatrix(document):
1115     " Revert a Formula with xymatrix@! to an ERT inset "
1116     i = 0
1117     has_preamble = False
1118     has_equal_spacing = False
1119
1120     while True:
1121       i = find_token(document.body, "\\begin_inset Formula", i)
1122       if i == -1:
1123           break
1124       j = find_end_of_inset(document.body, i)
1125       if j == -1:
1126           document.warning("Malformed LyX document: Could not find end of Formula inset.")
1127           i += 1
1128           continue
1129
1130       for curline in range(i,j):
1131           found = document.body[curline].find("\\xymatrix@!")
1132           if found != -1:
1133               break
1134
1135       if found != -1:
1136           has_equal_spacing = True
1137           content = [document.body[i][21:]]
1138           content += document.body[i + 1:j]
1139           subst = put_cmd_in_ert(content)
1140           document.body[i:j + 1] = subst
1141           i += len(subst) - (j - i) + 1
1142       else:
1143           for curline in range(i,j):
1144               l = document.body[curline].find("\\xymatrix")
1145               if l != -1:
1146                   has_preamble = True;
1147                   break;
1148           i = j + 1
1149
1150     if has_equal_spacing and not has_preamble:
1151         add_to_preamble(document, ['% lyx2lyx xymatrix addition', '\\usepackage[all]{xy}'])
1152
1153
1154 def revert_notefontcolor(document):
1155     " Reverts greyed-out note font color to preamble code "
1156
1157     i = find_token(document.header, "\\notefontcolor", 0)
1158     if i == -1:
1159         return
1160
1161     # are there any grey notes?
1162     if find_token(document.body, "\\begin_inset Note Greyedout", 0) == -1:
1163         # no need to do anything, and \renewcommand will throw an error
1164         # since lyxgreyedout will not exist.
1165         return
1166
1167     colorcode = get_value(document.header, '\\notefontcolor', i)
1168     del document.header[i]
1169     # the color code is in the form #rrggbb where every character denotes a hex number
1170     red = hex2ratio(colorcode[1:3])
1171     green = hex2ratio(colorcode[3:5])
1172     blue = hex2ratio(colorcode[5:7])
1173     # write the preamble
1174     insert_to_preamble(0, document,
1175       ['% Commands inserted by lyx2lyx to set the font color',
1176         '% for greyed-out notes',
1177         '\\@ifundefined{definecolor}{\\usepackage{color}}{}'
1178         '\\definecolor{note_fontcolor}{rgb}{%s,%s,%s}' % (red, green, blue),
1179         '\\renewenvironment{lyxgreyedout}',
1180         ' {\\textcolor{note_fontcolor}\\bgroup}{\\egroup}'])
1181
1182
1183 def revert_turkmen(document):
1184     "Set language Turkmen to English"
1185
1186     if document.language == "turkmen":
1187         document.language = "english"
1188         i = find_token(document.header, "\\language", 0)
1189         if i != -1:
1190             document.header[i] = "\\language english"
1191
1192     j = 0
1193     while True:
1194         j = find_token(document.body, "\\lang turkmen", j)
1195         if j == -1:
1196             return
1197         document.body[j] = document.body[j].replace("\\lang turkmen", "\\lang english")
1198         j += 1
1199
1200
1201 def revert_fontcolor(document):
1202     " Reverts font color to preamble code "
1203     i = find_token(document.header, "\\fontcolor", 0)
1204     if i == -1:
1205         return
1206     colorcode = get_value(document.header, '\\fontcolor', i)
1207     del document.header[i]
1208     # don't clutter the preamble if font color is not set
1209     if colorcode == "#000000":
1210         return
1211     # the color code is in the form #rrggbb where every character denotes a hex number
1212     red = hex2ratio(colorcode[1:3])
1213     green = hex2ratio(colorcode[3:5])
1214     blue = hex2ratio(colorcode[5:7])
1215     # write the preamble
1216     insert_to_preamble(0, document,
1217       ['% Commands inserted by lyx2lyx to set the font color',
1218       '\\@ifundefined{definecolor}{\\usepackage{color}}{}',
1219       '\\definecolor{document_fontcolor}{rgb}{%s,%s,%s}' % (red, green, blue),
1220       '\\color{document_fontcolor}'])
1221
1222
1223 def revert_shadedboxcolor(document):
1224     " Reverts shaded box color to preamble code "
1225     i = find_token(document.header, "\\boxbgcolor", 0)
1226     if i == -1:
1227         return
1228     colorcode = get_value(document.header, '\\boxbgcolor', i)
1229     del document.header[i]
1230     # the color code is in the form #rrggbb
1231     red = hex2ratio(colorcode[1:3])
1232     green = hex2ratio(colorcode[3:5])
1233     blue = hex2ratio(colorcode[5:7])
1234     # write the preamble
1235     insert_to_preamble(0, document,
1236       ['% Commands inserted by lyx2lyx to set the color of boxes with shaded background',
1237       '\\@ifundefined{definecolor}{\\usepackage{color}}{}',
1238       "\\definecolor{shadecolor}{rgb}{%s,%s,%s}" % (red, green, blue)])
1239
1240
1241 def revert_lyx_version(document):
1242     " Reverts LyX Version information from Inset Info "
1243     version = "LyX version"
1244     try:
1245         import lyx2lyx_version
1246         version = lyx2lyx_version.version
1247     except:
1248         pass
1249
1250     i = 0
1251     while 1:
1252         i = find_token(document.body, '\\begin_inset Info', i)
1253         if i == -1:
1254             return
1255         j = find_end_of_inset(document.body, i + 1)
1256         if j == -1:
1257             document.warning("Malformed LyX document: Could not find end of Info inset.")
1258             i += 1
1259             continue
1260
1261         # We expect:
1262         # \begin_inset Info
1263         # type  "lyxinfo"
1264         # arg   "version"
1265         # \end_inset
1266         # but we shall try to be forgiving.
1267         arg = typ = ""
1268         for k in range(i, j):
1269             if document.body[k].startswith("arg"):
1270                 arg = document.body[k][3:].strip().strip('"')
1271             if document.body[k].startswith("type"):
1272                 typ = document.body[k][4:].strip().strip('"')
1273         if arg != "version" or typ != "lyxinfo":
1274             i = j + 1
1275             continue
1276
1277         # We do not actually know the version of LyX used to produce the document.
1278         # But we can use our version, since we are reverting.
1279         s = [version]
1280         # Now we want to check if the line after "\end_inset" is empty. It normally
1281         # is, so we want to remove it, too.
1282         lastline = j + 1
1283         if document.body[j + 1].strip() == "":
1284             lastline = j + 2
1285         document.body[i: lastline] = s
1286         i = i + 1
1287
1288
1289 def revert_math_scale(document):
1290   " Remove math scaling and LaTeX options "
1291   i = find_token(document.header, '\\html_math_img_scale', 0)
1292   if i != -1:
1293     del document.header[i]
1294   i = find_token(document.header, '\\html_latex_start', 0)
1295   if i != -1:
1296     del document.header[i]
1297   i = find_token(document.header, '\\html_latex_end', 0)
1298   if i != -1:
1299     del document.header[i]
1300
1301
1302 def revert_pagesizes(document):
1303   " Revert page sizes to default "
1304   i = find_token(document.header, '\\papersize', 0)
1305   if i != -1:
1306     size = document.header[i][11:]
1307     if size == "a0paper" or size == "a1paper" or size == "a2paper" \
1308     or size == "a6paper" or size == "b0paper" or size == "b1paper" \
1309     or size == "b2paper" or size == "b6paper" or size == "b0j" \
1310     or size == "b1j" or size == "b2j" or size == "b3j" or size == "b4j" \
1311     or size == "b5j" or size == "b6j":
1312       del document.header[i]
1313
1314
1315 def revert_DIN_C_pagesizes(document):
1316   " Revert DIN C page sizes to default "
1317   i = find_token(document.header, '\\papersize', 0)
1318   if i != -1:
1319     size = document.header[i][11:]
1320     if size == "c0paper" or size == "c1paper" or size == "c2paper" \
1321     or size == "c3paper" or size == "c4paper" or size == "c5paper" \
1322     or size == "c6paper":
1323       del document.header[i]
1324
1325
1326 def convert_html_quotes(document):
1327   " Remove quotes around html_latex_start and html_latex_end "
1328
1329   i = find_token(document.header, '\\html_latex_start', 0)
1330   if i != -1:
1331     line = document.header[i]
1332     l = re.compile(r'\\html_latex_start\s+"(.*)"')
1333     m = l.match(line)
1334     if m:
1335       document.header[i] = "\\html_latex_start " + m.group(1)
1336
1337   i = find_token(document.header, '\\html_latex_end', 0)
1338   if i != -1:
1339     line = document.header[i]
1340     l = re.compile(r'\\html_latex_end\s+"(.*)"')
1341     m = l.match(line)
1342     if m:
1343       document.header[i] = "\\html_latex_end " + m.group(1)
1344
1345
1346 def revert_html_quotes(document):
1347   " Remove quotes around html_latex_start and html_latex_end "
1348
1349   i = find_token(document.header, '\\html_latex_start', 0)
1350   if i != -1:
1351     line = document.header[i]
1352     l = re.compile(r'\\html_latex_start\s+(.*)')
1353     m = l.match(line)
1354     if not m:
1355         document.warning("Weird html_latex_start line: " + line)
1356         del document.header[i]
1357     else:
1358         document.header[i] = "\\html_latex_start \"" + m.group(1) + "\""
1359
1360   i = find_token(document.header, '\\html_latex_end', 0)
1361   if i != -1:
1362     line = document.header[i]
1363     l = re.compile(r'\\html_latex_end\s+(.*)')
1364     m = l.match(line)
1365     if not m:
1366         document.warning("Weird html_latex_end line: " + line)
1367         del document.header[i]
1368     else:
1369         document.header[i] = "\\html_latex_end \"" + m.group(1) + "\""
1370
1371
1372 def revert_output_sync(document):
1373   " Remove forward search options "
1374   i = find_token(document.header, '\\output_sync_macro', 0)
1375   if i != -1:
1376     del document.header[i]
1377   i = find_token(document.header, '\\output_sync', 0)
1378   if i != -1:
1379     del document.header[i]
1380
1381
1382 def convert_beamer_args(document):
1383   " Convert ERT arguments in Beamer to InsetArguments "
1384
1385   if document.textclass != "beamer" and document.textclass != "article-beamer":
1386     return
1387
1388   layouts = ("Block", "ExampleBlock", "AlertBlock")
1389   for layout in layouts:
1390     blay = 0
1391     while True:
1392       blay = find_token(document.body, '\\begin_layout ' + layout, blay)
1393       if blay == -1:
1394         break
1395       elay = find_end_of(document.body, blay, '\\begin_layout', '\\end_layout')
1396       if elay == -1:
1397         document.warning("Malformed LyX document: Can't find end of " + layout + " layout.")
1398         blay += 1
1399         continue
1400       bert = find_token(document.body, '\\begin_inset ERT', blay)
1401       if bert == -1:
1402         document.warning("Malformed Beamer LyX document: Can't find argument of " + layout + " layout.")
1403         blay = elay + 1
1404         continue
1405       eert = find_end_of_inset(document.body, bert)
1406       if eert == -1:
1407         document.warning("Malformed LyX document: Can't find end of ERT.")
1408         blay = elay + 1
1409         continue
1410
1411       # So the ERT inset begins at line k and goes to line l. We now wrap it in
1412       # an argument inset.
1413       # Do the end first, so as not to mess up the variables.
1414       document.body[eert + 1:eert + 1] = ['', '\\end_layout', '', '\\end_inset', '']
1415       document.body[bert:bert] = ['\\begin_inset OptArg', 'status open', '',
1416           '\\begin_layout Plain Layout']
1417       blay = elay + 9
1418
1419
1420 def revert_beamer_args(document):
1421   " Revert Beamer arguments to ERT "
1422
1423   if document.textclass != "beamer" and document.textclass != "article-beamer":
1424     return
1425
1426   layouts = ("Block", "ExampleBlock", "AlertBlock")
1427   for layout in layouts:
1428     blay = 0
1429     while True:
1430       blay = find_token(document.body, '\\begin_layout ' + layout, blay)
1431       if blay == -1:
1432         break
1433       elay = find_end_of(document.body, blay, '\\begin_layout', '\\end_layout')
1434       if elay == -1:
1435         document.warning("Malformed LyX document: Can't find end of " + layout + " layout.")
1436         blay += 1
1437         continue
1438       bopt = find_token(document.body, '\\begin_inset OptArg', blay)
1439       if bopt == -1:
1440         # it is legal not to have one of these
1441         blay = elay + 1
1442         continue
1443       eopt = find_end_of_inset(document.body, bopt)
1444       if eopt == -1:
1445         document.warning("Malformed LyX document: Can't find end of argument.")
1446         blay = elay + 1
1447         continue
1448       bplay = find_token(document.body, '\\begin_layout Plain Layout', blay)
1449       if bplay == -1:
1450         document.warning("Malformed LyX document: Can't find plain layout.")
1451         blay = elay + 1
1452         continue
1453       eplay = find_end_of(document.body, bplay, '\\begin_layout', '\\end_layout')
1454       if eplay == -1:
1455         document.warning("Malformed LyX document: Can't find end of plain layout.")
1456         blay = elay + 1
1457         continue
1458       # So the content of the argument inset goes from bplay + 1 to eplay - 1
1459       bcont = bplay + 1
1460       if bcont >= eplay:
1461         # Hmm.
1462         document.warning(str(bcont) + " " + str(eplay))
1463         blay = blay + 1
1464         continue
1465       # we convert the content of the argument into pure LaTeX...
1466       content = lyx2latex(document, document.body[bcont:eplay])
1467       strlist = put_cmd_in_ert(["{" + content + "}"])
1468
1469       # now replace the optional argument with the ERT
1470       document.body[bopt:eopt + 1] = strlist
1471       blay = blay + 1
1472
1473
1474 def revert_align_decimal(document):
1475   l = 0
1476   while True:
1477     l = document.body[l].find('alignment=decimal')
1478     if l == -1:
1479         break
1480     remove_option(document, l, 'decimal_point')
1481     document.body[l].replace('decimal', 'center')
1482
1483
1484 def convert_optarg(document):
1485   " Convert \\begin_inset OptArg to \\begin_inset Argument "
1486   i = 0
1487   while 1:
1488     i = find_token(document.body, '\\begin_inset OptArg', i)
1489     if i == -1:
1490       return
1491     document.body[i] = "\\begin_inset Argument"
1492     i += 1
1493
1494
1495 def revert_argument(document):
1496   " Convert \\begin_inset Argument to \\begin_inset OptArg "
1497   i = 0
1498   while 1:
1499     i = find_token(document.body, '\\begin_inset Argument', i)
1500     if i == -1:
1501       return
1502     document.body[i] = "\\begin_inset OptArg"
1503     i += 1
1504
1505
1506 def revert_makebox(document):
1507   " Convert \\makebox to TeX code "
1508   i = 0
1509   while 1:
1510     # only revert frameless boxes without an inner box
1511     i = find_token(document.body, '\\begin_inset Box Frameless', i)
1512     if i == -1:
1513       # remove the option use_makebox
1514       revert_use_makebox(document)
1515       return
1516     z = find_end_of_inset(document.body, i)
1517     if z == -1:
1518       document.warning("Malformed LyX document: Can't find end of box inset.")
1519       return
1520     j = find_token(document.body, 'use_makebox 1', i)
1521     # assure we found the makebox of the current box
1522     if j < z and j != -1:
1523       y = find_token(document.body, "\\begin_layout", i)
1524       if y > z or y == -1:
1525         document.warning("Malformed LyX document: Can't find layout in box.")
1526         return
1527       # remove the \end_layout \end_inset pair
1528       document.body[z - 2:z + 1] = put_cmd_in_ert("}")
1529       # determine the alignment
1530       k = find_token(document.body, 'hor_pos', j - 4)
1531       align = document.body[k][9]
1532       # determine the width
1533       l = find_token(document.body, 'width "', j + 1)
1534       length = document.body[l][7:]
1535       # remove trailing '"'
1536       length = length[:-1]
1537       length = latex_length(length)[1]
1538       subst = "\\makebox[" + length + "][" \
1539         + align + "]{"
1540       document.body[i:y + 1] = put_cmd_in_ert(subst)
1541     i += 1
1542
1543
1544 def revert_use_makebox(document):
1545   " Deletes use_makebox option of boxes "
1546   h = 0
1547   while 1:
1548     # remove the option use_makebox
1549     h = find_token(document.body, 'use_makebox', 0)
1550     if h == -1:
1551       return
1552     del document.body[h]
1553     h += 1
1554
1555
1556 def convert_use_makebox(document):
1557   " Adds use_makebox option for boxes "
1558   i = 0
1559   while 1:
1560     # remove the option use_makebox
1561     i = find_token(document.body, '\\begin_inset Box', i)
1562     if i == -1:
1563       return
1564     k = find_token(document.body, 'use_parbox', i)
1565     if k == -1:
1566       document.warning("Malformed LyX document: Can't find use_parbox statement in box.")
1567       return
1568     document.body.insert(k + 1, "use_makebox 0")
1569     i = k + 1
1570
1571
1572 def revert_IEEEtran(document):
1573   " Convert IEEEtran layouts and styles to TeX code "
1574   if document.textclass != "IEEEtran":
1575     return
1576   revert_flex_inset(document, "IEEE membership", "\\IEEEmembership", 0)
1577   revert_flex_inset(document, "Lowercase", "\\MakeLowercase", 0)
1578   layouts = ("Special Paper Notice", "After Title Text", "Publication ID",
1579              "Page headings", "Biography without photo")
1580   latexcmd = {"Special Paper Notice": "\\IEEEspecialpapernotice",
1581               "After Title Text":     "\\IEEEaftertitletext",
1582               "Publication ID":       "\\IEEEpubid"}
1583   obsoletedby = {"Page headings":            "MarkBoth",
1584                  "Biography without photo":  "BiographyNoPhoto"}
1585   for layout in layouts:
1586     i = 0
1587     while True:
1588         i = find_token(document.body, '\\begin_layout ' + layout, i)
1589         if i == -1:
1590           break
1591         j = find_end_of(document.body, i, '\\begin_layout', '\\end_layout')
1592         if j == -1:
1593           document.warning("Malformed LyX document: Can't find end of " + layout + " layout.")
1594           i += 1
1595           continue
1596         if layout in obsoletedby:
1597           document.body[i] = "\\begin_layout " + obsoletedby[layout]
1598           i = j
1599         else:
1600           content = lyx2latex(document, document.body[i:j + 1])
1601           add_to_preamble(document, [latexcmd[layout] + "{" + content + "}"])
1602           del document.body[i:j + 1]
1603
1604
1605 def convert_prettyref(document):
1606         " Converts prettyref references to neutral formatted refs "
1607         re_ref = re.compile("^\s*reference\s+\"(\w+):(\S+)\"")
1608         nm_ref = re.compile("^\s*name\s+\"(\w+):(\S+)\"")
1609
1610         i = 0
1611         while True:
1612                 i = find_token(document.body, "\\begin_inset CommandInset ref", i)
1613                 if i == -1:
1614                         break
1615                 j = find_end_of_inset(document.body, i)
1616                 if j == -1:
1617                         document.warning("Malformed LyX document: No end of InsetRef!")
1618                         i += 1
1619                         continue
1620                 k = find_token(document.body, "LatexCommand prettyref", i)
1621                 if k != -1 and k < j:
1622                         document.body[k] = "LatexCommand formatted"
1623                 i = j + 1
1624         document.header.insert(-1, "\\use_refstyle 0")
1625
1626
1627 def revert_refstyle(document):
1628         " Reverts neutral formatted refs to prettyref "
1629         re_ref = re.compile("^reference\s+\"(\w+):(\S+)\"")
1630         nm_ref = re.compile("^\s*name\s+\"(\w+):(\S+)\"")
1631
1632         i = 0
1633         while True:
1634                 i = find_token(document.body, "\\begin_inset CommandInset ref", i)
1635                 if i == -1:
1636                         break
1637                 j = find_end_of_inset(document.body, i)
1638                 if j == -1:
1639                         document.warning("Malformed LyX document: No end of InsetRef")
1640                         i += 1
1641                         continue
1642                 k = find_token(document.body, "LatexCommand formatted", i)
1643                 if k != -1 and k < j:
1644                         document.body[k] = "LatexCommand prettyref"
1645                 i = j + 1
1646         i = find_token(document.header, "\\use_refstyle", 0)
1647         if i != -1:
1648                 document.header.pop(i)
1649
1650
1651 def revert_nameref(document):
1652   " Convert namerefs to regular references "
1653   cmds = ["Nameref", "nameref"]
1654   foundone = False
1655   rx = re.compile(r'reference "(.*)"')
1656   for cmd in cmds:
1657     i = 0
1658     oldcmd = "LatexCommand " + cmd
1659     while 1:
1660       # It seems better to look for this, as most of the reference
1661       # insets won't be ones we care about.
1662       i = find_token(document.body, oldcmd, i)
1663       if i == -1:
1664         break
1665       cmdloc = i
1666       i += 1
1667       # Make sure it is actually in an inset!
1668       # We could just check document.lines[i-1], but that relies
1669       # upon something that might easily change.
1670       # We'll look back a few lines.
1671       stins = cmdloc - 10
1672       if stins < 0:
1673         stins = 0
1674       stins = find_token(document.body, "\\begin_inset CommandInset ref", stins)
1675       if stins == -1 or stins > cmdloc:
1676         continue
1677       endins = find_end_of_inset(document.body, stins)
1678       if endins == -1:
1679         document.warning("Can't find end of inset at line " + stins + "!!")
1680         continue
1681       if endins < cmdloc:
1682         continue
1683       refline = find_token(document.body, "reference", stins)
1684       if refline == -1 or refline > endins:
1685         document.warning("Can't find reference for inset at line " + stinst + "!!")
1686         continue
1687       m = rx.match(document.body[refline])
1688       if not m:
1689         document.warning("Can't match reference line: " + document.body[ref])
1690         continue
1691       foundone = True
1692       ref = m.group(1)
1693       newcontent = ['\\begin_inset ERT', 'status collapsed', '', \
1694         '\\begin_layout Plain Layout', '', '\\backslash', \
1695         cmd + '{' + ref + '}', '\\end_layout', '', '\\end_inset']
1696       document.body[stins:endins + 1] = newcontent
1697   if foundone:
1698     add_to_preamble(document, "\usepackage{nameref}")
1699
1700
1701 def remove_Nameref(document):
1702   " Convert Nameref commands to nameref commands "
1703   i = 0
1704   while 1:
1705     # It seems better to look for this, as most of the reference
1706     # insets won't be ones we care about.
1707     i = find_token(document.body, "LatexCommand Nameref" , i)
1708     if i == -1:
1709       break
1710     cmdloc = i
1711     i += 1
1712
1713     # Make sure it is actually in an inset!
1714     # We could just check document.lines[i-1], but that relies
1715     # upon something that might easily change.
1716     # We'll look back a few lines.
1717     stins = cmdloc - 10
1718     if stins < 0:
1719       stins = 0
1720     stins = find_token(document.body, "\\begin_inset CommandInset ref", stins)
1721     if stins == -1 or stins > cmdloc:
1722       continue
1723     endins = find_end_of_inset(document.body, stins)
1724     if endins == -1:
1725       document.warning("Can't find end of inset at line " + stins + "!!")
1726       continue
1727     if endins < cmdloc:
1728       continue
1729     document.body[cmdloc] = "LatexCommand nameref"
1730
1731
1732 def revert_mathrsfs(document):
1733     " Load mathrsfs if \mathrsfs us use in the document "
1734     i = 0
1735     end = len(document.body) - 1
1736     while True:
1737       j = document.body[i].find("\\mathscr{")
1738       if j != -1:
1739         add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
1740         add_to_preamble(document, ["\\usepackage{mathrsfs}"])
1741         break
1742       if i == end:
1743         break
1744       i += 1
1745
1746
1747 def convert_flexnames(document):
1748     "Convert \\begin_inset Flex Custom:Style to \\begin_inset Flex Style and similarly for CharStyle and Element."
1749
1750     i = 0
1751     rx = re.compile(r'^\\begin_inset Flex (?:Custom|CharStyle|Element):(.+)$')
1752     while True:
1753       i = find_token(document.body, "\\begin_inset Flex", i)
1754       if i == -1:
1755         return
1756       m = rx.match(document.body[i])
1757       if m:
1758         document.body[i] = "\\begin_inset Flex " + m.group(1)
1759       i += 1
1760
1761
1762 flex_insets = [
1763   ["Alert", "CharStyle:Alert"],
1764   ["Code", "CharStyle:Code"],
1765   ["Concepts", "CharStyle:Concepts"],
1766   ["E-Mail", "CharStyle:E-Mail"],
1767   ["Emph", "CharStyle:Emph"],
1768   ["Expression", "CharStyle:Expression"],
1769   ["Initial", "CharStyle:Initial"],
1770   ["Institute", "CharStyle:Institute"],
1771   ["Meaning", "CharStyle:Meaning"],
1772   ["Noun", "CharStyle:Noun"],
1773   ["Strong", "CharStyle:Strong"],
1774   ["Structure", "CharStyle:Structure"],
1775   ["ArticleMode", "Custom:ArticleMode"],
1776   ["Endnote", "Custom:Endnote"],
1777   ["Glosse", "Custom:Glosse"],
1778   ["PresentationMode", "Custom:PresentationMode"],
1779   ["Tri-Glosse", "Custom:Tri-Glosse"]
1780 ]
1781
1782 flex_elements = [
1783   ["Abbrev", "Element:Abbrev"],
1784   ["CCC-Code", "Element:CCC-Code"],
1785   ["Citation-number", "Element:Citation-number"],
1786   ["City", "Element:City"],
1787   ["Code", "Element:Code"],
1788   ["CODEN", "Element:CODEN"],
1789   ["Country", "Element:Country"],
1790   ["Day", "Element:Day"],
1791   ["Directory", "Element:Directory"],
1792   ["Dscr", "Element:Dscr"],
1793   ["Email", "Element:Email"],
1794   ["Emph", "Element:Emph"],
1795   ["Filename", "Element:Filename"],
1796   ["Firstname", "Element:Firstname"],
1797   ["Fname", "Element:Fname"],
1798   ["GuiButton", "Element:GuiButton"],
1799   ["GuiMenu", "Element:GuiMenu"],
1800   ["GuiMenuItem", "Element:GuiMenuItem"],
1801   ["ISSN", "Element:ISSN"],
1802   ["Issue-day", "Element:Issue-day"],
1803   ["Issue-months", "Element:Issue-months"],
1804   ["Issue-number", "Element:Issue-number"],
1805   ["KeyCap", "Element:KeyCap"],
1806   ["KeyCombo", "Element:KeyCombo"],
1807   ["Keyword", "Element:Keyword"],
1808   ["Literal", "Element:Literal"],
1809   ["MenuChoice", "Element:MenuChoice"],
1810   ["Month", "Element:Month"],
1811   ["Orgdiv", "Element:Orgdiv"],
1812   ["Orgname", "Element:Orgname"],
1813   ["Postcode", "Element:Postcode"],
1814   ["SS-Code", "Element:SS-Code"],
1815   ["SS-Title", "Element:SS-Title"],
1816   ["State", "Element:State"],
1817   ["Street", "Element:Street"],
1818   ["Surname", "Element:Surname"],
1819   ["Volume", "Element:Volume"],
1820   ["Year", "Element:Year"]
1821 ]
1822
1823
1824 def revert_flexnames(document):
1825   if document.backend == "latex":
1826     flexlist = flex_insets
1827   else:
1828     flexlist = flex_elements
1829
1830   rx = re.compile(r'^\\begin_inset Flex\s+(.+)$')
1831   i = 0
1832   while True:
1833     i = find_token(document.body, "\\begin_inset Flex", i)
1834     if i == -1:
1835       return
1836     m = rx.match(document.body[i])
1837     if not m:
1838       document.warning("Illegal flex inset: " + document.body[i])
1839       i += 1
1840       continue
1841
1842     style = m.group(1)
1843     for f in flexlist:
1844       if f[0] == style:
1845         document.body[i] = "\\begin_inset Flex " + f[1]
1846         break
1847
1848     i += 1
1849
1850
1851 def convert_mathdots(document):
1852     " Load mathdots automatically "
1853     while True:
1854       i = find_token(document.header, "\\use_esint" , 0)
1855       if i != -1:
1856         document.header.insert(i + 1, "\\use_mathdots 1")
1857       break
1858
1859
1860 def revert_mathdots(document):
1861     " Load mathdots if used in the document "
1862     i = 0
1863     ddots = re.compile(r'\\begin_inset Formula .*\\ddots', re.DOTALL)
1864     vdots = re.compile(r'\\begin_inset Formula .*\\vdots', re.DOTALL)
1865     iddots = re.compile(r'\\begin_inset Formula .*\\iddots', re.DOTALL)
1866     mathdots = find_token(document.header, "\\use_mathdots" , 0)
1867     no = find_token(document.header, "\\use_mathdots 0" , 0)
1868     auto = find_token(document.header, "\\use_mathdots 1" , 0)
1869     yes = find_token(document.header, "\\use_mathdots 2" , 0)
1870     if mathdots != -1:
1871       del document.header[mathdots]
1872     while True:
1873       i = find_token(document.body, '\\begin_inset Formula', i)
1874       if i == -1:
1875         return
1876       j = find_end_of_inset(document.body, i)
1877       if j == -1:
1878         document.warning("Malformed LyX document: Can't find end of Formula inset.")
1879         return
1880       k = ddots.search("\n".join(document.body[i:j]))
1881       l = vdots.search("\n".join(document.body[i:j]))
1882       m = iddots.search("\n".join(document.body[i:j]))
1883       if (yes == -1) and ((no != -1) or (not k and not l and not m) or (auto != -1 and not m)):
1884         i += 1
1885         continue
1886       # use \@ifundefined to catch also the "auto" case
1887       add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
1888       add_to_preamble(document, ["\\@ifundefined{iddots}{\\usepackage{mathdots}}\n"])
1889       return
1890
1891
1892 def convert_rule(document):
1893     " Convert \\lyxline to CommandInset line "
1894     i = 0
1895     while True:
1896       i = find_token(document.body, "\\lyxline" , i)
1897       if i == -1:
1898         return
1899
1900       j = find_token(document.body, "\\color" , i - 2)
1901       if j == i - 2:
1902         color = document.body[j] + '\n'
1903       else:
1904         color = ''
1905       k = find_token(document.body, "\\begin_layout Standard" , i - 4)
1906       # we need to handle the case that \lyxline is in a separate paragraph and that it is colored
1907       # the result is then an extra empty paragraph which we get by adding an empty ERT inset
1908       if k == i - 4 and j == i - 2 and document.body[i - 1] == '':
1909         layout = '\\begin_inset ERT\nstatus collapsed\n\n\\begin_layout Plain Layout\n\n\n\\end_layout\n\n\\end_inset\n' \
1910           + '\\end_layout\n\n' \
1911           + '\\begin_layout Standard\n'
1912       elif k == i - 2 and document.body[i - 1] == '':
1913         layout = ''
1914       else:
1915         layout = '\\end_layout\n\n' \
1916           + '\\begin_layout Standard\n'
1917       l = find_token(document.body, "\\begin_layout Standard" , i + 4)
1918       if l == i + 4 and document.body[i + 1] == '':
1919         layout2 = ''
1920       else:
1921         layout2 = '\\end_layout\n' \
1922           + '\n\\begin_layout Standard\n'
1923       subst = layout \
1924         + '\\noindent\n\n' \
1925         + color \
1926         + '\\begin_inset CommandInset line\n' \
1927         + 'LatexCommand rule\n' \
1928         + 'offset "0.5ex"\n' \
1929         + 'width "100line%"\n' \
1930         + 'height "1pt"\n' \
1931         + '\n\\end_inset\n\n\n' \
1932         + layout2
1933       document.body[i] = subst
1934       i += 1
1935
1936
1937 def revert_rule(document):
1938     " Revert line insets to Tex code "
1939     i = 0
1940     while 1:
1941       i = find_token(document.body, "\\begin_inset CommandInset line" , i)
1942       if i == -1:
1943         return
1944       # find end of inset
1945       j = find_token(document.body, "\\end_inset" , i)
1946       # assure we found the end_inset of the current inset
1947       if j > i + 6 or j == -1:
1948         document.warning("Malformed LyX document: Can't find end of line inset.")
1949         return
1950       # determine the optional offset
1951       k = find_token(document.body, 'offset', i, j)
1952       if k != -1:
1953         offset = document.body[k][8:-1]
1954       else:
1955         offset = ""
1956       # determine the width
1957       l = find_token(document.body, 'width', i, j)
1958       if l != -1:
1959         width = document.body[l][7:-1]
1960       else:
1961         width = "100col%"
1962       # determine the height
1963       m = find_token(document.body, 'height', i, j)
1964       if m != -1:
1965         height = document.body[m][8:-1]
1966       else:
1967         height = "1pt"
1968       # output the \rule command
1969       if offset:
1970         subst = "\\rule[" + offset + "]{" + width + "}{" + height + "}"
1971       else:
1972         subst = "\\rule{" + width + "}{" + height + "}"
1973       document.body[i:j + 1] = put_cmd_in_ert(subst)
1974       i += 1
1975
1976
1977 def revert_diagram(document):
1978   " Add the feyn package if \\Diagram is used in math "
1979   i = 0
1980   re_diagram = re.compile(r'\\begin_inset Formula .*\\Diagram', re.DOTALL)
1981   while True:
1982     i = find_token(document.body, '\\begin_inset Formula', i)
1983     if i == -1:
1984       return
1985     j = find_end_of_inset(document.body, i)
1986     if j == -1:
1987         document.warning("Malformed LyX document: Can't find end of Formula inset.")
1988         return
1989     m = re_diagram.search("\n".join(document.body[i:j]))
1990     if not m:
1991       i += 1
1992       continue
1993     add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
1994     add_to_preamble(document, "\\usepackage{feyn}")
1995     # only need to do it once!
1996     return
1997
1998
1999 def convert_bibtex_clearpage(document):
2000   " insert a clear(double)page bibliographystyle if bibtotoc option is used "
2001
2002   i = find_token(document.header, '\\papersides', 0)
2003   if i == -1:
2004     document.warning("Malformed LyX document: Can't find papersides definition.")
2005     return
2006   sides = int(document.header[i][12])
2007
2008   j = 0
2009   while True:
2010     j = find_token(document.body, "\\begin_inset CommandInset bibtex", j)
2011     if j == -1:
2012       return
2013
2014     k = find_end_of_inset(document.body, j)
2015     if k == -1:
2016       document.warning("Can't find end of Bibliography inset at line " + str(j))
2017       j += 1
2018       continue
2019
2020     # only act if there is the option "bibtotoc"
2021     m = find_token(document.body, 'options', j, k)
2022     if m == -1:
2023       document.warning("Can't find options for bibliography inset at line " + str(j))
2024       j = k
2025       continue
2026
2027     optline = document.body[m]
2028     idx = optline.find("bibtotoc")
2029     if idx == -1:
2030       j = k
2031       continue
2032
2033     # so we want to insert a new page right before the paragraph that
2034     # this bibliography thing is in. we'll look for it backwards.
2035     lay = j - 1
2036     while lay >= 0:
2037       if document.body[lay].startswith("\\begin_layout"):
2038         break
2039       lay -= 1
2040
2041     if lay < 0:
2042       document.warning("Can't find layout containing bibliography inset at line " + str(j))
2043       j = k
2044       continue
2045
2046     subst1 = '\\begin_layout Standard\n' \
2047       + '\\begin_inset Newpage clearpage\n' \
2048       + '\\end_inset\n\n\n' \
2049       + '\\end_layout\n'
2050     subst2 = '\\begin_layout Standard\n' \
2051       + '\\begin_inset Newpage cleardoublepage\n' \
2052       + '\\end_inset\n\n\n' \
2053       + '\\end_layout\n'
2054     if sides == 1:
2055       document.body.insert(lay, subst1)
2056       document.warning(subst1)
2057     else:
2058       document.body.insert(lay, subst2)
2059       document.warning(subst2)
2060
2061     j = k
2062
2063
2064 ##
2065 # Conversion hub
2066 #
2067
2068 supported_versions = ["2.0.0","2.0"]
2069 convert = [[346, []],
2070            [347, []],
2071            [348, []],
2072            [349, []],
2073            [350, []],
2074            [351, []],
2075            [352, [convert_splitindex]],
2076            [353, []],
2077            [354, []],
2078            [355, []],
2079            [356, []],
2080            [357, []],
2081            [358, []],
2082            [359, [convert_nomencl_width]],
2083            [360, []],
2084            [361, []],
2085            [362, []],
2086            [363, []],
2087            [364, []],
2088            [365, []],
2089            [366, []],
2090            [367, []],
2091            [368, []],
2092            [369, [convert_author_id]],
2093            [370, []],
2094            [371, []],
2095            [372, []],
2096            [373, [merge_gbrief]],
2097            [374, []],
2098            [375, []],
2099            [376, []],
2100            [377, []],
2101            [378, []],
2102            [379, [convert_math_output]],
2103            [380, []],
2104            [381, []],
2105            [382, []],
2106            [383, []],
2107            [384, []],
2108            [385, []],
2109            [386, []],
2110            [387, []],
2111            [388, []],
2112            [389, [convert_html_quotes]],
2113            [390, []],
2114            [391, []],
2115            [392, []],
2116            [393, [convert_optarg]],
2117            [394, [convert_use_makebox]],
2118            [395, []],
2119            [396, []],
2120            [397, [remove_Nameref]],
2121            [398, []],
2122            [399, [convert_mathdots]],
2123            [400, [convert_rule]],
2124            [401, []],
2125            [402, [convert_bibtex_clearpage]],
2126            [403, [convert_flexnames]],
2127            [404, [convert_prettyref]]
2128 ]
2129
2130 revert =  [[403, [revert_refstyle]],
2131            [402, [revert_flexnames]],
2132            [401, []],
2133            [400, [revert_diagram]],
2134            [399, [revert_rule]],
2135            [398, [revert_mathdots]],
2136            [397, [revert_mathrsfs]],
2137            [396, []],
2138            [395, [revert_nameref]],
2139            [394, [revert_DIN_C_pagesizes]],
2140            [393, [revert_makebox]],
2141            [392, [revert_argument]],
2142            [391, [revert_beamer_args]],
2143            [390, [revert_align_decimal, revert_IEEEtran]],
2144            [389, [revert_output_sync]],
2145            [388, [revert_html_quotes]],
2146            [387, [revert_pagesizes]],
2147            [386, [revert_math_scale]],
2148            [385, [revert_lyx_version]],
2149            [384, [revert_shadedboxcolor]],
2150            [383, [revert_fontcolor]],
2151            [382, [revert_turkmen]],
2152            [381, [revert_notefontcolor]],
2153            [380, [revert_equalspacing_xymatrix]],
2154            [379, [revert_inset_preview]],
2155            [378, [revert_math_output]],
2156            [377, []],
2157            [376, [revert_multirow]],
2158            [375, [revert_includeall]],
2159            [374, [revert_includeonly]],
2160            [373, [revert_html_options]],
2161            [372, [revert_gbrief]],
2162            [371, [revert_fontenc]],
2163            [370, [revert_mhchem]],
2164            [369, [revert_suppress_date]],
2165            [368, [revert_author_id]],
2166            [367, [revert_hspace_glue_lengths]],
2167            [366, [revert_percent_vspace_lengths, revert_percent_hspace_lengths]],
2168            [365, [revert_percent_skip_lengths]],
2169            [364, [revert_paragraph_indentation]],
2170            [363, [revert_branch_filename]],
2171            [362, [revert_longtable_align]],
2172            [361, [revert_applemac]],
2173            [360, []],
2174            [359, [revert_nomencl_cwidth]],
2175            [358, [revert_nomencl_width]],
2176            [357, [revert_custom_processors]],
2177            [356, [revert_ulinelatex]],
2178            [355, []],
2179            [354, [revert_strikeout]],
2180            [353, [revert_printindexall]],
2181            [352, [revert_subindex]],
2182            [351, [revert_splitindex]],
2183            [350, [revert_backgroundcolor]],
2184            [349, [revert_outputformat]],
2185            [348, [revert_xetex]],
2186            [347, [revert_phantom, revert_hphantom, revert_vphantom]],
2187            [346, [revert_tabularvalign]],
2188            [345, [revert_swiss]]
2189           ]
2190
2191
2192 if __name__ == "__main__":
2193     pass