lib/lyx2lyx/lyx_2_0.py

   1 # -*- coding: utf-8 -*-
   2 # This file is part of lyx2lyx
   3 # -*- coding: utf-8 -*-
   4 # Copyright (C) 2010 The LyX team
   5 #
   6 # This program is free software; you can redistribute it and/or
   7 # modify it under the terms of the GNU General Public License
   8 # as published by the Free Software Foundation; either version 2
   9 # of the License, or (at your option) any later version.
  10 #
  11 # This program is distributed in the hope that it will be useful,
  12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 # GNU General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU General Public License
  17 # along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  19
  20 """ Convert files to the file format generated by lyx 2.0"""
  21
  22 import re, string
  23 import unicodedata
  24 import sys, os
  25
  26 from parser_tools import find_token, find_end_of, find_tokens, \
  27   find_end_of_inset, find_end_of_layout, get_value, get_value_string
  28
  29 from lyx2lyx_tools import add_to_preamble, insert_to_preamble, \
  30   put_cmd_in_ert, lyx2latex, latex_length, revert_flex_inset, \
  31   revert_font_attrs, revert_layout_command, hex2ratio
  32
  33 ####################################################################
  34 # Private helper functions
  35
  36 def remove_option(document, m, option):
  37     ''' removes option from line m. returns whether we did anything '''
  38     l = document.body[m].find(option)
  39     if l == -1:
  40         return False
  41     val = document.body[m][l:].split('"')[1]
  42     document.body[m] = document.body[m][:l - 1] + document.body[m][l+len(option + '="' + val + '"'):]
  43     return True
  44
  45
  46 # DO NOT USE THIS ROUTINE ANY MORE. Better yet, replace the uses that
  47 # have been made of it with uses of put_cmd_in_ert.
  48 def old_put_cmd_in_ert(string):
  49     for rep in unicode_reps:
  50         string = string.replace(rep[1], rep[0].replace('\\\\', '\\'))
  51     string = string.replace('\\', "\\backslash\n")
  52     string = "\\begin_inset ERT\nstatus collapsed\n\\begin_layout Plain Layout\n" \
  53       + string + "\n\\end_layout\n\\end_inset"
  54     return string
  55
  56
  57 ###############################################################################
  58 ###
  59 ### Conversion and reversion routines
  60 ###
  61 ###############################################################################
  62
  63 def revert_swiss(document):
  64     " Set language german-ch to ngerman "
  65     i = 0
  66     if document.language == "german-ch":
  67         document.language = "ngerman"
  68         i = find_token(document.header, "\\language", 0)
  69         if i != -1:
  70             document.header[i] = "\\language ngerman"
  71     j = 0
  72     while True:
  73         j = find_token(document.body, "\\lang german-ch", j)
  74         if j == -1:
  75             return
  76         document.body[j] = document.body[j].replace("\\lang german-ch", "\\lang ngerman")
  77         j = j + 1
  78
  79
  80 def revert_tabularvalign(document):
  81    " Revert the tabular valign option "
  82    i = 0
  83    while True:
  84       i = find_token(document.body, "\\begin_inset Tabular", i)
  85       if i == -1:
  86           return
  87       end = find_end_of_inset(document.body, i)
  88       if end == -1:
  89           document.warning("Can't find end of inset at line " + str(i))
  90           i += 1
  91           continue
  92       fline = find_token(document.body, "<features", i, end)
  93       if fline == -1:
  94           document.warning("Can't find features for inset at line " + str(i))
  95           i += 1
  96           continue
  97       p = document.body[fline].find("islongtable")
  98       if p != -1:
  99           q = document.body[fline].find("tabularvalignment")
 100           if q != -1:
 101               # FIXME
 102               # This seems wrong: It removes everything after
 103               # tabularvalignment, too.
 104               document.body[fline] = document.body[fline][:q - 1] + '>'
 105           i += 1
 106           continue
 107
 108        # no longtable
 109       tabularvalignment = 'c'
 110       # which valignment is specified?
 111       m = document.body[fline].find('tabularvalignment="top"')
 112       if m != -1:
 113           tabularvalignment = 't'
 114       m = document.body[fline].find('tabularvalignment="bottom"')
 115       if m != -1:
 116           tabularvalignment = 'b'
 117       # delete tabularvalignment
 118       q = document.body[fline].find("tabularvalignment")
 119       if q != -1:
 120           # FIXME
 121           # This seems wrong: It removes everything after
 122           # tabularvalignment, too.
 123           document.body[fline] = document.body[fline][:q - 1] + '>'
 124
 125       # don't add a box when centered
 126       if tabularvalignment == 'c':
 127           i = end
 128           continue
 129       subst = ['\\end_layout', '\\end_inset']
 130       document.body[end:end] = subst # just inserts those lines
 131       subst = ['\\begin_inset Box Frameless',
 132           'position "' + tabularvalignment +'"',
 133           'hor_pos "c"',
 134           'has_inner_box 1',
 135           'inner_pos "c"',
 136           'use_parbox 0',
 137           # we don't know the width, assume 50%
 138           'width "50col%"',
 139           'special "none"',
 140           'height "1in"',
 141           'height_special "totalheight"',
 142           'status open',
 143           '',
 144           '\\begin_layout Plain Layout']
 145       document.body[i:i] = subst # this just inserts the array at i
 146       # since there could be a tabular inside a tabular, we cannot
 147       # jump to end
 148       i += len(subst)
 149
 150
 151 def revert_phantom_types(document, ptype, cmd):
 152     " Reverts phantom to ERT "
 153     i = 0
 154     while True:
 155       i = find_token(document.body, "\\begin_inset Phantom " + ptype, i)
 156       if i == -1:
 157           return
 158       end = find_end_of_inset(document.body, i)
 159       if end == -1:
 160           document.warning("Can't find end of inset at line " + str(i))
 161           i += 1
 162           continue
 163       blay = find_token(document.body, "\\begin_layout Plain Layout", i, end)
 164       if blay == -1:
 165           document.warning("Can't find layout for inset at line " + str(i))
 166           i = end
 167           continue
 168       bend = find_token(document.body, "\\end_layout", blay, end)
 169       if bend == -1:
 170           document.warning("Malformed LyX document: Could not find end of Phantom inset's layout.")
 171           i = end
 172           continue
 173       substi = ["\\begin_inset ERT", "status collapsed", "",
 174                 "\\begin_layout Plain Layout", "", "", "\\backslash",
 175                 cmd + "{", "\\end_layout", "", "\\end_inset"]
 176       substj = ["\\size default", "", "\\begin_inset ERT", "status collapsed", "",
 177                 "\\begin_layout Plain Layout", "", "}", "\\end_layout", "", "\\end_inset"]
 178       # do the later one first so as not to mess up the numbering
 179       document.body[bend:end + 1] = substj
 180       document.body[i:blay + 1] = substi
 181       i = end + len(substi) + len(substj) - (end - bend) - (blay - i) - 2
 182
 183
 184 def revert_phantom(document):
 185     revert_phantom_types(document, "Phantom", "phantom")
 186
 187 def revert_hphantom(document):
 188     revert_phantom_types(document, "HPhantom", "hphantom")
 189
 190 def revert_vphantom(document):
 191     revert_phantom_types(document, "VPhantom", "vphantom")
 192
 193
 194 def revert_xetex(document):
 195     " Reverts documents that use XeTeX "
 196     i = find_token(document.header, '\\use_xetex', 0)
 197     if i == -1:
 198         document.warning("Malformed LyX document: Missing \\use_xetex.")
 199         return
 200     if get_value(document.header, "\\use_xetex", i) == 'false':
 201         del document.header[i]
 202         return
 203     del document.header[i]
 204     # 1.) set doc encoding to utf8-plain
 205     i = find_token(document.header, "\\inputencoding", 0)
 206     if i == -1:
 207         document.warning("Malformed LyX document: Missing \\inputencoding.")
 208     document.header[i] = "\\inputencoding utf8-plain"
 209     # 2.) check font settings
 210     l = find_token(document.header, "\\font_roman", 0)
 211     if l == -1:
 212         document.warning("Malformed LyX document: Missing \\font_roman.")
 213     line = document.header[l]
 214     l = re.compile(r'\\font_roman (.*)$')
 215     m = l.match(line)
 216     roman = m.group(1)
 217     l = find_token(document.header, "\\font_sans", 0)
 218     if l == -1:
 219         document.warning("Malformed LyX document: Missing \\font_sans.")
 220     line = document.header[l]
 221     l = re.compile(r'\\font_sans (.*)$')
 222     m = l.match(line)
 223     sans = m.group(1)
 224     l = find_token(document.header, "\\font_typewriter", 0)
 225     if l == -1:
 226         document.warning("Malformed LyX document: Missing \\font_typewriter.")
 227     line = document.header[l]
 228     l = re.compile(r'\\font_typewriter (.*)$')
 229     m = l.match(line)
 230     typewriter = m.group(1)
 231     osf = get_value(document.header, '\\font_osf', 0) == "true"
 232     sf_scale = float(get_value(document.header, '\\font_sf_scale', 0))
 233     tt_scale = float(get_value(document.header, '\\font_tt_scale', 0))
 234     # 3.) set preamble stuff
 235     pretext = '%% This document must be processed with xelatex!\n'
 236     pretext += '\\usepackage{fontspec}\n'
 237     if roman != "default":
 238         pretext += '\\setmainfont[Mapping=tex-text]{' + roman + '}\n'
 239     if sans != "default":
 240         pretext += '\\setsansfont['
 241         if sf_scale != 100:
 242             pretext += 'Scale=' + str(sf_scale / 100) + ','
 243         pretext += 'Mapping=tex-text]{' + sans + '}\n'
 244     if typewriter != "default":
 245         pretext += '\\setmonofont'
 246         if tt_scale != 100:
 247             pretext += '[Scale=' + str(tt_scale / 100) + ']'
 248         pretext += '{' + typewriter + '}\n'
 249     if osf:
 250         pretext += '\\defaultfontfeatures{Numbers=OldStyle}\n'
 251     pretext += '\usepackage{xunicode}\n'
 252     pretext += '\usepackage{xltxtra}\n'
 253     insert_to_preamble(0, document, pretext)
 254     # 4.) reset font settings
 255     i = find_token(document.header, "\\font_roman", 0)
 256     if i == -1:
 257         document.warning("Malformed LyX document: Missing \\font_roman.")
 258     document.header[i] = "\\font_roman default"
 259     i = find_token(document.header, "\\font_sans", 0)
 260     if i == -1:
 261         document.warning("Malformed LyX document: Missing \\font_sans.")
 262     document.header[i] = "\\font_sans default"
 263     i = find_token(document.header, "\\font_typewriter", 0)
 264     if i == -1:
 265         document.warning("Malformed LyX document: Missing \\font_typewriter.")
 266     document.header[i] = "\\font_typewriter default"
 267     i = find_token(document.header, "\\font_osf", 0)
 268     if i == -1:
 269         document.warning("Malformed LyX document: Missing \\font_osf.")
 270     document.header[i] = "\\font_osf false"
 271     i = find_token(document.header, "\\font_sc", 0)
 272     if i == -1:
 273         document.warning("Malformed LyX document: Missing \\font_sc.")
 274     document.header[i] = "\\font_sc false"
 275     i = find_token(document.header, "\\font_sf_scale", 0)
 276     if i == -1:
 277         document.warning("Malformed LyX document: Missing \\font_sf_scale.")
 278     document.header[i] = "\\font_sf_scale 100"
 279     i = find_token(document.header, "\\font_tt_scale", 0)
 280     if i == -1:
 281         document.warning("Malformed LyX document: Missing \\font_tt_scale.")
 282     document.header[i] = "\\font_tt_scale 100"
 283
 284
 285 def revert_outputformat(document):
 286     " Remove default output format param "
 287     i = find_token(document.header, '\\default_output_format', 0)
 288     if i == -1:
 289         document.warning("Malformed LyX document: Missing \\default_output_format.")
 290         return
 291     del document.header[i]
 292
 293
 294 def revert_backgroundcolor(document):
 295     " Reverts background color to preamble code "
 296     i = find_token(document.header, "\\backgroundcolor", 0)
 297     if i == -1:
 298         return
 299     colorcode = get_value(document.header, '\\backgroundcolor', i)
 300     del document.header[i]
 301     # don't clutter the preamble if backgroundcolor is not set
 302     if colorcode == "#ffffff":
 303         return
 304     red   = hex2ratio(colorcode[1:3])
 305     green = hex2ratio(colorcode[3:5])
 306     blue  = hex2ratio(colorcode[5:7])
 307     insert_to_preamble(0, document,
 308                           '% Commands inserted by lyx2lyx to set the background color\n'
 309                           + '\\@ifundefined{definecolor}{\\usepackage{color}}{}\n'
 310                           + '\\definecolor{page_backgroundcolor}{rgb}{'
 311                           + red + ',' + green + ',' + blue + '}\n'
 312                           + '\\pagecolor{page_backgroundcolor}\n')
 313
 314
 315 def revert_splitindex(document):
 316     " Reverts splitindex-aware documents "
 317     i = find_token(document.header, '\\use_indices', 0)
 318     if i == -1:
 319         document.warning("Malformed LyX document: Missing \\use_indices.")
 320         return
 321     indices = get_value(document.header, "\\use_indices", i)
 322     preamble = ""
 323     useindices = (indices == "true")
 324     if useindices:
 325          preamble += "\\usepackage{splitidx}\n"
 326     del document.header[i]
 327
 328     # deal with index declarations in the preamble
 329     i = 0
 330     while True:
 331         i = find_token(document.header, "\\index", i)
 332         if i == -1:
 333             break
 334         k = find_token(document.header, "\\end_index", i)
 335         if k == -1:
 336             document.warning("Malformed LyX document: Missing \\end_index.")
 337             return
 338         if useindices:
 339           line = document.header[i]
 340           l = re.compile(r'\\index (.*)$')
 341           m = l.match(line)
 342           iname = m.group(1)
 343           ishortcut = get_value(document.header, '\\shortcut', i, k)
 344           if ishortcut != "":
 345               preamble += "\\newindex[" + iname + "]{" + ishortcut + "}\n"
 346         del document.header[i:k + 1]
 347     if preamble != "":
 348         insert_to_preamble(0, document, preamble)
 349
 350     # deal with index insets
 351     # these need to have the argument removed
 352     i = 0
 353     while True:
 354         i = find_token(document.body, "\\begin_inset Index", i)
 355         if i == -1:
 356             break
 357         line = document.body[i]
 358         l = re.compile(r'\\begin_inset Index (.*)$')
 359         m = l.match(line)
 360         itype = m.group(1)
 361         if itype == "idx" or indices == "false":
 362             document.body[i] = "\\begin_inset Index"
 363         else:
 364             k = find_end_of_inset(document.body, i)
 365             if k == -1:
 366                 document.warning("Can't find end of index inset!")
 367                 i += 1
 368                 continue
 369             content = lyx2latex(document, document.body[i:k])
 370             # escape quotes
 371             content = content.replace('"', r'\"')
 372             subst = put_cmd_in_ert("\\sindex[" + itype + "]{" + content + "}")
 373             document.body[i:k + 1] = subst
 374         i = i + 1
 375
 376     # deal with index_print insets
 377     i = 0
 378     while True:
 379         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
 380         if i == -1:
 381             return
 382         k = find_end_of_inset(document.body, i)
 383         ptype = get_value(document.body, 'type', i, k).strip('"')
 384         if ptype == "idx":
 385             j = find_token(document.body, "type", i, k)
 386             del document.body[j]
 387         elif not useindices:
 388             del document.body[i:k + 1]
 389         else:
 390             subst = put_cmd_in_ert("\\printindex[" + ptype + "]{}")
 391             document.body[i:k + 1] = subst
 392         i = i + 1
 393
 394
 395 def convert_splitindex(document):
 396     " Converts index and printindex insets to splitindex-aware format "
 397     i = 0
 398     while True:
 399         i = find_token(document.body, "\\begin_inset Index", i)
 400         if i == -1:
 401             break
 402         document.body[i] = document.body[i].replace("\\begin_inset Index",
 403             "\\begin_inset Index idx")
 404         i = i + 1
 405     i = 0
 406     while True:
 407         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
 408         if i == -1:
 409             return
 410         if document.body[i + 1].find('LatexCommand printindex') == -1:
 411             document.warning("Malformed LyX document: Incomplete printindex inset.")
 412             return
 413         subst = ["LatexCommand printindex",
 414             "type \"idx\""]
 415         document.body[i + 1:i + 2] = subst
 416         i = i + 1
 417
 418
 419 def revert_subindex(document):
 420     " Reverts \\printsubindex CommandInset types "
 421     i = find_token(document.header, '\\use_indices', 0)
 422     if i == -1:
 423         document.warning("Malformed LyX document: Missing \\use_indices.")
 424         return
 425     indices = get_value(document.header, "\\use_indices", i)
 426     useindices = (indices == "true")
 427     i = 0
 428     while True:
 429         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
 430         if i == -1:
 431             return
 432         k = find_end_of_inset(document.body, i)
 433         ctype = get_value(document.body, 'LatexCommand', i, k)
 434         if ctype != "printsubindex":
 435             i = k + 1
 436             continue
 437         ptype = get_value(document.body, 'type', i, k).strip('"')
 438         if not useindices:
 439             del document.body[i:k + 1]
 440         else:
 441             subst = put_cmd_in_ert("\\printsubindex[" + ptype + "]{}")
 442             document.body[i:k + 1] = subst
 443         i = i + 1
 444
 445
 446 def revert_printindexall(document):
 447     " Reverts \\print[sub]index* CommandInset types "
 448     i = find_token(document.header, '\\use_indices', 0)
 449     if i == -1:
 450         document.warning("Malformed LyX document: Missing \\use_indices.")
 451         return
 452     indices = get_value(document.header, "\\use_indices", i)
 453     useindices = (indices == "true")
 454     i = 0
 455     while True:
 456         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
 457         if i == -1:
 458             return
 459         k = find_end_of_inset(document.body, i)
 460         ctype = get_value(document.body, 'LatexCommand', i, k)
 461         if ctype != "printindex*" and ctype != "printsubindex*":
 462             i = k
 463             continue
 464         if not useindices:
 465             del document.body[i:k + 1]
 466         else:
 467             subst = put_cmd_in_ert("\\" + ctype + "{}")
 468             document.body[i:k + 1] = subst
 469         i = i + 1
 470
 471
 472 def revert_strikeout(document):
 473   " Reverts \\strikeout font attribute "
 474   changed = revert_font_attrs(document, "\\uuline", "\\uuline")
 475   changed = revert_font_attrs(document, "\\uwave", "\\uwave") or changed
 476   changed = revert_font_attrs(document, "\\strikeout", "\\sout")  or changed
 477   if changed == True:
 478     insert_to_preamble(0, document,
 479         '% Commands inserted by lyx2lyx for proper underlining\n'
 480         + '\\PassOptionsToPackage{normalem}{ulem}\n'
 481         + '\\usepackage{ulem}\n')
 482
 483
 484 def revert_ulinelatex(document):
 485     " Reverts \\uline font attribute "
 486     i = find_token(document.body, '\\bar under', 0)
 487     if i == -1:
 488         return
 489     insert_to_preamble(0, document,
 490             '% Commands inserted by lyx2lyx for proper underlining\n'
 491             + '\\PassOptionsToPackage{normalem}{ulem}\n'
 492             + '\\usepackage{ulem}\n'
 493             + '\\let\\cite@rig\\cite\n'
 494             + '\\newcommand{\\b@xcite}[2][\\%]{\\def\\def@pt{\\%}\\def\\pas@pt{#1}\n'
 495             + '  \\mbox{\\ifx\\def@pt\\pas@pt\\cite@rig{#2}\\else\\cite@rig[#1]{#2}\\fi}}\n'
 496             + '\\renewcommand{\\underbar}[1]{{\\let\\cite\\b@xcite\\uline{#1}}}\n')
 497
 498
 499 def revert_custom_processors(document):
 500     " Remove bibtex_command and index_command params "
 501     i = find_token(document.header, '\\bibtex_command', 0)
 502     if i == -1:
 503         document.warning("Malformed LyX document: Missing \\bibtex_command.")
 504     else:
 505         del document.header[i]
 506     i = find_token(document.header, '\\index_command', 0)
 507     if i == -1:
 508         document.warning("Malformed LyX document: Missing \\index_command.")
 509     else:
 510         del document.header[i]
 511
 512
 513 def convert_nomencl_width(document):
 514     " Add set_width param to nomencl_print "
 515     i = 0
 516     while True:
 517       i = find_token(document.body, "\\begin_inset CommandInset nomencl_print", i)
 518       if i == -1:
 519         break
 520       document.body.insert(i + 2, "set_width \"none\"")
 521       i = i + 1
 522
 523
 524 def revert_nomencl_width(document):
 525     " Remove set_width param from nomencl_print "
 526     i = 0
 527     while True:
 528       i = find_token(document.body, "\\begin_inset CommandInset nomencl_print", i)
 529       if i == -1:
 530         break
 531       j = find_end_of_inset(document.body, i)
 532       l = find_token(document.body, "set_width", i, j)
 533       if l == -1:
 534             document.warning("Can't find set_width option for nomencl_print!")
 535             i = j
 536             continue
 537       del document.body[l]
 538       i = j - 1
 539
 540
 541 def revert_nomencl_cwidth(document):
 542     " Remove width param from nomencl_print "
 543     i = 0
 544     while True:
 545       i = find_token(document.body, "\\begin_inset CommandInset nomencl_print", i)
 546       if i == -1:
 547         break
 548       j = find_end_of_inset(document.body, i)
 549       l = find_token(document.body, "width", i, j)
 550       if l == -1:
 551         document.warning("Can't find width option for nomencl_print!")
 552         i = j
 553         continue
 554       width = get_value(document.body, "width", i, j).strip('"')
 555       del document.body[l]
 556       add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
 557       add_to_preamble(document, ["\\setlength{\\nomlabelwidth}{" + width + "}"])
 558       i = j - 1
 559
 560
 561 def revert_applemac(document):
 562     " Revert applemac encoding to auto "
 563     if document.encoding != "applemac":
 564       return
 565     document.encoding = "auto"
 566     i = find_token(document.header, "\\encoding", 0)
 567     if i != -1:
 568         document.header[i] = "\\encoding auto"
 569
 570
 571 def revert_longtable_align(document):
 572     " Remove longtable alignment setting "
 573     i = 0
 574     while True:
 575       i = find_token(document.body, "\\begin_inset Tabular", i)
 576       if i == -1:
 577           break
 578       end = find_end_of_inset(document.body, i)
 579       if end == -1:
 580           document.warning("Can't find end of inset at line " + str(i))
 581           i += 1
 582           continue
 583       fline = find_token(document.body, "<features", i, end)
 584       if fline == -1:
 585           document.warning("Can't find features for inset at line " + str(i))
 586           i += 1
 587           continue
 588       j = document.body[fline].find("longtabularalignment")
 589       if j == -1:
 590           i += 1
 591           continue
 592       # FIXME Is this correct? It wipes out everything after the
 593       # one we found.
 594       document.body[fline] = document.body[fline][:j - 1] + '>'
 595       # since there could be a tabular inside this one, we
 596       # cannot jump to end.
 597       i += 1
 598
 599
 600 def revert_branch_filename(document):
 601     " Remove \\filename_suffix parameter from branches "
 602     i = 0
 603     while True:
 604         i = find_token(document.header, "\\filename_suffix", i)
 605         if i == -1:
 606             return
 607         del document.header[i]
 608
 609
 610 def revert_paragraph_indentation(document):
 611     " Revert custom paragraph indentation to preamble code "
 612     i = find_token(document.header, "\\paragraph_indentation", 0)
 613     if i == -1:
 614       return
 615     length = get_value(document.header, "\\paragraph_indentation", i)
 616     # we need only remove the line if indentation is default
 617     if length != "default":
 618       # handle percent lengths
 619       length = latex_length(length)[1]
 620       add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
 621       add_to_preamble(document, ["\\setlength{\\parindent}{" + length + "}"])
 622     del document.header[i]
 623
 624
 625 def revert_percent_skip_lengths(document):
 626     " Revert relative lengths for paragraph skip separation to preamble code "
 627     i = find_token(document.header, "\\defskip", 0)
 628     if i == -1:
 629         return
 630     length = get_value(document.header, "\\defskip", i)
 631     # only revert when a custom length was set and when
 632     # it used a percent length
 633     if length in ('smallskip', 'medskip', 'bigskip'):
 634         return
 635     # handle percent lengths
 636     percent, length = latex_length(length)
 637     if percent:
 638         add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
 639         add_to_preamble(document, ["\\setlength{\\parskip}{" + length + "}"])
 640         # set defskip to medskip as default
 641         document.header[i] = "\\defskip medskip"
 642
 643
 644 def revert_percent_vspace_lengths(document):
 645     " Revert relative VSpace lengths to ERT "
 646     i = 0
 647     while True:
 648       i = find_token(document.body, "\\begin_inset VSpace", i)
 649       if i == -1:
 650           break
 651       # only revert if a custom length was set and if
 652       # it used a percent length
 653       r = re.compile(r'\\begin_inset VSpace (.*)$')
 654       m = r.match(document.body[i])
 655       length = m.group(1)
 656       if length in ('defskip', 'smallskip', 'medskip', 'bigskip', 'vfill'):
 657          i += 1
 658          continue
 659       # check if the space has a star (protected space)
 660       protected = (document.body[i].rfind("*") != -1)
 661       if protected:
 662           length = length.rstrip('*')
 663       # handle percent lengths
 664       percent, length = latex_length(length)
 665       # revert the VSpace inset to ERT
 666       if percent:
 667           if protected:
 668               subst = put_cmd_in_ert("\\vspace*{" + length + "}")
 669           else:
 670               subst = put_cmd_in_ert("\\vspace{" + length + "}")
 671           document.body[i:i + 2] = subst
 672       i += 1
 673
 674
 675 def revert_percent_hspace_lengths(document):
 676     " Revert relative HSpace lengths to ERT "
 677     i = 0
 678     while True:
 679       i = find_token(document.body, "\\begin_inset space \\hspace", i)
 680       if i == -1:
 681           break
 682       j = find_end_of_inset(document.body, i)
 683       if j == -1:
 684           document.warning("Can't find end of inset at line " + str(i))
 685           i += 1
 686           continue
 687       # only revert if a custom length was set...
 688       length = get_value(document.body, '\\length', i + 1, j)
 689       if length == '':
 690           document.warning("Malformed lyx document: Missing '\\length' in Space inset.")
 691           i = j
 692           continue
 693       protected = ""
 694       if document.body[i].find("\\hspace*{}") != -1:
 695           protected = "*"
 696       # ...and if it used a percent length
 697       percent, length = latex_length(length)
 698       # revert the HSpace inset to ERT
 699       if percent:
 700           subst = put_cmd_in_ert("\\hspace" + protected + "{" + length + "}")
 701           document.body[i:j + 1] = subst
 702       # if we did a substitution, this will still be ok
 703       i = j
 704
 705
 706 def revert_hspace_glue_lengths(document):
 707     " Revert HSpace glue lengths to ERT "
 708     i = 0
 709     while True:
 710       i = find_token(document.body, "\\begin_inset space \\hspace", i)
 711       if i == -1:
 712           break
 713       j = find_end_of_inset(document.body, i)
 714       if j == -1:
 715           document.warning("Can't find end of inset at line " + str(i))
 716           i += 1
 717           continue
 718       length = get_value(document.body, '\\length', i + 1, j)
 719       if length == '':
 720           document.warning("Malformed lyx document: Missing '\\length' in Space inset.")
 721           i = j
 722           continue
 723       protected = ""
 724       if document.body[i].find("\\hspace*{}") != -1:
 725           protected = "*"
 726       # only revert if the length contains a plus or minus at pos != 0
 727       if length.find('-',1) != -1 or length.find('+',1) != -1:
 728           # handle percent lengths
 729           length = latex_length(length)[1]
 730           # revert the HSpace inset to ERT
 731           subst = put_cmd_in_ert("\\hspace" + protected + "{" + length + "}")
 732           document.body[i:j+1] = subst
 733       i = j
 734
 735
 736 def convert_author_id(document):
 737     " Add the author_id to the \\author definition and make sure 0 is not used"
 738     i = 0
 739     anum = 1
 740     re_author = re.compile(r'(\\author) (\".*\")\s*(.*)$')
 741
 742     while True:
 743         i = find_token(document.header, "\\author", i)
 744         if i == -1:
 745             break
 746         m = re_author.match(document.header[i])
 747         if m:
 748             name = m.group(2)
 749             email = m.group(3)
 750             document.header[i] = "\\author %i %s %s" % (anum, name, email)
 751         # FIXME Should this really be incremented if we didn't match?
 752         anum += 1
 753         i += 1
 754
 755     i = 0
 756     while True:
 757         i = find_token(document.body, "\\change_", i)
 758         if i == -1:
 759             break
 760         change = document.body[i].split(' ');
 761         if len(change) == 3:
 762             type = change[0]
 763             author_id = int(change[1])
 764             time = change[2]
 765             document.body[i] = "%s %i %s" % (type, author_id + 1, time)
 766         i += 1
 767
 768
 769 def revert_author_id(document):
 770     " Remove the author_id from the \\author definition "
 771     i = 0
 772     anum = 0
 773     rx = re.compile(r'(\\author)\s+(\d+)\s+(\".*\")\s*(.*)$')
 774     idmap = dict()
 775
 776     while True:
 777         i = find_token(document.header, "\\author", i)
 778         if i == -1:
 779             break
 780         m = rx.match(document.header[i])
 781         if m:
 782             author_id = int(m.group(2))
 783             idmap[author_id] = anum
 784             name = m.group(3)
 785             email = m.group(4)
 786             document.header[i] = "\\author %s %s" % (name, email)
 787         i += 1
 788         # FIXME Should this be incremented if we didn't match?
 789         anum += 1
 790
 791     i = 0
 792     while True:
 793         i = find_token(document.body, "\\change_", i)
 794         if i == -1:
 795             break
 796         change = document.body[i].split(' ');
 797         if len(change) == 3:
 798             type = change[0]
 799             author_id = int(change[1])
 800             time = change[2]
 801             document.body[i] = "%s %i %s" % (type, idmap[author_id], time)
 802         i += 1
 803
 804
 805 def revert_suppress_date(document):
 806     " Revert suppressing of default document date to preamble code "
 807     i = find_token(document.header, "\\suppress_date", 0)
 808     if i == -1:
 809         return
 810     # remove the preamble line and write to the preamble
 811     # when suppress_date was true
 812     date = get_value(document.header, "\\suppress_date", i)
 813     if date == "true":
 814         add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
 815         add_to_preamble(document, ["\\date{}"])
 816     del document.header[i]
 817
 818
 819 def revert_mhchem(document):
 820     "Revert mhchem loading to preamble code"
 821
 822     mhchem = "off"
 823     i = find_token(document.header, "\\use_mhchem", 0)
 824     if i == -1:
 825         document.warning("Malformed LyX document: Could not find mhchem setting.")
 826         mhchem = "auto"
 827     else:
 828         val = get_value(document.header, "\\use_mhchem", i)
 829         if val == "1":
 830             mhchem = "auto"
 831         elif val == "2":
 832             mhchem = "on"
 833         del document.header[i]
 834
 835     if mhchem == "auto":
 836         i = 0
 837         while True:
 838             i = find_token(document.body, "\\begin_inset Formula", i)
 839             if i == -1:
 840                break
 841             line = document.body[i]
 842             if line.find("\\ce{") != -1 or line.find("\\cf{") != 1:
 843               mhchem = "on"
 844               break
 845             i += 1
 846
 847     if mhchem == "on":
 848         pre = ["% lyx2lyx mhchem commands",
 849           "\\PassOptionsToPackage{version=3}{mhchem}",
 850           "\\usepackage{mhchem}"]
 851         add_to_preamble(document, pre)
 852
 853
 854 def revert_fontenc(document):
 855     " Remove fontencoding param "
 856     i = find_token(document.header, '\\fontencoding', 0)
 857     if i == -1:
 858         document.warning("Malformed LyX document: Missing \\fontencoding.")
 859         return
 860     del document.header[i]
 861
 862
 863 def merge_gbrief(document):
 864     " Merge g-brief-en and g-brief-de to one class "
 865
 866     if document.textclass != "g-brief-de":
 867         if document.textclass == "g-brief-en":
 868             document.textclass = "g-brief"
 869             document.set_textclass()
 870         return
 871
 872     obsoletedby = { "Brieftext":       "Letter",
 873                     "Unterschrift":    "Signature",
 874                     "Strasse":         "Street",
 875                     "Zusatz":          "Addition",
 876                     "Ort":             "Town",
 877                     "Land":            "State",
 878                     "RetourAdresse":   "ReturnAddress",
 879                     "MeinZeichen":     "MyRef",
 880                     "IhrZeichen":      "YourRef",
 881                     "IhrSchreiben":    "YourMail",
 882                     "Telefon":         "Phone",
 883                     "BLZ":             "BankCode",
 884                     "Konto":           "BankAccount",
 885                     "Postvermerk":     "PostalComment",
 886                     "Adresse":         "Address",
 887                     "Datum":           "Date",
 888                     "Betreff":         "Reference",
 889                     "Anrede":          "Opening",
 890                     "Anlagen":         "Encl.",
 891                     "Verteiler":       "cc",
 892                     "Gruss":           "Closing"}
 893     i = 0
 894     while 1:
 895         i = find_token(document.body, "\\begin_layout", i)
 896         if i == -1:
 897             break
 898
 899         layout = document.body[i][14:]
 900         if layout in obsoletedby:
 901             document.body[i] = "\\begin_layout " + obsoletedby[layout]
 902
 903         i += 1
 904
 905     document.textclass = "g-brief"
 906     document.set_textclass()
 907
 908
 909 def revert_gbrief(document):
 910     " Revert g-brief to g-brief-en "
 911     if document.textclass == "g-brief":
 912         document.textclass = "g-brief-en"
 913         document.set_textclass()
 914
 915
 916 def revert_html_options(document):
 917     " Remove html options "
 918     i = find_token(document.header, '\\html_use_mathml', 0)
 919     if i != -1:
 920         del document.header[i]
 921     i = find_token(document.header, '\\html_be_strict', 0)
 922     if i != -1:
 923         del document.header[i]
 924
 925
 926 def revert_includeonly(document):
 927     i = 0
 928     while True:
 929         i = find_token(document.header, "\\begin_includeonly", i)
 930         if i == -1:
 931             return
 932         j = find_end_of(document.header, i, "\\begin_includeonly", "\\end_includeonly")
 933         if j == -1:
 934             document.warning("Unable to find end of includeonly section!!")
 935             break
 936         document.header[i : j + 1] = []
 937
 938
 939 def revert_includeall(document):
 940     " Remove maintain_unincluded_children param "
 941     i = find_token(document.header, '\\maintain_unincluded_children', 0)
 942     if i != -1:
 943         del document.header[i]
 944
 945
 946 def revert_multirow(document):
 947     " Revert multirow cells in tables to TeX-code"
 948     i = 0
 949     multirow = False
 950     while True:
 951       # cell type 3 is multirow begin cell
 952       i = find_token(document.body, '<cell multirow="3"', i)
 953       if i == -1:
 954           break
 955       # a multirow cell was found
 956       multirow = True
 957       # remove the multirow tag, set the valignment to top
 958       # and remove the bottom line
 959       # FIXME Are we sure these always have space around them?
 960       document.body[i] = document.body[i].replace(' multirow="3" ', ' ')
 961       document.body[i] = document.body[i].replace('valignment="middle"', 'valignment="top"')
 962       document.body[i] = document.body[i].replace(' bottomline="true" ', ' ')
 963       # write ERT to create the multirow cell
 964       # use 2 rows and 2cm as default with because the multirow span
 965       # and the column width is only hardly accessible
 966       cend = find_token(document.body, "</cell>", i)
 967       if cend == -1:
 968           document.warning("Malformed LyX document: Could not find end of tabular cell.")
 969           i += 1
 970           continue
 971       blay = find_token(document.body, "\\begin_layout", i, cend)
 972       if blay == -1:
 973           document.warning("Can't find layout for cell!")
 974           i = j
 975           continue
 976       bend = find_end_of_layout(document.body, blay)
 977       if blay == -1:
 978           document.warning("Can't find end of layout for cell!")
 979           i = cend
 980           continue
 981
 982       # do the later one first, so as not to mess up the numbering
 983       # we are wrapping the whole cell in this ert
 984       # so before the end of the layout...
 985       document.body[bend:bend] = put_cmd_in_ert("}")
 986       # ...and after the beginning
 987       document.body[blay+1:blay+1] = put_cmd_in_ert("\\multirow{2}{2cm}{")
 988
 989       while True:
 990           # cell type 4 is multirow part cell
 991           k = find_token(document.body, '<cell multirow="4"', cend)
 992           if k == -1:
 993               break
 994           # remove the multirow tag, set the valignment to top
 995           # and remove the top line
 996           # FIXME Are we sure these always have space around them?
 997           document.body[k] = document.body[k].replace(' multirow="4" ', ' ')
 998           document.body[k] = document.body[k].replace('valignment="middle"', 'valignment="top"')
 999           document.body[k] = document.body[k].replace(' topline="true" ', ' ')
1000           k += 1
1001       # this will always be ok
1002       i = cend
1003
1004     if multirow == True:
1005         add_to_preamble(document,
1006           ["% lyx2lyx multirow additions ", "\\usepackage{multirow}"])
1007
1008
1009 def convert_math_output(document):
1010     " Convert \html_use_mathml to \html_math_output "
1011     i = find_token(document.header, "\\html_use_mathml", 0)
1012     if i == -1:
1013         return
1014     rgx = re.compile(r'\\html_use_mathml\s+(\w+)')
1015     m = rgx.match(document.header[i])
1016     newval = "0" # MathML
1017     if m:
1018       val = m.group(1)
1019       if val != "true":
1020         newval = "2" # Images
1021     else:
1022       document.warning("Can't match " + document.header[i])
1023     document.header[i] = "\\html_math_output " + newval
1024
1025
1026 def revert_math_output(document):
1027     " Revert \html_math_output to \html_use_mathml "
1028     i = find_token(document.header, "\\html_math_output", 0)
1029     if i == -1:
1030         return
1031     rgx = re.compile(r'\\html_math_output\s+(\d)')
1032     m = rgx.match(document.header[i])
1033     newval = "true"
1034     if m:
1035         val = m.group(1)
1036         if val == "1" or val == "2":
1037             newval = "false"
1038     else:
1039         document.warning("Unable to match " + document.header[i])
1040     document.header[i] = "\\html_use_mathml " + newval
1041
1042
1043
1044 def revert_inset_preview(document):
1045     " Dissolves the preview inset "
1046     i = 0
1047     while True:
1048       i = find_token(document.body, "\\begin_inset Preview", i)
1049       if i == -1:
1050           return
1051       iend = find_end_of_inset(document.body, i)
1052       if iend == -1:
1053           document.warning("Malformed LyX document: Could not find end of Preview inset.")
1054           i += 1
1055           continue
1056
1057       # This has several issues.
1058       # We need to do something about the layouts inside InsetPreview.
1059       # If we just leave the first one, then we have something like:
1060       # \begin_layout Standard
1061       # ...
1062       # \begin_layout Standard
1063       # and we get a "no \end_layout" error. So something has to be done.
1064       # Ideally, we would check if it is the same as the layout we are in.
1065       # If so, we just remove it; if not, we end the active one. But it is
1066       # not easy to know what layout we are in, due to depth changes, etc,
1067       # and it is not clear to me how much work it is worth doing. In most
1068       # cases, the layout will probably be the same.
1069       #
1070       # For the same reason, we have to remove the \end_layout tag at the
1071       # end of the last layout in the inset. Again, that will sometimes be
1072       # wrong, but it will usually be right. To know what to do, we would
1073       # again have to know what layout the inset is in.
1074
1075       blay = find_token(document.body, "\\begin_layout", i, iend)
1076       if blay == -1:
1077           document.warning("Can't find layout for preview inset!")
1078           # always do the later one first...
1079           del document.body[iend]
1080           del document.body[i]
1081           # deletions mean we do not need to reset i
1082           continue
1083
1084       # This is where we would check what layout we are in.
1085       # The check for Standard is definitely wrong.
1086       #
1087       # lay = document.body[blay].split(None, 1)[1]
1088       # if lay != oldlayout:
1089       #     # record a boolean to tell us what to do later....
1090       #     # better to do it later, since (a) it won't mess up
1091       #     # the numbering and (b) we only modify at the end.
1092
1093       # we want to delete the last \\end_layout in this inset, too.
1094       # note that this may not be the \\end_layout that goes with blay!!
1095       bend = find_end_of_layout(document.body, blay)
1096       while True:
1097           tmp = find_token(document.body, "\\end_layout", bend + 1, iend)
1098           if tmp == -1:
1099               break
1100           bend = tmp
1101       if bend == blay:
1102           document.warning("Unable to find last layout in preview inset!")
1103           del document.body[iend]
1104           del document.body[i]
1105           # deletions mean we do not need to reset i
1106           continue
1107       # always do the later one first...
1108       del document.body[iend]
1109       del document.body[bend]
1110       del document.body[i:blay + 1]
1111       # we do not need to reset i
1112
1113
1114 def revert_equalspacing_xymatrix(document):
1115     " Revert a Formula with xymatrix@! to an ERT inset "
1116     i = 0
1117     has_preamble = False
1118     has_equal_spacing = False
1119
1120     while True:
1121       i = find_token(document.body, "\\begin_inset Formula", i)
1122       if i == -1:
1123           break
1124       j = find_end_of_inset(document.body, i)
1125       if j == -1:
1126           document.warning("Malformed LyX document: Could not find end of Formula inset.")
1127           i += 1
1128           continue
1129
1130       for curline in range(i,j):
1131           found = document.body[curline].find("\\xymatrix@!")
1132           if found != -1:
1133               break
1134
1135       if found != -1:
1136           has_equal_spacing = True
1137           content = [document.body[i][21:]]
1138           content += document.body[i + 1:j]
1139           subst = put_cmd_in_ert(content)
1140           document.body[i:j + 1] = subst
1141           i += len(subst) - (j - i) + 1
1142       else:
1143           for curline in range(i,j):
1144               l = document.body[curline].find("\\xymatrix")
1145               if l != -1:
1146                   has_preamble = True;
1147                   break;
1148           i = j + 1
1149
1150     if has_equal_spacing and not has_preamble:
1151         add_to_preamble(document, ['% lyx2lyx xymatrix addition', '\\usepackage[all]{xy}'])
1152
1153
1154 def revert_notefontcolor(document):
1155     " Reverts greyed-out note font color to preamble code "
1156
1157     i = find_token(document.header, "\\notefontcolor", 0)
1158     if i == -1:
1159         return
1160
1161     # are there any grey notes?
1162     if find_token(document.body, "\\begin_inset Note Greyedout", 0) == -1:
1163         # no need to do anything, and \renewcommand will throw an error
1164         # since lyxgreyedout will not exist.
1165         return
1166
1167     colorcode = get_value(document.header, '\\notefontcolor', i)
1168     del document.header[i]
1169     # the color code is in the form #rrggbb where every character denotes a hex number
1170     red = hex2ratio(colorcode[1:3])
1171     green = hex2ratio(colorcode[3:5])
1172     blue = hex2ratio(colorcode[5:7])
1173     # write the preamble
1174     insert_to_preamble(0, document,
1175       ['% Commands inserted by lyx2lyx to set the font color',
1176         '% for greyed-out notes',
1177         '\\@ifundefined{definecolor}{\\usepackage{color}}{}'
1178         '\\definecolor{note_fontcolor}{rgb}{%s,%s,%s}' % (red, green, blue),
1179         '\\renewenvironment{lyxgreyedout}',
1180         ' {\\textcolor{note_fontcolor}\\bgroup}{\\egroup}'])
1181
1182
1183 def revert_turkmen(document):
1184     "Set language Turkmen to English"
1185
1186     if document.language == "turkmen":
1187         document.language = "english"
1188         i = find_token(document.header, "\\language", 0)
1189         if i != -1:
1190             document.header[i] = "\\language english"
1191
1192     j = 0
1193     while True:
1194         j = find_token(document.body, "\\lang turkmen", j)
1195         if j == -1:
1196             return
1197         document.body[j] = document.body[j].replace("\\lang turkmen", "\\lang english")
1198         j += 1
1199
1200
1201 def revert_fontcolor(document):
1202     " Reverts font color to preamble code "
1203     i = find_token(document.header, "\\fontcolor", 0)
1204     if i == -1:
1205         return
1206     colorcode = get_value(document.header, '\\fontcolor', i)
1207     del document.header[i]
1208     # don't clutter the preamble if font color is not set
1209     if colorcode == "#000000":
1210         return
1211     # the color code is in the form #rrggbb where every character denotes a hex number
1212     red = hex2ratio(colorcode[1:3])
1213     green = hex2ratio(colorcode[3:5])
1214     blue = hex2ratio(colorcode[5:7])
1215     # write the preamble
1216     insert_to_preamble(0, document,
1217       ['% Commands inserted by lyx2lyx to set the font color',
1218       '\\@ifundefined{definecolor}{\\usepackage{color}}{}',
1219       '\\definecolor{document_fontcolor}{rgb}{%s,%s,%s}' % (red, green, blue),
1220       '\\color{document_fontcolor}'])
1221
1222
1223 def revert_shadedboxcolor(document):
1224     " Reverts shaded box color to preamble code "
1225     i = find_token(document.header, "\\boxbgcolor", 0)
1226     if i == -1:
1227         return
1228     colorcode = get_value(document.header, '\\boxbgcolor', i)
1229     del document.header[i]
1230     # the color code is in the form #rrggbb
1231     red = hex2ratio(colorcode[1:3])
1232     green = hex2ratio(colorcode[3:5])
1233     blue = hex2ratio(colorcode[5:7])
1234     # write the preamble
1235     insert_to_preamble(0, document,
1236       ['% Commands inserted by lyx2lyx to set the color of boxes with shaded background',
1237       '\\@ifundefined{definecolor}{\\usepackage{color}}{}',
1238       "\\definecolor{shadecolor}{rgb}{%s,%s,%s}" % (red, green, blue)])
1239
1240
1241 def revert_lyx_version(document):
1242     " Reverts LyX Version information from Inset Info "
1243     version = "LyX version"
1244     try:
1245         import lyx2lyx_version
1246         version = lyx2lyx_version.version
1247     except:
1248         pass
1249
1250     i = 0
1251     while 1:
1252         i = find_token(document.body, '\\begin_inset Info', i)
1253         if i == -1:
1254             return
1255         j = find_end_of_inset(document.body, i + 1)
1256         if j == -1:
1257             document.warning("Malformed LyX document: Could not find end of Info inset.")
1258             i += 1
1259             continue
1260
1261         # We expect:
1262         # \begin_inset Info
1263         # type  "lyxinfo"
1264         # arg   "version"
1265         # \end_inset
1266         # but we shall try to be forgiving.
1267         arg = typ = ""
1268         for k in range(i, j):
1269             if document.body[k].startswith("arg"):
1270                 arg = document.body[k][3:].strip().strip('"')
1271             if document.body[k].startswith("type"):
1272                 typ = document.body[k][4:].strip().strip('"')
1273         if arg != "version" or typ != "lyxinfo":
1274             i = j + 1
1275             continue
1276
1277         # We do not actually know the version of LyX used to produce the document.
1278         # But we can use our version, since we are reverting.
1279         s = [version]
1280         # Now we want to check if the line after "\end_inset" is empty. It normally
1281         # is, so we want to remove it, too.
1282         lastline = j + 1
1283         if document.body[j + 1].strip() == "":
1284             lastline = j + 2
1285         document.body[i: lastline] = s
1286         i = i + 1
1287
1288
1289 def revert_math_scale(document):
1290   " Remove math scaling and LaTeX options "
1291   i = find_token(document.header, '\\html_math_img_scale', 0)
1292   if i != -1:
1293     del document.header[i]
1294   i = find_token(document.header, '\\html_latex_start', 0)
1295   if i != -1:
1296     del document.header[i]
1297   i = find_token(document.header, '\\html_latex_end', 0)
1298   if i != -1:
1299     del document.header[i]
1300
1301
1302 def revert_pagesizes(document):
1303   i = 0
1304   " Revert page sizes to default "
1305   i = find_token(document.header, '\\papersize', 0)
1306   if i != -1:
1307     size = document.header[i][11:]
1308     if size == "a0paper" or size == "a1paper" or size == "a2paper" \
1309     or size == "a6paper" or size == "b0paper" or size == "b1paper" \
1310     or size == "b2paper" or size == "b6paper" or size == "b0j" \
1311     or size == "b1j" or size == "b2j" or size == "b3j" or size == "b4j" \
1312     or size == "b5j" or size == "b6j":
1313       del document.header[i]
1314
1315
1316 def revert_DIN_C_pagesizes(document):
1317   i = 0
1318   " Revert DIN C page sizes to default "
1319   i = find_token(document.header, '\\papersize', 0)
1320   if i != -1:
1321     size = document.header[i][11:]
1322     if size == "c0paper" or size == "c1paper" or size == "c2paper" \
1323     or size == "c3paper" or size == "c4paper" or size == "c5paper" \
1324     or size == "c6paper":
1325       del document.header[i]
1326
1327
1328 def convert_html_quotes(document):
1329   " Remove quotes around html_latex_start and html_latex_end "
1330
1331   i = find_token(document.header, '\\html_latex_start', 0)
1332   if i != -1:
1333     line = document.header[i]
1334     l = re.compile(r'\\html_latex_start\s+"(.*)"')
1335     m = l.match(line)
1336     if m != None:
1337       document.header[i] = "\\html_latex_start " + m.group(1)
1338
1339   i = find_token(document.header, '\\html_latex_end', 0)
1340   if i != -1:
1341     line = document.header[i]
1342     l = re.compile(r'\\html_latex_end\s+"(.*)"')
1343     m = l.match(line)
1344     if m != None:
1345       document.header[i] = "\\html_latex_end " + m.group(1)
1346
1347
1348 def revert_html_quotes(document):
1349   " Remove quotes around html_latex_start and html_latex_end "
1350
1351   i = find_token(document.header, '\\html_latex_start', 0)
1352   if i != -1:
1353     line = document.header[i]
1354     l = re.compile(r'\\html_latex_start\s+(.*)')
1355     m = l.match(line)
1356     document.header[i] = "\\html_latex_start \"" + m.group(1) + "\""
1357
1358   i = find_token(document.header, '\\html_latex_end', 0)
1359   if i != -1:
1360     line = document.header[i]
1361     l = re.compile(r'\\html_latex_end\s+(.*)')
1362     m = l.match(line)
1363     document.header[i] = "\\html_latex_end \"" + m.group(1) + "\""
1364
1365
1366 def revert_output_sync(document):
1367   " Remove forward search options "
1368   i = find_token(document.header, '\\output_sync_macro', 0)
1369   if i != -1:
1370     del document.header[i]
1371   i = find_token(document.header, '\\output_sync', 0)
1372   if i != -1:
1373     del document.header[i]
1374
1375
1376 def convert_beamer_args(document):
1377   " Convert ERT arguments in Beamer to InsetArguments "
1378
1379   if document.textclass != "beamer" and document.textclass != "article-beamer":
1380     return
1381
1382   layouts = ("Block", "ExampleBlock", "AlertBlock")
1383   for layout in layouts:
1384     blay = 0
1385     while True:
1386       blay = find_token(document.body, '\\begin_layout ' + layout, blay)
1387       if blay == -1:
1388         break
1389       elay = find_end_of(document.body, blay, '\\begin_layout', '\\end_layout')
1390       if elay == -1:
1391         document.warning("Malformed LyX document: Can't find end of " + layout + " layout.")
1392         blay += 1
1393         continue
1394       bert = find_token(document.body, '\\begin_inset ERT', blay)
1395       if bert == -1:
1396         document.warning("Malformed Beamer LyX document: Can't find argument of " + layout + " layout.")
1397         blay = elay + 1
1398         continue
1399       eert = find_end_of_inset(document.body, bert)
1400       if eert == -1:
1401         document.warning("Malformed LyX document: Can't find end of ERT.")
1402         blay = elay + 1
1403         continue
1404
1405       # So the ERT inset begins at line k and goes to line l. We now wrap it in
1406       # an argument inset.
1407       # Do the end first, so as not to mess up the variables.
1408       document.body[eert + 1:eert + 1] = ['', '\\end_layout', '', '\\end_inset', '']
1409       document.body[bert:bert] = ['\\begin_inset OptArg', 'status open', '',
1410           '\\begin_layout Plain Layout']
1411       blay = elay + 9
1412
1413
1414 def revert_beamer_args(document):
1415   " Revert Beamer arguments to ERT "
1416
1417   if document.textclass != "beamer" and document.textclass != "article-beamer":
1418     return
1419
1420   layouts = ("Block", "ExampleBlock", "AlertBlock")
1421   for layout in layouts:
1422     blay = 0
1423     while True:
1424       blay = find_token(document.body, '\\begin_layout ' + layout, blay)
1425       if blay == -1:
1426         break
1427       elay = find_end_of(document.body, blay, '\\begin_layout', '\\end_layout')
1428       if elay == -1:
1429         document.warning("Malformed LyX document: Can't find end of " + layout + " layout.")
1430         blay += 1
1431         continue
1432       bopt = find_token(document.body, '\\begin_inset OptArg', blay)
1433       if bopt == -1:
1434         # it is legal not to have one of these
1435         blay = elay + 1
1436         continue
1437       eopt = find_end_of_inset(document.body, bopt)
1438       if eopt == -1:
1439         document.warning("Malformed LyX document: Can't find end of argument.")
1440         blay = elay + 1
1441         continue
1442       bplay = find_token(document.body, '\\begin_layout Plain Layout', blay)
1443       if bplay == -1:
1444         document.warning("Malformed LyX document: Can't find plain layout.")
1445         blay = elay + 1
1446         continue
1447       eplay = find_end_of(document.body, bplay, '\\begin_layout', '\\end_layout')
1448       if eplay == -1:
1449         document.warning("Malformed LyX document: Can't find end of plain layout.")
1450         blay = elay + 1
1451         continue
1452       # So the content of the argument inset goes from bplay + 1 to eplay - 1
1453       bcont = bplay + 1
1454       if bcont >= eplay:
1455         # Hmm.
1456         document.warning(str(bcont) + " " + str(eplay))
1457         blay = blay + 1
1458         continue
1459       # we convert the content of the argument into pure LaTeX...
1460       content = lyx2latex(document, document.body[bcont:eplay])
1461       strlist = put_cmd_in_ert(["{" + content + "}"])
1462
1463       # now replace the optional argument with the ERT
1464       document.body[bopt:eopt + 1] = strlist
1465       blay = blay + 1
1466
1467
1468 def revert_align_decimal(document):
1469   l = 0
1470   while True:
1471     l = document.body[l].find('alignment=decimal')
1472     if l == -1:
1473         break
1474     remove_option(document, l, 'decimal_point')
1475     document.body[l].replace('decimal', 'center')
1476
1477
1478 def convert_optarg(document):
1479   " Convert \\begin_inset OptArg to \\begin_inset Argument "
1480   i = 0
1481   while 1:
1482     i = find_token(document.body, '\\begin_inset OptArg', i)
1483     if i == -1:
1484       return
1485     document.body[i] = "\\begin_inset Argument"
1486     i += 1
1487
1488
1489 def revert_argument(document):
1490   " Convert \\begin_inset Argument to \\begin_inset OptArg "
1491   i = 0
1492   while 1:
1493     i = find_token(document.body, '\\begin_inset Argument', i)
1494     if i == -1:
1495       return
1496     document.body[i] = "\\begin_inset OptArg"
1497     i += 1
1498
1499
1500 def revert_makebox(document):
1501   " Convert \\makebox to TeX code "
1502   i = 0
1503   while 1:
1504     # only revert frameless boxes without an inner box
1505     i = find_token(document.body, '\\begin_inset Box Frameless', i)
1506     if i == -1:
1507       # remove the option use_makebox
1508       revert_use_makebox(document)
1509       return
1510     z = find_end_of_inset(document.body, i)
1511     if z == -1:
1512       document.warning("Malformed LyX document: Can't find end of box inset.")
1513       return
1514     j = find_token(document.body, 'use_makebox 1', i)
1515     # assure we found the makebox of the current box
1516     if j < z and j != -1:
1517       y = find_token(document.body, "\\begin_layout", i)
1518       if y > z or y == -1:
1519         document.warning("Malformed LyX document: Can't find layout in box.")
1520         return
1521       # remove the \end_layout \end_inset pair
1522       document.body[z - 2:z + 1] = put_cmd_in_ert("}")
1523       # determine the alignment
1524       k = find_token(document.body, 'hor_pos', j - 4)
1525       align = document.body[k][9]
1526       # determine the width
1527       l = find_token(document.body, 'width "', j + 1)
1528       length = document.body[l][7:]
1529       # remove trailing '"'
1530       length = length[:-1]
1531       length = latex_length(length)[1]
1532       subst = "\\makebox[" + length + "][" \
1533         + align + "]{"
1534       document.body[i:y + 1] = put_cmd_in_ert(subst)
1535     i += 1
1536
1537
1538 def revert_use_makebox(document):
1539   " Deletes use_makebox option of boxes "
1540   h = 0
1541   while 1:
1542     # remove the option use_makebox
1543     h = find_token(document.body, 'use_makebox', 0)
1544     if h == -1:
1545       return
1546     del document.body[h]
1547     h += 1
1548
1549
1550 def convert_use_makebox(document):
1551   " Adds use_makebox option for boxes "
1552   i = 0
1553   while 1:
1554     # remove the option use_makebox
1555     i = find_token(document.body, '\\begin_inset Box', i)
1556     if i == -1:
1557       return
1558     k = find_token(document.body, 'use_parbox', i)
1559     if k == -1:
1560       document.warning("Malformed LyX document: Can't find use_parbox statement in box.")
1561       return
1562     document.body.insert(k + 1, "use_makebox 0")
1563     i = k + 1
1564
1565
1566 def revert_IEEEtran(document):
1567   " Convert IEEEtran layouts and styles to TeX code "
1568   if document.textclass != "IEEEtran":
1569     return
1570   revert_flex_inset(document, "IEEE membership", "\\IEEEmembership", 0)
1571   revert_flex_inset(document, "Lowercase", "\\MakeLowercase", 0)
1572   layouts = ("Special Paper Notice", "After Title Text", "Publication ID",
1573              "Page headings", "Biography without photo")
1574   latexcmd = {"Special Paper Notice": "\\IEEEspecialpapernotice",
1575               "After Title Text":     "\\IEEEaftertitletext",
1576               "Publication ID":       "\\IEEEpubid"}
1577   obsoletedby = {"Page headings":            "MarkBoth",
1578                  "Biography without photo":  "BiographyNoPhoto"}
1579   for layout in layouts:
1580     i = 0
1581     while True:
1582         i = find_token(document.body, '\\begin_layout ' + layout, i)
1583         if i == -1:
1584           break
1585         j = find_end_of(document.body, i, '\\begin_layout', '\\end_layout')
1586         if j == -1:
1587           document.warning("Malformed LyX document: Can't find end of " + layout + " layout.")
1588           i += 1
1589           continue
1590         if layout in obsoletedby:
1591           document.body[i] = "\\begin_layout " + obsoletedby[layout]
1592           i = j
1593         else:
1594           content = lyx2latex(document, document.body[i:j + 1])
1595           add_to_preamble(document, [latexcmd[layout] + "{" + content + "}"])
1596           del document.body[i:j + 1]
1597
1598
1599 def convert_prettyref(document):
1600         " Converts prettyref references to neutral formatted refs "
1601         re_ref = re.compile("^\s*reference\s+\"(\w+):(\S+)\"")
1602         nm_ref = re.compile("^\s*name\s+\"(\w+):(\S+)\"")
1603
1604         i = 0
1605         while True:
1606                 i = find_token(document.body, "\\begin_inset CommandInset ref", i)
1607                 if i == -1:
1608                         break
1609                 j = find_end_of_inset(document.body, i)
1610                 if j == -1:
1611                         document.warning("Malformed LyX document: No end of InsetRef!")
1612                         i += 1
1613                         continue
1614                 k = find_token(document.body, "LatexCommand prettyref", i)
1615                 if k != -1 and k < j:
1616                         document.body[k] = "LatexCommand formatted"
1617                 i = j + 1
1618         document.header.insert(-1, "\\use_refstyle 0")
1619
1620
1621 def revert_refstyle(document):
1622         " Reverts neutral formatted refs to prettyref "
1623         re_ref = re.compile("^reference\s+\"(\w+):(\S+)\"")
1624         nm_ref = re.compile("^\s*name\s+\"(\w+):(\S+)\"")
1625
1626         i = 0
1627         while True:
1628                 i = find_token(document.body, "\\begin_inset CommandInset ref", i)
1629                 if i == -1:
1630                         break
1631                 j = find_end_of_inset(document.body, i)
1632                 if j == -1:
1633                         document.warning("Malformed LyX document: No end of InsetRef")
1634                         i += 1
1635                         continue
1636                 k = find_token(document.body, "LatexCommand formatted", i)
1637                 if k != -1 and k < j:
1638                         document.body[k] = "LatexCommand prettyref"
1639                 i = j + 1
1640         i = find_token(document.header, "\\use_refstyle", 0)
1641         if i != -1:
1642                 document.header.pop(i)
1643
1644
1645 def revert_nameref(document):
1646   " Convert namerefs to regular references "
1647   cmds = ["Nameref", "nameref"]
1648   foundone = False
1649   rx = re.compile(r'reference "(.*)"')
1650   for cmd in cmds:
1651     i = 0
1652     oldcmd = "LatexCommand " + cmd
1653     while 1:
1654       # It seems better to look for this, as most of the reference
1655       # insets won't be ones we care about.
1656       i = find_token(document.body, oldcmd, i)
1657       if i == -1:
1658         break
1659       cmdloc = i
1660       i += 1
1661       # Make sure it is actually in an inset!
1662       # We could just check document.lines[i-1], but that relies
1663       # upon something that might easily change.
1664       # We'll look back a few lines.
1665       stins = cmdloc - 10
1666       if stins < 0:
1667         stins = 0
1668       stins = find_token(document.body, "\\begin_inset CommandInset ref", stins)
1669       if stins == -1 or stins > cmdloc:
1670         continue
1671       endins = find_end_of_inset(document.body, stins)
1672       if endins == -1:
1673         document.warning("Can't find end of inset at line " + stins + "!!")
1674         continue
1675       if endins < cmdloc:
1676         continue
1677       refline = find_token(document.body, "reference", stins)
1678       if refline == -1 or refline > endins:
1679         document.warning("Can't find reference for inset at line " + stinst + "!!")
1680         continue
1681       m = rx.match(document.body[refline])
1682       if not m:
1683         document.warning("Can't match reference line: " + document.body[ref])
1684         continue
1685       foundone = True
1686       ref = m.group(1)
1687       newcontent = ['\\begin_inset ERT', 'status collapsed', '', \
1688         '\\begin_layout Plain Layout', '', '\\backslash', \
1689         cmd + '{' + ref + '}', '\\end_layout', '', '\\end_inset']
1690       document.body[stins:endins + 1] = newcontent
1691   if foundone:
1692     add_to_preamble(document, "\usepackage{nameref}")
1693
1694
1695 def remove_Nameref(document):
1696   " Convert Nameref commands to nameref commands "
1697   i = 0
1698   while 1:
1699     # It seems better to look for this, as most of the reference
1700     # insets won't be ones we care about.
1701     i = find_token(document.body, "LatexCommand Nameref" , i)
1702     if i == -1:
1703       break
1704     cmdloc = i
1705     i += 1
1706
1707     # Make sure it is actually in an inset!
1708     # We could just check document.lines[i-1], but that relies
1709     # upon something that might easily change.
1710     # We'll look back a few lines.
1711     stins = cmdloc - 10
1712     if stins < 0:
1713       stins = 0
1714     stins = find_token(document.body, "\\begin_inset CommandInset ref", stins)
1715     if stins == -1 or stins > cmdloc:
1716       continue
1717     endins = find_end_of_inset(document.body, stins)
1718     if endins == -1:
1719       document.warning("Can't find end of inset at line " + stins + "!!")
1720       continue
1721     if endins < cmdloc:
1722       continue
1723     document.body[cmdloc] = "LatexCommand nameref"
1724
1725
1726 def revert_mathrsfs(document):
1727     " Load mathrsfs if \mathrsfs us use in the document "
1728     i = 0
1729     end = len(document.body) - 1
1730     while True:
1731       j = document.body[i].find("\\mathscr{")
1732       if j != -1:
1733         add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
1734         add_to_preamble(document, ["\\usepackage{mathrsfs}"])
1735         break
1736       if i == end:
1737         break
1738       i += 1
1739
1740
1741 def convert_flexnames(document):
1742     "Convert \\begin_inset Flex Custom:Style to \\begin_inset Flex Style and similarly for CharStyle and Element."
1743
1744     i = 0
1745     rx = re.compile(r'^\\begin_inset Flex (?:Custom|CharStyle|Element):(.+)$')
1746     while True:
1747       i = find_token(document.body, "\\begin_inset Flex", i)
1748       if i == -1:
1749         return
1750       m = rx.match(document.body[i])
1751       if m:
1752         document.body[i] = "\\begin_inset Flex " + m.group(1)
1753       i += 1
1754
1755
1756 flex_insets = [
1757   ["Alert", "CharStyle:Alert"],
1758   ["Code", "CharStyle:Code"],
1759   ["Concepts", "CharStyle:Concepts"],
1760   ["E-Mail", "CharStyle:E-Mail"],
1761   ["Emph", "CharStyle:Emph"],
1762   ["Expression", "CharStyle:Expression"],
1763   ["Initial", "CharStyle:Initial"],
1764   ["Institute", "CharStyle:Institute"],
1765   ["Meaning", "CharStyle:Meaning"],
1766   ["Noun", "CharStyle:Noun"],
1767   ["Strong", "CharStyle:Strong"],
1768   ["Structure", "CharStyle:Structure"],
1769   ["ArticleMode", "Custom:ArticleMode"],
1770   ["Endnote", "Custom:Endnote"],
1771   ["Glosse", "Custom:Glosse"],
1772   ["PresentationMode", "Custom:PresentationMode"],
1773   ["Tri-Glosse", "Custom:Tri-Glosse"]
1774 ]
1775
1776 flex_elements = [
1777   ["Abbrev", "Element:Abbrev"],
1778   ["CCC-Code", "Element:CCC-Code"],
1779   ["Citation-number", "Element:Citation-number"],
1780   ["City", "Element:City"],
1781   ["Code", "Element:Code"],
1782   ["CODEN", "Element:CODEN"],
1783   ["Country", "Element:Country"],
1784   ["Day", "Element:Day"],
1785   ["Directory", "Element:Directory"],
1786   ["Dscr", "Element:Dscr"],
1787   ["Email", "Element:Email"],
1788   ["Emph", "Element:Emph"],
1789   ["Filename", "Element:Filename"],
1790   ["Firstname", "Element:Firstname"],
1791   ["Fname", "Element:Fname"],
1792   ["GuiButton", "Element:GuiButton"],
1793   ["GuiMenu", "Element:GuiMenu"],
1794   ["GuiMenuItem", "Element:GuiMenuItem"],
1795   ["ISSN", "Element:ISSN"],
1796   ["Issue-day", "Element:Issue-day"],
1797   ["Issue-months", "Element:Issue-months"],
1798   ["Issue-number", "Element:Issue-number"],
1799   ["KeyCap", "Element:KeyCap"],
1800   ["KeyCombo", "Element:KeyCombo"],
1801   ["Keyword", "Element:Keyword"],
1802   ["Literal", "Element:Literal"],
1803   ["MenuChoice", "Element:MenuChoice"],
1804   ["Month", "Element:Month"],
1805   ["Orgdiv", "Element:Orgdiv"],
1806   ["Orgname", "Element:Orgname"],
1807   ["Postcode", "Element:Postcode"],
1808   ["SS-Code", "Element:SS-Code"],
1809   ["SS-Title", "Element:SS-Title"],
1810   ["State", "Element:State"],
1811   ["Street", "Element:Street"],
1812   ["Surname", "Element:Surname"],
1813   ["Volume", "Element:Volume"],
1814   ["Year", "Element:Year"]
1815 ]
1816
1817
1818 def revert_flexnames(document):
1819   if document.backend == "latex":
1820     flexlist = flex_insets
1821   else:
1822     flexlist = flex_elements
1823
1824   rx = re.compile(r'^\\begin_inset Flex\s+(.+)$')
1825   i = 0
1826   while True:
1827     i = find_token(document.body, "\\begin_inset Flex", i)
1828     if i == -1:
1829       return
1830     m = rx.match(document.body[i])
1831     if not m:
1832       document.warning("Illegal flex inset: " + document.body[i])
1833       i += 1
1834       continue
1835
1836     style = m.group(1)
1837     for f in flexlist:
1838       if f[0] == style:
1839         document.body[i] = "\\begin_inset Flex " + f[1]
1840         break
1841
1842     i += 1
1843
1844
1845 def convert_mathdots(document):
1846     " Load mathdots automatically "
1847     while True:
1848       i = find_token(document.header, "\\use_esint" , 0)
1849       if i != -1:
1850         document.header.insert(i + 1, "\\use_mathdots 1")
1851       break
1852
1853
1854 def revert_mathdots(document):
1855     " Load mathdots if used in the document "
1856     i = 0
1857     ddots = re.compile(r'\\begin_inset Formula .*\\ddots', re.DOTALL)
1858     vdots = re.compile(r'\\begin_inset Formula .*\\vdots', re.DOTALL)
1859     iddots = re.compile(r'\\begin_inset Formula .*\\iddots', re.DOTALL)
1860     mathdots = find_token(document.header, "\\use_mathdots" , 0)
1861     no = find_token(document.header, "\\use_mathdots 0" , 0)
1862     auto = find_token(document.header, "\\use_mathdots 1" , 0)
1863     yes = find_token(document.header, "\\use_mathdots 2" , 0)
1864     if mathdots != -1:
1865       del document.header[mathdots]
1866     while True:
1867       i = find_token(document.body, '\\begin_inset Formula', i)
1868       if i == -1:
1869         return
1870       j = find_end_of_inset(document.body, i)
1871       if j == -1:
1872         document.warning("Malformed LyX document: Can't find end of Formula inset.")
1873         return
1874       k = ddots.search("\n".join(document.body[i:j]))
1875       l = vdots.search("\n".join(document.body[i:j]))
1876       m = iddots.search("\n".join(document.body[i:j]))
1877       if (yes == -1) and ((no != -1) or (not k and not l and not m) or (auto != -1 and not m)):
1878         i += 1
1879         continue
1880       # use \@ifundefined to catch also the "auto" case
1881       add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
1882       add_to_preamble(document, ["\\@ifundefined{iddots}{\\usepackage{mathdots}}\n"])
1883       return
1884
1885
1886 def convert_rule(document):
1887     " Convert \\lyxline to CommandInset line "
1888     i = 0
1889     while True:
1890       i = find_token(document.body, "\\lyxline" , i)
1891       if i == -1:
1892         return
1893
1894       j = find_token(document.body, "\\color" , i - 2)
1895       if j == i - 2:
1896         color = document.body[j] + '\n'
1897       else:
1898         color = ''
1899       k = find_token(document.body, "\\begin_layout Standard" , i - 4)
1900       # we need to handle the case that \lyxline is in a separate paragraph and that it is colored
1901       # the result is then an extra empty paragraph which we get by adding an empty ERT inset
1902       if k == i - 4 and j == i - 2 and document.body[i - 1] == '':
1903         layout = '\\begin_inset ERT\nstatus collapsed\n\n\\begin_layout Plain Layout\n\n\n\\end_layout\n\n\\end_inset\n' \
1904           + '\\end_layout\n\n' \
1905           + '\\begin_layout Standard\n'
1906       elif k == i - 2 and document.body[i - 1] == '':
1907         layout = ''
1908       else:
1909         layout = '\\end_layout\n\n' \
1910           + '\\begin_layout Standard\n'
1911       l = find_token(document.body, "\\begin_layout Standard" , i + 4)
1912       if l == i + 4 and document.body[i + 1] == '':
1913         layout2 = ''
1914       else:
1915         layout2 = '\\end_layout\n' \
1916           + '\n\\begin_layout Standard\n'
1917       subst = layout \
1918         + '\\noindent\n\n' \
1919         + color \
1920         + '\\begin_inset CommandInset line\n' \
1921         + 'LatexCommand rule\n' \
1922         + 'offset "0.5ex"\n' \
1923         + 'width "100line%"\n' \
1924         + 'height "1pt"\n' \
1925         + '\n\\end_inset\n\n\n' \
1926         + layout2
1927       document.body[i] = subst
1928       i += 1
1929
1930
1931 def revert_rule(document):
1932     " Revert line insets to Tex code "
1933     i = 0
1934     while 1:
1935       i = find_token(document.body, "\\begin_inset CommandInset line" , i)
1936       if i == -1:
1937         return
1938       # find end of inset
1939       j = find_token(document.body, "\\end_inset" , i)
1940       # assure we found the end_inset of the current inset
1941       if j > i + 6 or j == -1:
1942         document.warning("Malformed LyX document: Can't find end of line inset.")
1943         return
1944       # determine the optional offset
1945       k = find_token(document.body, 'offset', i, j)
1946       if k != -1:
1947         offset = document.body[k][8:-1]
1948       else:
1949         offset = ""
1950       # determine the width
1951       l = find_token(document.body, 'width', i, j)
1952       if l != -1:
1953         width = document.body[l][7:-1]
1954       else:
1955         width = "100col%"
1956       # determine the height
1957       m = find_token(document.body, 'height', i, j)
1958       if m != -1:
1959         height = document.body[m][8:-1]
1960       else:
1961         height = "1pt"
1962       # output the \rule command
1963       if offset:
1964         subst = "\\rule[" + offset + "]{" + width + "}{" + height + "}"
1965       else:
1966         subst = "\\rule{" + width + "}{" + height + "}"
1967       document.body[i:j + 1] = put_cmd_in_ert(subst)
1968       i += 1
1969
1970
1971 def revert_diagram(document):
1972   " Add the feyn package if \\Diagram is used in math "
1973   i = 0
1974   re_diagram = re.compile(r'\\begin_inset Formula .*\\Diagram', re.DOTALL)
1975   while True:
1976     i = find_token(document.body, '\\begin_inset Formula', i)
1977     if i == -1:
1978       return
1979     j = find_end_of_inset(document.body, i)
1980     if j == -1:
1981         document.warning("Malformed LyX document: Can't find end of Formula inset.")
1982         return
1983     m = re_diagram.search("\n".join(document.body[i:j]))
1984     if not m:
1985       i += 1
1986       continue
1987     add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
1988     add_to_preamble(document, "\\usepackage{feyn}")
1989     # only need to do it once!
1990     return
1991
1992
1993 def convert_bibtex_clearpage(document):
1994   " insert a clear(double)page bibliographystyle if bibtotoc option is used "
1995
1996   i = find_token(document.header, '\\papersides', 0)
1997   if i == -1:
1998     document.warning("Malformed LyX document: Can't find papersides definition.")
1999     return
2000   sides = int(document.header[i][12])
2001
2002   j = 0
2003   while True:
2004     j = find_token(document.body, "\\begin_inset CommandInset bibtex", j)
2005     if j == -1:
2006       return
2007
2008     k = find_end_of_inset(document.body, j)
2009     if k == -1:
2010       document.warning("Can't find end of Bibliography inset at line " + str(j))
2011       j += 1
2012       continue
2013
2014     # only act if there is the option "bibtotoc"
2015     m = find_token(document.body, 'options', j, k)
2016     if m == -1:
2017       document.warning("Can't find options for bibliography inset at line " + str(j))
2018       j = k
2019       continue
2020
2021     optline = document.body[m]
2022     idx = optline.find("bibtotoc")
2023     if idx == -1:
2024       j = k
2025       continue
2026
2027     # so we want to insert a new page right before the paragraph that
2028     # this bibliography thing is in. we'll look for it backwards.
2029     lay = j - 1
2030     while lay >= 0:
2031       if document.body[lay].startswith("\\begin_layout"):
2032         break
2033       lay -= 1
2034
2035     if lay < 0:
2036       document.warning("Can't find layout containing bibliography inset at line " + str(j))
2037       j = k
2038       continue
2039
2040     subst1 = '\\begin_layout Standard\n' \
2041       + '\\begin_inset Newpage clearpage\n' \
2042       + '\\end_inset\n\n\n' \
2043       + '\\end_layout\n'
2044     subst2 = '\\begin_layout Standard\n' \
2045       + '\\begin_inset Newpage cleardoublepage\n' \
2046       + '\\end_inset\n\n\n' \
2047       + '\\end_layout\n'
2048     if sides == 1:
2049       document.body.insert(lay, subst1)
2050       document.warning(subst1)
2051     else:
2052       document.body.insert(lay, subst2)
2053       document.warning(subst2)
2054
2055     j = k
2056
2057
2058 ##
2059 # Conversion hub
2060 #
2061
2062 supported_versions = ["2.0.0","2.0"]
2063 convert = [[346, []],
2064            [347, []],
2065            [348, []],
2066            [349, []],
2067            [350, []],
2068            [351, []],
2069            [352, [convert_splitindex]],
2070            [353, []],
2071            [354, []],
2072            [355, []],
2073            [356, []],
2074            [357, []],
2075            [358, []],
2076            [359, [convert_nomencl_width]],
2077            [360, []],
2078            [361, []],
2079            [362, []],
2080            [363, []],
2081            [364, []],
2082            [365, []],
2083            [366, []],
2084            [367, []],
2085            [368, []],
2086            [369, [convert_author_id]],
2087            [370, []],
2088            [371, []],
2089            [372, []],
2090            [373, [merge_gbrief]],
2091            [374, []],
2092            [375, []],
2093            [376, []],
2094            [377, []],
2095            [378, []],
2096            [379, [convert_math_output]],
2097            [380, []],
2098            [381, []],
2099            [382, []],
2100            [383, []],
2101            [384, []],
2102            [385, []],
2103            [386, []],
2104            [387, []],
2105            [388, []],
2106            [389, [convert_html_quotes]],
2107            [390, []],
2108            [391, []],
2109            [392, []],
2110            [393, [convert_optarg]],
2111            [394, [convert_use_makebox]],
2112            [395, []],
2113            [396, []],
2114            [397, [remove_Nameref]],
2115            [398, []],
2116            [399, [convert_mathdots]],
2117            [400, [convert_rule]],
2118            [401, []],
2119            [402, [convert_bibtex_clearpage]],
2120            [403, [convert_flexnames]],
2121            [404, [convert_prettyref]]
2122 ]
2123
2124 revert =  [[403, [revert_refstyle]],
2125            [402, [revert_flexnames]],
2126            [401, []],
2127            [400, [revert_diagram]],
2128            [399, [revert_rule]],
2129            [398, [revert_mathdots]],
2130            [397, [revert_mathrsfs]],
2131            [396, []],
2132            [395, [revert_nameref]],
2133            [394, [revert_DIN_C_pagesizes]],
2134            [393, [revert_makebox]],
2135            [392, [revert_argument]],
2136            [391, [revert_beamer_args]],
2137            [390, [revert_align_decimal, revert_IEEEtran]],
2138            [389, [revert_output_sync]],
2139            [388, [revert_html_quotes]],
2140            [387, [revert_pagesizes]],
2141            [386, [revert_math_scale]],
2142            [385, [revert_lyx_version]],
2143            [384, [revert_shadedboxcolor]],
2144            [383, [revert_fontcolor]],
2145            [382, [revert_turkmen]],
2146            [381, [revert_notefontcolor]],
2147            [380, [revert_equalspacing_xymatrix]],
2148            [379, [revert_inset_preview]],
2149            [378, [revert_math_output]],
2150            [377, []],
2151            [376, [revert_multirow]],
2152            [375, [revert_includeall]],
2153            [374, [revert_includeonly]],
2154            [373, [revert_html_options]],
2155            [372, [revert_gbrief]],
2156            [371, [revert_fontenc]],
2157            [370, [revert_mhchem]],
2158            [369, [revert_suppress_date]],
2159            [368, [revert_author_id]],
2160            [367, [revert_hspace_glue_lengths]],
2161            [366, [revert_percent_vspace_lengths, revert_percent_hspace_lengths]],
2162            [365, [revert_percent_skip_lengths]],
2163            [364, [revert_paragraph_indentation]],
2164            [363, [revert_branch_filename]],
2165            [362, [revert_longtable_align]],
2166            [361, [revert_applemac]],
2167            [360, []],
2168            [359, [revert_nomencl_cwidth]],
2169            [358, [revert_nomencl_width]],
2170            [357, [revert_custom_processors]],
2171            [356, [revert_ulinelatex]],
2172            [355, []],
2173            [354, [revert_strikeout]],
2174            [353, [revert_printindexall]],
2175            [352, [revert_subindex]],
2176            [351, [revert_splitindex]],
2177            [350, [revert_backgroundcolor]],
2178            [349, [revert_outputformat]],
2179            [348, [revert_xetex]],
2180            [347, [revert_phantom, revert_hphantom, revert_vphantom]],
2181            [346, [revert_tabularvalign]],
2182            [345, [revert_swiss]]
2183           ]
2184
2185
2186 if __name__ == "__main__":
2187     pass