]> git.lyx.org Git - lyx.git/blobdiff - lib/lyx2lyx/lyx_2_0.py
New routine: get_quoted_value.
[lyx.git] / lib / lyx2lyx / lyx_2_0.py
index 6b94e219878f2d51737b07b5f5df391f32d6f031..cd7b87e2e63bdec1a47abe0565eb28ea7e0b9b02 100644 (file)
@@ -24,22 +24,23 @@ import unicodedata
 import sys, os
 
 from parser_tools import find_token, find_end_of, find_tokens, \
-  find_end_of_inset, find_end_of_layout, get_value, get_value_string
+  find_end_of_inset, find_end_of_layout, find_token_backwards, \
+  get_containing_inset, get_value
   
 from lyx2lyx_tools import add_to_preamble, insert_to_preamble, \
   put_cmd_in_ert, lyx2latex, latex_length, revert_flex_inset, \
-  revert_font_attrs, revert_layout_command, hex2ratio
+  revert_font_attrs, revert_layout_command, hex2ratio, str2bool
 
 ####################################################################
 # Private helper functions
 
-def remove_option(document, m, option):
+def remove_option(lines, m, option):
     ''' removes option from line m. returns whether we did anything '''
-    l = document.body[m].find(option)
+    l = lines[m].find(option)
     if l == -1:
         return False
-    val = document.body[m][l:].split('"')[1]
-    document.body[m] = document.body[m][:l - 1] + document.body[m][l+len(option + '="' + val + '"'):]
+    val = lines[m][l:].split('"')[1]
+    lines[m] = lines[m][:l - 1] + lines[m][l+len(option + '="' + val + '"'):]
     return True
 
 
@@ -193,93 +194,110 @@ def revert_vphantom(document):
 
 def revert_xetex(document):
     " Reverts documents that use XeTeX "
+
     i = find_token(document.header, '\\use_xetex', 0)
     if i == -1:
         document.warning("Malformed LyX document: Missing \\use_xetex.")
         return
-    if get_value(document.header, "\\use_xetex", i) == 'false':
+    if not str2bool(get_value(document.header, "\\use_xetex", i)):
         del document.header[i]
         return
     del document.header[i]
+
     # 1.) set doc encoding to utf8-plain
     i = find_token(document.header, "\\inputencoding", 0)
     if i == -1:
         document.warning("Malformed LyX document: Missing \\inputencoding.")
-    document.header[i] = "\\inputencoding utf8-plain"
+    else:
+        document.header[i] = "\\inputencoding utf8-plain"
+
     # 2.) check font settings
-    l = find_token(document.header, "\\font_roman", 0)
-    if l == -1:
-        document.warning("Malformed LyX document: Missing \\font_roman.")
-    line = document.header[l]
-    l = re.compile(r'\\font_roman (.*)$')
-    m = l.match(line)
-    roman = m.group(1)
-    l = find_token(document.header, "\\font_sans", 0)
-    if l == -1:
-        document.warning("Malformed LyX document: Missing \\font_sans.")
-    line = document.header[l]
-    l = re.compile(r'\\font_sans (.*)$')
-    m = l.match(line)
-    sans = m.group(1)
-    l = find_token(document.header, "\\font_typewriter", 0)
-    if l == -1:
-        document.warning("Malformed LyX document: Missing \\font_typewriter.")
-    line = document.header[l]
-    l = re.compile(r'\\font_typewriter (.*)$')
-    m = l.match(line)
-    typewriter = m.group(1)
-    osf = get_value(document.header, '\\font_osf', 0) == "true"
-    sf_scale = float(get_value(document.header, '\\font_sf_scale', 0))
-    tt_scale = float(get_value(document.header, '\\font_tt_scale', 0))
-    # 3.) set preamble stuff
-    pretext = '%% This document must be processed with xelatex!\n'
-    pretext += '\\usepackage{fontspec}\n'
-    if roman != "default":
-        pretext += '\\setmainfont[Mapping=tex-text]{' + roman + '}\n'
-    if sans != "default":
-        pretext += '\\setsansfont['
-        if sf_scale != 100:
-            pretext += 'Scale=' + str(sf_scale / 100) + ','
-        pretext += 'Mapping=tex-text]{' + sans + '}\n'
-    if typewriter != "default":
-        pretext += '\\setmonofont'
-        if tt_scale != 100:
-            pretext += '[Scale=' + str(tt_scale / 100) + ']'
-        pretext += '{' + typewriter + '}\n'
-    if osf:
-        pretext += '\\defaultfontfeatures{Numbers=OldStyle}\n'
-    pretext += '\usepackage{xunicode}\n'
-    pretext += '\usepackage{xltxtra}\n'
-    insert_to_preamble(0, document, pretext)
-    # 4.) reset font settings
+    # defaults
+    roman = sans = typew = default
+    osf = False
+    sf_scale = tt_scale = 100.0
+    
     i = find_token(document.header, "\\font_roman", 0)
     if i == -1:
         document.warning("Malformed LyX document: Missing \\font_roman.")
-    document.header[i] = "\\font_roman default"
+    else:
+        roman = get_value(document.header, "\\font_roman", i)
+        document.header[i] = "\\font_roman default"
+
     i = find_token(document.header, "\\font_sans", 0)
     if i == -1:
         document.warning("Malformed LyX document: Missing \\font_sans.")
-    document.header[i] = "\\font_sans default"
+    else:
+        sans = get_value(document.header, "\\font_sans", i)
+        document.header[i] = "\\font_sans default"
+    
     i = find_token(document.header, "\\font_typewriter", 0)
     if i == -1:
         document.warning("Malformed LyX document: Missing \\font_typewriter.")
-    document.header[i] = "\\font_typewriter default"
+    else:
+        typew = get_value(document.header, "\\font_typewriter", i)
+        document.header[i] = "\\font_typewriter default"
+
     i = find_token(document.header, "\\font_osf", 0)
     if i == -1:
         document.warning("Malformed LyX document: Missing \\font_osf.")
-    document.header[i] = "\\font_osf false"
+    else:
+        osf = str2bool(get_value(document.header, "\\font_osf", i))
+        document.header[i] = "\\font_osf false"
+
     i = find_token(document.header, "\\font_sc", 0)
     if i == -1:
         document.warning("Malformed LyX document: Missing \\font_sc.")
-    document.header[i] = "\\font_sc false"
+    else:
+        # FIXME Do we want this value? and want to do something with it?
+        document.header[i] = "\\font_sc false"
+    
     i = find_token(document.header, "\\font_sf_scale", 0)
     if i == -1:
         document.warning("Malformed LyX document: Missing \\font_sf_scale.")
-    document.header[i] = "\\font_sf_scale 100"
+    else:
+      val = get_value(document.header, '\\font_sf_scale', i)
+      try:
+        # float() can throw
+        sf_scale = float(val)
+      except:
+        document.warning("Invalid font_sf_scale value: " + val)
+      document.header[i] = "\\font_sf_scale 100"
+
     i = find_token(document.header, "\\font_tt_scale", 0)
     if i == -1:
         document.warning("Malformed LyX document: Missing \\font_tt_scale.")
-    document.header[i] = "\\font_tt_scale 100"
+    else:
+        val = get_value(document.header, '\\font_tt_scale', i)
+        try:
+          # float() can throw
+          tt_scale = float(val)
+        except:
+          document.warning("Invalid font_tt_scale value: " + val)
+        document.header[i] = "\\font_tt_scale 100"
+
+    # 3.) set preamble stuff
+    pretext = ['%% This document must be processed with xelatex!']
+    pretext.append('\\usepackage{fontspec}')
+    if roman != "default":
+        pretext.append('\\setmainfont[Mapping=tex-text]{' + roman + '}')
+    if sans != "default":
+        sf = '\\setsansfont['
+        if sf_scale != 100.0:
+            sf += 'Scale=' + str(sf_scale / 100.0) + ','
+        sf += 'Mapping=tex-text]{' + sans + '}'
+        pretext.append(sf)
+    if typewriter != "default":
+        tw = '\\setmonofont'
+        if tt_scale != 100.0:
+            tw += '[Scale=' + str(tt_scale / 100.0) + ']'
+        tw += '{' + typewriter + '}'
+        pretext.append(tw)
+    if osf:
+        pretext.append('\\defaultfontfeatures{Numbers=OldStyle}')
+    pretext.append('\usepackage{xunicode}')
+    pretext.append('\usepackage{xltxtra}')
+    insert_to_preamble(0, document, pretext)
 
 
 def revert_outputformat(document):
@@ -318,12 +336,11 @@ def revert_splitindex(document):
     if i == -1:
         document.warning("Malformed LyX document: Missing \\use_indices.")
         return
-    indices = get_value(document.header, "\\use_indices", i)
-    preamble = ""
-    useindices = (indices == "true")
-    if useindices:
-         preamble += "\\usepackage{splitidx}\n"
+    useindices = str2bool(get_value(document.header, "\\use_indices", i))
     del document.header[i]
+    preamble = []
+    if useindices:
+         preamble.append("\\usepackage{splitidx})")
     
     # deal with index declarations in the preamble
     i = 0
@@ -342,9 +359,9 @@ def revert_splitindex(document):
           iname = m.group(1)
           ishortcut = get_value(document.header, '\\shortcut', i, k)
           if ishortcut != "":
-              preamble += "\\newindex[" + iname + "]{" + ishortcut + "}\n"
+              preamble.append("\\newindex[" + iname + "]{" + ishortcut + "}")
         del document.header[i:k + 1]
-    if preamble != "":
+    if preamble:
         insert_to_preamble(0, document, preamble)
         
     # deal with index insets
@@ -422,8 +439,7 @@ def revert_subindex(document):
     if i == -1:
         document.warning("Malformed LyX document: Missing \\use_indices.")
         return
-    indices = get_value(document.header, "\\use_indices", i)
-    useindices = (indices == "true")
+    useindices = str2bool(get_value(document.header, "\\use_indices", i))
     i = 0
     while True:
         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
@@ -449,8 +465,7 @@ def revert_printindexall(document):
     if i == -1:
         document.warning("Malformed LyX document: Missing \\use_indices.")
         return
-    indices = get_value(document.header, "\\use_indices", i)
-    useindices = (indices == "true")
+    useindices = str2bool(get_value(document.header, "\\use_indices", i))
     i = 0
     while True:
         i = find_token(document.body, "\\begin_inset CommandInset index_print", i)
@@ -809,8 +824,8 @@ def revert_suppress_date(document):
         return
     # remove the preamble line and write to the preamble
     # when suppress_date was true
-    date = get_value(document.header, "\\suppress_date", i)
-    if date == "true":
+    date = str2bool(get_value(document.header, "\\suppress_date", i))
+    if date:
         add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
         add_to_preamble(document, ["\\date{}"])
     del document.header[i]
@@ -832,6 +847,10 @@ def revert_mhchem(document):
             mhchem = "on"
         del document.header[i]
 
+    if mhchem == "off":
+      # don't load case
+      return 
+
     if mhchem == "auto":
         i = 0
         while True:
@@ -839,7 +858,7 @@ def revert_mhchem(document):
             if i == -1:
                break
             line = document.body[i]
-            if line.find("\\ce{") != -1 or line.find("\\cf{") != 1:
+            if line.find("\\ce{") != -1 or line.find("\\cf{") != -1:
               mhchem = "on"
               break
             i += 1
@@ -1015,8 +1034,8 @@ def convert_math_output(document):
     m = rgx.match(document.header[i])
     newval = "0" # MathML
     if m:
-      val = m.group(1)
-      if val != "true":
+      val = str2bool(m.group(1))
+      if not val:
         newval = "2" # Images
     else:
       document.warning("Can't match " + document.header[i])
@@ -1379,15 +1398,34 @@ def revert_output_sync(document):
     del document.header[i]
 
 
-# FIXME This doesn't do anything!!
 def revert_align_decimal(document):
-  l = 0
+  i = 0
   while True:
-    l = document.body[l].find('alignment=decimal')
-    if l == -1:
-        break
-    remove_option(document, l, 'decimal_point')
-    document.body[l].replace('decimal', 'center')
+    i = find_token(document.body, "\\begin_inset Tabular", i)
+    if i == -1:
+      return
+    j = find_end_of_inset(document.body, i)
+    if j == -1:
+      document.warning("Unable to find end of Tabular inset at line " + str(i))
+      i += 1
+      continue
+    cell = find_token(document.body, "<cell", i, j)
+    if cell == -1:
+      document.warning("Can't find any cells in Tabular inset at line " + str(i))
+      i = j
+      continue
+    k = i + 1
+    while True:
+      k = find_token(document.body, "<column", k, cell)
+      if k == -1:
+        return
+      if document.body[k].find('alignment="decimal"') == -1:
+        k += 1
+        continue
+      remove_option(document.body, k, 'decimal_point')
+      document.body[k] = \
+        document.body[k].replace('alignment="decimal"', 'alignment="center"')
+      k += 1
 
 
 def convert_optarg(document):
@@ -1585,23 +1623,15 @@ def revert_nameref(document):
       cmdloc = i
       i += 1
       # Make sure it is actually in an inset!
-      # We could just check document.lines[i-1], but that relies
-      # upon something that might easily change.
-      # We'll look back a few lines.
-      stins = cmdloc - 10
-      if stins < 0:
-        stins = 0
-      stins = find_token(document.body, "\\begin_inset CommandInset ref", stins)
-      if stins == -1 or stins > cmdloc:
-        continue
-      endins = find_end_of_inset(document.body, stins)
-      if endins == -1:
-        document.warning("Can't find end of inset at line " + stins + "!!")
+      # A normal line could begin with "LatexCommand nameref"!
+      stins, endins = get_containing_inset(document.body, cmdloc, \
+          "\\begin_inset CommandInset ref")
+      if stins == -1:
         continue
-      if endins < cmdloc:
-        continue
-      refline = find_token(document.body, "reference", stins)
-      if refline == -1 or refline > endins:
+
+      # ok, so it is in an InsetRef
+      refline = find_token(document.body, "reference", stins, endins)
+      if refline == -1:
         document.warning("Can't find reference for inset at line " + stinst + "!!")
         continue
       m = rx.match(document.body[refline])
@@ -1610,10 +1640,9 @@ def revert_nameref(document):
         continue
       foundone = True
       ref = m.group(1)
-      newcontent = ['\\begin_inset ERT', 'status collapsed', '', \
-        '\\begin_layout Plain Layout', '', '\\backslash', \
-        cmd + '{' + ref + '}', '\\end_layout', '', '\\end_inset']
+      newcontent = put_cmd_in_ert('\\' + cmd + '{' + ref + '}')
       document.body[stins:endins + 1] = newcontent
+
   if foundone:
     add_to_preamble(document, "\usepackage{nameref}")
 
@@ -1631,20 +1660,9 @@ def remove_Nameref(document):
     i += 1
     
     # Make sure it is actually in an inset!
-    # We could just check document.lines[i-1], but that relies
-    # upon something that might easily change.
-    # We'll look back a few lines.
-    stins = cmdloc - 10
-    if stins < 0:
-      stins = 0
-    stins = find_token(document.body, "\\begin_inset CommandInset ref", stins)
-    if stins == -1 or stins > cmdloc:
-      continue
-    endins = find_end_of_inset(document.body, stins)
-    if endins == -1:
-      document.warning("Can't find end of inset at line " + stins + "!!")
-      continue
-    if endins < cmdloc:
+    stins, endins = get_containing_inset(document.body, \
+        cmdloc, "\\begin_inset CommandInset ref")
+    if stins == -1:
       continue
     document.body[cmdloc] = "LatexCommand nameref"
 
@@ -1652,16 +1670,10 @@ def remove_Nameref(document):
 def revert_mathrsfs(document):
     " Load mathrsfs if \mathrsfs us use in the document "
     i = 0
-    end = len(document.body) - 1
-    while True:
-      j = document.body[i].find("\\mathscr{")
-      if j != -1:
-        add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
-        add_to_preamble(document, ["\\usepackage{mathrsfs}"])
-        break
-      if i == end:
-        break
-      i += 1
+    for line in document.body:
+      if line.find("\\mathscr{") != -1:
+        add_to_preamble(document, ["% lyx2lyx mathrsfs addition", "\\usepackage{mathrsfs}"])
+        return
 
 
 def convert_flexnames(document):
@@ -1679,66 +1691,66 @@ def convert_flexnames(document):
       i += 1
 
 
-flex_insets = [
-  ["Alert", "CharStyle:Alert"],
-  ["Code", "CharStyle:Code"],
-  ["Concepts", "CharStyle:Concepts"],
-  ["E-Mail", "CharStyle:E-Mail"],
-  ["Emph", "CharStyle:Emph"],
-  ["Expression", "CharStyle:Expression"],
-  ["Initial", "CharStyle:Initial"],
-  ["Institute", "CharStyle:Institute"],
-  ["Meaning", "CharStyle:Meaning"],
-  ["Noun", "CharStyle:Noun"],
-  ["Strong", "CharStyle:Strong"],
-  ["Structure", "CharStyle:Structure"],
-  ["ArticleMode", "Custom:ArticleMode"],
-  ["Endnote", "Custom:Endnote"],
-  ["Glosse", "Custom:Glosse"],
-  ["PresentationMode", "Custom:PresentationMode"],
-  ["Tri-Glosse", "Custom:Tri-Glosse"]
-]
-
-flex_elements = [
-  ["Abbrev", "Element:Abbrev"],
-  ["CCC-Code", "Element:CCC-Code"],
-  ["Citation-number", "Element:Citation-number"],
-  ["City", "Element:City"],
-  ["Code", "Element:Code"],
-  ["CODEN", "Element:CODEN"],
-  ["Country", "Element:Country"],
-  ["Day", "Element:Day"],
-  ["Directory", "Element:Directory"],
-  ["Dscr", "Element:Dscr"],
-  ["Email", "Element:Email"],
-  ["Emph", "Element:Emph"],
-  ["Filename", "Element:Filename"],
-  ["Firstname", "Element:Firstname"],
-  ["Fname", "Element:Fname"],
-  ["GuiButton", "Element:GuiButton"],
-  ["GuiMenu", "Element:GuiMenu"],
-  ["GuiMenuItem", "Element:GuiMenuItem"],
-  ["ISSN", "Element:ISSN"],
-  ["Issue-day", "Element:Issue-day"],
-  ["Issue-months", "Element:Issue-months"],
-  ["Issue-number", "Element:Issue-number"],
-  ["KeyCap", "Element:KeyCap"],
-  ["KeyCombo", "Element:KeyCombo"],
-  ["Keyword", "Element:Keyword"],
-  ["Literal", "Element:Literal"],
-  ["MenuChoice", "Element:MenuChoice"],
-  ["Month", "Element:Month"],
-  ["Orgdiv", "Element:Orgdiv"],
-  ["Orgname", "Element:Orgname"],
-  ["Postcode", "Element:Postcode"],
-  ["SS-Code", "Element:SS-Code"],
-  ["SS-Title", "Element:SS-Title"],
-  ["State", "Element:State"],
-  ["Street", "Element:Street"],
-  ["Surname", "Element:Surname"],
-  ["Volume", "Element:Volume"],
-  ["Year", "Element:Year"]
-]
+flex_insets = {
+  "Alert" : "CharStyle:Alert",
+  "Code" : "CharStyle:Code",
+  "Concepts" : "CharStyle:Concepts",
+  "E-Mail" : "CharStyle:E-Mail",
+  "Emph" : "CharStyle:Emph",
+  "Expression" : "CharStyle:Expression",
+  "Initial" : "CharStyle:Initial",
+  "Institute" : "CharStyle:Institute",
+  "Meaning" : "CharStyle:Meaning",
+  "Noun" : "CharStyle:Noun",
+  "Strong" : "CharStyle:Strong",
+  "Structure" : "CharStyle:Structure",
+  "ArticleMode" : "Custom:ArticleMode",
+  "Endnote" : "Custom:Endnote",
+  "Glosse" : "Custom:Glosse",
+  "PresentationMode" : "Custom:PresentationMode",
+  "Tri-Glosse" : "Custom:Tri-Glosse"
+}
+
+flex_elements = {
+  "Abbrev" : "Element:Abbrev",
+  "CCC-Code" : "Element:CCC-Code",
+  "Citation-number" : "Element:Citation-number",
+  "City" : "Element:City",
+  "Code" : "Element:Code",
+  "CODEN" : "Element:CODEN",
+  "Country" : "Element:Country",
+  "Day" : "Element:Day",
+  "Directory" : "Element:Directory",
+  "Dscr" : "Element:Dscr",
+  "Email" : "Element:Email",
+  "Emph" : "Element:Emph",
+  "Filename" : "Element:Filename",
+  "Firstname" : "Element:Firstname",
+  "Fname" : "Element:Fname",
+  "GuiButton" : "Element:GuiButton",
+  "GuiMenu" : "Element:GuiMenu",
+  "GuiMenuItem" : "Element:GuiMenuItem",
+  "ISSN" : "Element:ISSN",
+  "Issue-day" : "Element:Issue-day",
+  "Issue-months" : "Element:Issue-months",
+  "Issue-number" : "Element:Issue-number",
+  "KeyCap" : "Element:KeyCap",
+  "KeyCombo" : "Element:KeyCombo",
+  "Keyword" : "Element:Keyword",
+  "Literal" : "Element:Literal",
+  "MenuChoice" : "Element:MenuChoice",
+  "Month" : "Element:Month",
+  "Orgdiv" : "Element:Orgdiv",
+  "Orgname" : "Element:Orgname",
+  "Postcode" : "Element:Postcode",
+  "SS-Code" : "Element:SS-Code",
+  "SS-Title" : "Element:SS-Title",
+  "State" : "Element:State",
+  "Street" : "Element:Street",
+  "Surname" : "Element:Surname",
+  "Volume" : "Element:Volume",
+  "Year" : "Element:Year"
+}
 
 
 def revert_flexnames(document):
@@ -1758,100 +1770,115 @@ def revert_flexnames(document):
       document.warning("Illegal flex inset: " + document.body[i])
       i += 1
       continue
-    
     style = m.group(1)
-    for f in flexlist:
-      if f[0] == style:
-        document.body[i] = "\\begin_inset Flex " + f[1]
-        break
-
+    if style in flexlist:
+      document.body[i] = "\\begin_inset Flex " + flexlist[style]
     i += 1
 
 
 def convert_mathdots(document):
     " Load mathdots automatically "
-    while True:
-      i = find_token(document.header, "\\use_esint" , 0)
-      if i != -1:
-        document.header.insert(i + 1, "\\use_mathdots 1")
-      break
+    i = find_token(document.header, "\\use_esint" , 0)
+    if i != -1:
+      document.header.insert(i + 1, "\\use_mathdots 1")
 
 
 def revert_mathdots(document):
     " Load mathdots if used in the document "
-    i = 0
-    ddots = re.compile(r'\\begin_inset Formula .*\\ddots', re.DOTALL)
-    vdots = re.compile(r'\\begin_inset Formula .*\\vdots', re.DOTALL)
-    iddots = re.compile(r'\\begin_inset Formula .*\\iddots', re.DOTALL)
+
     mathdots = find_token(document.header, "\\use_mathdots" , 0)
-    no = find_token(document.header, "\\use_mathdots 0" , 0)
-    auto = find_token(document.header, "\\use_mathdots 1" , 0)
-    yes = find_token(document.header, "\\use_mathdots 2" , 0)
-    if mathdots != -1:
+    if mathdots == -1:
+      document.warning("No \\usemathdots line. Assuming auto.")
+    else:
+      val = get_value(document.header, "\\use_mathdots", mathdots)
       del document.header[mathdots]
+      try:
+        usedots = int(val)
+      except:
+        document.warning("Invalid \\use_mathdots value: " + val + ". Assuming auto.")
+        # probably usedots has not been changed, but be safe.
+        usedots = 1
+
+      if usedots == 0:
+        # do not load case
+        return
+      if usedots == 2:
+        # force load case
+        add_to_preamble(["% lyx2lyx mathdots addition", "\\usepackage{mathdots}"])
+        return
+    
+    # so we are in the auto case. we want to load mathdots if \iddots is used.
+    i = 0
     while True:
       i = find_token(document.body, '\\begin_inset Formula', i)
       if i == -1:
         return
       j = find_end_of_inset(document.body, i)
       if j == -1:
-        document.warning("Malformed LyX document: Can't find end of Formula inset.")
-        return 
-      k = ddots.search("\n".join(document.body[i:j]))
-      l = vdots.search("\n".join(document.body[i:j]))
-      m = iddots.search("\n".join(document.body[i:j]))
-      if (yes == -1) and ((no != -1) or (not k and not l and not m) or (auto != -1 and not m)):
+        document.warning("Malformed LyX document: Can't find end of Formula inset at line " + str(i))
         i += 1
         continue
-      # use \@ifundefined to catch also the "auto" case
-      add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
-      add_to_preamble(document, ["\\@ifundefined{iddots}{\\usepackage{mathdots}}\n"])
-      return
+      code = "\n".join(document.body[i:j])
+      if code.find("\\iddots") != -1:
+        add_to_preamble(document, ["% lyx2lyx mathdots addition", 
+        "\\@ifundefined{iddots}{\\usepackage{mathdots}}"])
+        return
+      i = j
 
 
 def convert_rule(document):
-    " Convert \\lyxline to CommandInset line "
+    " Convert \\lyxline to CommandInset line. "
     i = 0
+    
+    inset = ['\\begin_inset CommandInset line',
+      'LatexCommand rule',
+      'offset "0.5ex"',
+      'width "100line%"',
+      'height "1pt"', '',
+      '\\end_inset', '', '']
+
+    # if paragraphs are indented, we may have to unindent to get the
+    # line to be full-width.
+    indent = get_value(document.header, "\\paragraph_separation", 0)
+    have_indent = (indent == "indent")
+
     while True:
       i = find_token(document.body, "\\lyxline" , i)
       if i == -1:
         return
-        
-      j = find_token(document.body, "\\color" , i - 2)
-      if j == i - 2:
-        color = document.body[j] + '\n'
-      else:
-        color = ''
-      k = find_token(document.body, "\\begin_layout Standard" , i - 4)
-      # we need to handle the case that \lyxline is in a separate paragraph and that it is colored
-      # the result is then an extra empty paragraph which we get by adding an empty ERT inset
-      if k == i - 4 and j == i - 2 and document.body[i - 1] == '':
-        layout = '\\begin_inset ERT\nstatus collapsed\n\n\\begin_layout Plain Layout\n\n\n\\end_layout\n\n\\end_inset\n' \
-          + '\\end_layout\n\n' \
-          + '\\begin_layout Standard\n'
-      elif k == i - 2 and document.body[i - 1] == '':
-        layout = ''
-      else:
-        layout = '\\end_layout\n\n' \
-          + '\\begin_layout Standard\n'
-      l = find_token(document.body, "\\begin_layout Standard" , i + 4)
-      if l == i + 4 and document.body[i + 1] == '':
-        layout2 = ''
+
+      # we need to find out if this line follows other content
+      # in its paragraph. find its layout....
+      lastlay = find_token_backwards(document.body, "\\begin_layout", i)
+      if lastlay == -1:
+        document.warning("Can't find layout for line at " + str(i))
+        # do the best we can.
+        document.body[i:i+1] = inset
+        i += len(inset)
+        continue
+
+      # ...and look for other content before it.
+      lineisfirst = True
+      for line in document.body[lastlay + 1:i]:
+        # is it empty or a paragraph option?
+        if not line or line[0] == '\\':
+          continue
+        lineisfirst = False
+        break
+
+      if lineisfirst:
+        document.body[i:i+1] = inset
+        if indent:
+          # we need to unindent, lest the line be too long
+          document.body.insert(lastlay + 1, "\\noindent")
+        i += len(inset)
       else:
-        layout2 = '\\end_layout\n' \
-          + '\n\\begin_layout Standard\n'
-      subst = layout \
-        + '\\noindent\n\n' \
-        + color \
-        + '\\begin_inset CommandInset line\n' \
-        + 'LatexCommand rule\n' \
-        + 'offset "0.5ex"\n' \
-        + 'width "100line%"\n' \
-        + 'height "1pt"\n' \
-        + '\n\\end_inset\n\n\n' \
-        + layout2
-      document.body[i] = subst
-      i += 1
+        # so our line is in the middle of a paragraph
+        # we need to add a new line, lest this line follow the
+        # other content on that line and run off the side of the page
+        document.body[i:i+1] = inset
+        document.body[i:i] = ["\\begin_inset Newline newline", "\\end_inset", ""]
+      i += len(inset)
 
 
 def revert_rule(document):
@@ -1863,41 +1890,28 @@ def revert_rule(document):
         return
       # find end of inset
       j = find_token(document.body, "\\end_inset" , i)
-      # assure we found the end_inset of the current inset
-      if j > i + 6 or j == -1:
+      if j == -1:
         document.warning("Malformed LyX document: Can't find end of line inset.")
         return
       # determine the optional offset
-      k = find_token(document.body, 'offset', i, j)
-      if k != -1:
-        offset = document.body[k][8:-1]
-      else:
-        offset = ""
+      offset = get_value(document.body, 'offset', i, j).strip('"')
+      if offset:
+        offset = '[' + offset + ']'
       # determine the width
-      l = find_token(document.body, 'width', i, j)
-      if l != -1:
-        width = document.body[l][7:-1]
-      else:
-        width = "100col%"
+      width = get_value(document.body, 'width', i, j, "100col%").strip('"')
+      width = latex_length(width)[1]
       # determine the height
-      m = find_token(document.body, 'height', i, j)
-      if m != -1:
-        height = document.body[m][8:-1]
-      else:
-        height = "1pt"
+      height = get_value(document.body, 'height', i, j, "1pt").strip('"')
+      height = latex_length(height)[1]
       # output the \rule command
-      if offset:
-        subst = "\\rule[" + offset + "]{" + width + "}{" + height + "}"
-      else:
-        subst = "\\rule{" + width + "}{" + height + "}"
+      subst = "\\rule[" + offset + "]{" + width + "}{" + height + "}"
       document.body[i:j + 1] = put_cmd_in_ert(subst)
-      i += 1
+      i += len(subst) - (j - i)
 
 
 def revert_diagram(document):
   " Add the feyn package if \\Diagram is used in math "
   i = 0
-  re_diagram = re.compile(r'\\begin_inset Formula .*\\Diagram', re.DOTALL)
   while True:
     i = find_token(document.body, '\\begin_inset Formula', i)
     if i == -1:
@@ -1906,12 +1920,11 @@ def revert_diagram(document):
     if j == -1:
         document.warning("Malformed LyX document: Can't find end of Formula inset.")
         return 
-    m = re_diagram.search("\n".join(document.body[i:j]))
-    if not m:
-      i += 1
+    lines = "\n".join(document.body[i:j])
+    if lines.find("\\Diagram") == -1:
+      i = j
       continue
-    add_to_preamble(document, ["% this command was inserted by lyx2lyx"])
-    add_to_preamble(document, "\\usepackage{feyn}")
+    add_to_preamble(document, ["% lyx2lyx feyn package insertion ", "\\usepackage{feyn}"])
     # only need to do it once!
     return
 
@@ -1920,10 +1933,21 @@ def convert_bibtex_clearpage(document):
   " insert a clear(double)page bibliographystyle if bibtotoc option is used "
 
   i = find_token(document.header, '\\papersides', 0)
+  sides = 0
   if i == -1:
     document.warning("Malformed LyX document: Can't find papersides definition.")
-    return
-  sides = int(document.header[i][12])
+    document.warning("Assuming single sided.")
+    sides = 1
+  else:
+    val = get_value(document.header, "\\papersides", i)
+    try:
+      sides = int(val)
+    except:
+      pass
+    if sides != 1 and sides != 2:
+      document.warning("Invalid papersides value: " + val)
+      document.warning("Assuming single sided.")
+      sides = 1
 
   j = 0
   while True:
@@ -1938,47 +1962,34 @@ def convert_bibtex_clearpage(document):
       continue
 
     # only act if there is the option "bibtotoc"
-    m = find_token(document.body, 'options', j, k)
-    if m == -1:
+    val = get_value(document.body, 'options', j, k)
+    if not val:
       document.warning("Can't find options for bibliography inset at line " + str(j))
       j = k
       continue
     
-    optline = document.body[m]
-    idx = optline.find("bibtotoc")
-    if idx == -1:
+    if val.find("bibtotoc") == -1:
       j = k
       continue
     
     # so we want to insert a new page right before the paragraph that
-    # this bibliography thing is in. we'll look for it backwards.
-    lay = j - 1
-    while lay >= 0:
-      if document.body[lay].startswith("\\begin_layout"):
-        break
-      lay -= 1
-
-    if lay < 0:
+    # this bibliography thing is in. 
+    lay = find_token_backwards(document.body, "\\begin_layout", j)
+    if lay == -1:
       document.warning("Can't find layout containing bibliography inset at line " + str(j))
       j = k
       continue
 
-    subst1 = '\\begin_layout Standard\n' \
-      + '\\begin_inset Newpage clearpage\n' \
-      + '\\end_inset\n\n\n' \
-      + '\\end_layout\n'
-    subst2 = '\\begin_layout Standard\n' \
-      + '\\begin_inset Newpage cleardoublepage\n' \
-      + '\\end_inset\n\n\n' \
-      + '\\end_layout\n'
     if sides == 1:
-      document.body.insert(lay, subst1)
-      document.warning(subst1)
+      cmd = "clearpage"
     else:
-      document.body.insert(lay, subst2)
-      document.warning(subst2)
-
-    j = k
+      cmd = "cleardoublepage"
+    subst = ['\\begin_layout Standard',
+        '\\begin_inset Newpage ' + cmd,
+        '\\end_inset', '', '',
+        '\\end_layout', '']
+    document.body[lay:lay] = subst
+    j = k + len(subst)
 
 
 ##