]> git.lyx.org Git - lyx.git/blob - lib/lyx2lyx/lyx_1_4.py
fix bug 1990
[lyx.git] / lib / lyx2lyx / lyx_1_4.py
1 # This file is part of lyx2lyx
2 # -*- coding: iso-8859-1 -*-
3 # Copyright (C) 2002 Dekel Tsur <dekel@lyx.org>
4 # Copyright (C) 2002-2004 José Matos <jamatos@lyx.org>
5 # Copyright (C) 2004-2005 Georg Baum <Georg.Baum@post.rwth-aachen.de>
6 #
7 # This program is free software; you can redistribute it and/or
8 # modify it under the terms of the GNU General Public License
9 # as published by the Free Software Foundation; either version 2
10 # of the License, or (at your option) any later version.
11 #
12 # This program is distributed in the hope that it will be useful,
13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 # GNU General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License
18 # along with this program; if not, write to the Free Software
19 # Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
20
21 import re
22 from os import access, F_OK
23 import os.path
24 from parser_tools import find_token, find_end_of_inset, get_next_paragraph, \
25                          get_paragraph, get_value, del_token, is_nonempty_line,\
26                          find_tokens, find_end_of, find_token2, find_re
27 from sys import stdin
28 from string import replace, split, find, strip, join
29
30 from lyx_0_12 import update_latexaccents
31
32 ##
33 # Remove \color default
34 #
35 def remove_color_default(file):
36     i = 0
37     while 1:
38         i = find_token(file.body, "\\color default", i)
39         if i == -1:
40             return
41         file.body[i] = replace(file.body[i], "\\color default",
42                            "\\color inherit")
43
44
45 ##
46 # Add \end_header
47 #
48 def add_end_header(file):
49     file.header.append("\\end_header");
50
51
52 def rm_end_header(file):
53     i = find_token(file.header, "\\end_header", 0)
54     if i == -1:
55         return
56     del file.header[i]
57
58
59 ##
60 # \SpecialChar ~ -> \InsetSpace ~
61 #
62 def convert_spaces(file):
63     for i in range(len(file.body)):
64         file.body[i] = replace(file.body[i],"\\SpecialChar ~","\\InsetSpace ~")
65
66
67 def revert_spaces(file):
68     for i in range(len(file.body)):
69         file.body[i] = replace(file.body[i],"\\InsetSpace ~", "\\SpecialChar ~")
70
71
72 ##
73 # equivalent to lyx::support::escape()
74 #
75 def lyx_support_escape(lab):
76     hexdigit = ['0', '1', '2', '3', '4', '5', '6', '7',
77                 '8', '9', 'A', 'B', 'C', 'D', 'E', 'F']
78     enc = ""
79     for c in lab:
80         o = ord(c)
81         if o >= 128 or c == '=' or c == '%':
82             enc = enc + '='
83             enc = enc + hexdigit[o >> 4]
84             enc = enc + hexdigit[o & 15]
85         else:
86             enc = enc + c
87     return enc;
88
89
90 ##
91 # \begin_inset LatexCommand \eqref -> ERT
92 #
93 def revert_eqref(file):
94     regexp = re.compile(r'^\\begin_inset\s+LatexCommand\s+\\eqref')
95     i = 0
96     while 1:
97         i = find_re(file.body, regexp, i)
98         if i == -1:
99             break
100         eqref = lyx_support_escape(regexp.sub("", file.body[i]))
101         file.body[i:i+1] = ["\\begin_inset ERT", "status Collapsed", "",
102                             "\\layout Standard", "", "\\backslash ",
103                             "eqref" + eqref]
104         i = i + 7
105
106
107 ##
108 # BibTeX changes
109 #
110 def convert_bibtex(file):
111     for i in range(len(file.body)):
112         file.body[i] = replace(file.body[i],"\\begin_inset LatexCommand \\BibTeX",
113                                   "\\begin_inset LatexCommand \\bibtex")
114
115
116 def revert_bibtex(file):
117     for i in range(len(file.body)):
118         file.body[i] = replace(file.body[i], "\\begin_inset LatexCommand \\bibtex",
119                                   "\\begin_inset LatexCommand \\BibTeX")
120
121
122 ##
123 # Remove \lyxparent
124 #
125 def remove_insetparent(file):
126     i = 0
127     while 1:
128         i = find_token(file.body, "\\begin_inset LatexCommand \\lyxparent", i)
129         if i == -1:
130             break
131         del file.body[i:i+3]
132
133
134 ##
135 #  Inset External
136 #
137 def convert_external(file):
138     external_rexp = re.compile(r'\\begin_inset External ([^,]*),"([^"]*)",')
139     external_header = "\\begin_inset External"
140     i = 0
141     while 1:
142         i = find_token(file.body, external_header, i)
143         if i == -1:
144             break
145         look = external_rexp.search(file.body[i])
146         args = ['','']
147         if look:
148             args[0] = look.group(1)
149             args[1] = look.group(2)
150         #FIXME: if the previous search fails then warn
151
152         if args[0] == "RasterImage":
153             # Convert a RasterImage External Inset to a Graphics Inset.
154             top = "\\begin_inset Graphics"
155             if args[1]:
156                 filename = "\tfilename " + args[1]
157             file.body[i:i+1] = [top, filename]
158             i = i + 1
159         else:
160             # Convert the old External Inset format to the new.
161             top = external_header
162             template = "\ttemplate " + args[0]
163             if args[1]:
164                 filename = "\tfilename " + args[1]
165                 file.body[i:i+1] = [top, template, filename]
166                 i = i + 2
167             else:
168                 file.body[i:i+1] = [top, template]
169                 i = i + 1
170
171
172 def revert_external_1(file):
173     external_header = "\\begin_inset External"
174     i = 0
175     while 1:
176         i = find_token(file.body, external_header, i)
177         if i == -1:
178             break
179
180         template = split(file.body[i+1])
181         template.reverse()
182         del file.body[i+1]
183
184         filename = split(file.body[i+1])
185         filename.reverse()
186         del file.body[i+1]
187
188         params = split(file.body[i+1])
189         params.reverse()
190         if file.body[i+1]: del file.body[i+1]
191
192         file.body[i] = file.body[i] + " " + template[0]+ ', "' + filename[0] + '", " '+ join(params[1:]) + '"'
193         i = i + 1
194
195
196 def revert_external_2(file):
197     draft_token = '\tdraft'
198     i = 0
199     while 1:
200         i = find_token(file.body, '\\begin_inset External', i)
201         if i == -1:
202             break
203         j = find_end_of_inset(file.body, i + 1)
204         if j == -1:
205             #this should not happen
206             break
207         k = find_token(file.body, draft_token, i+1, j-1)
208         if (k != -1 and len(draft_token) == len(file.body[k])):
209             del file.body[k]
210         i = j + 1
211
212
213 ##
214 # Comment
215 #
216 def convert_comment(file):
217     i = 0
218     comment = "\\layout Comment"
219     while 1:
220         i = find_token(file.body, comment, i)
221         if i == -1:
222             return
223
224         file.body[i:i+1] = ["\\layout Standard","","",
225                         "\\begin_inset Comment",
226                         "collapsed true","",
227                         "\\layout Standard"]
228         i = i + 7
229
230         while 1:
231                 old_i = i
232                 i = find_token(file.body, "\\layout", i)
233                 if i == -1:
234                     i = len(file.body) - 1
235                     file.body[i:i] = ["\\end_inset","",""]
236                     return
237
238                 j = find_token(file.body, '\\begin_deeper', old_i, i)
239                 if j == -1: j = i + 1
240                 k = find_token(file.body, '\\begin_inset', old_i, i)
241                 if k == -1: k = i + 1
242
243                 if j < i and j < k:
244                     i = j
245                     del file.body[i]
246                     i = find_end_of( file.body, i, "\\begin_deeper","\\end_deeper")
247                     if i == -1:
248                         #This case should not happen
249                         #but if this happens deal with it greacefully adding
250                         #the missing \end_deeper.
251                         i = len(file.body) - 1
252                         file.body[i:i] = ["\end_deeper",""]
253                         return
254                     else:
255                         del file.body[i]
256                         continue
257
258                 if k < i:
259                     i = k
260                     i = find_end_of( file.body, i, "\\begin_inset","\\end_inset")
261                     if i == -1:
262                         #This case should not happen
263                         #but if this happens deal with it greacefully adding
264                         #the missing \end_inset.
265                         i = len(file.body) - 1
266                         file.body[i:i] = ["\\end_inset","","","\\end_inset","",""]
267                         return
268                     else:
269                         i = i + 1
270                         continue
271
272                 if find(file.body[i], comment) == -1:
273                     file.body[i:i] = ["\\end_inset"]
274                     i = i + 1
275                     break
276                 file.body[i:i+1] = ["\\layout Standard"]
277                 i = i + 1
278
279
280 def revert_comment(file):
281     i = 0
282     while 1:
283         i = find_tokens(file.body, ["\\begin_inset Comment", "\\begin_inset Greyedout"], i)
284
285         if i == -1:
286             return
287         file.body[i] = "\\begin_inset Note"
288         i = i + 1
289
290
291 ##
292 # Add \end_layout
293 #
294 def add_end_layout(file):
295     i = find_token(file.body, '\\layout', 0)
296
297     if i == -1:
298         return
299
300     i = i + 1
301     struct_stack = ["\\layout"]
302
303     while 1:
304         i = find_tokens(file.body, ["\\begin_inset", "\\end_inset", "\\layout",
305                                 "\\begin_deeper", "\\end_deeper", "\\the_end"], i)
306
307         if i != -1:
308             token = split(file.body[i])[0]
309         else:
310             file.warning("Truncated file.")
311             i = len(file.body)
312             file.body.insert(i, '\\the_end')
313             token = ""
314
315         if token == "\\begin_inset":
316             struct_stack.append(token)
317             i = i + 1
318             continue
319
320         if token == "\\end_inset":
321             tail = struct_stack.pop()
322             if tail == "\\layout":
323                 file.body.insert(i,"")
324                 file.body.insert(i,"\\end_layout")
325                 i = i + 2
326                 #Check if it is the correct tag
327                 struct_stack.pop()
328             i = i + 1
329             continue
330
331         if token == "\\layout":
332             tail = struct_stack.pop()
333             if tail == token:
334                 file.body.insert(i,"")
335                 file.body.insert(i,"\\end_layout")
336                 i = i + 3
337             else:
338                 struct_stack.append(tail)
339                 i = i + 1
340             struct_stack.append(token)
341             continue
342
343         if token == "\\begin_deeper":
344             file.body.insert(i,"")
345             file.body.insert(i,"\\end_layout")
346             i = i + 3
347             struct_stack.append(token)
348             continue
349
350         if token == "\\end_deeper":
351             if struct_stack[-1] == '\\layout':
352                 file.body.insert(i, '\\end_layout')
353                 i = i + 1
354                 struct_stack.pop()
355             i = i + 1
356             continue
357
358         #case \end_document
359         file.body.insert(i, "")
360         file.body.insert(i, "\\end_layout")
361         return
362
363
364 def rm_end_layout(file):
365     i = 0
366     while 1:
367         i = find_token(file.body, '\\end_layout', i)
368
369         if i == -1:
370             return
371
372         del file.body[i]
373
374
375 ##
376 # Handle change tracking keywords
377 #
378 def insert_tracking_changes(file):
379     i = find_token(file.header, "\\tracking_changes", 0)
380     if i == -1:
381         file.header.append("\\tracking_changes 0")
382
383
384 def rm_tracking_changes(file):
385     i = find_token(file.header, "\\author", 0)
386     if i != -1:
387         del file.header[i]
388
389     i = find_token(file.header, "\\tracking_changes", 0)
390     if i == -1:
391         return
392     del file.header[i]
393
394
395 def rm_body_changes(file):
396     i = 0
397     while 1:
398         i = find_token(file.body, "\\change_", i)
399         if i == -1:
400             return
401
402         del file.body[i]
403
404
405 ##
406 # \layout -> \begin_layout
407 #
408 def layout2begin_layout(file):
409     i = 0
410     while 1:
411         i = find_token(file.body, '\\layout', i)
412         if i == -1:
413             return
414
415         file.body[i] = replace(file.body[i], '\\layout', '\\begin_layout')
416         i = i + 1
417
418
419 def begin_layout2layout(file):
420     i = 0
421     while 1:
422         i = find_token(file.body, '\\begin_layout', i)
423         if i == -1:
424             return
425
426         file.body[i] = replace(file.body[i], '\\begin_layout', '\\layout')
427         i = i + 1
428
429
430 ##
431 # valignment="center" -> valignment="middle"
432 #
433 def convert_valignment_middle(body, start, end):
434     for i in range(start, end):
435         if re.search('^<(column|cell) .*valignment="center".*>$', body[i]):
436             body[i] = replace(body[i], 'valignment="center"', 'valignment="middle"')
437
438
439 def convert_table_valignment_middle(file):
440     regexp = re.compile(r'^\\begin_inset\s+Tabular')
441     i = 0
442     while 1:
443         i = find_re(file.body, regexp, i)
444         if i == -1:
445             return
446         j = find_end_of_inset(file.body, i + 1)
447         if j == -1:
448             #this should not happen
449             convert_valignment_middle(file.body, i + 1, len(file.body))
450             return
451         convert_valignment_middle(file.body, i + 1, j)
452         i = j + 1
453
454
455 def revert_table_valignment_middle(body, start, end):
456     for i in range(start, end):
457         if re.search('^<(column|cell) .*valignment="middle".*>$', body[i]):
458             body[i] = replace(body[i], 'valignment="middle"', 'valignment="center"')
459
460
461 def revert_valignment_middle(file):
462     regexp = re.compile(r'^\\begin_inset\s+Tabular')
463     i = 0
464     while 1:
465         i = find_re(file.body, regexp, i)
466         if i == -1:
467             return
468         j = find_end_of_inset(file.body, i + 1)
469         if j == -1:
470             #this should not happen
471             revert_table_valignment_middle(file.body, i + 1, len(file.body))
472             return
473         revert_table_valignment_middle(file.body, i + 1, j)
474         i = j + 1
475
476
477 ##
478 #  \the_end -> \end_document
479 #
480 def convert_end_document(file):
481     i = find_token(file.body, "\\the_end", 0)
482     if i == -1:
483         file.body.append("\\end_document")
484         return
485     file.body[i] = "\\end_document"
486
487
488 def revert_end_document(file):
489     i = find_token(file.body, "\\end_document", 0)
490     if i == -1:
491         file.body.append("\\the_end")
492         return
493     file.body[i] = "\\the_end"
494
495
496 ##
497 # Convert line and page breaks
498 # Old:
499 #\layout Standard
500 #\line_top \line_bottom \pagebreak_top \pagebreak_bottom \added_space_top xxx \added_space_bottom yyy
501 #0
502 #
503 # New:
504 #\begin layout Standard
505 #
506 #\newpage
507 #
508 #\lyxline
509 #\begin_inset VSpace xxx
510 #\end_inset
511 #
512 #\end_layout
513 #\begin_layout Standard
514 #
515 #0
516 #\end_layout
517 #\begin_layout Standard
518 #
519 #\begin_inset VSpace xxx
520 #\end_inset
521 #\lyxline
522 #
523 #\newpage
524 #
525 #\end_layout
526 def convert_breaks(file):
527     par_params = ('added_space_bottom', 'added_space_top', 'align',
528                  'labelwidthstring', 'line_bottom', 'line_top', 'noindent',
529                  'pagebreak_bottom', 'pagebreak_top', 'paragraph_spacing',
530                  'start_of_appendix')
531     i = 0
532     while 1:
533         i = find_token(file.body, "\\begin_layout", i)
534         if i == -1:
535             return
536         i = i + 1
537
538         # Merge all paragraph parameters into a single line
539         # We cannot check for '\\' only because paragraphs may start e.g.
540         # with '\\backslash'
541         while file.body[i + 1][:1] == '\\' and split(file.body[i + 1][1:])[0] in par_params:
542             file.body[i] = file.body[i + 1] + ' ' + file.body[i]
543             del file.body[i+1]
544
545         line_top   = find(file.body[i],"\\line_top")
546         line_bot   = find(file.body[i],"\\line_bottom")
547         pb_top     = find(file.body[i],"\\pagebreak_top")
548         pb_bot     = find(file.body[i],"\\pagebreak_bottom")
549         vspace_top = find(file.body[i],"\\added_space_top")
550         vspace_bot = find(file.body[i],"\\added_space_bottom")
551
552         if line_top == -1 and line_bot == -1 and pb_bot == -1 and pb_top == -1 and vspace_top == -1 and vspace_bot == -1:
553             continue
554
555         for tag in "\\line_top", "\\line_bottom", "\\pagebreak_top", "\\pagebreak_bottom":
556             file.body[i] = replace(file.body[i], tag, "")
557
558         if vspace_top != -1:
559             # the position could be change because of the removal of other
560             # paragraph properties above
561             vspace_top = find(file.body[i],"\\added_space_top")
562             tmp_list = split(file.body[i][vspace_top:])
563             vspace_top_value = tmp_list[1]
564             file.body[i] = file.body[i][:vspace_top] + join(tmp_list[2:])
565
566         if vspace_bot != -1:
567             # the position could be change because of the removal of other
568             # paragraph properties above
569             vspace_bot = find(file.body[i],"\\added_space_bottom")
570             tmp_list = split(file.body[i][vspace_bot:])
571             vspace_bot_value = tmp_list[1]
572             file.body[i] = file.body[i][:vspace_bot] + join(tmp_list[2:])
573
574         file.body[i] = strip(file.body[i])
575         i = i + 1
576
577         #  Create an empty paragraph for line and page break that belong
578         # above the paragraph
579         if pb_top !=-1 or line_top != -1 or vspace_top != -1:
580
581             paragraph_above = ['','\\begin_layout Standard','','']
582
583             if pb_top != -1:
584                 paragraph_above.extend(['\\newpage ',''])
585
586             if vspace_top != -1:
587                 paragraph_above.extend(['\\begin_inset VSpace ' + vspace_top_value,'\\end_inset','',''])
588
589             if line_top != -1:
590                 paragraph_above.extend(['\\lyxline ',''])
591
592             paragraph_above.extend(['\\end_layout',''])
593
594             #inset new paragraph above the current paragraph
595             file.body[i-2:i-2] = paragraph_above
596             i = i + len(paragraph_above)
597
598         # Ensure that nested style are converted later.
599         k = find_end_of(file.body, i, "\\begin_layout", "\\end_layout")
600
601         if k == -1:
602             return
603
604         if pb_bot !=-1 or line_bot != -1 or vspace_bot != -1:
605
606             paragraph_below = ['','\\begin_layout Standard','','']
607
608             if line_bot != -1:
609                 paragraph_below.extend(['\\lyxline ',''])
610
611             if vspace_bot != -1:
612                 paragraph_below.extend(['\\begin_inset VSpace ' + vspace_bot_value,'\\end_inset','',''])
613
614             if pb_bot != -1:
615                 paragraph_below.extend(['\\newpage ',''])
616
617             paragraph_below.extend(['\\end_layout',''])
618
619             #inset new paragraph above the current paragraph
620             file.body[k + 1: k + 1] = paragraph_below
621
622
623 ##
624 #  Notes
625 #
626 def convert_note(file):
627     i = 0
628     while 1:
629         i = find_tokens(file.body, ["\\begin_inset Note",
630                                 "\\begin_inset Comment",
631                                 "\\begin_inset Greyedout"], i)
632         if i == -1:
633             break
634
635         file.body[i] = file.body[i][0:13] + 'Note ' + file.body[i][13:]
636         i = i + 1
637
638
639 def revert_note(file):
640     note_header = "\\begin_inset Note "
641     i = 0
642     while 1:
643         i = find_token(file.body, note_header, i)
644         if i == -1:
645             break
646
647         file.body[i] = "\\begin_inset " + file.body[i][len(note_header):]
648         i = i + 1
649
650
651 ##
652 # Box
653 #
654 def convert_box(file):
655     i = 0
656     while 1:
657         i = find_tokens(file.body, ["\\begin_inset Boxed",
658                                 "\\begin_inset Doublebox",
659                                 "\\begin_inset Frameless",
660                                 "\\begin_inset ovalbox",
661                                 "\\begin_inset Ovalbox",
662                                 "\\begin_inset Shadowbox"], i)
663         if i == -1:
664             break
665
666         file.body[i] = file.body[i][0:13] + 'Box ' + file.body[i][13:]
667         i = i + 1
668
669
670 def revert_box(file):
671     box_header = "\\begin_inset Box "
672     i = 0
673     while 1:
674         i = find_token(file.body, box_header, i)
675         if i == -1:
676             break
677
678         file.body[i] = "\\begin_inset " + file.body[i][len(box_header):]
679         i = i + 1
680
681
682 ##
683 # Collapse
684 #
685 def convert_collapsable(file):
686     i = 0
687     while 1:
688         i = find_tokens(file.body, ["\\begin_inset Box",
689                                 "\\begin_inset Branch",
690                                 "\\begin_inset CharStyle",
691                                 "\\begin_inset Float",
692                                 "\\begin_inset Foot",
693                                 "\\begin_inset Marginal",
694                                 "\\begin_inset Note",
695                                 "\\begin_inset OptArg",
696                                 "\\begin_inset Wrap"], i)
697         if i == -1:
698             break
699
700         # Seach for a line starting 'collapsed'
701         # If, however, we find a line starting '\begin_layout'
702         # (_always_ present) then break with a warning message
703         i = i + 1
704         while 1:
705             if (file.body[i] == "collapsed false"):
706                 file.body[i] = "status open"
707                 break
708             elif (file.body[i] == "collapsed true"):
709                 file.body[i] = "status collapsed"
710                 break
711             elif (file.body[i][:13] == "\\begin_layout"):
712                 file.warning("Malformed LyX file: Missing 'collapsed'.")
713                 break
714             i = i + 1
715
716         i = i + 1
717
718
719 def revert_collapsable(file):
720     i = 0
721     while 1:
722         i = find_tokens(file.body, ["\\begin_inset Box",
723                                 "\\begin_inset Branch",
724                                 "\\begin_inset CharStyle",
725                                 "\\begin_inset Float",
726                                 "\\begin_inset Foot",
727                                 "\\begin_inset Marginal",
728                                 "\\begin_inset Note",
729                                 "\\begin_inset OptArg",
730                                 "\\begin_inset Wrap"], i)
731         if i == -1:
732             break
733
734         # Seach for a line starting 'status'
735         # If, however, we find a line starting '\begin_layout'
736         # (_always_ present) then break with a warning message
737         i = i + 1
738         while 1:
739             if (file.body[i] == "status open"):
740                 file.body[i] = "collapsed false"
741                 break
742             elif (file.body[i] == "status collapsed" or
743                   file.body[i] == "status inlined"):
744                 file.body[i] = "collapsed true"
745                 break
746             elif (file.body[i][:13] == "\\begin_layout"):
747                 file.warning("Malformed LyX file: Missing 'status'.")
748                 break
749             i = i + 1
750
751         i = i + 1
752
753
754 ##
755 #  ERT
756 #
757 def convert_ert(file):
758     i = 0
759     while 1:
760         i = find_token(file.body, "\\begin_inset ERT", i)
761         if i == -1:
762             break
763
764         # Seach for a line starting 'status'
765         # If, however, we find a line starting '\begin_layout'
766         # (_always_ present) then break with a warning message
767         i = i + 1
768         while 1:
769             if (file.body[i] == "status Open"):
770                 file.body[i] = "status open"
771                 break
772             elif (file.body[i] == "status Collapsed"):
773                 file.body[i] = "status collapsed"
774                 break
775             elif (file.body[i] == "status Inlined"):
776                 file.body[i] = "status inlined"
777                 break
778             elif (file.body[i][:13] == "\\begin_layout"):
779                 file.warning("Malformed LyX file: Missing 'status'.")
780                 break
781             i = i + 1
782
783         i = i + 1
784
785
786 def revert_ert(file):
787     i = 0
788     while 1:
789         i = find_token(file.body, "\\begin_inset ERT", i)
790         if i == -1:
791             break
792
793         # Seach for a line starting 'status'
794         # If, however, we find a line starting '\begin_layout'
795         # (_always_ present) then break with a warning message
796         i = i + 1
797         while 1:
798             if (file.body[i] == "status open"):
799                 file.body[i] = "status Open"
800                 break
801             elif (file.body[i] == "status collapsed"):
802                 file.body[i] = "status Collapsed"
803                 break
804             elif (file.body[i] == "status inlined"):
805                 file.body[i] = "status Inlined"
806                 break
807             elif (file.body[i][:13] == "\\begin_layout"):
808                 file.warning("Malformed LyX file : Missing 'status'.")
809                 break
810             i = i + 1
811
812         i = i + 1
813
814
815 ##
816 # Minipages
817 #
818 def convert_minipage(file):
819     """ Convert minipages to the box inset.
820     We try to use the same order of arguments as lyx does.
821     """
822     pos = ["t","c","b"]
823     inner_pos = ["c","t","b","s"]
824
825     i = 0
826     while 1:
827         i = find_token(file.body, "\\begin_inset Minipage", i)
828         if i == -1:
829             return
830
831         file.body[i] = "\\begin_inset Box Frameless"
832         i = i + 1
833
834         # convert old to new position using the pos list
835         if file.body[i][:8] == "position":
836             file.body[i] = 'position "%s"' % pos[int(file.body[i][9])]
837         else:
838             file.body.insert(i, 'position "%s"' % pos[0])
839         i = i + 1
840
841         file.body.insert(i, 'hor_pos "c"')
842         i = i + 1
843         file.body.insert(i, 'has_inner_box 1')
844         i = i + 1
845
846         # convert the inner_position
847         if file.body[i][:14] == "inner_position":
848             file.body[i] = 'inner_pos "%s"' %  inner_pos[int(file.body[i][15])]
849         else:
850             file.body.insert('inner_pos "%s"' % inner_pos[0])
851         i = i + 1
852
853         # We need this since the new file format has a height and width
854         # in a different order.
855         if file.body[i][:6] == "height":
856             height = file.body[i][6:]
857             # test for default value of 221 and convert it accordingly
858             if height == ' "0pt"' or height == ' "0"':
859                 height = ' "1pt"'
860             del file.body[i]
861         else:
862             height = ' "1pt"'
863
864         if file.body[i][:5] == "width":
865             width = file.body[i][5:]
866             del file.body[i]
867         else:
868             width = ' "0"'
869
870         if file.body[i][:9] == "collapsed":
871             if file.body[i][9:] == "true":
872                 status = "collapsed"
873             else:
874                 status = "open"
875             del file.body[i]
876         else:
877             status = "collapsed"
878
879         file.body.insert(i, 'use_parbox 0')
880         i = i + 1
881         file.body.insert(i, 'width' + width)
882         i = i + 1
883         file.body.insert(i, 'special "none"')
884         i = i + 1
885         file.body.insert(i, 'height' + height)
886         i = i + 1
887         file.body.insert(i, 'height_special "totalheight"')
888         i = i + 1
889         file.body.insert(i, 'status ' + status)
890         i = i + 1
891
892
893 # -------------------------------------------------------------------------------------------
894 # Convert backslashes and '\n' into valid ERT code, append the converted
895 # text to body[i] and return the (maybe incremented) line index i
896 def convert_ertbackslash(body, i, ert):
897     for c in ert:
898         if c == '\\':
899             body[i] = body[i] + '\\backslash '
900             i = i + 1
901             body.insert(i, '')
902         elif c == '\n':
903             body[i+1:i+1] = ['\\newline ', '']
904             i = i + 2
905         else:
906             body[i] = body[i] + c
907     return i
908
909
910 # get all paragraph parameters. They can be all on one line or on several lines.
911 # lines[i] must be the first parameter line
912 def get_par_params(lines, i):
913     par_params = ('added_space_bottom', 'added_space_top', 'align',
914                  'labelwidthstring', 'line_bottom', 'line_top', 'noindent',
915                  'pagebreak_bottom', 'pagebreak_top', 'paragraph_spacing',
916                  'start_of_appendix')
917     # We cannot check for '\\' only because paragraphs may start e.g.
918     # with '\\backslash'
919     params = ''
920     while lines[i][:1] == '\\' and split(lines[i][1:])[0] in par_params:
921         params = params + ' ' + strip(lines[i])
922         i = i + 1
923     return strip(params)
924
925
926 # Change vspace insets, page breaks and lyxlines to paragraph options
927 # (if possible) or ERT
928 def revert_breaks(file):
929
930     # Get default spaceamount
931     i = find_token(file.header, '\\defskip', 0)
932     if i == -1:
933         defskipamount = 'medskip'
934     else:
935         defskipamount = split(file.header[i])[1]
936
937     keys = {"\\begin_inset" : "vspace", "\\lyxline" : "lyxline",
938             "\\newpage" : "newpage"}
939     keywords_top = {"vspace" : "\\added_space_top", "lyxline" : "\\line_top",
940                     "newpage" : "\\pagebreak_top"}
941     keywords_bot = {"vspace" : "\\added_space_bottom", "lyxline" : "\\line_bottom",
942                     "newpage" : "\\pagebreak_bottom"}
943     tokens = ["\\begin_inset VSpace", "\\lyxline", "\\newpage"]
944
945     # Convert the insets
946     i = 0
947     while 1:
948         i = find_tokens(file.body, tokens, i)
949         if i == -1:
950             return
951         lines = list()
952         insets = list()
953         lines.append(split(file.body[i]))
954         insets.append(keys[lines[0][0]])
955
956         # Are we at the beginning of a paragraph?
957         paragraph_start = 1
958         start = get_paragraph(file.body, i) + 1
959         params = get_par_params(file.body, start)
960         # Paragraph parameters may be on one or more lines.
961         # Find the start of the real paragraph text.
962         while file.body[start][:1] == '\\' and split(file.body[start])[0] in params:
963             start = start + 1
964         for k in range(start, i):
965             if is_nonempty_line(file.body[k]):
966                 paragraph_start = 0
967                 break
968
969         # Are we at the end of a paragraph?
970         paragraph_end = 1
971         if insets[0] == "vspace":
972             j = find_end_of_inset(file.body, i)
973             if j == -1:
974                 file.warning("Malformed lyx file: Missing '\\end_inset'.")
975                 i = i + 1
976                 continue
977         else:
978             j = i
979         end = get_next_paragraph(file.body, i)
980         for k in range(j + 1, end):
981             if is_nonempty_line(file.body[k]):
982                 paragraph_end = 0
983                 break
984
985         # Detect paragraphs created by convert_breaks()
986         before = 0
987         after = 0
988         if paragraph_start:
989             # Make a copy of the paragraph, since we need to strip empty lines
990             paragraph = list()
991             for k in range(start, end):
992                 if is_nonempty_line(file.body[k]):
993                     if (len(paragraph) > 0 and
994                         find_token(file.body, "\\end_inset", k) == k):
995                         paragraph[len(paragraph) - 1] = paragraph[len(paragraph) - 1] + ' ' + file.body[k]
996                     else:
997                         paragraph.append(file.body[k])
998
999             # Do we have a second inset to convert in this paragraph?
1000             if ((len(paragraph) == 2 or len(paragraph) == 3) and
1001                 find_tokens(paragraph, tokens, 1) == 1):
1002                 lines.append(split(paragraph[1]))
1003                 insets.append(keys[lines[1][0]])
1004                 del paragraph[1]
1005                 # Do we have a third inset to convert in this paragraph?
1006                 if (len(paragraph) == 2 and
1007                     find_tokens(paragraph, tokens, 1) == 1):
1008                     lines.append(split(paragraph[1]))
1009                     insets.append(keys[lines[2][0]])
1010                     del paragraph[1]
1011
1012             if len(paragraph) == 1:
1013                 # We have only insets that need to be converted in this paragraph
1014                 if ((len(insets) == 3 and insets[0] == "newpage" and
1015                      insets[1] == "vspace" and insets[2] == "lyxline") or
1016                     (len(insets) == 2 and
1017                      ((insets[0] == "newpage" and insets[1] == "vspace") or
1018                       (insets[0] == "newpage" and insets[1] == "lyxline") or
1019                       (insets[0] == "vspace"  and insets[1] == "lyxline")))):
1020                     # This paragraph has been created before a paragraph by
1021                     # convert_breaks()
1022                     before = 1
1023                     paragraph_start = 1
1024                     paragraph_end = 1
1025                 if ((len(insets) == 3 and insets[0] == "lyxline" and
1026                      insets[1] == "vspace" and insets[2] == "newpage") or
1027                     (len(insets) == 2 and
1028                      ((insets[0] == "lyxline" and insets[1] == "vspace") or
1029                       (insets[0] == "lyxline" and insets[1] == "newpage") or
1030                       (insets[0] == "vspace"  and insets[1] == "newpage")))):
1031                     # This paragraph has been created after a paragraph by
1032                     # convert_breaks()
1033                     paragraph_start = 1
1034                     paragraph_end = 1
1035                     after = 1
1036
1037         # Determine space amount for vspace insets
1038         spaceamount = list()
1039         arguments = list()
1040         for k in range(len(lines)):
1041             if insets[k] == "vspace":
1042                 spaceamount.append(lines[k][2])
1043                 arguments.append(' ' + spaceamount[k] + ' ')
1044             else:
1045                 spaceamount.append('')
1046                 arguments.append(' ')
1047
1048         if paragraph_start and paragraph_end:
1049             # We are in a paragraph of our own.
1050             # We must not delete this paragraph if it has parameters
1051             if params == '':
1052                 # First try to merge with the previous paragraph.
1053                 # We try the previous paragraph first because we would
1054                 # otherwise need ERT for two subsequent vspaces.
1055                 prev_par = get_paragraph(file.body, start - 2) + 1
1056                 if prev_par > 0 and not before:
1057                     prev_params = get_par_params(file.body, prev_par + 1)
1058                     ert = 0
1059                     n = len(insets)
1060                     for k in range(n):
1061                         if keywords_bot[insets[k]] in prev_params:
1062                             ert = 1
1063                             break
1064                     if not ert:
1065                         for k in range(len(insets)):
1066                             file.body.insert(prev_par + 1,
1067                                              keywords_bot[insets[k]] + arguments[k])
1068                         del file.body[start-1+n:end+n]
1069                         i = start + n
1070                         continue
1071                 # Then try next paragraph
1072                 next_par = end
1073                 if next_par > 0 and not after:
1074                     next_params = get_par_params(file.body, next_par + 1)
1075                     ert = 0
1076                     n = len(insets)
1077                     for k in range(n):
1078                         if keywords_top[insets[k]] in next_params:
1079                             ert = 1
1080                             break
1081                     if not ert:
1082                         for k in range(len(insets)):
1083                             file.body.insert(next_par + 1,
1084                                              keywords_top[insets[k]] + arguments[k])
1085                         del file.body[start-1:end]
1086                         i = start
1087                         continue
1088         else:
1089             # Convert to paragraph formatting if we are at the beginning or end
1090             # of a paragraph and the resulting paragraph would not be empty
1091             # The order is important: del and insert invalidate some indices
1092             if paragraph_start:
1093                 if j != i:
1094                     del file.body[j]
1095                 del file.body[i]
1096                 file.body.insert(start, keywords_top[insets[0]] + arguments[0])
1097                 continue
1098             elif paragraph_end:
1099                 if j != i:
1100                     del file.body[j]
1101                 del file.body[i]
1102                 file.body.insert(start, keywords_bot[insets[0]] + arguments[0])
1103                 continue
1104
1105         # Convert the first inset to ERT.
1106         # The others are converted in the next loop runs (if they exist)
1107         if insets[0] == "vspace":
1108             file.body[i:i+1] = ['\\begin_inset ERT', 'status Collapsed', '',
1109                                 '\\layout Standard', '', '\\backslash ']
1110             i = i + 6
1111             if spaceamount[0][-1] == '*':
1112                 spaceamount[0] = spaceamount[0][:-1]
1113                 keep = 1
1114             else:
1115                 keep = 0
1116
1117             # Replace defskip by the actual value
1118             if spaceamount[0] == 'defskip':
1119                 spaceamount[0] = defskipamount
1120
1121             # LaTeX does not know \\smallskip* etc
1122             if keep:
1123                 if spaceamount[0] == 'smallskip':
1124                     spaceamount[0] = '\\smallskipamount'
1125                 elif spaceamount[0] == 'medskip':
1126                     spaceamount[0] = '\\medskipamount'
1127                 elif spaceamount[0] == 'bigskip':
1128                     spaceamount[0] = '\\bigskipamount'
1129                 elif spaceamount[0] == 'vfill':
1130                     spaceamount[0] = '\\fill'
1131
1132             # Finally output the LaTeX code
1133             if (spaceamount[0] == 'smallskip' or spaceamount[0] == 'medskip' or
1134                 spaceamount[0] == 'bigskip'   or spaceamount[0] == 'vfill'):
1135                 file.body.insert(i, spaceamount[0] + '{}')
1136             else :
1137                 if keep:
1138                     file.body.insert(i, 'vspace*{')
1139                 else:
1140                     file.body.insert(i, 'vspace{')
1141                 i = convert_ertbackslash(file.body, i, spaceamount[0])
1142                 file.body[i] = file.body[i] + '}'
1143             i = i + 1
1144         elif insets[0] == "lyxline":
1145             file.body[i:i+1] = ['\\begin_inset ERT', 'status Collapsed', '',
1146                                 '\\layout Standard', '', '\\backslash',
1147                                 'lyxline{}', '', '\\end_inset', '']
1148             i = i + 10
1149             # We use \providecommand so that we don't get an error if native
1150             # lyxlines are used (LyX writes first its own preamble and then
1151             # the user specified one)
1152             add_to_preamble(file,
1153                             ['% Commands inserted by lyx2lyx for lyxlines',
1154                              '\\providecommand{\\lyxline}[1]{',
1155                              '  {#1 \\vspace{1ex} \\hrule width \\columnwidth \\vspace{1ex}}'
1156                              '}'])
1157         elif insets[0] == "newpage":
1158             file.body[i:i+1] = ['\\begin_inset ERT', 'status Collapsed', '',
1159                                 '\\layout Standard', '', '\\backslash',
1160                                 'newpage{}', '', '\\end_inset', '']
1161             i = i + 10
1162
1163
1164 # Convert a LyX length into a LaTeX length
1165 def convert_len(len, special):
1166     units = {"text%":"\\textwidth", "col%":"\\columnwidth",
1167              "page%":"\\pagewidth", "line%":"\\linewidth",
1168              "theight%":"\\textheight", "pheight%":"\\pageheight"}
1169
1170     # Convert special lengths
1171     if special != 'none':
1172         len = '%f\\' % len2value(len) + special
1173
1174     # Convert LyX units to LaTeX units
1175     for unit in units.keys():
1176         if find(len, unit) != -1:
1177             len = '%f' % (len2value(len) / 100) + units[unit]
1178             break
1179
1180     return len
1181
1182
1183 # Convert a LyX length into valid ERT code and append it to body[i]
1184 # Return the (maybe incremented) line index i
1185 def convert_ertlen(body, i, len, special):
1186     # Convert backslashes and insert the converted length into body
1187     return convert_ertbackslash(body, i, convert_len(len, special))
1188
1189
1190 # Return the value of len without the unit in numerical form
1191 def len2value(len):
1192     result = re.search('([+-]?[0-9.]+)', len)
1193     if result:
1194         return float(result.group(1))
1195     # No number means 1.0
1196     return 1.0
1197
1198
1199 # Convert text to ERT and insert it at body[i]
1200 # Return the index of the line after the inserted ERT
1201 def insert_ert(body, i, status, text):
1202     body[i:i] = ['\\begin_inset ERT', 'status ' + status, '',
1203                  '\\layout Standard', '']
1204     i = i + 5
1205     i = convert_ertbackslash(body, i, text) + 1
1206     body[i:i] = ['', '\\end_inset', '']
1207     i = i + 3
1208     return i
1209
1210
1211 # Add text to the preamble if it is not already there.
1212 # Only the first line is checked!
1213 def add_to_preamble(file, text):
1214     if find_token(file.preamble, text[0], 0) != -1:
1215         return
1216
1217     file.preamble.extend(text)
1218
1219
1220 def convert_frameless_box(file):
1221     pos = ['t', 'c', 'b']
1222     inner_pos = ['c', 't', 'b', 's']
1223     i = 0
1224     while 1:
1225         i = find_token(file.body, '\\begin_inset Frameless', i)
1226         if i == -1:
1227             return
1228         j = find_end_of_inset(file.body, i)
1229         if j == -1:
1230             file.warning("Malformed LyX file: Missing '\\end_inset'.")
1231             i = i + 1
1232             continue
1233         del file.body[i]
1234         j = j - 1
1235
1236         # Gather parameters
1237         params = {'position':0, 'hor_pos':'c', 'has_inner_box':'1',
1238                   'inner_pos':1, 'use_parbox':'0', 'width':'100col%',
1239                   'special':'none', 'height':'1in',
1240                   'height_special':'totalheight', 'collapsed':'false'}
1241         for key in params.keys():
1242             value = replace(get_value(file.body, key, i, j), '"', '')
1243             if value != "":
1244                 if key == 'position':
1245                     # convert new to old position: 'position "t"' -> 0
1246                     value = find_token(pos, value, 0)
1247                     if value != -1:
1248                         params[key] = value
1249                 elif key == 'inner_pos':
1250                     # convert inner position
1251                     value = find_token(inner_pos, value, 0)
1252                     if value != -1:
1253                         params[key] = value
1254                 else:
1255                     params[key] = value
1256                 j = del_token(file.body, key, i, j)
1257         i = i + 1
1258
1259         # Convert to minipage or ERT?
1260         # Note that the inner_position and height parameters of a minipage
1261         # inset are ignored and not accessible for the user, although they
1262         # are present in the file format and correctly read in and written.
1263         # Therefore we convert to ERT if they do not have their LaTeX
1264         # defaults. These are:
1265         # - the value of "position" for "inner_pos"
1266         # - "\totalheight"          for "height"
1267         if (params['use_parbox'] != '0' or
1268             params['has_inner_box'] != '1' or
1269             params['special'] != 'none' or
1270             params['height_special'] != 'totalheight' or
1271             len2value(params['height']) != 1.0):
1272
1273             # Here we know that this box is not supported in file format 224.
1274             # Therefore we need to convert it to ERT. We can't simply convert
1275             # the beginning and end of the box to ERT, because the
1276             # box inset may contain layouts that are different from the
1277             # surrounding layout. After the conversion the contents of the
1278             # box inset is on the same level as the surrounding text, and
1279             # paragraph layouts and align parameters can get mixed up.
1280
1281             # A possible solution for this problem:
1282             # Convert the box to a minipage and redefine the minipage
1283             # environment in ERT so that the original box is simulated.
1284             # For minipages we could do this in a way that the width and
1285             # position can still be set from LyX, but this did not work well.
1286             # This is not possible for parboxes either, so we convert the
1287             # original box to ERT, put the minipage inset inside the box
1288             # and redefine the minipage environment to be empty.
1289
1290             # Commands that are independant of a particular box can go to
1291             # the preamble.
1292             # We need to define lyxtolyxrealminipage with 3 optional
1293             # arguments although LyX 1.3 uses only the first one.
1294             # Otherwise we will get LaTeX errors if this document is
1295             # converted to format 225 or above again (LyX 1.4 uses all
1296             # optional arguments).
1297             add_to_preamble(file,
1298                 ['% Commands inserted by lyx2lyx for frameless boxes',
1299                  '% Save the original minipage environment',
1300                  '\\let\\lyxtolyxrealminipage\\minipage',
1301                  '\\let\\endlyxtolyxrealminipage\\endminipage',
1302                  '% Define an empty lyxtolyximinipage environment',
1303                  '% with 3 optional arguments',
1304                  '\\newenvironment{lyxtolyxiiiminipage}[4]{}{}',
1305                  '\\newenvironment{lyxtolyxiiminipage}[2][\\lyxtolyxargi]%',
1306                  '  {\\begin{lyxtolyxiiiminipage}{\\lyxtolyxargi}{\\lyxtolyxargii}{#1}{#2}}%',
1307                  '  {\\end{lyxtolyxiiiminipage}}',
1308                  '\\newenvironment{lyxtolyximinipage}[1][\\totalheight]%',
1309                  '  {\\def\\lyxtolyxargii{{#1}}\\begin{lyxtolyxiiminipage}}%',
1310                  '  {\\end{lyxtolyxiiminipage}}',
1311                  '\\newenvironment{lyxtolyxminipage}[1][c]%',
1312                  '  {\\def\\lyxtolyxargi{{#1}}\\begin{lyxtolyximinipage}}',
1313                  '  {\\end{lyxtolyximinipage}}'])
1314
1315             if params['use_parbox'] != '0':
1316                 ert = '\\parbox'
1317             else:
1318                 ert = '\\begin{lyxtolyxrealminipage}'
1319
1320             # convert optional arguments only if not latex default
1321             if (pos[params['position']] != 'c' or
1322                 inner_pos[params['inner_pos']] != pos[params['position']] or
1323                 params['height_special'] != 'totalheight' or
1324                 len2value(params['height']) != 1.0):
1325                 ert = ert + '[' + pos[params['position']] + ']'
1326             if (inner_pos[params['inner_pos']] != pos[params['position']] or
1327                 params['height_special'] != 'totalheight' or
1328                 len2value(params['height']) != 1.0):
1329                 ert = ert + '[' + convert_len(params['height'],
1330                                               params['height_special']) + ']'
1331             if inner_pos[params['inner_pos']] != pos[params['position']]:
1332                 ert = ert + '[' + inner_pos[params['inner_pos']] + ']'
1333
1334             ert = ert + '{' + convert_len(params['width'],
1335                                           params['special']) + '}'
1336
1337             if params['use_parbox'] != '0':
1338                 ert = ert + '{'
1339             ert = ert + '\\let\\minipage\\lyxtolyxminipage%\n'
1340             ert = ert + '\\let\\endminipage\\endlyxtolyxminipage%\n'
1341
1342             old_i = i
1343             i = insert_ert(file.body, i, 'Collapsed', ert)
1344             j = j + i - old_i - 1
1345
1346             file.body[i:i] = ['\\begin_inset Minipage',
1347                               'position %d' % params['position'],
1348                               'inner_position 1',
1349                               'height "1in"',
1350                               'width "' + params['width'] + '"',
1351                               'collapsed ' + params['collapsed']]
1352             i = i + 6
1353             j = j + 6
1354
1355             # Restore the original minipage environment since we may have
1356             # minipages inside this box.
1357             # Start a new paragraph because the following may be nonstandard
1358             file.body[i:i] = ['\\layout Standard', '', '']
1359             i = i + 2
1360             j = j + 3
1361             ert = '\\let\\minipage\\lyxtolyxrealminipage%\n'
1362             ert = ert + '\\let\\endminipage\\lyxtolyxrealendminipage%'
1363             old_i = i
1364             i = insert_ert(file.body, i, 'Collapsed', ert)
1365             j = j + i - old_i - 1
1366
1367             # Redefine the minipage end before the inset end.
1368             # Start a new paragraph because the previous may be nonstandard
1369             file.body[j:j] = ['\\layout Standard', '', '']
1370             j = j + 2
1371             ert = '\\let\\endminipage\\endlyxtolyxminipage'
1372             j = insert_ert(file.body, j, 'Collapsed', ert)
1373             j = j + 1
1374             file.body.insert(j, '')
1375             j = j + 1
1376
1377             # LyX writes '%\n' after each box. Therefore we need to end our
1378             # ERT with '%\n', too, since this may swallow a following space.
1379             if params['use_parbox'] != '0':
1380                 ert = '}%\n'
1381             else:
1382                 ert = '\\end{lyxtolyxrealminipage}%\n'
1383             j = insert_ert(file.body, j, 'Collapsed', ert)
1384
1385             # We don't need to restore the original minipage after the inset
1386             # end because the scope of the redefinition is the original box.
1387
1388         else:
1389
1390             # Convert to minipage
1391             file.body[i:i] = ['\\begin_inset Minipage',
1392                               'position %d' % params['position'],
1393                               'inner_position %d' % params['inner_pos'],
1394                               'height "' + params['height'] + '"',
1395                               'width "' + params['width'] + '"',
1396                               'collapsed ' + params['collapsed']]
1397             i = i + 6
1398
1399 ##
1400 # Convert jurabib
1401 #
1402
1403 def convert_jurabib(file):
1404     i = find_token(file.header, '\\use_numerical_citations', 0)
1405     if i == -1:
1406         file.warning("Malformed lyx file: Missing '\\use_numerical_citations'.")
1407         return
1408     file.header.insert(i + 1, '\\use_jurabib 0')
1409
1410
1411 def revert_jurabib(file):
1412     i = find_token(file.header, '\\use_jurabib', 0)
1413     if i == -1:
1414         file.warning("Malformed lyx file: Missing '\\use_jurabib'.")
1415         return
1416     if get_value(file.header, '\\use_jurabib', 0) != "0":
1417         file.warning("Conversion of '\\use_jurabib = 1' not yet implemented.")
1418         # Don't remove '\\use_jurabib' so that people will get warnings by lyx
1419         return
1420     del file.header[i]
1421
1422 ##
1423 # Convert bibtopic
1424 #
1425
1426 def convert_bibtopic(file):
1427     i = find_token(file.header, '\\use_jurabib', 0)
1428     if i == -1:
1429         file.warning("Malformed lyx file: Missing '\\use_jurabib'.")
1430         return
1431     file.header.insert(i + 1, '\\use_bibtopic 0')
1432
1433
1434 def revert_bibtopic(file):
1435     i = find_token(file.header, '\\use_bibtopic', 0)
1436     if i == -1:
1437         file.warning("Malformed lyx file: Missing '\\use_bibtopic'.")
1438         return
1439     if get_value(file.header, '\\use_bibtopic', 0) != "0":
1440         file.warning("Conversion of '\\use_bibtopic = 1' not yet implemented.")
1441         # Don't remove '\\use_jurabib' so that people will get warnings by lyx
1442     del file.header[i]
1443
1444 ##
1445 # Sideway Floats
1446 #
1447
1448 def convert_float(file):
1449     i = 0
1450     while 1:
1451         i = find_token(file.body, '\\begin_inset Float', i)
1452         if i == -1:
1453             return
1454         # Seach for a line starting 'wide'
1455         # If, however, we find a line starting '\begin_layout'
1456         # (_always_ present) then break with a warning message
1457         i = i + 1
1458         while 1:
1459             if (file.body[i][:4] == "wide"):
1460                 file.body.insert(i + 1, 'sideways false')
1461                 break
1462             elif (file.body[i][:13] == "\\begin_layout"):
1463                 file.warning("Malformed lyx file: Missing 'wide'.")
1464                 break
1465             i = i + 1
1466         i = i + 1
1467
1468
1469 def revert_float(file):
1470     i = 0
1471     while 1:
1472         i = find_token(file.body, '\\begin_inset Float', i)
1473         if i == -1:
1474             return
1475         j = find_end_of_inset(file.body, i)
1476         if j == -1:
1477             file.warning("Malformed lyx file: Missing '\\end_inset'.")
1478             i = i + 1
1479             continue
1480         if get_value(file.body, 'sideways', i, j) != "false":
1481             file.warning("Conversion of 'sideways true' not yet implemented.")
1482             # Don't remove 'sideways' so that people will get warnings by lyx
1483             i = i + 1
1484             continue
1485         del_token(file.body, 'sideways', i, j)
1486         i = i + 1
1487
1488
1489 def convert_graphics(file):
1490     """ Add extension to filenames of insetgraphics if necessary.
1491     """
1492     i = 0
1493     while 1:
1494         i = find_token(file.body, "\\begin_inset Graphics", i)
1495         if i == -1:
1496             return
1497
1498         j = find_token2(file.body, "filename", i)
1499         if j == -1:
1500             return
1501         i = i + 1
1502         filename = split(file.body[j])[1]
1503         absname = os.path.normpath(os.path.join(file.dir, filename))
1504         if file.input == stdin and not os.path.isabs(filename):
1505             # We don't know the directory and cannot check the file.
1506             # We could use a heuristic and take the current directory,
1507             # and we could try to find out if filename has an extension,
1508             # but that would be just guesses and could be wrong.
1509             file.warning("""Warning: Can not determine whether file
1510          %s
1511          needs an extension when reading from standard input.
1512          You may need to correct the file manually or run
1513          lyx2lyx again with the .lyx file as commandline argument.""" % filename)
1514             continue
1515         # This needs to be the same algorithm as in pre 233 insetgraphics
1516         if access(absname, F_OK):
1517             continue
1518         if access(absname + ".ps", F_OK):
1519             file.body[j] = replace(file.body[j], filename, filename + ".ps")
1520             continue
1521         if access(absname + ".eps", F_OK):
1522             file.body[j] = replace(file.body[j], filename, filename + ".eps")
1523
1524
1525 ##
1526 # Convert firstname and surname from styles -> char styles
1527 #
1528 def convert_names(file):
1529     """ Convert in the docbook backend from firstname and surname style
1530     to charstyles.
1531     """
1532     if file.backend != "docbook":
1533         return
1534
1535     i = 0
1536
1537     while 1:
1538         i = find_token(file.body, "\\begin_layout Author", i)
1539         if i == -1:
1540             return
1541
1542         i = i + 1
1543         while file.body[i] == "":
1544             i = i + 1
1545
1546         if file.body[i][:11] != "\\end_layout" or file.body[i+2][:13] != "\\begin_deeper":
1547             i = i + 1
1548             continue
1549
1550         k = i
1551         i = find_end_of( file.body, i+3, "\\begin_deeper","\\end_deeper")
1552         if i == -1:
1553             # something is really wrong, abort
1554             file.warning("Missing \\end_deeper, after style Author.")
1555             file.warning("Aborted attempt to parse FirstName and Surname.")
1556             return
1557         firstname, surname = "", ""
1558
1559         name = file.body[k:i]
1560
1561         j = find_token(name, "\\begin_layout FirstName", 0)
1562         if j != -1:
1563             j = j + 1
1564             while(name[j] != "\\end_layout"):
1565                 firstname = firstname + name[j]
1566                 j = j + 1
1567
1568         j = find_token(name, "\\begin_layout Surname", 0)
1569         if j != -1:
1570             j = j + 1
1571             while(name[j] != "\\end_layout"):
1572                 surname = surname + name[j]
1573                 j = j + 1
1574
1575         # delete name
1576         del file.body[k+2:i+1]
1577
1578         file.body[k-1:k-1] = ["", "",
1579                           "\\begin_inset CharStyle Firstname",
1580                           "status inlined",
1581                           "",
1582                           "\\begin_layout Standard",
1583                           "",
1584                           "%s" % firstname,
1585                           "\end_layout",
1586                           "",
1587                           "\end_inset",
1588                           "",
1589                           "",
1590                           "\\begin_inset CharStyle Surname",
1591                           "status inlined",
1592                           "",
1593                           "\\begin_layout Standard",
1594                           "",
1595                           "%s" % surname,
1596                           "\\end_layout",
1597                           "",
1598                           "\\end_inset",
1599                           ""]
1600
1601
1602 def revert_names(file):
1603     """ Revert in the docbook backend from firstname and surname char style
1604     to styles.
1605     """
1606     if file.backend != "docbook":
1607         return
1608
1609
1610 ##
1611 #    \use_natbib 1                       \cite_engine <style>
1612 #    \use_numerical_citations 0     ->   where <style> is one of
1613 #    \use_jurabib 0                      "basic", "natbib_authoryear",
1614 #                                        "natbib_numerical" or "jurabib"
1615 def convert_cite_engine(file):
1616     a = find_token(file.header, "\\use_natbib", 0)
1617     if a == -1:
1618         file.warning("Malformed lyx file: Missing '\\use_natbib'.")
1619         return
1620
1621     b = find_token(file.header, "\\use_numerical_citations", 0)
1622     if b == -1 or b != a+1:
1623         file.warning("Malformed lyx file: Missing '\\use_numerical_citations'.")
1624         return
1625
1626     c = find_token(file.header, "\\use_jurabib", 0)
1627     if c == -1 or c != b+1:
1628         file.warning("Malformed lyx file: Missing '\\use_jurabib'.")
1629         return
1630
1631     use_natbib = int(split(file.header[a])[1])
1632     use_numerical_citations = int(split(file.header[b])[1])
1633     use_jurabib = int(split(file.header[c])[1])
1634
1635     cite_engine = "basic"
1636     if use_natbib:
1637         if use_numerical_citations:
1638             cite_engine = "natbib_numerical"
1639         else:
1640              cite_engine = "natbib_authoryear"
1641     elif use_jurabib:
1642         cite_engine = "jurabib"
1643
1644     del file.header[a:c+1]
1645     file.header.insert(a, "\\cite_engine " + cite_engine)
1646
1647
1648 def revert_cite_engine(file):
1649     i = find_token(file.header, "\\cite_engine", 0)
1650     if i == -1:
1651         file.warning("Malformed lyx file: Missing '\\cite_engine'.")
1652         return
1653
1654     cite_engine = split(file.header[i])[1]
1655
1656     use_natbib = '0'
1657     use_numerical = '0'
1658     use_jurabib = '0'
1659     if cite_engine == "natbib_numerical":
1660         use_natbib = '1'
1661         use_numerical = '1'
1662     elif cite_engine == "natbib_authoryear":
1663         use_natbib = '1'
1664     elif cite_engine == "jurabib":
1665         use_jurabib = '1'
1666
1667     del file.header[i]
1668     file.header.insert(i, "\\use_jurabib " + use_jurabib)
1669     file.header.insert(i, "\\use_numerical_citations " + use_numerical)
1670     file.header.insert(i, "\\use_natbib " + use_natbib)
1671
1672
1673 ##
1674 # Paper package
1675 #
1676 def convert_paperpackage(file):
1677     i = find_token(file.header, "\\paperpackage", 0)
1678     if i == -1:
1679         return
1680
1681     packages = {'default':'none','a4':'none', 'a4wide':'a4', 'widemarginsa4':'a4wide'}
1682     if len(split(file.header[i])) > 1:
1683         paperpackage = split(file.header[i])[1]
1684         file.header[i] = replace(file.header[i], paperpackage, packages[paperpackage])
1685     else:
1686         file.header[i] = file.header[i] + ' widemarginsa4'
1687
1688
1689 def revert_paperpackage(file):
1690     i = find_token(file.header, "\\paperpackage", 0)
1691     if i == -1:
1692         return
1693
1694     packages = {'none':'a4', 'a4':'a4wide', 'a4wide':'widemarginsa4',
1695                 'widemarginsa4':'', 'default': 'default'}
1696     if len(split(file.header[i])) > 1:
1697         paperpackage = split(file.header[i])[1]
1698     else:
1699         paperpackage = 'default'
1700     file.header[i] = replace(file.header[i], paperpackage, packages[paperpackage])
1701
1702
1703 ##
1704 # Bullets
1705 #
1706 def convert_bullets(file):
1707     i = 0
1708     while 1:
1709         i = find_token(file.header, "\\bullet", i)
1710         if i == -1:
1711             return
1712         if file.header[i][:12] == '\\bulletLaTeX':
1713             file.header[i] = file.header[i] + ' ' + strip(file.header[i+1])
1714             n = 3
1715         else:
1716             file.header[i] = file.header[i] + ' ' + strip(file.header[i+1]) +\
1717                         ' ' + strip(file.header[i+2]) + ' ' + strip(file.header[i+3])
1718             n = 5
1719         del file.header[i+1:i + n]
1720         i = i + 1
1721
1722
1723 def revert_bullets(file):
1724     i = 0
1725     while 1:
1726         i = find_token(file.header, "\\bullet", i)
1727         if i == -1:
1728             return
1729         if file.header[i][:12] == '\\bulletLaTeX':
1730             n = find(file.header[i], '"')
1731             if n == -1:
1732                 file.warning("Malformed header.")
1733                 return
1734             else:
1735                 file.header[i:i+1] = [file.header[i][:n-1],'\t' + file.header[i][n:], '\\end_bullet']
1736             i = i + 3
1737         else:
1738             frag = split(file.header[i])
1739             if len(frag) != 5:
1740                 file.warning("Malformed header.")
1741                 return
1742             else:
1743                 file.header[i:i+1] = [frag[0] + ' ' + frag[1],
1744                                  '\t' + frag[2],
1745                                  '\t' + frag[3],
1746                                  '\t' + frag[4],
1747                                  '\\end_bullet']
1748                 i = i + 5
1749
1750
1751 ##
1752 # \begin_header and \begin_document
1753 #
1754 def add_begin_header(file):
1755     i = find_token(file.header, '\\lyxformat', 0)
1756     file.header.insert(i+1, '\\begin_header')
1757     file.header.insert(i+1, '\\begin_document')
1758
1759
1760 def remove_begin_header(file):
1761     i = find_token(file.header, "\\begin_document", 0)
1762     if i != -1:
1763         del file.header[i]
1764     i = find_token(file.header, "\\begin_header", 0)
1765     if i != -1:
1766         del file.header[i]
1767
1768
1769 ##
1770 # \begin_file.body and \end_file.body
1771 #
1772 def add_begin_body(file):
1773     file.body.insert(0, '\\begin_body')
1774     file.body.insert(1, '')
1775     i = find_token(file.body, "\\end_document", 0)
1776     file.body.insert(i, '\\end_body')
1777
1778 def remove_begin_body(file):
1779     i = find_token(file.body, "\\begin_body", 0)
1780     if i != -1:
1781         del file.body[i]
1782         if not file.body[i]:
1783             del file.body[i]
1784     i = find_token(file.body, "\\end_body", 0)
1785     if i != -1:
1786         del file.body[i]
1787
1788
1789 ##
1790 # \papersize
1791 #
1792 def normalize_papersize(file):
1793     i = find_token(file.header, '\\papersize', 0)
1794     if i == -1:
1795         return
1796
1797     tmp = split(file.header[i])
1798     if tmp[1] == "Default":
1799         file.header[i] = '\\papersize default'
1800         return
1801     if tmp[1] == "Custom":
1802         file.header[i] = '\\papersize custom'
1803
1804
1805 def denormalize_papersize(file):
1806     i = find_token(file.header, '\\papersize', 0)
1807     if i == -1:
1808         return
1809
1810     tmp = split(file.header[i])
1811     if tmp[1] == "custom":
1812         file.header[i] = '\\papersize Custom'
1813
1814
1815 ##
1816 # Strip spaces at end of command line
1817 #
1818 def strip_end_space(file):
1819     for i in range(len(file.body)):
1820         if file.body[i][:1] == '\\':
1821             file.body[i] = strip(file.body[i])
1822
1823
1824 ##
1825 # Use boolean values for \use_geometry, \use_bibtopic and \tracking_changes
1826 #
1827 def use_x_boolean(file):
1828     bin2bool = {'0': 'false', '1': 'true'}
1829     for use in '\\use_geometry', '\\use_bibtopic', '\\tracking_changes':
1830         i = find_token(file.header, use, 0)
1831         if i == -1:
1832             continue
1833         decompose = split(file.header[i])
1834         file.header[i] = decompose[0] + ' ' + bin2bool[decompose[1]]
1835
1836
1837 def use_x_binary(file):
1838     bool2bin = {'false': '0', 'true': '1'}
1839     for use in '\\use_geometry', '\\use_bibtopic', '\\tracking_changes':
1840         i = find_token(file.header, use, 0)
1841         if i == -1:
1842             continue
1843         decompose = split(file.header[i])
1844         file.header[i] = decompose[0] + ' ' + bool2bin[decompose[1]]
1845
1846 ##
1847 # Place all the paragraph parameters in their own line
1848 #
1849 def normalize_paragraph_params(file):
1850     body = file.body
1851     allowed_parameters = '\\paragraph_spacing', '\\noindent', '\\align', '\\labelwidthstring', "\\start_of_appendix", "\\leftindent"
1852
1853     i = 0
1854     while 1:
1855         i = find_token(file.body, '\\begin_layout', i)
1856         if i == -1:
1857             return
1858
1859         i = i + 1
1860         while 1:
1861             if strip(body[i]) and split(body[i])[0] not in allowed_parameters:
1862                 break
1863
1864             j = find(body[i],'\\', 1)
1865
1866             if j != -1:
1867                 body[i:i+1] = [strip(body[i][:j]), body[i][j:]]
1868
1869             i = i + 1
1870
1871
1872 ##
1873 # Add/remove output_changes parameter
1874 #
1875 def convert_output_changes (file):
1876     i = find_token(file.header, '\\tracking_changes', 0)
1877     if i == -1:
1878         file.warning("Malformed lyx file: Missing '\\tracking_changes'.")
1879         return
1880     file.header.insert(i+1, '\\output_changes true')
1881
1882
1883 def revert_output_changes (file):
1884     i = find_token(file.header, '\\output_changes', 0)
1885     if i == -1:
1886         return
1887     del file.header[i]
1888
1889
1890 ##
1891 # Convert paragraph breaks and sanitize paragraphs
1892 #
1893 def convert_ert_paragraphs(file):
1894     forbidden_settings = [
1895                           # paragraph parameters
1896                           '\\paragraph_spacing', '\\labelwidthstring',
1897                           '\\start_of_appendix', '\\noindent',
1898                           '\\leftindent', '\\align',
1899                           # font settings
1900                           '\\family', '\\series', '\\shape', '\\size',
1901                           '\\emph', '\\numeric', '\\bar', '\\noun',
1902                           '\\color', '\\lang']
1903     i = 0
1904     while 1:
1905         i = find_token(file.body, '\\begin_inset ERT', i)
1906         if i == -1:
1907             return
1908         j = find_end_of_inset(file.body, i)
1909         if j == -1:
1910             file.warning("Malformed lyx file: Missing '\\end_inset'.")
1911             i = i + 1
1912             continue
1913
1914         # convert non-standard paragraphs to standard
1915         k = i
1916         while 1:
1917             k = find_token(file.body, "\\begin_layout", k, j)
1918             if k == -1:
1919                 break
1920             file.body[k] = "\\begin_layout Standard"
1921             k = k + 1
1922
1923         # remove all paragraph parameters and font settings
1924         k = i
1925         while k < j:
1926             if (strip(file.body[k]) and
1927                 split(file.body[k])[0] in forbidden_settings):
1928                 del file.body[k]
1929                 j = j - 1
1930             else:
1931                 k = k + 1
1932
1933         # insert an empty paragraph before each paragraph but the first
1934         k = i
1935         first_pagraph = 1
1936         while 1:
1937             k = find_token(file.body, "\\begin_layout Standard", k, j)
1938             if k == -1:
1939                 break
1940             if first_pagraph:
1941                 first_pagraph = 0
1942                 k = k + 1
1943                 continue
1944             file.body[k:k] = ["\\begin_layout Standard", "",
1945                               "\\end_layout", ""]
1946             k = k + 5
1947             j = j + 4
1948
1949         # convert \\newline to new paragraph
1950         k = i
1951         while 1:
1952             k = find_token(file.body, "\\newline", k, j)
1953             if k == -1:
1954                 break
1955             file.body[k:k+1] = ["\\end_layout", "", "\\begin_layout Standard"]
1956             k = k + 4
1957             j = j + 3
1958         i = i + 1
1959
1960
1961 ##
1962 # Remove double paragraph breaks
1963 #
1964 def revert_ert_paragraphs(file):
1965     i = 0
1966     while 1:
1967         i = find_token(file.body, '\\begin_inset ERT', i)
1968         if i == -1:
1969             return
1970         j = find_end_of_inset(file.body, i)
1971         if j == -1:
1972             file.warning("Malformed lyx file: Missing '\\end_inset'.")
1973             i = i + 1
1974             continue
1975
1976         # replace paragraph breaks with \newline
1977         k = i
1978         while 1:
1979             k = find_token(file.body, "\\end_layout", k, j)
1980             l = find_token(file.body, "\\begin_layout", k, j)
1981             if k == -1 or l == -1:
1982                 break
1983             file.body[k:l+1] = ["\\newline"]
1984             j = j - l + k
1985             k = k + 1
1986
1987         # replace double \newlines with paragraph breaks
1988         k = i
1989         while 1:
1990             k = find_token(file.body, "\\newline", k, j)
1991             if k == -1:
1992                 break
1993             l = k + 1
1994             while file.body[l] == "":
1995                 l = l + 1
1996             if strip(file.body[l]) and split(file.body[l])[0] == "\\newline":
1997                 file.body[k:l+1] = ["\\end_layout", "",
1998                                     "\\begin_layout Standard"]
1999                 j = j - l + k + 2
2000                 k = k + 3
2001             else:
2002                 k = k + 1
2003         i = i + 1
2004
2005
2006 def convert_french(file):
2007     regexp = re.compile(r'^\\language\s+frenchb')
2008     i = find_re(file.header, regexp, 0)
2009     if i != -1:
2010         file.header[i] = "\\language french"
2011
2012     # Change language in the document body
2013     regexp = re.compile(r'^\\lang\s+frenchb')
2014     i = 0
2015     while 1:
2016         i = find_re(file.body, regexp, i)
2017         if i == -1:
2018             break
2019         file.body[i] = "\\lang french"
2020         i = i + 1
2021
2022
2023 def remove_paperpackage(file):
2024     i = find_token(file.header, '\\paperpackage', 0)
2025
2026     if i == -1:
2027         return
2028
2029     paperpackage = split(file.header[i])[1]
2030
2031     if paperpackage in ("a4", "a4wide", "widemarginsa4"):
2032         conv = {"a4":"\\usepackage{a4}","a4wide": "\\usepackage{a4wide}",
2033                 "widemarginsa4": "\\usepackage[widemargins]{a4}"}
2034         # for compatibility we ensure it is the first entry in preamble
2035         file.preamble[0:0] = [conv[paperpackage]]
2036
2037     del file.header[i]
2038
2039     i = find_token(file.header, '\\papersize', 0)
2040     if i != -1:
2041         file.header[i] = "\\papersize default"
2042
2043
2044 ##
2045 # Convertion hub
2046 #
2047
2048 convert = [[222, [insert_tracking_changes, add_end_header]],
2049            [223, [remove_color_default, convert_spaces, convert_bibtex, remove_insetparent]],
2050            [224, [convert_external, convert_comment]],
2051            [225, [add_end_layout, layout2begin_layout, convert_end_document,
2052                   convert_table_valignment_middle, convert_breaks]],
2053            [226, [convert_note]],
2054            [227, [convert_box]],
2055            [228, [convert_collapsable, convert_ert]],
2056            [229, [convert_minipage]],
2057            [230, [convert_jurabib]],
2058            [231, [convert_float]],
2059            [232, [convert_bibtopic]],
2060            [233, [convert_graphics, convert_names]],
2061            [234, [convert_cite_engine]],
2062            [235, [convert_paperpackage]],
2063            [236, [convert_bullets, add_begin_header, add_begin_body,
2064                   normalize_papersize, strip_end_space]],
2065            [237, [use_x_boolean]],
2066            [238, [update_latexaccents]],
2067            [239, [normalize_paragraph_params]],
2068            [240, [convert_output_changes]],
2069            [241, [convert_ert_paragraphs]],
2070            [242, [convert_french]],
2071            [243, [remove_paperpackage]]]
2072
2073 revert =  [[242, []],
2074            [241, []],
2075            [240, [revert_ert_paragraphs]],
2076            [239, [revert_output_changes]],
2077            [238, []],
2078            [237, []],
2079            [236, [use_x_binary]],
2080            [235, [denormalize_papersize, remove_begin_body,remove_begin_header,
2081                   revert_bullets]],
2082            [234, [revert_paperpackage]],
2083            [233, [revert_cite_engine]],
2084            [232, [revert_names]],
2085            [231, [revert_bibtopic]],
2086            [230, [revert_float]],
2087            [229, [revert_jurabib]],
2088            [228, []],
2089            [227, [revert_collapsable, revert_ert]],
2090            [226, [revert_box, revert_external_2]],
2091            [225, [revert_note]],
2092            [224, [rm_end_layout, begin_layout2layout, revert_end_document,
2093                   revert_valignment_middle, revert_breaks, convert_frameless_box]],
2094            [223, [revert_external_2, revert_comment, revert_eqref]],
2095            [222, [revert_spaces, revert_bibtex]],
2096            [221, [rm_end_header, rm_tracking_changes, rm_body_changes]]]
2097
2098
2099 if __name__ == "__main__":
2100     pass