]> git.lyx.org Git - features.git/blob - lib/scripts/layout2layout.py
71f0c9fc543ae4442e454fcb285afea3745c3513
[features.git] / lib / scripts / layout2layout.py
1 #! /usr/bin/env python
2 # -*- coding: utf-8 -*-
3
4 # file layout2layout.py
5 # This file is part of LyX, the document processor.
6 # Licence details can be found in the file COPYING.
7
8 # author Georg Baum
9
10 # Full author contact details are available in file CREDITS
11
12 # This script will update a .layout file to current format
13
14
15 import os, re, string, sys
16
17 # Incremented to format 4, 6 April 2007, lasgouttes
18 # Introduction of generic "Provides" declaration
19
20 # Incremented to format 5, 22 August 2007 by vermeer
21 # InsetLayout material
22
23 # Incremented to format 6, 7 January 2008 by spitz
24 # Requires tag added to layout files
25
26 # Incremented to format 7, 24 March 2008 by rgh
27 # AddToPreamble tag added to layout files
28
29 # Incremented to format 8, 25 July 2008 by rgh
30 # UseModule tag added to layout files
31 # CopyStyle added to InsetLayout
32
33 # Incremented to format 9, 5 October 2008 by rgh
34 # ForcePlain and CustomPars tags added to InsetLayout
35
36 # Incremented to format 10, 6 October 2008 by rgh
37 # Change format of counters
38
39 # Incremented to format 11, 14 October 2008 by rgh
40 # Add ProvidesModule, ExcludesModule tags
41
42 # Incremented to format 12, 10 January 2009 by gb
43 # Add I18NPreamble tag
44
45 # Incremented to format 13, 5 February 2009 by rgh
46 # Add InToc tag for InsetLayout
47
48 # Incremented to format 14, 14 February 2009 by gb
49 # Rename I18NPreamble to BabelPreamble and add LangPreamble
50
51 # Incremented to format 15, 28 May 2009 by lasgouttes
52 # Add new tag OutputFormat; modules can be conditioned on feature 
53 # "from->to".
54
55 # Incremented to format 16, 5 June 2009 by rgh
56 # Add new tags for Text Class:
57 #   HTMLPreamble, HTMLAddToPreamble
58 # For Layout:
59 #   HTMLTag, HTMLAttr, HTMLLabel, HTMLLabelAttr, HTMLItem, HTMLItemAttr
60 #   HTMLStyle, and HTMLPreamble
61 # For InsetLayout:
62 #   HTMLTag, HTMLAttr, HTMLStyle, and HTMLPreamble
63 # For Floats:
64 #   HTMLType, HTMLClass, HTMLStyle
65
66 # Incremented to format 17, 12 August 2009 by rgh
67 # Add IfStyle and IfCounter tags for layout.
68
69 # Incremented to format 18, 27 October 2009 by rgh
70 # Added some new tags for HTML output.
71
72 # Incremented to format 19, 17 November 2009 by rgh
73 # Added InPreamble tag.
74
75 # Incremented to format 20, 17 December 2009 by rgh
76 # Added ContentAsLabel tag.
77
78 # Incremented to format 21, 12 January 2010 by rgh
79 # Added HTMLTocLayout and HTMLTitle tags.
80
81 # Incremented to format 22, 20 January 2010 by rgh
82 # Added HTMLFormat tag to Counters.
83
84 # Incremented to format 23, 13 February 2010 by spitz
85 # Added Spellcheck tag.
86
87 # Incremented to format 24, 5 March 2010 by rgh
88 # Changed LaTeXBuiltin tag to NeedsFloatPkg and
89 # added new tag ListCommand.
90
91 # Do not forget to document format change in Customization
92 # Manual (section "Declaring a new text class").
93
94 # You might also want to consider running the
95 # development/tools/updatelayouts.sh script to update all
96 # layout files to the new format.
97
98 currentFormat = 24
99
100
101 def usage(prog_name):
102     return ("Usage: %s inputfile outputfile\n" % prog_name +
103             "or     %s <inputfile >outputfile" % prog_name)
104
105
106 def error(message):
107     sys.stderr.write(message + '\n')
108     sys.exit(1)
109
110
111 def trim_bom(line):
112     " Remove byte order mark."
113     if line[0:3] == "\357\273\277":
114         return line[3:]
115     else:
116         return line
117
118
119 def read(source):
120     " Read input file and strip lineendings."
121     lines = source.read().splitlines()
122     lines[0] = trim_bom(lines[0])
123     return lines
124
125
126 def write(output, lines):
127     " Write output file with native lineendings."
128     output.write(os.linesep.join(lines) + os.linesep)
129
130
131 # Concatenates old and new in an intelligent way:
132 # If old is wrapped in ", they are stripped. The result is wrapped in ".
133 def concatenate_label(old, new):
134     # Don't use strip as long as we support python 1.5.2
135     if old[0] == '"':
136         return old[0:-1] + new + '"'
137     else:
138         return '"' + old + new + '"'
139
140 # appends a string to a list unless it's already there
141 def addstring(s, l):
142     if l.count(s) > 0:
143         return
144     l.append(s)
145
146
147 def convert(lines):
148     " Convert to new format."
149     re_Comment = re.compile(r'^(\s*)#')
150     re_Counter = re.compile(r'\s*Counter\s*', re.IGNORECASE)
151     re_Name = re.compile(r'\s*Name\s+(\S+)\s*', re.IGNORECASE)
152     re_UseMod = re.compile(r'^\s*UseModule\s+(.*)', re.IGNORECASE)
153     re_Empty = re.compile(r'^(\s*)$')
154     re_Format = re.compile(r'^(\s*)(Format)(\s+)(\S+)', re.IGNORECASE)
155     re_Preamble = re.compile(r'^(\s*)Preamble', re.IGNORECASE)
156     re_EndPreamble = re.compile(r'^(\s*)EndPreamble', re.IGNORECASE)
157     re_LangPreamble = re.compile(r'^(\s*)LangPreamble', re.IGNORECASE)
158     re_EndLangPreamble = re.compile(r'^(\s*)EndLangPreamble', re.IGNORECASE)
159     re_BabelPreamble = re.compile(r'^(\s*)BabelPreamble', re.IGNORECASE)
160     re_EndBabelPreamble = re.compile(r'^(\s*)EndBabelPreamble', re.IGNORECASE)
161     re_MaxCounter = re.compile(r'^(\s*)(MaxCounter)(\s+)(\S+)', re.IGNORECASE)
162     re_LabelType = re.compile(r'^(\s*)(LabelType)(\s+)(\S+)', re.IGNORECASE)
163     re_LabelString = re.compile(r'^(\s*)(LabelString)(\s+)(("[^"]+")|(\S+))', re.IGNORECASE)
164     re_LabelStringAppendix = re.compile(r'^(\s*)(LabelStringAppendix)(\s+)(("[^"]+")|(\S+))', re.IGNORECASE)
165     re_LatexType = re.compile(r'^(\s*)(LatexType)(\s+)(\S+)', re.IGNORECASE)
166     re_Style = re.compile(r'^(\s*)(Style)(\s+)(\S+)', re.IGNORECASE)
167     re_CopyStyle = re.compile(r'^(\s*)(CopyStyle)(\s+)(\S+)', re.IGNORECASE)
168     re_NoStyle = re.compile(r'^(\s*)(NoStyle)(\s+)(\S+)', re.IGNORECASE)
169     re_End = re.compile(r'^(\s*)(End)(\s*)$', re.IGNORECASE)
170     re_Provides = re.compile(r'^(\s*)Provides(\S+)(\s+)(\S+)', re.IGNORECASE)
171     re_CharStyle = re.compile(r'^(\s*)CharStyle(\s+)(\S+)$', re.IGNORECASE)
172     re_AMSMaths = re.compile(r'^\s*Input ams(?:math|def)s.inc\s*')
173     re_AMSMathsPlain = re.compile(r'^\s*Input amsmaths-plain.inc\s*')
174     re_AMSMathsSeq = re.compile(r'^\s*Input amsmaths-seq.inc\s*')
175     re_TocLevel = re.compile(r'^(\s*)(TocLevel)(\s+)(\S+)', re.IGNORECASE)
176     re_I18nPreamble = re.compile(r'^(\s*)I18nPreamble', re.IGNORECASE)
177     re_EndI18nPreamble = re.compile(r'^(\s*)EndI18nPreamble', re.IGNORECASE)
178     re_Float = re.compile(r'^\s*Float\s*$', re.IGNORECASE)
179     re_Type = re.compile(r'\s*Type\s+(\w+)', re.IGNORECASE)
180     re_Builtin = re.compile(r'^(\s*)LaTeXBuiltin\s+(\w*)', re.IGNORECASE)
181     re_True = re.compile(r'^\s*(?:true|1)\s*$', re.IGNORECASE)
182
183     # counters for sectioning styles (hardcoded in 1.3)
184     counters = {"part"          : "\\Roman{part}",
185                 "chapter"       : "\\arabic{chapter}",
186                 "section"       : "\\arabic{section}",
187                 "subsection"    : "\\arabic{section}.\\arabic{subsection}",
188                 "subsubsection" : "\\arabic{section}.\\arabic{subsection}.\\arabic{subsubsection}",
189                 "paragraph"     : "\\arabic{section}.\\arabic{subsection}.\\arabic{subsubsection}.\\arabic{paragraph}",
190                 "subparagraph"  : "\\arabic{section}.\\arabic{subsection}.\\arabic{subsubsection}.\\arabic{paragraph}.\\arabic{subparagraph}"}
191
192     # counters for sectioning styles in appendix (hardcoded in 1.3)
193     appendixcounters = {"chapter"       : "\\Alph{chapter}",
194                         "section"       : "\\Alph{section}",
195                         "subsection"    : "\\arabic{section}.\\arabic{subsection}",
196                         "subsubsection" : "\\arabic{section}.\\arabic{subsection}.\\arabic{subsubsection}",
197                         "paragraph"     : "\\arabic{section}.\\arabic{subsection}.\\arabic{subsubsection}.\\arabic{paragraph}",
198                         "subparagraph"  : "\\arabic{section}.\\arabic{subsection}.\\arabic{subsubsection}.\\arabic{paragraph}.\\arabic{subparagraph}"}
199
200     # Value of TocLevel for sectioning styles
201     toclevels = {"part"          : 0,
202                  "chapter"       : 0,
203                  "section"       : 1,
204                  "subsection"    : 2,
205                  "subsubsection" : 3,
206                  "paragraph"     : 4,
207                  "subparagraph"  : 5}
208
209     i = 0
210     only_comment = 1
211     counter = ""
212     toclevel = ""
213     label = ""
214     labelstring = ""
215     labelstringappendix = ""
216     space1 = ""
217     labelstring_line = -1
218     labelstringappendix_line = -1
219     labeltype_line = -1
220     latextype = ""
221     latextype_line = -1
222     style = ""
223     maxcounter = 0
224     format = 1
225     formatline = 0
226     usemodules = []
227
228     while i < len(lines):
229         # Skip comments and empty lines
230         if re_Comment.match(lines[i]) or re_Empty.match(lines[i]):
231             i += 1
232             continue
233
234         # insert file format if not already there
235         if (only_comment):
236             match = re_Format.match(lines[i])
237             if match:
238                 formatline = i
239                 format = int(match.group(4))
240                 if format > 1 and format < currentFormat:
241                     lines[i] = "Format %d" % (format + 1)
242                     only_comment = 0
243                 elif format == currentFormat:
244                     # nothing to do
245                     return format
246                 else:
247                     error('Cannot convert file format %s' % format)
248             else:
249                 lines.insert(i, "Format 2")
250                 only_comment = 0
251                 continue
252
253         # Don't get confused by LaTeX code
254         if re_Preamble.match(lines[i]):
255             i += 1
256             while i < len(lines) and not re_EndPreamble.match(lines[i]):
257                 i += 1
258             continue
259         if re_LangPreamble.match(lines[i]):
260             i += 1
261             while i < len(lines) and not re_EndLangPreamble.match(lines[i]):
262                 i += 1
263             continue
264         if re_BabelPreamble.match(lines[i]):
265             i += 1
266             while i < len(lines) and not re_EndBabelPreamble.match(lines[i]):
267                 i += 1
268             continue
269
270         if format == 23:
271           match = re_Float.match(lines[i])
272           i += 1
273           if not match:
274             continue
275           # we need to do two things:
276           # (i)  Convert Builtin to NeedsFloatPkg
277           # (ii) Write ListCommand lines for the builtin floats table and figure
278           builtin = False
279           cmd = ""
280           while True and i < len(lines):
281             m1 = re_End.match(lines[i])
282             if m1:
283               if builtin and cmd:
284                 line = "    ListCommand " + cmd
285                 lines.insert(i, line)
286                 i += 1
287               break
288             m2 = re_Builtin.match(lines[i])
289             if m2:
290               builtin = True
291               ws1 = m2.group(1)
292               arg = m2.group(2)
293               newarg = ""
294               if re_True.match(arg):
295                 newarg = "false"
296               else:
297                 newarg = "true"
298               lines[i] = ws1 + "NeedsFloatPkg " + newarg
299             m3 = re_Type.match(lines[i])
300             if m3:
301               fltype = m3.group(1)
302               fltype = fltype.lower()
303               if fltype == "table":
304                 cmd = "listoftables"
305               elif fltype == "figure":
306                 cmd = "listoffigures"
307               # else unknown, which is why we're doing this
308             i += 1
309           continue              
310           
311         # This just involved new features, not any changes to old ones
312         if format >= 14 and format <= 22:
313           i += 1
314           continue
315
316         # Rename I18NPreamble to BabelPreamble
317         if format == 13:
318             match = re_I18nPreamble.match(lines[i])
319             if match:
320                 lines[i] = match.group(1) + "BabelPreamble"
321                 i += 1
322                 match = re_EndI18nPreamble.match(lines[i])
323                 while i < len(lines) and not match:
324                     i += 1
325                     match = re_EndI18nPreamble.match(lines[i])
326                 lines[i] = match.group(1) + "EndBabelPreamble"
327                 i += 1
328                 continue
329
330         # These just involved new features, not any changes to old ones
331         if format == 11 or format == 12:
332           i += 1
333           continue
334
335         if format == 10:
336             match = re_UseMod.match(lines[i])
337             if match:
338                 module = match.group(1)
339                 lines[i] = "DefaultModule " + module
340             i += 1
341             continue
342
343         if format == 9:
344             match = re_Counter.match(lines[i])
345             if match:
346                 counterline = i
347                 i += 1
348                 while i < len(lines):
349                     namem = re_Name.match(lines[i])
350                     if namem:
351                         name = namem.group(1)
352                         lines.pop(i)
353                         lines[counterline] = "Counter %s" % name
354                         # we don't need to increment i
355                         continue
356                     endem = re_End.match(lines[i])
357                     if endem:
358                         i += 1
359                         break
360                     i += 1
361             i += 1
362             continue
363
364         if format == 8:
365             # We want to scan for ams-type includes and, if we find them,
366             # add corresponding UseModule tags to the layout.
367             match = re_AMSMaths.match(lines[i])
368             if match:
369                 addstring("theorems-ams", usemodules)
370                 addstring("theorems-ams-extended", usemodules)
371                 addstring("theorems-sec", usemodules)
372                 lines.pop(i)
373                 continue
374             match = re_AMSMathsPlain.match(lines[i])
375             if match:
376                 addstring("theorems-starred", usemodules)
377                 lines.pop(i)
378                 continue
379             match = re_AMSMathsSeq.match(lines[i])
380             if match:
381                 addstring("theorems-ams", usemodules)
382                 addstring("theorems-ams-extended", usemodules)
383                 lines.pop(i)
384                 continue
385             i += 1
386             continue
387
388         # These just involved new features, not any changes to old ones
389         if format >= 5 and format <= 7:
390           i += 1
391           continue
392
393         if format == 4:
394             # Handle conversion to long CharStyle names
395             match = re_CharStyle.match(lines[i])
396             if match:
397                 lines[i] = "InsetLayout CharStyle:%s" % (match.group(3))
398                 i += 1
399                 lines.insert(i, "\tLyXType charstyle")
400                 i += 1
401                 lines.insert(i, "")
402                 lines[i] = "\tLabelString %s" % (match.group(3))
403             i += 1
404             continue
405
406         if format == 3:
407             # convert 'providesamsmath x',  'providesmakeidx x',  'providesnatbib x',  'providesurl x' to
408             #         'provides amsmath x', 'provides makeidx x', 'provides natbib x', 'provides url x'
409             # x is either 0 or 1
410             match = re_Provides.match(lines[i])
411             if match:
412                 lines[i] = "%sProvides %s%s%s" % (match.group(1), match.group(2).lower(),
413                                                   match.group(3), match.group(4))
414             i += 1
415             continue
416
417         if format == 2:
418             caption = []
419
420             # delete caption styles
421             match = re_Style.match(lines[i])
422             if match:
423                 style = string.lower(match.group(4))
424                 if style == "caption":
425                     del lines[i]
426                     while i < len(lines) and not re_End.match(lines[i]):
427                         caption.append(lines[i])
428                         del lines[i]
429                     if i == len(lines):
430                         error('Incomplete caption style.')
431                     else:
432                         del lines[i]
433                         continue
434
435             # delete undefinition of caption styles
436             match = re_NoStyle.match(lines[i])
437             if match:
438                 style = string.lower(match.group(4))
439                 if style == "caption":
440                     del lines[i]
441                     continue
442
443             # replace the CopyStyle statement with the definition of the real
444             # style. This may result in duplicate statements, but that is OK
445             # since the second one will overwrite the first one.
446             match = re_CopyStyle.match(lines[i])
447             if match:
448                 style = string.lower(match.group(4))
449                 if style == "caption":
450                     if len(caption) > 0:
451                         lines[i:i+1] = caption
452                     else:
453                         # FIXME: This style comes from an include file, we
454                         # should replace the real style and not this default.
455                         lines[i:i+1] = ['       Margin                First_Dynamic',
456                                         '       LatexType             Command',
457                                         '       LatexName             caption',
458                                         '       NeedProtect           1',
459                                         '       LabelSep              xx',
460                                         '       ParSkip               0.4',
461                                         '       TopSep                0.5',
462                                         '       Align                 Center',
463                                         '       AlignPossible         Center',
464                                         '       LabelType             Sensitive',
465                                         '       LabelString           "Senseless!"',
466                                         '       OptionalArgs          1',
467                                         '       LabelFont',
468                                         '         Series              Bold',
469                                         '       EndFont']
470
471             i += 1
472             continue
473
474         # Delete MaxCounter and remember the value of it
475         match = re_MaxCounter.match(lines[i])
476         if match:
477             level = match.group(4)
478             if string.lower(level) == "counter_chapter":
479                 maxcounter = 0
480             elif string.lower(level) == "counter_section":
481                 maxcounter = 1
482             elif string.lower(level) == "counter_subsection":
483                 maxcounter = 2
484             elif string.lower(level) == "counter_subsubsection":
485                 maxcounter = 3
486             elif string.lower(level) == "counter_paragraph":
487                 maxcounter = 4
488             elif string.lower(level) == "counter_subparagraph":
489                 maxcounter = 5
490             elif string.lower(level) == "counter_enumi":
491                 maxcounter = 6
492             elif string.lower(level) == "counter_enumii":
493                 maxcounter = 7
494             elif string.lower(level) == "counter_enumiii":
495                 maxcounter = 8
496             del lines[i]
497             continue
498
499         # Replace line
500         #
501         # LabelType Counter_EnumI
502         #
503         # with two lines
504         #
505         # LabelType Counter
506         # LabelCounter EnumI
507         #
508         match = re_LabelType.match(lines[i])
509         if match:
510             label = match.group(4)
511             # Remember indenting space for later reuse in added lines
512             space1 = match.group(1)
513             # Remember the line for adding the LabelCounter later.
514             # We can't do it here because it could shift latextype_line etc.
515             labeltype_line = i
516             if string.lower(label[:8]) == "counter_":
517                 counter = string.lower(label[8:])
518                 lines[i] = re_LabelType.sub(r'\1\2\3Counter', lines[i])
519
520         # Remember the LabelString line
521         match = re_LabelString.match(lines[i])
522         if match:
523             labelstring = match.group(4)
524             labelstring_line = i
525
526         # Remember the LabelStringAppendix line
527         match = re_LabelStringAppendix.match(lines[i])
528         if match:
529             labelstringappendix = match.group(4)
530             labelstringappendix_line = i
531
532         # Remember the LatexType line
533         match = re_LatexType.match(lines[i])
534         if match:
535             latextype = string.lower(match.group(4))
536             latextype_line = i
537
538         # Remember the TocLevel line
539         match = re_TocLevel.match(lines[i])
540         if match:
541             toclevel = string.lower(match.group(4))
542
543         # Reset variables at the beginning of a style definition
544         match = re_Style.match(lines[i])
545         if match:
546             style = string.lower(match.group(4))
547             counter = ""
548             toclevel = ""
549             label = ""
550             space1 = ""
551             labelstring = ""
552             labelstringappendix = ""
553             labelstring_line = -1
554             labelstringappendix_line = -1
555             labeltype_line = -1
556             latextype = ""
557             latextype_line = -1
558
559         if re_End.match(lines[i]):
560
561             # Add a line "LatexType Bib_Environment" if LabelType is Bibliography
562             # (or change the existing LatexType)
563             if string.lower(label) == "bibliography":
564                 if (latextype_line < 0):
565                     lines.insert(i, "%sLatexType Bib_Environment" % space1)
566                     i += 1
567                 else:
568                     lines[latextype_line] = re_LatexType.sub(r'\1\2\3Bib_Environment', lines[latextype_line])
569
570             # Change "LabelType Static" to "LabelType Itemize" for itemize environments
571             if latextype == "item_environment" and string.lower(label) == "static":
572                 lines[labeltype_line] = re_LabelType.sub(r'\1\2\3Itemize', lines[labeltype_line])
573
574             # Change "LabelType Counter_EnumI" to "LabelType Enumerate" for enumerate environments
575             if latextype == "item_environment" and string.lower(label) == "counter_enumi":
576                 lines[labeltype_line] = re_LabelType.sub(r'\1\2\3Enumerate', lines[labeltype_line])
577                 # Don't add the LabelCounter line later
578                 counter = ""
579
580             # Replace
581             #
582             # LabelString "Chapter"
583             #
584             # with
585             #
586             # LabelString "Chapter \arabic{chapter}"
587             #
588             # if this style has a counter. Ditto for LabelStringAppendix.
589             # This emulates the hardcoded article style numbering of 1.3
590             #
591             if counter != "":
592                 if counters.has_key(style):
593                     if labelstring_line < 0:
594                         lines.insert(i, '%sLabelString "%s"' % (space1, counters[style]))
595                         i += 1
596                     else:
597                         new_labelstring = concatenate_label(labelstring, counters[style])
598                         lines[labelstring_line] = re_LabelString.sub(
599                                 r'\1\2\3%s' % new_labelstring.replace("\\", "\\\\"),
600                                 lines[labelstring_line])
601                 if appendixcounters.has_key(style):
602                     if labelstringappendix_line < 0:
603                         lines.insert(i, '%sLabelStringAppendix "%s"' % (space1, appendixcounters[style]))
604                         i += 1
605                     else:
606                         new_labelstring = concatenate_label(labelstring, appendixcounters[style])
607                         lines[labelstringappendix_line] = re_LabelStringAppendix.sub(
608                                 r'\1\2\3%s' % new_labelstring.replace("\\", "\\\\"),
609                                 lines[labelstringappendix_line])
610
611                 # Now we can safely add the LabelCounter line
612                 lines.insert(labeltype_line + 1, "%sLabelCounter %s" % (space1, counter))
613                 i += 1
614
615             # Add the TocLevel setting for sectioning styles
616             if toclevel == "" and toclevels.has_key(style) and maxcounter <= toclevels[style]:
617                 lines.insert(i, '%s\tTocLevel %d' % (space1, toclevels[style]))
618                 i += 1
619
620         i += 1
621
622     if usemodules:
623         i = formatline + 1
624         for mod in usemodules:
625             lines.insert(i, "UseModule " + mod)
626             i += 1
627
628     return format + 1
629
630
631 def main(argv):
632
633     # Open files
634     if len(argv) == 1:
635         source = sys.stdin
636         output = sys.stdout
637     elif len(argv) == 3:
638         source = open(argv[1], 'rb')
639         output = open(argv[2], 'wb')
640     else:
641         error(usage(argv[0]))
642
643     # Do the real work
644     lines = read(source)
645     format = 1
646     while (format < currentFormat):
647         format = convert(lines)
648     write(output, lines)
649
650     # Close files
651     if len(argv) == 3:
652         source.close()
653         output.close()
654
655     return 0
656
657
658 if __name__ == "__main__":
659     main(sys.argv)