po/diff_po.pl

   1 #! /usr/bin/env perl
   2 # -*- mode: perl; -*-
   3 #
   4 # file diff_po.pl
   5 # script to compare changes between translation files before merging them
   6 #
   7 # Examples of usage:
   8 # ./diff_po.pl cs.po.old cs.po
   9 # svn diff -r38367 --diff-cmd ./diff_po.pl cs.po
  10 # git difftool --extcmd=./diff_po.pl sk.po
  11 # ./diff_po.pl -r HEAD~100 cs.po        #fetch git revision and compare
  12 # ./diff_po.pl -r39229 cs.po            #fetch svn revision and compare
  13 #
  14 # This file is free software; you can redistribute it and/or
  15 # modify it under the terms of the GNU General Public
  16 # License as published by the Free Software Foundation; either
  17 # version 2 of the License, or (at your option) any later version.
  18 #
  19 # This software is distributed in the hope that it will be useful,
  20 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  21 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  22 # General Public License for more details.
  23 #
  24 # You should have received a copy of the GNU General Public
  25 # License along with this software; if not, write to the Free Software
  26 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  27 #
  28 # Copyright (c) 2010-2013 Kornel Benko, kornel@lyx.org
  29 #
  30 # TODO:
  31 # 1.) Search for good correlations of deleted <==> inserted string
  32 #     using Text::Levenshtein or Algorithm::Diff
  33
  34 BEGIN {
  35     use File::Spec;
  36     my $p = File::Spec->rel2abs( __FILE__ );
  37     $p =~ s/[\/\\]?[^\/\\]+$//;
  38     unshift(@INC, "$p");
  39 }
  40
  41 use strict;
  42 use parsePoLine;
  43 use Term::ANSIColor qw(:constants);
  44 use File::Temp;
  45 use Cwd qw(abs_path getcwd);
  46
  47 my ($status, $foundline, $msgid, $msgstr, $fuzzy);
  48
  49 my %Messages = ();              # Used for original po-file
  50 my %newMessages = ();           # new po-file
  51 my %Untranslated = ();          # inside new po-file
  52 my %Fuzzy = ();                 # inside new po-file
  53 my $result = 0;                 # exit value
  54 my $printlines = 1;
  55 my @names = ();
  56 my %options = (
  57   "--display-fuzzy" => 1,
  58   "--display-untranslated" => 1,
  59     );
  60
  61 # Check for options
  62 my ($opt, $val);
  63 while (($opt=$ARGV[0]) =~ s/=(\d+)$//) {
  64   $val = $1;
  65   if (defined($options{$opt})) {
  66     $options{$opt} = $val;
  67     shift(@ARGV);
  68   }
  69   else {
  70     die("illegal option \"$opt\"\n");
  71   }
  72 }
  73 # Check first, if called as standalone program for git
  74 if ($ARGV[0] =~ /^-r(.*)/) {
  75   my $rev = $1;
  76   shift(@ARGV);
  77   if ($rev eq "") {
  78     $rev = shift(@ARGV);
  79   }
  80   # convert arguments to full path ...
  81   for my $argf1 (@ARGV) {
  82     $argf1 = abs_path($argf1);
  83   }
  84   for my $argf (@ARGV) {
  85     #my $argf = abs_path($argf1);
  86     my $baseargf;
  87     my $filedir;
  88     if ($argf =~ /^(.*)\/([^\/]+)$/) {
  89       $baseargf = $2;
  90       $filedir = $1;
  91       chdir($filedir);  # set working directory for the repo-command
  92     }
  93     else {
  94       $baseargf = $argf;
  95       $filedir = ".";
  96     }
  97     $filedir = getcwd();
  98     my ($repo, $level) = &searchRepo($filedir);
  99     my $relargf = $baseargf;    # argf relative to the top-most repo directory
 100     my $topdir;
 101     if (defined($level)) {
 102       my $abspathpo = $filedir; # directory of the po-file
 103       $topdir = $abspathpo;
 104       #print "Level = $level, abs path = $abspathpo\n";
 105       while ($level > 0) {
 106         $topdir =~ s/\/([^\/]+)$//;
 107         $relargf = "$1/$relargf";
 108         $level--;
 109         #print "Level = $level, topdir = $topdir, rel path = $relargf\n";
 110       }
 111       chdir($topdir);
 112     }
 113     else {
 114       print "Could not find the repo-type\n";
 115       exit(-1);
 116     }
 117     #check po-file
 118     &check_po_file_readable($baseargf, $relargf);
 119     if ($repo eq ".git") {
 120       my @args = ();
 121       my $tmpfile = File::Temp->new();
 122       $rev = &getrev($repo, $rev);
 123       push(@args, "-L", $argf . "    (" . $rev . ")");
 124       push(@args, "-L", $argf . "    (local copy)");
 125       print "git show $rev:$relargf\n";
 126       open(FI, "git show $rev:$relargf|");
 127       $tmpfile->unlink_on_destroy( 1 );
 128       while(my $l = <FI>) {
 129         print $tmpfile $l;
 130       }
 131       close(FI);
 132       $tmpfile->seek( 0, SEEK_END );            # Flush()
 133       push(@args, $tmpfile->filename, $argf);
 134       print "===================================================================\n";
 135       &diff_po(@args);
 136     }
 137     elsif ($repo eq ".svn") {
 138       # program svnversion needed here
 139       $rev = &getrev($repo, $rev);
 140       # call it again indirectly
 141       my @cmd = ("svn", "diff", "-r$rev", "--diff-cmd", $0, $relargf);
 142       print "cmd = " . join(' ', @cmd) . "\n";
 143       system(@cmd);
 144     }
 145     elsif ($repo eq ".hg") {
 146       # for this to work, one has to edit ~/.hgrc
 147       # Insert there
 148       #     [extensions]
 149       #     hgext.extdiff =
 150       #
 151       $rev = &getrev($repo, $rev);
 152       my @cmd = ("hg", "extdiff", "-r", "$rev", "-p", $0, $relargf);
 153       print "cmd = " . join(' ', @cmd) . "\n";
 154       system(@cmd);
 155     }
 156   }
 157 }
 158 else {
 159   &diff_po(@ARGV);
 160 }
 161
 162 exit($result);
 163 #########################################################
 164
 165 # This routine builds n-th parent-path
 166 # E.g. &buildParentDir("abc", 1) --> "abc/.."
 167 #      &buildParentDir("abc", 4) --> "abc/../../../.."
 168 sub buildParentDir($$)
 169 {
 170   my ($dir, $par) = @_;
 171   if ($par > 0) {
 172     return &buildParentDir("$dir/..", $par-1);
 173   }
 174   else {
 175     return $dir;
 176   }
 177 }
 178
 179 # Tries up to 10 parent levels to find the repo-type
 180 # Returns the repo-type
 181 sub searchRepo($)
 182 {
 183   my ($dir) = @_;
 184   for my $parent ( 0 .. 10 ) {
 185     my $f = &buildParentDir($dir, $parent);
 186     for my $s (".git", ".svn", ".hg") {
 187       if (-d "$f/$s") {
 188         #print "Found repo on level $parent\n";
 189         return ($s, $parent);
 190       }
 191     }
 192   }
 193   return("");   # not found
 194 }
 195
 196 sub diff_po($$)
 197 {
 198   my @args = @_;
 199   %Messages = ();
 200   %newMessages = ();
 201   %Untranslated = ();
 202   %Fuzzy = ();
 203   @names = ();
 204   while(defined($args[0])) {
 205     last if ($args[0] !~ /^\-/);
 206     my $param = shift(@args);
 207     if ($param eq "-L") {
 208       my $name = shift(@args);
 209       push(@names, $name);
 210     }
 211   }
 212   if (! defined($names[0])) {
 213     push(@names, "original");
 214   }
 215   if (! defined($names[1])) {
 216     push(@names, "new");
 217   }
 218
 219   if (@args != 2) {
 220     die("names = \"", join('" "', @names) . "\"... args = \"" . join('" "', @args) . "\" Expected exactly 2 parameters");
 221   }
 222
 223   &check_po_file_readable($names[0], $args[0]);
 224   &check_po_file_readable($names[1], $args[1]);
 225
 226   &parse_po_file($args[0], \%Messages);
 227   &parse_po_file($args[1], \%newMessages);
 228
 229   my @MsgKeys = &getLineSortedKeys(\%newMessages);
 230
 231   print RED "<<< \"$names[0]\"\n", RESET;
 232   print GREEN ">>> \"$names[1]\"\n", RESET;
 233   for my $k (@MsgKeys) {
 234     if ($newMessages{$k}->{msgstr} eq "") {
 235       # this is still untranslated string
 236       $Untranslated{$newMessages{$k}->{line}} = $k;
 237     }
 238     elsif ($newMessages{$k}->{fuzzy}) {
 239       #fuzzy string
 240       # mark only, if not in alternative area
 241       if (! $newMessages{$k}->{alternative}) {
 242         $Fuzzy{$newMessages{$k}->{line}} = $k;
 243       }
 244     }
 245     if (exists($Messages{$k})) {
 246       &printIfDiff($k, $Messages{$k}, $newMessages{$k});
 247       delete($Messages{$k});
 248       delete($newMessages{$k});
 249     }
 250   }
 251
 252   if (0) {
 253     @MsgKeys = sort keys %Messages, keys %newMessages;
 254     for my $k (@MsgKeys) {
 255       if (defined($Messages{$k})) {
 256         $result |= 8;
 257         print "deleted message\n";
 258         print "< line = " . $Messages{$k}->{line} . "\n" if ($printlines);
 259         print RED "< fuzzy = " . $Messages{$k}->{fuzzy} . "\n", RESET;
 260         print RED "< msgid = \"$k\"\n", RESET;
 261         print RED "< msgstr = \"" . $Messages{$k}->{msgstr} . "\"\n", RESET;
 262       }
 263       if (defined($newMessages{$k})) {
 264         $result |= 16;
 265         print "new message\n";
 266         print "> line = " . $newMessages{$k}->{line} . "\n" if ($printlines);
 267         print GREEN "> fuzzy = " . $newMessages{$k}->{fuzzy} . "\n", RESET;
 268         print GREEN "> msgid = \"$k\"\n", RESET;
 269         print GREEN "> msgstr = \"" . $newMessages{$k}->{msgstr} . "\"\n", RESET;
 270       }
 271     }
 272   }
 273   else {
 274     @MsgKeys = &getLineSortedKeys(\%Messages);
 275     for my $k (@MsgKeys) {
 276       $result |= 8;
 277       print "deleted message\n";
 278       print "< line = " . $Messages{$k}->{line} . "\n" if ($printlines);
 279       print RED "< fuzzy = " . $Messages{$k}->{fuzzy} . "\n", RESET;
 280       print RED "< msgid = \"$k\"\n", RESET;
 281       print RED "< msgstr = \"" . $Messages{$k}->{msgstr} . "\"\n", RESET;
 282     }
 283
 284     @MsgKeys = &getLineSortedKeys(\%newMessages);
 285     for my $k (@MsgKeys) {
 286       $result |= 16;
 287       print "new message\n";
 288       print "> line = " . $newMessages{$k}->{line} . "\n" if ($printlines);
 289       print GREEN "> fuzzy = " . $newMessages{$k}->{fuzzy} . "\n", RESET;
 290       print GREEN "> msgid = \"$k\"\n", RESET;
 291       print GREEN "> msgstr = \"" . $newMessages{$k}->{msgstr} . "\"\n", RESET;
 292     }
 293   }
 294   if ($options{"--display-fuzzy"}) {
 295     &printExtraMessages("fuzzy", \%Fuzzy, \@names);
 296   }
 297   if ($options{"--display-untranslated"}) {
 298     &printExtraMessages("untranslated", \%Untranslated, \@names);
 299   }
 300 }
 301
 302 sub check_po_file_readable($$)
 303 {
 304   my ($spec, $filename) = @_;
 305
 306   if (! -e $filename ) {
 307     die("$spec po file does not exist");
 308   }
 309   if ( ! -f $filename ) {
 310     die("$spec po file is not regular");
 311   }
 312   if ( ! -r $filename ) {
 313     die("$spec po file is not readable");
 314   }
 315 }
 316
 317 # Diff of one corresponding entry
 318 sub printDiff($$$$)
 319 {
 320   my ($k, $nk, $rM, $rnM) = @_;
 321   print "diffline = " . $rM->{line} . "," . $rnM->{line} . "\n" if ($printlines);
 322   print "  msgid = \"$k\"\n";
 323   if ($rM->{fuzzy} eq $rnM->{fuzzy}) {
 324     print "  fuzzy = " . $rM->{fuzzy} . "\n" if ($printlines);
 325   }
 326   else {
 327     print RED "< fuzzy = " . $rM->{fuzzy} . "\n", RESET;
 328   }
 329   print RED "< msgstr = " . $rM->{msgstr} . "\n", RESET;
 330   if ($k ne $nk) {
 331     print GREEN "> msgid = \"$nk\"\n", RESET;
 332   }
 333   if ($rM->{fuzzy} ne $rnM->{fuzzy}) {
 334     print GREEN "> fuzzy = " . $rnM->{fuzzy} . "\n", RESET;
 335   }
 336   print GREEN "> msgstr = " . $rnM->{msgstr} . "\n", RESET;
 337   print "\n";
 338 }
 339
 340 sub printIfDiff($$$)
 341 {
 342   my ($k, $rM, $rnM) = @_;
 343   my $doprint = 0;
 344   $doprint = 1 if ($rM->{fuzzy} != $rnM->{fuzzy});
 345   $doprint = 1 if ($rM->{msgstr} ne $rnM->{msgstr});
 346   if ($doprint) {
 347     $result |= 4;
 348     &printDiff($k, $k, $rM, $rnM);
 349   }
 350 }
 351
 352 sub printExtraMessages($$$)
 353 {
 354   my ($type, $rExtra, $rNames) = @_;
 355   #print "file1 = $rNames->[0], file2 = $rNames->[1]\n";
 356   my @sortedExtraKeys = sort { $a <=> $b;} keys %{$rExtra};
 357
 358   if (@sortedExtraKeys > 0) {
 359     print "Still " . 0 + @sortedExtraKeys . " $type messages found in $rNames->[0]\n";
 360     for my $l (@sortedExtraKeys) {
 361       print "> line $l: \"" . $rExtra->{$l} . "\"\n";
 362     }
 363   }
 364 }
 365
 366 #
 367 # get repository dependent revision representation
 368 sub getrev($$)
 369 {
 370   my ($repo, $rev) = @_;
 371   my $revnum;
 372
 373   if ($rev eq "HEAD") {
 374     $revnum = 0;
 375   }
 376   else {
 377     return $rev if ($rev !~ /^(-|HEAD[-~])(\d+)$/);
 378     $revnum = $2;
 379   }
 380   if ($repo eq ".hg") {
 381     return "-$revnum";
 382   }
 383   elsif ($repo eq ".git") {
 384     return("HEAD~$revnum");
 385   }
 386   elsif ($repo eq ".svn") {
 387     if (open(VI, "svnversion |")) {
 388       while (my $r1 = <VI>) {
 389         chomp($r1);
 390         if ($r1 =~ /^((\d+):)?(\d+)M?$/) {
 391           $rev = $3-$revnum;
 392         }
 393       }
 394       close(VI);
 395     }
 396     return $rev;
 397   }
 398   return $rev;
 399 }