remove use of 2xx$3 in Building hierarchy
[koha.git] / C4 / AuthoritiesMarc.pm
index 836dc6e..aef8b6c 100644 (file)
@@ -17,366 +17,476 @@ package C4::AuthoritiesMarc;
 # Suite 330, Boston, MA  02111-1307 USA
 
 use strict;
-require Exporter;
 use C4::Context;
-use C4::Database;
 use C4::Koha;
 use MARC::Record;
 use C4::Biblio;
-#use ZOOM;
+use C4::Search;
+use C4::AuthoritiesMarc::MARC21;
+use C4::AuthoritiesMarc::UNIMARC;
+use C4::Charset;
+use C4::Debug;
+
 use vars qw($VERSION @ISA @EXPORT);
 
-# set the version for version checking
-$VERSION = 0.01;
-
-@ISA = qw(Exporter);
-@EXPORT = qw(
-       &AUTHgettagslib
-       &AUTHfindsubfield
-       &AUTHfind_authtypecode
-
-       &AUTHaddauthority
-       &AUTHmodauthority
-       &AUTHdelauthority
-       &AUTHaddsubfield
-       &AUTHgetauthority
-       &AUTHfind_marc_from_kohafield
-       &AUTHgetauth_type
-       &AUTHcount_usage
-       &getsummary
-       &authoritysearch
-       
-       
-       &AUTHhtml2marc
-       
-       &merge
-       &FindDuplicate
- );
-
-sub AUTHfind_marc_from_kohafield {
-    my ( $dbh, $kohafield,$authtypecode ) = @_;
-    return 0, 0 unless $kohafield;
-$authtypecode="" unless $authtypecode;
-my $marcfromkohafield;
-       my $sth = $dbh->prepare("select tagfield,tagsubfield from auth_subfield_structure where kohafield= ? and authtypecode=? ");
-       $sth->execute($kohafield,$authtypecode);
-       my ($tagfield,$tagsubfield) = $sth->fetchrow;
-               
-       return  ($tagfield,$tagsubfield);
+BEGIN {
+       # set the version for version checking
+       $VERSION = 3.01;
+
+       require Exporter;
+       @ISA = qw(Exporter);
+       @EXPORT = qw(
+           &GetTagsLabels
+           &GetAuthType
+           &GetAuthTypeCode
+       &GetAuthMARCFromKohaField 
+       &AUTHhtml2marc
+
+       &AddAuthority
+       &ModAuthority
+       &DelAuthority
+       &GetAuthority
+       &GetAuthorityXML
+    
+       &CountUsage
+       &CountUsageChildren
+       &SearchAuthorities
+    
+       &BuildSummary
+       &BuildUnimarcHierarchies
+       &BuildUnimarcHierarchy
+    
+       &merge
+       &FindDuplicateAuthority
+       );
 }
-sub authoritysearch {
-       my ($dbh, $tags, $and_or, $excluding, $operator, $value, $offset,$length,$authtypecode) = @_;
-       my $query;
-       my $attr;
-       # the marclist may contain "mainentry". In this case, search the tag_to_report, that depends on
-       # the authtypecode. Then, search on $a of this tag_to_report
-       # also store main entry MARC tag, to extract it at end of search
-       my $mainentrytag;
-       ##first set the authtype search
-       $query="\@attr 1=1013 \@attr 5=100 ".$authtypecode; ##No truncation on authtype
-       my $dosearch;
-       my $and;
-       my $q2;
-       for(my $i = 0 ; $i <= $#{$value} ; $i++)
-       {
-
-       if (@$value[$i]){
-       ##If mainentry search $a tag
-               if (@$tags[$i] eq "mainentry") {
-               $attr =" \@attr 1=21 ";
-               }else{
-               $attr =" \@attr 1=47 ";
-               }
-               
-
-       
-               
-               if (@$operator[$i] eq 'phrase') {
-                        $attr.=" \@attr 4=1  \@attr 5=100 \@attr 3=1 ";##Phrase, No truncation, first in field###It seems not implemented by indexdata
-               
-               } else {
-               
-                        $attr .=" \@attr 4=6  \@attr 5=1  ";## Word list, right truncated, anywhere
-               }                
-       
-               
-               $and .=" \@and " ;
-               $attr =$attr."\"".@$value[$i]."\"";
-               $q2 .=$attr;
-       $dosearch=1;            
-       }#if value              
-               
-       }
-##Add how many queries generated
-$query= $and.$query.$q2;
-warn $query;
-
-$offset=0 unless $offset;
-my $counter = $offset;
-$length=10 unless $length;
-
-my $oAuth=C4::Context->Zconnauth("authorityserver");
-if ($oAuth eq "error"){
-warn "Error/CONNECTING \n";
-  return("error",undef);
- }
-
-my $oAResult;
-my $Anewq= new ZOOM::Query::PQF($query);
-$Anewq->sortby("1=21 i< 1=47 i<");
-
-eval {
-$oAResult= $oAuth->search($Anewq) ; 
-};
-if($@){
-warn " /CODE:", $@->code()," /MSG:",$@->message(),"\n";
-   return("error",undef);
- }
-
-
-my $nbresults=0;
- $nbresults=$oAResult->size() if  ($oAResult);
-       
-       my @result = ();
-
-       
-       my @finalresult = ();
-if ($nbresults>0){
-##fIND tags using authority
-
-       my $newsth = $dbh->prepare("select distinct tagfield from marc_subfield_structure where authtypecode=?");
-               $newsth->execute($authtypecode);
-               my $tags_using_authtype;
-               while (my ($tagfield) = $newsth->fetchrow) {
-                       $tags_using_authtype.= "'".$tagfield."9',";
-               }
-##Find authid and linkid fields
-my ($authidfield,$authidsubfield)=AUTHfind_marc_from_kohafield($dbh,"auth_header.authid",$authtypecode);
-my ($linkidfield,$linkidsubfield)=AUTHfind_marc_from_kohafield($dbh,"auth_header.linkid",$authtypecode);
-while (($counter < $nbresults) && ($counter < ($offset + $length))) {
-
-##Here we have to extract MARC record and $authid from ZEBRA AUTHORITIES
-my $rec=$oAResult->record($counter);
-my $marcdata=$rec->raw();
-my $authrecord;                
-my $linkid;
-my @linkids;   
-my $separator=C4::Context->preference('authoritysep');
-my $linksummary=" ".$separator;        
-       
-       $authrecord = MARC::File::USMARC::decode($marcdata);            
-my $authid=$authrecord->field($authidfield)->subfield($authidsubfield); ## we could have these defined in system pref.
-       if ($authrecord->field($linkidfield)){
-my @fields=$authrecord->field($linkidfield);
-
-       foreach my $field (@fields){
-       $linkid=$field->subfield($linkidsubfield) ;
-               if ($linkid){ ##There is a linked record add fields to produce summary
-my $linktype=AUTHfind_authtypecode($dbh,$linkid);
-               my $linkrecord=AUTHgetauthority($dbh,$linkid);
-               $linksummary.=getsummary($dbh,$linkrecord,$linkid,$linktype).$separator;
-               }
-       }
-       }#
 
-my $summary=getsummary($dbh,$authrecord,$authid,$authtypecode);
-if ($linkid && $linksummary ne " ".$separator){
-$summary="<b>".$summary."</b>".$linksummary;
-}
-## Fix Async search and move Zconn to here
-       my %newline;
-       $newline{summary} = $summary;
-       $newline{authid} = $authid;
-       $newline{linkid} = $linkid;
-#      $newline{used} =$count;
-       $newline{biblio_fields} = $tags_using_authtype;
-       $newline{even} = $counter % 2;
-       $counter++;
-       push @finalresult, \%newline;
-       }## while counter
-$oAResult->destroy();
-#$oAuth->destroy();
-
-###
-my $oConnection=C4::Context->Zconn("biblioserver");
-       if ($oConnection eq "error"){
-       warn "Error/CONNECTING \n";
-        }
-my $oResult;
-for (my $z=0; $z<@finalresult; $z++){
-       my $nquery;
-               
-               $nquery= "\@attr GILS 1=2057 ".$finalresult[$z]{authid};
-               $nquery="\@or ".$nquery." \@attr GILS 1=2057 ".$finalresult[$z]{linkid} if $finalresult[$z]{linkid};
-               
-               eval{
-                $oResult = $oConnection->search_pqf($nquery);
-               };
-               if($@){
-               warn " /CODE:", $@->code()," /MSG:",$@->message(),"\n";
-               }
-               my $count=$oResult->size() if  ($oResult);
-               $finalresult[$z]{used}=$count;
-}##for Zconn
-       $oResult->destroy();
-#              $oConnection->destroy();
-}## if nbresult
-       return (\@finalresult, $nbresults);
+=head2 GetAuthMARCFromKohaField 
+
+=over 4
+
+( $tag, $subfield ) = &GetAuthMARCFromKohaField ($kohafield,$authtypecode);
+returns tag and subfield linked to kohafield
+
+Comment :
+Suppose Kohafield is only linked to ONE subfield
+
+=back
+
+=cut
+
+sub GetAuthMARCFromKohaField {
+#AUTHfind_marc_from_kohafield
+  my ( $kohafield,$authtypecode ) = @_;
+  my $dbh=C4::Context->dbh;
+  return 0, 0 unless $kohafield;
+  $authtypecode="" unless $authtypecode;
+  my $marcfromkohafield;
+  my $sth = $dbh->prepare("select tagfield,tagsubfield from auth_subfield_structure where kohafield= ? and authtypecode=? ");
+  $sth->execute($kohafield,$authtypecode);
+  my ($tagfield,$tagsubfield) = $sth->fetchrow;
+    
+  return  ($tagfield,$tagsubfield);
 }
 
-# Creates the SQL Request
-
-sub create_request {
-       my ($dbh,$tags, $and_or, $operator, $value) = @_;
-
-       my $sql_tables; # will contain marc_subfield_table as m1,...
-       my $sql_where1; # will contain the "true" where
-       my $sql_where2 = "("; # will contain m1.authid=m2.authid
-       my $nb_active=0; # will contain the number of "active" entries. and entry is active is a value is provided.
-       my $nb_table=1; # will contain the number of table. ++ on each entry EXCEPT when an OR  is provided.
-
-
-       for(my $i=0; $i<=@$value;$i++) {
-               if (@$value[$i]) {
-                       $nb_active++;
-                       if ($nb_active==1) {
-                               
-                                       $sql_tables = "auth_subfield_table as m$nb_table,";
-                                       $sql_where1 .= "( m$nb_table.subfieldvalue like '@$value[$i]' ";
-                                       if (@$tags[$i]) {
-                                               $sql_where1 .=" and concat(m$nb_table.tag,m$nb_table.subfieldcode) IN (@$tags[$i])";
-                                                       }
-                                       $sql_where1.=")";
-                                       } else {
-                               
-                                       
-                                       
-                                       
-                                       $nb_table++;
-                                       
-                                       $sql_tables .= "auth_subfield_table as m$nb_table,";
-                                       $sql_where1 .= "@$and_or[$i] (m$nb_table.subfieldvalue   like '@$value[$i]' ";
-                                       if (@$tags[$i]) {
-                                               $sql_where1 .=" and concat(m$nb_table.tag,m$nb_table.subfieldcode) IN (@$tags[$i])";
-                                                       }
-                                       $sql_where1.=")";
-                                       $sql_where2.="m1.authid=m$nb_table.authid and ";
-                                                               
-                               
-                                       } 
-                               }
+=head2 SearchAuthorities 
+
+=over 4
+
+(\@finalresult, $nbresults)= &SearchAuthorities($tags, $and_or, $excluding, $operator, $value, $offset,$length,$authtypecode,$sortby)
+returns ref to array result and count of results returned
+
+=back
+
+=cut
+
+sub SearchAuthorities {
+    my ($tags, $and_or, $excluding, $operator, $value, $offset,$length,$authtypecode,$sortby) = @_;
+#     warn "CALL : $tags, $and_or, $excluding, $operator, $value, $offset,$length,$authtypecode,$sortby";
+    my $dbh=C4::Context->dbh;
+    if (C4::Context->preference('NoZebra')) {
+    
+        #
+        # build the query
+        #
+        my $query;
+        my @auths=split / /,$authtypecode ;
+        foreach my  $auth (@auths){
+            $query .="AND auth_type= $auth ";
+        }
+        $query =~ s/^AND //;
+        my $dosearch;
+        for(my $i = 0 ; $i <= $#{$value} ; $i++)
+        {
+            if (@$value[$i]){
+                if (@$tags[$i] =~/mainentry|mainmainentry/) {
+                    $query .= qq( AND @$tags[$i] );
+                } else {
+                    $query .=" AND ";
+                }
+                if (@$operator[$i] eq 'is') {
+                    $query.=(@$tags[$i]?"=":""). '"'.@$value[$i].'"';
+                }elsif (@$operator[$i] eq "="){
+                    $query.=(@$tags[$i]?"=":""). '"'.@$value[$i].'"';
+                }elsif (@$operator[$i] eq "start"){
+                    $query.=(@$tags[$i]?"=":"").'"'.@$value[$i].'%"';
+                } else {
+                    $query.=(@$tags[$i]?"=":"").'"'.@$value[$i].'%"';
+                }
+                $dosearch=1;
+            }#if value
+        }
+        #
+        # do the query (if we had some search term
+        #
+        if ($dosearch) {
+#             warn "QUERY : $query";
+            my $result = C4::Search::NZanalyse($query,'authorityserver');
+#             warn "result : $result";
+            my %result;
+            foreach (split /;/,$result) {
+                my ($authid,$title) = split /,/,$_;
+                # hint : the result is sorted by title.biblionumber because we can have X biblios with the same title
+                # and we don't want to get only 1 result for each of them !!!
+                # hint & speed improvement : we can order without reading the record
+                # so order, and read records only for the requested page !
+                $result{$title.$authid}=$authid;
+            }
+            # sort the hash and return the same structure as GetRecords (Zebra querying)
+            my @listresult = ();
+            my $numbers=0;
+            if ($sortby eq 'HeadingDsc') { # sort by mainmainentry desc
+                foreach my $key (sort {$b cmp $a} (keys %result)) {
+                    push @listresult, $result{$key};
+#                     warn "push..."$#finalresult;
+                    $numbers++;
+                }
+            } else { # sort by mainmainentry ASC
+                foreach my $key (sort (keys %result)) {
+                    push @listresult, $result{$key};
+#                     warn "push..."$#finalresult;
+                    $numbers++;
+                }
+            }
+            # limit the $results_per_page to result size if it's more
+            $length = $numbers-$offset if $numbers < ($offset+$length);
+            # for the requested page, replace authid by the complete record
+            # speed improvement : avoid reading too much things
+            my @finalresult;      
+            for (my $counter=$offset;$counter<=$offset+$length-1;$counter++) {
+#                 $finalresult[$counter] = GetAuthority($finalresult[$counter])->as_usmarc;
+                my $separator=C4::Context->preference('authoritysep');
+                my $authrecord =GetAuthority($listresult[$counter]);
+                my $authid=$listresult[$counter]; 
+                my $summary=BuildSummary($authrecord,$authid,$authtypecode);
+                my $query_auth_tag = "SELECT auth_tag_to_report FROM auth_types WHERE authtypecode=?";
+                my $sth = $dbh->prepare($query_auth_tag);
+                $sth->execute($authtypecode);
+                my $auth_tag_to_report = $sth->fetchrow;
+                my %newline;
+                $newline{used}=CountUsage($authid);
+                $newline{summary} = $summary;
+                $newline{authid} = $authid;
+                $newline{even} = $counter % 2;
+                push @finalresult, \%newline;
+            }
+            return (\@finalresult, $numbers);
+        } else {
+            return;
+        }
+    } else {
+        my $query;
+        my $attr;
+            # the marclist may contain "mainentry". In this case, search the tag_to_report, that depends on
+            # the authtypecode. Then, search on $a of this tag_to_report
+            # also store main entry MARC tag, to extract it at end of search
+        my $mainentrytag;
+        ##first set the authtype search and may be multiple authorities
+        my $n=0;
+        my @authtypecode;
+        my @auths=split / /,$authtypecode ;
+               my @queries;
+        foreach my  $auth (@auths){
+            push @queries, " \@attr 1=authtype \@attr 5=100 ".$auth; ##No truncation on authtype
+            push @authtypecode ,$auth;
+            $n++;
+        }
+        if ($n>1){
+            while ($n>1){$query= "\@or ".$query;$n--;}
+        }
+        
+        my $dosearch;
+        my $and=" \@and " ;
+        for(my $i = 0 ; $i <= $#{$value} ; $i++)
+        {
+            if (@$value[$i]){
+            ##If mainentry search $a tag
+                if (@$tags[$i] eq "mainmainentry") {
+
+                $attr =" \@attr 1=Heading-Main "; 
+#                $attr =" \@attr 1=Heading ";
+
+                }elsif (@$tags[$i] eq "mainentry") {
+                $attr =" \@attr 1=Heading ";
+                }else{
+                $attr =" \@attr 1=Any ";
+                }
+                if (@$operator[$i] eq 'is') {
+                    $attr.=" \@attr 4=1  \@attr 5=100 ";##Phrase, No truncation,all of subfield field must match
+                }elsif (@$operator[$i] eq "="){
+                    $attr.=" \@attr 4=107 ";           #Number Exact match
+                }elsif (@$operator[$i] eq "start"){
+                    $attr.=" \@attr 3=2 \@attr 4=1 \@attr 5=1 ";#Firstinfield Phrase, Right truncated
+                } else {
+                    $attr .=" \@attr 5=1 \@attr 4=6 ";## Word list, right truncated, anywhere
+                }
+                $attr =$attr."\"".@$value[$i]."\"";
+                push @queries, "$attr";
+            $dosearch=1;
+            }#if value
+        }
+        ##Add how many queries generated
+               my $query;
+               foreach my $query_part (@queries){
+                       $query=($query?$and.$query_part.$query:$query_part);
                }
+        ## Adding order
+        #$query=' @or  @attr 7=2 @attr 1=Heading 0 @or  @attr 7=1 @attr 1=Heading 1'.$query if ($sortby eq "HeadingDsc");
+        my $orderstring= ($sortby eq "HeadingAsc"?
+                           '@attr 7=1 @attr 1=Heading 0'
+                         :
+                           $sortby eq "HeadingDsc"?      
+                            '@attr 7=2 @attr 1=Heading 0'
+                           :''
+                        );            
+        $query=($dosearch?"\@or $orderstring $query":"\@or ".($query?"$and $query":"")." \@attr 1=_ALLRECORDS \@attr 2=103 '' $orderstring ");
+        $debug && warn $query;
+        
+        $offset=0 unless $offset;
+        my $counter = $offset;
+        $length=10 unless $length;
+        my @oAuth;
+        my $i;
+        $oAuth[0]=C4::Context->Zconn("authorityserver" , 1);
+        my $Anewq= new ZOOM::Query::PQF($query,$oAuth[0]);
+        my $oAResult;
+        $oAResult= $oAuth[0]->search($Anewq) ; 
+        while (($i = ZOOM::event(\@oAuth)) != 0) {
+            my $ev = $oAuth[$i-1]->last_event();
+            last if $ev == ZOOM::Event::ZEND;
+        }
+        my($error, $errmsg, $addinfo, $diagset) = $oAuth[0]->error_x();
+        if ($error) {
+            warn  "oAuth error: $errmsg ($error) $addinfo $diagset\n";
+            goto NOLUCK;
+        }
+        
+        my $nbresults;
+        $nbresults=$oAResult->size();
+        my $nremains=$nbresults;    
+        my @result = ();
+        my @finalresult = ();
+        
+        if ($nbresults>0){
+        
+        ##Find authid and linkid fields
+        ##we may be searching multiple authoritytypes.
+        ## FIXME this assumes that all authid and linkid fields are the same for all authority types
+        # my ($authidfield,$authidsubfield)=GetAuthMARCFromKohaField($dbh,"auth_header.authid",$authtypecode[0]);
+        # my ($linkidfield,$linkidsubfield)=GetAuthMARCFromKohaField($dbh,"auth_header.linkid",$authtypecode[0]);
+            while (($counter < $nbresults) && ($counter < ($offset + $length))) {
+            
+            ##Here we have to extract MARC record and $authid from ZEBRA AUTHORITIES
+            my $rec=$oAResult->record($counter);
+            my $marcdata=$rec->raw();
+            my $authrecord;
+            my $separator=C4::Context->preference('authoritysep');
+            $authrecord = MARC::File::USMARC::decode($marcdata);
+            my $authid=$authrecord->field('001')->data(); 
+            my $summary=BuildSummary($authrecord,$authid,$authtypecode);
+            my $query_auth_tag = "SELECT auth_tag_to_report FROM auth_types WHERE authtypecode=?";
+            my $sth = $dbh->prepare($query_auth_tag);
+            $sth->execute($authtypecode);
+            my $auth_tag_to_report = $sth->fetchrow;
+            my $reported_tag;
+            my $mainentry = $authrecord->field($auth_tag_to_report);
+            if ($mainentry) {
+                foreach ($mainentry->subfields()) {
+                    $reported_tag .='$'.$_->[0].$_->[1];
+                }
+            }
+            my %newline;
+            $newline{summary} = $summary;
+            $newline{authid} = $authid;
+            $newline{even} = $counter % 2;
+            $newline{reported_tag} = $reported_tag;
+            $counter++;
+            push @finalresult, \%newline;
+            }## while counter
+        ###
+        for (my $z=0; $z<@finalresult; $z++){
+                my  $count=CountUsage($finalresult[$z]{authid});
+                $finalresult[$z]{used}=$count;
+        }# all $z's
+        
+        }## if nbresult
+        NOLUCK:
+        # $oAResult->destroy();
+        # $oAuth[0]->destroy();
+        
+        return (\@finalresult, $nbresults);
+    }
+}
 
-       if($sql_where2 ne "(")  # some datas added to sql_where2, processing
-       {
-               $sql_where2 = substr($sql_where2, 0, (length($sql_where2)-5)); # deletes the trailing ' and '
-               $sql_where2 .= ")";
-       }
-       else    # no sql_where2 statement, deleting '('
-       {
-               $sql_where2 = "";
-       }
-       chop $sql_tables;       # deletes the trailing ','
-       
-       return ($sql_tables, $sql_where1, $sql_where2);
+=head2 CountUsage 
+
+=over 4
+
+$count= &CountUsage($authid)
+counts Usage of Authid in bibliorecords. 
+
+=back
+
+=cut
+
+sub CountUsage {
+    my ($authid) = @_;
+    if (C4::Context->preference('NoZebra')) {
+        # Read the index Koha-Auth-Number for this authid and count the lines
+        my $result = C4::Search::NZanalyse("an=$authid");
+        my @tab = split /;/,$result;
+        return scalar @tab;
+    } else {
+        ### ZOOM search here
+        my $oConnection=C4::Context->Zconn("biblioserver",1);
+        my $query;
+        $query= "an=".$authid;
+        my $oResult = $oConnection->search(new ZOOM::Query::CCL2RPN( $query, $oConnection ));
+        my $result;
+        while ((my $i = ZOOM::event([ $oConnection ])) != 0) {
+            my $ev = $oConnection->last_event();
+            if ($ev == ZOOM::Event::ZEND) {
+                $result = $oResult->size();
+            }
+        }
+        return ($result);
+    }
 }
 
+=head2 CountUsageChildren 
 
-sub AUTHcount_usage {
-       my ($authid) = @_;
-       my $dbh = C4::Context->dbh;
-       # find MARC fields using this authtype
-       my $authtypecode = AUTHfind_authtypecode($dbh,$authid);
-       my $sth = $dbh->prepare("select distinct tagfield from marc_subfield_structure where authtypecode=?");
-       my $tags_used=$sth->execute($authtypecode);
-       my $tags_using_authtype;
+=over 4
 
-       while  (my($tagfield) = $sth->fetchrow){
-#              warn "TAG : $tagfield";
-               $tags_using_authtype.= "'".$tagfield."9',";
+$count= &CountUsageChildren($authid)
+counts Usage of narrower terms of Authid in bibliorecords.
 
-       }
+=back
+
+=cut
 
-       chop $tags_using_authtype;
-### try ZOOM search here
-my $oConnection=C4::Context->Zconn("biblioserver");
-my $query;
-
-$query= "\@attr GILS 1=2057 ".$authid;
-
-my $oResult = $oConnection->search_pqf($query);
-
-my $result=$oResult->size() if  ($oResult);
-
-### OLD API
-#      if ($tags_using_authtype) {
-#              $sth = $dbh->prepare("select count(*) from marc_subfield_table where concat(tag,subfieldcode) in ($tags_using_authtype) and MATCH(subfieldvalue) AGAINST(? IN BOOLEAN MODE)");
-#      } else {
-#              $sth = $dbh->prepare("select count(*) from marc_subfield_table where subfieldvalue=?");
-#      }
-#      warn "Q : select count(*) from marc_subfield_table where concat(tag,subfieldcode) in ($tags_using_authtype) and d MATCH(subfieldvalue) AGAINST($authid IN BOOLEAN MODE) ";
-#      $sth->execute($authid);
-#      my ($result) = $sth->fetchrow;
-#      warn "Authority $authid TOTAL USED : $result";
-       
-       return ($result);
+sub CountUsageChildren {
+  my ($authid) = @_;
 }
 
+=head2 GetAuthTypeCode
+
+=over 4
+
+$authtypecode= &GetAuthTypeCode($authid)
+returns authtypecode of an authid
 
+=back
+
+=cut
 
-sub AUTHfind_authtypecode {
-       my ($dbh,$authid) = @_;
-       my $sth = $dbh->prepare("select authtypecode from auth_header where authid=?");
-       $sth->execute($authid);
-       my ($authtypecode) = $sth->fetchrow;
-       return $authtypecode;
+sub GetAuthTypeCode {
+#AUTHfind_authtypecode
+  my ($authid) = @_;
+  my $dbh=C4::Context->dbh;
+  my $sth = $dbh->prepare("select authtypecode from auth_header where authid=?");
+  $sth->execute($authid);
+  my $authtypecode = $sth->fetchrow;
+  return $authtypecode;
 }
  
+=head2 GetTagsLabels
+
+=over 4
+
+$tagslabel= &GetTagsLabels($forlibrarian,$authtypecode)
+returns a ref to hashref of authorities tag and subfield structure.
+
+tagslabel usage : 
+$tagslabel->{$tag}->{$subfield}->{'attribute'}
+where attribute takes values in :
+  lib
+  tab
+  mandatory
+  repeatable
+  authorised_value
+  authtypecode
+  value_builder
+  kohafield
+  seealso
+  hidden
+  isurl
+  link
 
-sub AUTHgettagslib {
-       my ($dbh,$forlibrarian,$authtypecode)= @_;
-       $authtypecode="" unless $authtypecode;
-       my $sth;
-       my $libfield = ($forlibrarian eq 1)? 'liblibrarian' : 'libopac';
+=back
 
+=cut
 
-       # check that authority exists
-       $sth=$dbh->prepare("select count(*) from auth_tag_structure where authtypecode=?");
-       $sth->execute($authtypecode);
-       my ($total) = $sth->fetchrow;
-       $authtypecode="" unless ($total >0);
-       $sth= $dbh->prepare(
-"select tagfield,liblibrarian,libopac,mandatory,repeatable from auth_tag_structure where authtypecode=? order by tagfield"
+sub GetTagsLabels {
+  my ($forlibrarian,$authtypecode)= @_;
+  my $dbh=C4::Context->dbh;
+  $authtypecode="" unless $authtypecode;
+  my $sth;
+  my $libfield = ($forlibrarian eq 1)? 'liblibrarian' : 'libopac';
+
+
+  # check that authority exists
+  $sth=$dbh->prepare("SELECT count(*) FROM auth_tag_structure WHERE authtypecode=?");
+  $sth->execute($authtypecode);
+  my ($total) = $sth->fetchrow;
+  $authtypecode="" unless ($total >0);
+  $sth= $dbh->prepare(
+"SELECT auth_tag_structure.tagfield,auth_tag_structure.liblibrarian,auth_tag_structure.libopac,auth_tag_structure.mandatory,auth_tag_structure.repeatable 
+ FROM auth_tag_structure 
+ WHERE authtypecode=? 
+ ORDER BY tagfield"
     );
 
-$sth->execute($authtypecode);
-        my ( $liblibrarian, $libopac, $tag, $res, $tab, $mandatory, $repeatable );
+  $sth->execute($authtypecode);
+  my ( $liblibrarian, $libopac, $tag, $res, $tab, $mandatory, $repeatable );
 
-    while ( ( $tag, $liblibrarian, $libopac, $mandatory, $repeatable ) = $sth->fetchrow ) {
+  while ( ( $tag, $liblibrarian, $libopac, $mandatory, $repeatable ) = $sth->fetchrow ) {
         $res->{$tag}->{lib}        = ($forlibrarian or !$libopac)?$liblibrarian:$libopac;
-        $res->{$tab}->{tab}        = "";            # XXX
+        $res->{$tag}->{tab}        = " ";            # XXX
         $res->{$tag}->{mandatory}  = $mandatory;
         $res->{$tag}->{repeatable} = $repeatable;
-    }
-       $sth=      $dbh->prepare("select tagfield,tagsubfield,liblibrarian,libopac,tab, mandatory, repeatable,authorised_value,authtypecode,value_builder,kohafield,seealso,hidden,isurl,link from auth_subfield_structure where authtypecode=? order by tagfield,tagsubfield"
+  }
+  $sth=      $dbh->prepare(
+"SELECT tagfield,tagsubfield,liblibrarian,libopac,tab, mandatory, repeatable,authorised_value,frameworkcode as authtypecode,value_builder,kohafield,seealso,hidden,isurl 
+FROM auth_subfield_structure 
+WHERE authtypecode=? 
+ORDER BY tagfield,tagsubfield"
     );
-       $sth->execute($authtypecode);
+    $sth->execute($authtypecode);
 
-        my $subfield;
+    my $subfield;
     my $authorised_value;
-    my $authtypecode;
     my $value_builder;
     my $kohafield;
     my $seealso;
     my $hidden;
     my $isurl;
-       my $link;
+    my $link;
 
     while (
         ( $tag,         $subfield,   $liblibrarian,   , $libopac,      $tab,
         $mandatory,     $repeatable, $authorised_value, $authtypecode,
         $value_builder, $kohafield,  $seealso,          $hidden,
-        $isurl,                        $link )
+        $isurl,            $link )
         = $sth->fetchrow
       )
     {
@@ -396,531 +506,894 @@ $sth->execute($authtypecode);
     return $res;
 }
 
-sub AUTHaddauthority {
-# pass the MARC::Record to this function, and it will create the records in the authority table
-       my ($dbh,$record,$authid,$authtypecode) = @_;
+=head2 AddAuthority
 
-#my $leadercode=AUTHfind_leader($dbh,$authtypecode);
-my $leader='         a              ';##Fixme correct leader as this one just adds utf8 to MARC21
-#substr($leader,8,1)=$leadercode;
-#      $record->leader($leader);
-my ($authfield,$authidsubfield)=AUTHfind_marc_from_kohafield($dbh,"auth_header.authid",$authtypecode);
-my ($authfield2,$authtypesubfield)=AUTHfind_marc_from_kohafield($dbh,"auth_header.authtypecode",$authtypecode);
-my ($linkidfield,$linkidsubfield)=AUTHfind_marc_from_kohafield($dbh,"auth_header.linkid",$authtypecode);
+=over 4
 
-# if authid empty => true add, find a new authid number
-       if (!$authid) {
-       my      $sth=$dbh->prepare("select max(authid) from auth_header");
-               $sth->execute;
-               ($authid)=$sth->fetchrow;
-               $authid=$authid+1;
-               
-##Insert the recordID in MARC record 
-
-##Both authid and authtypecode is expected to be in the same field. Modify if other requirements arise
-       $record->add_fields($authfield,'','',$authidsubfield=>$authid,$authtypesubfield=>$authtypecode);
-
-               $dbh->do("lock tables auth_header WRITE");
-                $sth=$dbh->prepare("insert into auth_header (authid,datecreated,authtypecode,marc) values (?,now(),?,?)");
-               $sth->execute($authid,$authtypecode,$record->as_usmarc);                
-               $sth->finish;
-       
-       }else{
-##Modified record reinsertid
-$record->delete_field($authfield);
-$record->add_fields($authfield,'','',$authidsubfield=>$authid,$authtypesubfield=>$authtypecode);
-
-       $dbh->do("lock tables auth_header WRITE");
-       my $sth=$dbh->prepare("update auth_header set marc=? where authid=?");
-       $sth->execute($record->as_usmarc,$authid);
-       $sth->finish;
-       }
-       $dbh->do("unlock tables");
-       zebraopauth($dbh,$authid,'specialUpdate');
+$authid= &AddAuthority($record, $authid,$authtypecode)
+returns authid of the newly created authority
 
-if ($record->field($linkidfield)){
-my @fields=$record->field($linkidfield);
+Either Create Or Modify existing authority.
 
-       foreach my $field (@fields){
-my     $linkid=$field->subfield($linkidsubfield) ;
-               if ($linkid){
-       ##Modify the record of linked 
-       AUTHaddlink($dbh,$linkid,$authid);
-       }
-       }
-}
-       return ($authid);
-}
+=back
 
-sub AUTHaddlink{
-my ($dbh,$linkid,$authid)=@_;
-my $record=AUTHgetauthority($dbh,$linkid);
-my $authtypecode=AUTHfind_authtypecode($dbh,$linkid);
-#warn "adding l:$linkid,a:$authid,auth:$authtypecode";
-$record=AUTH2marcOnefieldlink($dbh,$record,"auth_header.linkid",$authid,$authtypecode);
-$dbh->do("lock tables auth_header WRITE");
-       my $sth=$dbh->prepare("update auth_header set marc=? where authid=?");
-       $sth->execute($record->as_usmarc,$linkid);
-       $sth->finish;   
-       $dbh->do("unlock tables");
-       zebraopauth($dbh,$linkid,'specialUpdate');
-}
+=cut
 
-sub AUTH2marcOnefieldlink {
-    my ( $dbh, $record, $kohafieldname, $newvalue,$authtypecode ) = @_;
-my $sth =      $dbh->prepare(
-"select tagfield,tagsubfield from auth_subfield_structure where authtypecode=? and kohafield=?"
-    );
-    $sth->execute($authtypecode,$kohafieldname);
-my  ($tagfield,$tagsubfield)=$sth->fetchrow;
-            $record->add_fields( $tagfield, " ", " ", $tagsubfield => $newvalue );
-    return $record;
-}
-sub zebraopauth{
-
-my ($dbh,$authid,$op)=@_;
-my $Zconnauthority;
-my $tried=0;
-my $recon=0;
-reconnect:
-$Zconnauthority=C4::Context->Zconnauth("authorityserver");
-if ($Zconnauthority ne "error"){
-my     $record = AUTHgetauthority($dbh,$authid);
-my $Zpackage = $Zconnauthority->package();
-$Zpackage->option(action => $op);
-       $Zpackage->option(record => $record->as_xml_record);
-retry:
-       eval {
-               $Zpackage->send("update");
-       };
-       if ($@) {
-               if($@->code()==10007 && $tried==0){ ##Timedout -retry
-               $tried=1;
-               goto "retry";
-               }elsif($@->code()==10004 && $recon==0){##Lost connection -reconnect
-               $recon=1;
-               goto "reconnect";
-               }else{
-               warn "Error-authority updating $authid $op /CODE:", $@->code()," /MSG:",$@->message(),"\n";     
-               zebrafiles($dbh,$authid,$op);
-               return;
+sub AddAuthority {
+# pass the MARC::Record to this function, and it will create the records in the authority table
+  my ($record,$authid,$authtypecode) = @_;
+  my $dbh=C4::Context->dbh;
+       my $leader='    nz   a22     o  4500';#Leader for incomplete MARC21 record
+
+# if authid empty => true add, find a new authid number
+  my $format= 'UNIMARCAUTH' if (uc(C4::Context->preference('marcflavour')) eq 'UNIMARC');
+  $format= 'MARC21' if (uc(C4::Context->preference('marcflavour')) ne 'UNIMARC');
+
+       if ($format eq "MARC21") {
+               if (!$record->leader) {
+                       $record->leader($leader);
+               }
+               if (!$record->field('003')) {
+                       $record->insert_fields_ordered(
+                               MARC::Field->new('003',C4::Context->preference('MARCOrgCode'))
+                       );
+               }
+               my $time=POSIX::strftime("%Y%m%d%H%M%S",localtime);
+               if (!$record->field('005')) {
+                       $record->insert_fields_ordered(
+                               MARC::Field->new('005',$time.".0")
+                       );
+               }
+               my $date=POSIX::strftime("%y%m%d",localtime);
+               if (!$record->field('008')) {
+                       $record->insert_fields_ordered(
+                               MARC::Field->new('008',$date."|||a||||||           | |||     d")
+                       );
                }
+               if (!$record->field('040')) {
+                $record->insert_fields_ordered(
+        MARC::Field->new('040','','',
+                               'a' => C4::Context->preference('MARCOrgCode'),
+                               'c' => C4::Context->preference('MARCOrgCode')
+                               ) 
+                       );
+    }
        }
-$Zpackage->("commit") if (C4::Context->authorityservershadow); 
-$Zpackage->destroy;
-}else{
-zebrafiles($dbh,$authid,$op);
-}      
-}
 
-sub zebrafiles{
-
-my ($dbh,$authid,$folder)=@_;
-my $record=AUTHgetauthority($dbh,$authid);
-my $zebradir = C4::Context->zebraconfig("authorityserver")->{directory}."/".$folder."/";
-       
-#my $zebradir = C4::Context->authoritydir."/".$folder."/";
-       unless (opendir(DIR, "$zebradir")) {
-warn "$zebradir not found";
-                       return;
-       } 
-       closedir DIR;
-       my $filename = $zebradir.$authid;
-if ($record){
-       open (OUTPUT,">", $filename.".xml");
-       print OUTPUT $record->as_xml_record;
-
-       close OUTPUT;
+  if (($format eq "UNIMARCAUTH") && (!$record->subfield('100','a'))){
+        $record->leader("     nx  j22             ");
+        my $date=POSIX::strftime("%Y%m%d",localtime);    
+        if ($record->field('100')){
+          $record->field('100')->update('a'=>$date."afrey50      ba0");
+        } else {      
+          $record->append_fields(
+            MARC::Field->new('100',' ',' '
+              ,'a'=>$date."afrey50      ba0")
+          );
+        }      
+  }
+  my ($auth_type_tag, $auth_type_subfield) = get_auth_type_location($authtypecode);
+  if (!$authid and $format eq "MARC21") {
+    # only need to do this fix when modifying an existing authority
+    C4::AuthoritiesMarc::MARC21::fix_marc21_auth_type_location($record, $auth_type_tag, $auth_type_subfield);
+  } 
+  if (my $field=$record->field($auth_type_tag)){
+    $field->update($auth_type_subfield=>$authtypecode);
+  }
+  else {
+    $record->add_fields($auth_type_tag,'','', $auth_type_subfield=>$authtypecode); 
+  }
+
+  my $auth_exists=0;
+  my $oldRecord;
+  if (!$authid) {
+    my $sth=$dbh->prepare("select max(authid) from auth_header");
+    $sth->execute;
+    ($authid)=$sth->fetchrow;
+    $authid=$authid+1;
+  ##Insert the recordID in MARC record 
+    unless ($record->field('001') && $record->field('001')->data() eq $authid){
+        $record->delete_field($record->field('001'));
+        $record->insert_fields_ordered(MARC::Field->new('001',$authid));
+    }
+  } else {
+    $auth_exists=$dbh->do(qq(select authid from auth_header where authid=?),undef,$authid);
+#     warn "auth_exists = $auth_exists";
+  }
+  if ($auth_exists>0){
+      $oldRecord=GetAuthority($authid);
+      $record->add_fields('001',$authid) unless ($record->field('001'));
+#       warn "\n\n\n enregistrement".$record->as_formatted;
+      my $sth=$dbh->prepare("update auth_header set authtypecode=?,marc=?,marcxml=? where authid=?");
+      $sth->execute($authtypecode,$record->as_usmarc,$record->as_xml_record($format),$authid) or die $sth->errstr;
+      $sth->finish;
+  }
+  else {
+    my $sth=$dbh->prepare("insert into auth_header (authid,datecreated,authtypecode,marc,marcxml) values (?,now(),?,?,?)");
+    $sth->execute($authid,$authtypecode,$record->as_usmarc,$record->as_xml_record($format));
+    $sth->finish;
+  }
+  ModZebra($authid,'specialUpdate',"authorityserver",$oldRecord,$record);
+  return ($authid);
 }
 
 
-}
+=head2 DelAuthority
 
+=over 4
 
-sub AUTHfind_leader{
-##Hard coded for NEU auth types 
-my($dbh,$authtypecode)=@_;
+$authid= &DelAuthority($authid)
+Deletes $authid
 
-my $leadercode;
-if ($authtypecode eq "AUTH"){
-$leadercode="a";
-}elsif ($authtypecode eq "ESUB"){
-$leadercode="b";
-}elsif ($authtypecode eq "TSUB"){
-$leadercode="c";
-}else{
-$leadercode=" ";
-}
-return $leadercode;
-}
+=back
 
-sub AUTHgetauthority {
-# Returns MARC::Record of the biblio passed in parameter.
-    my ($dbh,$authid)=@_;
-my     $sth=$dbh->prepare("select marc from auth_header where authid=?");
-               $sth->execute($authid);
-       my ($marc) = $sth->fetchrow; 
-my $record=MARC::File::USMARC::decode($marc);
+=cut
 
-       return ($record);
-}
 
-sub AUTHgetauth_type {
-       my ($authtypecode) = @_;
-       my $dbh=C4::Context->dbh;
-       my $sth=$dbh->prepare("select * from auth_types where authtypecode=?");
-       $sth->execute($authtypecode);
-       return $sth->fetchrow_hashref;
-}
-sub AUTHmodauthority {
+sub DelAuthority {
+    my ($authid) = @_;
+    my $dbh=C4::Context->dbh;
+
+    ModZebra($authid,"recordDelete","authorityserver",GetAuthority($authid),undef);
+    $dbh->do("delete from auth_header where authid=$authid") ;
 
-       my ($dbh,$authid,$record,$authtypecode,$merge)=@_;
-       my ($oldrecord)=&AUTHgetauthority($dbh,$authid);
-       if ($oldrecord eq $record) {
-               return;
-       }
-my $sth=$dbh->prepare("update auth_header set marc=? where authid=?");
-#warn find if linked records exist and delete them
-my($linkidfield,$linkidsubfield)=AUTHfind_marc_from_kohafield($dbh,"auth_header.linkid",$authtypecode);
-
-if ($oldrecord->field($linkidfield)){
-my @fields=$oldrecord->field($linkidfield);
-       foreach my $field (@fields){
-my     $linkid=$field->subfield($linkidsubfield) ;
-       if ($linkid){                   
-               ##Modify the record of linked 
-               my $linkrecord=AUTHgetauthority($dbh,$linkid);
-               my $linktypecode=AUTHfind_authtypecode($dbh,$linkid);
-               my ( $linkidfield2,$linkidsubfield2)=AUTHfind_marc_from_kohafield($dbh,"auth_header.linkid",$linktypecode);
-               my @linkfields=$linkrecord->field($linkidfield2);
-                       foreach my $linkfield (@linkfields){
-                       if ($linkfield->subfield($linkidsubfield2) eq $authid){
-                               $linkrecord->delete_field($linkfield);
-                               $sth->execute($linkrecord->as_usmarc,$linkid);
-                               zebraopauth($dbh,$linkid,'specialUpdate');
-                       }
-                       }#foreach linkfield
-       }
-       }#foreach linkid
 }
-#Now rewrite the $record to table with an add
-$authid=AUTHaddauthority($dbh,$record,$authid,$authtypecode);
 
+sub ModAuthority {
+  my ($authid,$record,$authtypecode,$merge)=@_;
+  my $dbh=C4::Context->dbh;
+  #Now rewrite the $record to table with an add
+  my $oldrecord=GetAuthority($authid);
+  $authid=AddAuthority($record,$authid,$authtypecode);
 
 ### If a library thinks that updating all biblios is a long process and wishes to leave that to a cron job to use merge_authotities.p
 ### they should have a system preference "dontmerge=1" otherwise by default biblios will be updated
 ### the $merge flag is now depreceated and will be removed at code cleaning
-
-if (C4::Context->preference('dontmerge')){
-# save the file in localfile/modified_authorities
-       my $cgidir = C4::Context->intranetdir ."/cgi-bin";
-       unless (opendir(DIR, "$cgidir")) {
-                       $cgidir = C4::Context->intranetdir."/";
-       } 
-
-       my $filename = $cgidir."/localfile/modified_authorities/$authid.authid";
-       open AUTH, "> $filename";
-       print AUTH $authid;
-       close AUTH;
-}else{
-       &merge($dbh,$authid,$record,$authid,$record);
-}
-return $authid;
+  if (C4::Context->preference('MergeAuthoritiesOnUpdate') ){
+      &merge($authid,$oldrecord,$authid,$record);
+  } else {
+  # save the file in tmp/modified_authorities
+      my $cgidir = C4::Context->intranetdir ."/cgi-bin";
+      unless (opendir(DIR,"$cgidir")) {
+              $cgidir = C4::Context->intranetdir."/";
+              closedir(DIR);
+      }
+  
+      my $filename = $cgidir."/tmp/modified_authorities/$authid.authid";
+      open AUTH, "> $filename";
+      print AUTH $authid;
+      close AUTH;
+  }
+  return $authid;
 }
 
-sub AUTHdelauthority {
-       my ($dbh,$authid,$keep_biblio) = @_;
-# if the keep_biblio is set to 1, then authority entries in biblio are preserved.
+=head2 GetAuthorityXML 
+
+=over 4
+
+$marcxml= &GetAuthorityXML( $authid)
+returns xml form of record $authid
 
-zebraopauth($dbh,$authid,"recordDelete");
-       $dbh->do("delete from auth_header where authid=$authid") ;
+=back
+
+=cut
 
-# FIXME : delete or not in biblio tables (depending on $keep_biblio flag)
+sub GetAuthorityXML {
+  # Returns MARC::XML of the authority passed in parameter.
+  my ( $authid ) = @_;
+  if (uc(C4::Context->preference('marcflavour')) eq 'UNIMARC') {
+      my $dbh=C4::Context->dbh;
+      my $sth = $dbh->prepare("select marcxml from auth_header where authid=? "  );
+      $sth->execute($authid);
+      my ($marcxml)=$sth->fetchrow;
+      return $marcxml;
+  }
+  else { 
+      # for MARC21, call GetAuthority instead of
+      # getting the XML directly since we may
+      # need to fix up the location of the authority
+      # code -- note that this is reasonably safe
+      # because GetAuthorityXML is used only by the 
+      # indexing processes like zebraqueue_start.pl
+      my $record = GetAuthority($authid);
+      return $record->as_xml_record('MARC21');
+  }
 }
 
+=head2 GetAuthority 
 
+=over 4
 
-sub AUTHfind_authtypecode {
-       my ($dbh,$authid) = @_;
-       my $sth = $dbh->prepare("select authtypecode from auth_header where authid=?");
-       $sth->execute($authid);
-       my ($authtypecode) = $sth->fetchrow;
-       return $authtypecode;
+$record= &GetAuthority( $authid)
+Returns MARC::Record of the authority passed in parameter.
+
+=back
+
+=cut
+
+sub GetAuthority {
+    my ($authid)=@_;
+    my $dbh=C4::Context->dbh;
+    my $sth=$dbh->prepare("select authtypecode, marcxml from auth_header where authid=?");
+    $sth->execute($authid);
+    my ($authtypecode, $marcxml) = $sth->fetchrow;
+    my $record=eval {MARC::Record->new_from_xml(StripNonXmlChars($marcxml),'UTF-8',
+        (C4::Context->preference("marcflavour") eq "UNIMARC"?"UNIMARCAUTH":C4::Context->preference("marcflavour")))};
+    return undef if ($@);
+    $record->encoding('UTF-8');
+    if (C4::Context->preference("marcflavour") eq "MARC21") {
+      my ($auth_type_tag, $auth_type_subfield) = get_auth_type_location($authtypecode);
+      C4::AuthoritiesMarc::MARC21::fix_marc21_auth_type_location($record, $auth_type_tag, $auth_type_subfield);
+    }
+    return ($record);
 }
 
+=head2 GetAuthType 
+
+=over 4
+
+$result = &GetAuthType($authtypecode)
+
+=back
+
+If the authority type specified by C<$authtypecode> exists,
+returns a hashref of the type's fields.  If the type
+does not exist, returns undef.
+
+=cut
+
+sub GetAuthType {
+    my ($authtypecode) = @_;
+    my $dbh=C4::Context->dbh;
+    my $sth;
+    if (defined $authtypecode){ # NOTE - in MARC21 framework, '' is a valid authority 
+                                # type (FIXME but why?)
+        $sth=$dbh->prepare("select * from auth_types where authtypecode=?");
+        $sth->execute($authtypecode);
+        if (my $res = $sth->fetchrow_hashref) {
+            return $res; 
+        }
+    }
+    return;
+}
 
 
 sub AUTHhtml2marc {
-       my ($dbh,$rtags,$rsubfields,$rvalues,%indicators) = @_;
-       my $prevtag = -1;
-       my $record = MARC::Record->new();
+    my ($rtags,$rsubfields,$rvalues,%indicators) = @_;
+    my $dbh=C4::Context->dbh;
+    my $prevtag = -1;
+    my $record = MARC::Record->new();
 #---- TODO : the leader is missing
 
-#      my %subfieldlist=();
-       my $prevvalue; # if tag <10
-       my $field; # if tag >=10
-       for (my $i=0; $i< @$rtags; $i++) {
-               # rebuild MARC::Record
-               if (@$rtags[$i] ne $prevtag) {
-                       if ($prevtag < 10) {
-                               if ($prevvalue) {
-                                       $record->add_fields((sprintf "%03s",$prevtag),$prevvalue);
-                               }
-                       } else {
-                               if ($field) {
-                                       $record->add_fields($field);
-                               }
-                       }
-                       $indicators{@$rtags[$i]}.='  ';
-                       if (@$rtags[$i] <10) {
-                               $prevvalue= @$rvalues[$i];
-                               undef $field;
-                       } else {
-                               undef $prevvalue;
-                               $field = MARC::Field->new( (sprintf "%03s",@$rtags[$i]), substr($indicators{@$rtags[$i]},0,1),substr($indicators{@$rtags[$i]},1,1), @$rsubfields[$i] => @$rvalues[$i]);
-                       }
-                       $prevtag = @$rtags[$i];
-               } else {
-                       if (@$rtags[$i] <10) {
-                               $prevvalue=@$rvalues[$i];
-                       } else {
-                               if (length(@$rvalues[$i])>0) {
-                                       $field->add_subfields(@$rsubfields[$i] => @$rvalues[$i]);
-                               }
-                       }
-                       $prevtag= @$rtags[$i];
-               }
-       }
-       # the last has not been included inside the loop... do it now !
-       $record->add_fields($field) if $field;
-       return $record;
+#     my %subfieldlist=();
+    my $prevvalue; # if tag <10
+    my $field; # if tag >=10
+    for (my $i=0; $i< @$rtags; $i++) {
+        # rebuild MARC::Record
+        if (@$rtags[$i] ne $prevtag) {
+            if ($prevtag < 10) {
+                if ($prevvalue) {
+                    $record->add_fields((sprintf "%03s",$prevtag),$prevvalue);
+                }
+            } else {
+                if ($field) {
+                    $record->add_fields($field);
+                }
+            }
+            $indicators{@$rtags[$i]}.='  ';
+            if (@$rtags[$i] <10) {
+                $prevvalue= @$rvalues[$i];
+                undef $field;
+            } else {
+                undef $prevvalue;
+                $field = MARC::Field->new( (sprintf "%03s",@$rtags[$i]), substr($indicators{@$rtags[$i]},0,1),substr($indicators{@$rtags[$i]},1,1), @$rsubfields[$i] => @$rvalues[$i]);
+            }
+            $prevtag = @$rtags[$i];
+        } else {
+            if (@$rtags[$i] <10) {
+                $prevvalue=@$rvalues[$i];
+            } else {
+                if (length(@$rvalues[$i])>0) {
+                    $field->add_subfields(@$rsubfields[$i] => @$rvalues[$i]);
+                }
+            }
+            $prevtag= @$rtags[$i];
+        }
+    }
+    # the last has not been included inside the loop... do it now !
+    $record->add_fields($field) if $field;
+    return $record;
 }
 
+=head2 FindDuplicateAuthority
 
+=over 4
 
+$record= &FindDuplicateAuthority( $record, $authtypecode)
+return $authid,Summary if duplicate is found.
 
-sub FindDuplicate {
+Comments : an improvement would be to return All the records that match.
 
-       my ($record,$authtypecode)=@_;
-#      warn "IN for ".$record->as_formatted;
-       my $dbh = C4::Context->dbh;
-#      warn "".$record->as_formatted;
-       my $sth = $dbh->prepare("select auth_tag_to_report from auth_types where authtypecode=?");
-       $sth->execute($authtypecode);
-       my ($auth_tag_to_report) = $sth->fetchrow;
-       $sth->finish;
-       # build a request for authoritysearch
-       my (@tags, @and_or, @excluding, @operator, @value, $offset, $length);
-       if ($record->field($auth_tag_to_report)) {
-                               push @tags, $auth_tag_to_report;
-                               push @and_or, "";
-                               push @excluding, "";
-                               push @operator, "all";
-                               push @value, $record->field($auth_tag_to_report)->as_string();
-                       }
-       my ($finalresult,$nbresult) = authoritysearch($dbh,\@tags,\@and_or,\@excluding,\@operator,\@value,0,10,$authtypecode);
-       # there is at least 1 result => return the 1st one
-       if ($nbresult>0) {
-               return @$finalresult[0]->{authid},@$finalresult[0]->{summary};
-       }
-       # no result, returns nothing
-       return;
+=back
+
+=cut
+
+sub FindDuplicateAuthority {
+
+    my ($record,$authtypecode)=@_;
+#    warn "IN for ".$record->as_formatted;
+    my $dbh = C4::Context->dbh;
+#    warn "".$record->as_formatted;
+    my $sth = $dbh->prepare("select auth_tag_to_report from auth_types where authtypecode=?");
+    $sth->execute($authtypecode);
+    my ($auth_tag_to_report) = $sth->fetchrow;
+    $sth->finish;
+#     warn "record :".$record->as_formatted."  auth_tag_to_report :$auth_tag_to_report";
+    # build a request for SearchAuthorities
+    my $query='at='.$authtypecode.' ';
+    my $filtervalues=qr([\001-\040\!\'\"\`\#\$\%\&\*\+,\-\./:;<=>\?\@\(\)\{\[\]\}_\|\~]);
+    if ($record->field($auth_tag_to_report)) {
+      foreach ($record->field($auth_tag_to_report)->subfields()) {
+        $_->[1]=~s/$filtervalues/ /g; $query.= " and he,wrdl=\"".$_->[1]."\"" if ($_->[0]=~/[A-z]/);
+      }
+    }
+    my ($error, $results, $total_hits)=SimpleSearch( $query, 0, 1, [ "authorityserver" ] );
+    # there is at least 1 result => return the 1st one
+    if (@$results>0) {
+      my $marcrecord = MARC::File::USMARC::decode($results->[0]);
+      return $marcrecord->field('001')->data,BuildSummary($marcrecord,$marcrecord->field('001')->data,$authtypecode);
+    }
+    # no result, returns nothing
+    return;
 }
 
-sub getsummary{
+=head2 BuildSummary
+
+=over 4
+
+$text= &BuildSummary( $record, $authid, $authtypecode)
+return HTML encoded Summary
+
+Comment : authtypecode can be infered from both record and authid.
+Moreover, authid can also be inferred from $record.
+Would it be interesting to delete those things.
+
+=back
+
+=cut
+
+sub BuildSummary{
 ## give this a Marc record to return summary
-my ($dbh,$record,$authid,$authtypecode)=@_;
-
-# my $authtypecode = AUTHfind_authtypecode($dbh,$authid);
- my $authref = getauthtype($authtypecode);
-               my $summary = $authref->{summary};
-               my @fields = $record->fields();
-#              chop $tags_using_authtype;
-               # if the library has a summary defined, use it. Otherwise, build a standard one
-               if ($summary) {
-                       my @fields = $record->fields();
-                       foreach my $field (@fields) {
-                               my $tag = $field->tag();
-                               my $tagvalue = $field->as_string();
-                               $summary =~ s/\[(.?.?.?.?)$tag\*(.*?)]/$1$tagvalue$2\[$1$tag$2]/g;
-                               if ($tag<10) {
-                               } else {
-                                       my @subf = $field->subfields;
-                                       for my $i (0..$#subf) {
-                                               my $subfieldcode = $subf[$i][0];
-                                               my $subfieldvalue = $subf[$i][1];
-                                               my $tagsubf = $tag.$subfieldcode;
-                                               $summary =~ s/\[(.?.?.?.?)$tagsubf(.*?)]/$1$subfieldvalue$2\[$1$tagsubf$2]/g;
-                                       }
-                               }
-                       }
-                       $summary =~ s/\[(.*?)]//g;
-                       $summary =~ s/\n/<br>/g;
-               } else {
-                       my $heading; # = $authref->{summary};
-                       my $altheading;
-                       my $seeheading;
-                       my $see;
-                       my @fields = $record->fields();
-                       if (C4::Context->preference('marcflavour') eq 'UNIMARC') {
-                       # construct UNIMARC summary, that is quite different from MARC21 one
-                               # accepted form
-                               foreach my $field ($record->field('2..')) {
-                                       $heading.= $field->as_string();
-                               }
-                               # rejected form(s)
-                               foreach my $field ($record->field('4..')) {
-                                       $summary.= "&nbsp;&nbsp;&nbsp;<i>".$field->as_string()."</i><br/>";
-                                       $summary.= "&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<i>see:</i> ".$heading."<br/>";
-                               }
-                               # see :
-                               foreach my $field ($record->field('5..')) {
-                                       $summary.= "&nbsp;&nbsp;&nbsp;<i>".$field->as_string()."</i><br/>";
-                                       $summary.= "&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<i>see:</i> ".$heading."<br/>";
-                               }
-                               # // form
-                               foreach my $field ($record->field('7..')) {
-                                       $seeheading.= "&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<i>see also:</i> ".$field->as_string()."<br />";     
-                                       $altheading.= "&nbsp;&nbsp;&nbsp;".$field->as_string()."<br />";
-                                       $altheading.= "&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<i>see also:</i> ".$heading."<br />";
-                               }
-                               $summary = "<b>".$heading."</b><br />".$seeheading.$altheading.$summary;        
-                       } else {
-                       # construct MARC21 summary
-                               foreach my $field ($record->field('1..')) {
-                                       if ($record->field('100')) {
-                                               $heading.= $field->as_string('abcdefghjklmnopqrstvxyz68');
-                                       } elsif ($record->field('110')) {
-                                               $heading.= $field->as_string('abcdefghklmnoprstvxyz68');
-                                       } elsif ($record->field('111')) {
-                                               $heading.= $field->as_string('acdefghklnpqstvxyz68');
-                                       } elsif ($record->field('130')) {
-                                               $heading.= $field->as_string('adfghklmnoprstvxyz68');
-                                       } elsif ($record->field('148')) {
-                                               $heading.= $field->as_string('abvxyz68');
-                                       } elsif ($record->field('150')) {
-                                       $heading.= $field->as_string('abvxyz68');       
-                                       } elsif ($record->field('151')) {
-                                               $heading.= $field->as_string('avxyz68');
-                                       } elsif ($record->field('155')) {
-                                               $heading.= $field->as_string('abvxyz68');
-                                       } elsif ($record->field('180')) {
-                                               $heading.= $field->as_string('vxyz68');
-                                       } elsif ($record->field('181')) {
-                                               $heading.= $field->as_string('vxyz68');
-                                       } elsif ($record->field('182')) {
-                                               $heading.= $field->as_string('vxyz68');
-                                       } elsif ($record->field('185')) {
-                                               $heading.= $field->as_string('vxyz68');
-                                       } else {
-                                               $heading.= $field->as_string();
-                                       }
-                               } #See From
-                               foreach my $field ($record->field('4..')) {
-                                       $seeheading.= "&nbsp;&nbsp;&nbsp;".$field->as_string()."<br />";
-                                       $seeheading.= "&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<i>see:</i> ".$seeheading."<br />";  
-                               } #See Also
-                               foreach my $field ($record->field('5..')) {
-                                       $altheading.= "&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<i>see also:</i> ".$field->as_string()."<br />";     
-                                       $altheading.= "&nbsp;&nbsp;&nbsp;".$field->as_string()."<br />";
-                                       $altheading.= "&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<i>see also:</i> ".$altheading."<br />";
-                               }
-                               $summary.=$heading.$seeheading.$altheading;
-                       }
-               }
-return $summary;
+  my ($record,$authid,$authtypecode)=@_;
+  my $dbh=C4::Context->dbh;
+  my $summary;
+  # handle $authtypecode is NULL or eq ""
+  if ($authtypecode) {
+       my $authref = GetAuthType($authtypecode);
+       $summary = $authref->{summary};
+  }
+  # FIXME: should use I18N.pm
+  my %language;
+  $language{'fre'}="Français";
+  $language{'eng'}="Anglais";
+  $language{'ger'}="Allemand";
+  $language{'ita'}="Italien";
+  $language{'spa'}="Espagnol";
+  my %thesaurus;
+  $thesaurus{'1'}="Peuples";
+  $thesaurus{'2'}="Anthroponymes";
+  $thesaurus{'3'}="Oeuvres";
+  $thesaurus{'4'}="Chronologie";
+  $thesaurus{'5'}="Lieux";
+  $thesaurus{'6'}="Sujets";
+  #thesaurus a remplir
+  my @fields = $record->fields();
+  my $reported_tag;
+  # if the library has a summary defined, use it. Otherwise, build a standard one
+  # FIXME - it appears that the summary field in the authority frameworks
+  #         can work as a display template.  However, this doesn't
+  #         suit the MARC21 version, so for now the "templating"
+  #         feature will be enabled only for UNIMARC for backwards
+  #         compatibility.
+  if ($summary and C4::Context->preference('marcflavour') eq 'UNIMARC') {
+    my @fields = $record->fields();
+    #             $reported_tag = '$9'.$result[$counter];
+    foreach my $field (@fields) {
+      my $tag = $field->tag();
+      my $tagvalue = $field->as_string();
+      $summary =~ s/\[(.?.?.?.?)$tag\*(.*?)]/$1$tagvalue$2\[$1$tag$2]/g;
+      if ($tag<10) {
+        if ($tag eq '001') {
+          $reported_tag.='$3'.$field->data();
+        }
+      } else {
+        my @subf = $field->subfields;
+        for my $i (0..$#subf) {
+          my $subfieldcode = $subf[$i][0];
+          my $subfieldvalue = $subf[$i][1];
+          my $tagsubf = $tag.$subfieldcode;
+          $summary =~ s/\[(.?.?.?.?)$tagsubf(.*?)]/$1$subfieldvalue$2\[$1$tagsubf$2]/g;
+        }
+      }
+    }
+    $summary =~ s/\[(.*?)]//g;
+    $summary =~ s/\n/<br>/g;
+  } else {
+    my $heading; 
+    my $authid; 
+    my $altheading;
+    my $seealso;
+    my $broaderterms;
+    my $narrowerterms;
+    my $see;
+    my $seeheading;
+        my $notes;
+    my @fields = $record->fields();
+    if (C4::Context->preference('marcflavour') eq 'UNIMARC') {
+    # construct UNIMARC summary, that is quite different from MARC21 one
+      # accepted form
+      foreach my $field ($record->field('2..')) {
+        $heading.= $field->subfield('a');
+                $authid=$field->subfield('3');
+      }
+      # rejected form(s)
+      foreach my $field ($record->field('3..')) {
+        $notes.= '<span class="note">'.$field->subfield('a')."</span>\n";
+      }
+      foreach my $field ($record->field('4..')) {
+        if ($field->subfield('2')) {
+            my $thesaurus = "thes. : ".$thesaurus{"$field->subfield('2')"}." : ";
+            $see.= '<span class="UF">'.$thesaurus.$field->subfield('a')."</span> -- \n";
+        }
+      }
+      # see :
+      foreach my $field ($record->field('5..')) {
+            
+        if (($field->subfield('5')) && ($field->subfield('a')) && ($field->subfield('5') eq 'g')) {
+          $broaderterms.= '<span class="BT"> <a href="detail.pl?authid='.$field->subfield('3').'">'.$field->subfield('a')."</a></span> -- \n";
+        } elsif (($field->subfield('5')) && ($field->subfield('a')) && ($field->subfield('5') eq 'h')){
+          $narrowerterms.= '<span class="NT"><a href="detail.pl?authid='.$field->subfield('3').'">'.$field->subfield('a')."</a></span> -- \n";
+        } elsif ($field->subfield('a')) {
+          $seealso.= '<span class="RT"><a href="detail.pl?authid='.$field->subfield('3').'">'.$field->subfield('a')."</a></span> -- \n";
+        }
+      }
+      # // form
+      foreach my $field ($record->field('7..')) {
+        my $lang = substr($field->subfield('8'),3,3);
+        $seeheading.= '<span class="langue"> En '.$language{$lang}.' : </span><span class="OT"> '.$field->subfield('a')."</span><br />\n";  
+      }
+            $broaderterms =~s/-- \n$//;
+            $narrowerterms =~s/-- \n$//;
+            $seealso =~s/-- \n$//;
+            $see =~s/-- \n$//;
+      $summary = "<b><a href=\"detail.pl?authid=$authid\">".$heading."</a></b><br />".($notes?"$notes <br />":"");
+      $summary.= '<p><div class="label">TG : '.$broaderterms.'</div></p>' if ($broaderterms);
+      $summary.= '<p><div class="label">TS : '.$narrowerterms.'</div></p>' if ($narrowerterms);
+      $summary.= '<p><div class="label">TA : '.$seealso.'</div></p>' if ($seealso);
+      $summary.= '<p><div class="label">EP : '.$see.'</div></p>' if ($see);
+      $summary.= '<p><div class="label">'.$seeheading.'</div></p>' if ($seeheading);
+      } else {
+      # construct MARC21 summary
+          # FIXME - looping over 1XX is questionable
+          # since MARC21 authority should have only one 1XX
+          foreach my $field ($record->field('1..')) {
+              next if "152" eq $field->tag(); # FIXME - 152 is not a good tag to use
+                                              # in MARC21 -- purely local tags really ought to be
+                                              # 9XX
+              if ($record->field('100')) {
+                  $heading.= $field->as_string('abcdefghjklmnopqrstvxyz68');
+              } elsif ($record->field('110')) {
+                                      $heading.= $field->as_string('abcdefghklmnoprstvxyz68');
+              } elsif ($record->field('111')) {
+                                      $heading.= $field->as_string('acdefghklnpqstvxyz68');
+              } elsif ($record->field('130')) {
+                                      $heading.= $field->as_string('adfghklmnoprstvxyz68');
+              } elsif ($record->field('148')) {
+                                      $heading.= $field->as_string('abvxyz68');
+              } elsif ($record->field('150')) {
+          #    $heading.= $field->as_string('abvxyz68');
+          $heading.= $field->as_formatted();
+              my $tag=$field->tag();
+              $heading=~s /^$tag//g;
+              $heading =~s /\_/\$/g;
+              } elsif ($record->field('151')) {
+                                      $heading.= $field->as_string('avxyz68');
+              } elsif ($record->field('155')) {
+                                      $heading.= $field->as_string('abvxyz68');
+              } elsif ($record->field('180')) {
+                                      $heading.= $field->as_string('vxyz68');
+              } elsif ($record->field('181')) {
+                                      $heading.= $field->as_string('vxyz68');
+              } elsif ($record->field('182')) {
+                                      $heading.= $field->as_string('vxyz68');
+              } elsif ($record->field('185')) {
+                                      $heading.= $field->as_string('vxyz68');
+              } else {
+                  $heading.= $field->as_string();
+              }
+          } #See From
+          foreach my $field ($record->field('4..')) {
+              $seeheading.= "<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<i>used for/see from:</i> ".$field->as_string();
+          } #See Also
+          foreach my $field ($record->field('5..')) {
+              $altheading.= "<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<i>see also:</i> ".$field->as_string();
+          }
+          $summary .= ": " if $summary;
+          $summary.=$heading.$seeheading.$altheading;
+      }
+  }
+  return $summary;
 }
-sub merge {
-       my ($dbh,$mergefrom,$MARCfrom,$mergeto,$MARCto) = @_;
-       my $authtypecodefrom = AUTHfind_authtypecode($dbh,$mergefrom);
-       my $authtypecodeto = AUTHfind_authtypecode($dbh,$mergeto);
-       # return if authority does not exist
-       my @X = $MARCfrom->fields();
-       return if $#X == -1;
-       my @X = $MARCto->fields();
-       return if $#X == -1;
-       
-       
-       # search the tag to report
-       my $sth = $dbh->prepare("select auth_tag_to_report from auth_types where authtypecode=?");
-       $sth->execute($authtypecodefrom);
-       my ($auth_tag_to_report) = $sth->fetchrow;
-
-       my @record_to;
-       @record_to = $MARCto->field($auth_tag_to_report)->subfields() if $MARCto->field($auth_tag_to_report);
-       my @record_from;
-       @record_from = $MARCfrom->field($auth_tag_to_report)->subfields() if $MARCfrom->field($auth_tag_to_report);
-       
-       # search all biblio tags using this authority.
-       $sth = $dbh->prepare("select distinct tagfield from marc_subfield_structure where authtypecode=?");
-       $sth->execute($authtypecodefrom);
-my @tags_using_authtype;
-       while (my ($tagfield) = $sth->fetchrow) {
-               push @tags_using_authtype,$tagfield."9" ;
-       }
 
-       # now, find every biblio using this authority
-### try ZOOM search here
-my $oConnection=C4::Context->Zconn("biblioserver");
+=head2 BuildUnimarcHierarchies
 
+=over 4
 
-my $query;
+$text= &BuildUnimarcHierarchies( $authid, $force)
+return text containing trees for hierarchies
+for them to be stored in auth_header
 
-$query= "\@attr GILS 1=2057 ".$mergefrom;
+Example of text:
+122,1314,2452;1324,2342,3,2452
 
-my $oResult = $oConnection->search_pqf($query);
+=back
 
-my $count=$oResult->size() if  ($oResult);
-my @reccache;
-my $z=0;
-while ( $z<$count ) {
+=cut
 
-my $rec;
-                $rec=$oResult->record($z);
+sub BuildUnimarcHierarchies{
+  my $authid = shift @_;
+#   warn "authid : $authid";
+  my $force = shift @_;
+  my @globalresult;
+  my $dbh=C4::Context->dbh;
+  my $hierarchies;
+  my $data = GetHeaderAuthority($authid);
+  if ($data->{'authtrees'} and not $force){
+    return $data->{'authtrees'};
+  } elsif ($data->{'authtrees'}){
+    $hierarchies=$data->{'authtrees'};
+  } else {
+    my $record = GetAuthority($authid);
+    my $found;
+    foreach my $field ($record->field('550')){
+      if ($field->subfield('5') && $field->subfield('5') eq 'g'){
+        my $parentrecord = GetAuthority($field->subfield('3'));
+        my $localresult=$hierarchies;
+        my $trees;
+        $trees = BuildUnimarcHierarchies($field->subfield('3'));
+        my @trees;
+        if ($trees=~/;/){
+           @trees = split(/;/,$trees);
+        } else {
+           push @trees, $trees;
+        }
+        foreach (@trees){
+          $_.= ",$authid";
+        }
+        @globalresult = (@globalresult,@trees);
+        $found=1;
+      }
+      $hierarchies=join(";",@globalresult);
+    }
+    #Unless there is no ancestor, I am alone.
+    $hierarchies="$authid" unless ($hierarchies);
+  }
+  AddAuthorityTrees($authid,$hierarchies);
+  return $hierarchies;
+}
+
+=head2 BuildUnimarcHierarchy
+
+=over 4
+
+$ref= &BuildUnimarcHierarchy( $record, $class,$authid)
+return a hashref in order to display hierarchy for record and final Authid $authid
+
+"loopparents"
+"loopchildren"
+"class"
+"loopauthid"
+"current_value"
+"value"
+
+"ifparents"  
+"ifchildren" 
+Those two latest ones should disappear soon.
 
-       
-       my $marcdata = $rec->raw();
-push @reccache, $marcdata;
-$z++;
+=back
+
+=cut
+
+sub BuildUnimarcHierarchy{
+  my $record = shift @_;
+  my $class = shift @_;
+  my $authid_constructed = shift @_;
+  my $authid=$record->field('001')->data();
+  my %cell;
+  my $parents=""; my $children="";
+  my (@loopparents,@loopchildren);
+  foreach my $field ($record->field('550')){
+    if ($field->subfield('5') && $field->subfield('a')){
+      if ($field->subfield('5') eq 'h'){
+        push @loopchildren, { "childauthid"=>$field->subfield('3'),"childvalue"=>$field->subfield('a')};
+      }elsif ($field->subfield('5') eq 'g'){
+        push @loopparents, { "parentauthid"=>$field->subfield('3'),"parentvalue"=>$field->subfield('a')};
+      }
+          # brothers could get in there with an else
+    }
+  }
+  $cell{"ifparents"}=1 if (scalar(@loopparents)>0);
+  $cell{"ifchildren"}=1 if (scalar(@loopchildren)>0);
+  $cell{"loopparents"}=\@loopparents if (scalar(@loopparents)>0);
+  $cell{"loopchildren"}=\@loopchildren if (scalar(@loopchildren)>0);
+  $cell{"class"}=$class;
+  $cell{"loopauthid"}=$authid;
+  $cell{"current_value"} =1 if $authid eq $authid_constructed;
+  $cell{"value"}=$record->subfield('2..',"a");
+  return \%cell;
 }
-$oResult->destroy();
-foreach my $marc(@reccache){
-
-my $update;
-       my $marcrecord;                                 
-       $marcrecord = MARC::File::USMARC::decode($marc);
-       foreach my $tagfield (@tags_using_authtype){
-       $tagfield=substr($tagfield,0,3);
-               my @tags = $marcrecord->field($tagfield);
-               foreach my $tag (@tags){
-                       my $tagsubs=$tag->subfield("9");
-#warn "$tagfield:$tagsubs:$mergefrom";
-                       if ($tagsubs== $mergefrom) {
-               
-                       $tag->update("9" =>$mergeto);
-       foreach my $subfield (@record_to) {
-#              warn "$subfield,$subfield->[0],$subfield->[1]";
-                       $tag->update($subfield->[0] =>$subfield->[1]);
-                       }#for $subfield
-               }
-               $marcrecord->delete_field($tag);
-                $marcrecord->add_fields($tag);
-               $update=1;
-               }#for each tag
-       }#foreach tagfield
-my $oldbiblio = MARCmarc2koha($dbh,$marcrecord,"") ;
-               if ($update==1){
-               &NEWmodbiblio($dbh,$marcrecord,$oldbiblio->{'biblionumber'},undef,"0000") ;
-               }
-               
-}#foreach $marc
+
+=head2 GetHeaderAuthority
+
+=over 4
+
+$ref= &GetHeaderAuthority( $authid)
+return a hashref in order auth_header table data
+
+=back
+
+=cut
+
+sub GetHeaderAuthority{
+  my $authid = shift @_;
+  my $sql= "SELECT * from auth_header WHERE authid = ?";
+  my $dbh=C4::Context->dbh;
+  my $rq= $dbh->prepare($sql);
+  $rq->execute($authid);
+  my $data= $rq->fetchrow_hashref;
+  return $data;
+}
+
+=head2 AddAuthorityTrees
+
+=over 4
+
+$ref= &AddAuthorityTrees( $authid, $trees)
+return success or failure
+
+=back
+
+=cut
+
+sub AddAuthorityTrees{
+  my $authid = shift @_;
+  my $trees = shift @_;
+  my $sql= "UPDATE IGNORE auth_header set authtrees=? WHERE authid = ?";
+  my $dbh=C4::Context->dbh;
+  my $rq= $dbh->prepare($sql);
+  return $rq->execute($trees,$authid);
+}
+
+=head2 merge
+
+=over 4
+
+$ref= &merge(mergefrom,$MARCfrom,$mergeto,$MARCto)
+
+
+Could add some feature : Migrating from a typecode to an other for instance.
+Then we should add some new parameter : bibliotargettag, authtargettag
+
+=back
+
+=cut
+
+sub merge {
+    my ($mergefrom,$MARCfrom,$mergeto,$MARCto) = @_;
+    my ($counteditedbiblio,$countunmodifiedbiblio,$counterrors)=(0,0,0);        
+    my $dbh=C4::Context->dbh;
+    my $authtypecodefrom = GetAuthTypeCode($mergefrom);
+    my $authtypecodeto = GetAuthTypeCode($mergeto);
+#     warn "mergefrom : $authtypecodefrom $mergefrom mergeto : $authtypecodeto $mergeto ";
+    # return if authority does not exist
+    return "error MARCFROM not a marcrecord ".Data::Dumper::Dumper($MARCfrom) if scalar($MARCfrom->fields()) == 0;
+    return "error MARCTO not a marcrecord".Data::Dumper::Dumper($MARCto) if scalar($MARCto->fields()) == 0;
+    # search the tag to report
+    my $sth = $dbh->prepare("select auth_tag_to_report from auth_types where authtypecode=?");
+    $sth->execute($authtypecodefrom);
+    my ($auth_tag_to_report_from) = $sth->fetchrow;
+    $sth->execute($authtypecodeto);
+    my ($auth_tag_to_report_to) = $sth->fetchrow;
+    
+    my @record_to;
+    @record_to = $MARCto->field($auth_tag_to_report_to)->subfields() if $MARCto->field($auth_tag_to_report_to);
+    my @record_from;
+    @record_from = $MARCfrom->field($auth_tag_to_report_from)->subfields() if $MARCfrom->field($auth_tag_to_report_from);
+    
+    my @reccache;
+    # search all biblio tags using this authority.
+    #Getting marcbiblios impacted by the change.
+    if (C4::Context->preference('NoZebra')) {
+        #nozebra way    
+        my $dbh=C4::Context->dbh;
+        my $rq=$dbh->prepare(qq(SELECT biblionumbers from nozebra where indexname="an" and server="biblioserver" and value="$mergefrom" ));
+        $rq->execute;
+        while (my $biblionumbers=$rq->fetchrow){
+            my @biblionumbers=split /;/,$biblionumbers;
+            foreach (@biblionumbers) {
+                if ($_=~/(\d+),.*/) {
+                    my $marc=GetMarcBiblio($1);
+                    push @reccache,$marc;
+                }
+            }
+        }
+    } else {
+        #zebra connection  
+        my $oConnection=C4::Context->Zconn("biblioserver",0);
+        $oConnection->option("preferredRecordSyntax"=>"XML");
+        my $query;
+        $query= "an=".$mergefrom;
+        my $oResult = $oConnection->search(new ZOOM::Query::CCL2RPN( $query, $oConnection ));
+        my $count = 0;
+        if  ($oResult) {
+            $count=$oResult->size();
+        }
+        my $z=0;
+        while ( $z<$count ) {
+            my $rec;
+            $rec=$oResult->record($z);
+            my $marcdata = $rec->raw();
+            push @reccache, $marcdata;
+            $z++;
+        }
+        $oConnection->destroy();    
+    }
+    #warn scalar(@reccache)." biblios to update";
+    # Get All candidate Tags for the change 
+    # (This will reduce the search scope in marc records).
+    $sth = $dbh->prepare("select distinct tagfield from marc_subfield_structure where authtypecode=?");
+    $sth->execute($authtypecodefrom);
+    my @tags_using_authtype;
+    while (my ($tagfield) = $sth->fetchrow) {
+        push @tags_using_authtype,$tagfield ;
+    }
+    my $tag_to=0;  
+    if ($authtypecodeto ne $authtypecodefrom){  
+        # If many tags, take the first
+        $sth->execute($authtypecodeto);    
+        $tag_to=$sth->fetchrow;
+        #warn $tag_to;    
+    }  
+    # BulkEdit marc records
+    # May be used as a template for a bulkedit field  
+    foreach my $marcrecord(@reccache){
+        my $update;           
+        $marcrecord= MARC::Record->new_from_xml($marcrecord,"utf8",C4::Context->preference("marcflavour")) unless(C4::Context->preference('NoZebra'));
+        foreach my $tagfield (@tags_using_authtype){
+#             warn "tagfield : $tagfield ";
+            foreach my $field ($marcrecord->field($tagfield)){
+                my $auth_number=$field->subfield("9");
+                my $tag=$field->tag();          
+                if ($auth_number==$mergefrom) {
+                my $field_to=MARC::Field->new(($tag_to?$tag_to:$tag),$field->indicator(1),$field->indicator(2),"9"=>$mergeto);
+                foreach my $subfield (@record_to) {
+                    $field_to->add_subfields($subfield->[0] =>$subfield->[1]);
+                }
+                $marcrecord->delete_field($field);
+                $marcrecord->insert_grouped_field($field_to);            
+                $update=1;
+                }
+            }#for each tag
+        }#foreach tagfield
+        my ($bibliotag,$bibliosubf) = GetMarcFromKohaField("biblio.biblionumber","") ;
+        my $biblionumber;
+        if ($bibliotag<10){
+            $biblionumber=$marcrecord->field($bibliotag)->data;
+        }
+        else {
+            $biblionumber=$marcrecord->subfield($bibliotag,$bibliosubf);
+        }
+        unless ($biblionumber){
+            warn "pas de numéro de notice bibliographique dans : ".$marcrecord->as_formatted;
+            next;
+        }
+        if ($update==1){
+            &ModBiblio($marcrecord,$biblionumber,GetFrameworkCode($biblionumber)) ;
+            $counteditedbiblio++;
+            warn $counteditedbiblio if (($counteditedbiblio % 10) and $ENV{DEBUG});
+        }    
+    }#foreach $marc
+    return $counteditedbiblio;  
+  # now, find every other authority linked with this authority
+  # now, find every other authority linked with this authority
+#   my $oConnection=C4::Context->Zconn("authorityserver");
+#   my $query;
+# # att 9210               Auth-Internal-authtype
+# # att 9220               Auth-Internal-LN
+# # ccl.properties to add for authorities
+#   $query= "= ".$mergefrom;
+#   my $oResult = $oConnection->search(new ZOOM::Query::CCL2RPN( $query, $oConnection ));
+#   my $count=$oResult->size() if  ($oResult);
+#   my @reccache;
+#   my $z=0;
+#   while ( $z<$count ) {
+#   my $rec;
+#           $rec=$oResult->record($z);
+#       my $marcdata = $rec->raw();
+#   push @reccache, $marcdata;
+#   $z++;
+#   }
+#   $oResult->destroy();
+#   foreach my $marc(@reccache){
+#     my $update;
+#     my $marcrecord;
+#     $marcrecord = MARC::File::USMARC::decode($marc);
+#     foreach my $tagfield (@tags_using_authtype){
+#       $tagfield=substr($tagfield,0,3);
+#       my @tags = $marcrecord->field($tagfield);
+#       foreach my $tag (@tags){
+#         my $tagsubs=$tag->subfield("9");
+#     #warn "$tagfield:$tagsubs:$mergefrom";
+#         if ($tagsubs== $mergefrom) {
+#           $tag->update("9" =>$mergeto);
+#           foreach my $subfield (@record_to) {
+#     #        warn "$subfield,$subfield->[0],$subfield->[1]";
+#             $tag->update($subfield->[0] =>$subfield->[1]);
+#           }#for $subfield
+#         }
+#         $marcrecord->delete_field($tag);
+#         $marcrecord->add_fields($tag);
+#         $update=1;
+#       }#for each tag
+#     }#foreach tagfield
+#     my $authoritynumber = TransformMarcToKoha($dbh,$marcrecord,"") ;
+#     if ($update==1){
+#       &ModAuthority($marcrecord,$authoritynumber,GetAuthTypeCode($authoritynumber)) ;
+#     }
+# 
+#   }#foreach $marc
 }#sub
-END { }       # module clean-up code here (global destructor)
+
+=head2 get_auth_type_location
+
+=over 4
+
+my ($tag, $subfield) = get_auth_type_location($auth_type_code);
 
 =back
 
+Get the tag and subfield used to store the heading type
+for indexing purposes.  The C<$auth_type> parameter is
+optional; if it is not supplied, assume ''.
+
+This routine searches the MARC authority framework
+for the tag and subfield whose kohafield is 
+C<auth_header.authtypecode>; if no such field is
+defined in the framework, default to the hardcoded value
+specific to the MARC format.
+
+=cut
+
+sub get_auth_type_location {
+    my $auth_type_code = @_ ? shift : '';
+
+    my ($tag, $subfield) = GetAuthMARCFromKohaField('auth_header.authtypecode', $auth_type_code);
+    if (defined $tag and defined $subfield and $tag != 0 and $subfield != 0) {
+        return ($tag, $subfield);
+    } else {
+        if (C4::Context->preference('marcflavour') eq "MARC21")  {
+            return C4::AuthoritiesMarc::MARC21::default_auth_type_location();
+        } else {
+            return C4::AuthoritiesMarc::UNIMARC::default_auth_type_location();
+        }
+    }
+}
+
+END { }       # module clean-up code here (global destructor)
+
+1;
+__END__
+
 =head1 AUTHOR
 
 Koha Developement team <info@koha.org>
@@ -929,63 +1402,3 @@ Paul POULAIN paul.poulain@free.fr
 
 =cut
 
-# $Id$
-# $Log$
-# Revision 1.26  2006/05/20 14:32:54  tgarip1957
-# If an authority is modified biblios related to this authority were not updated but a list of modified authorities was written to disk. Now by defult they get modified as well unless a system preference 'dontmerge' is defined. dontmerge=1 will keep the previous behaviour.
-#
-# Authority zebra server may have different shadow settings. Support is added
-#
-# Revision 1.25  2006/05/19 18:09:39  tgarip1957
-# All support for auth_subfield_tables is removed. All search is now with zebra authorities. New authority structure allows multiple linking of authorities of differnet types to one another.
-# Authority tables are modified to be compatible with new MARC frameworks. This change is part of Authority Linking & Zebra authorities. Requires change in Mysql database. It will break head unless all changes regarding this is implemented. This warning will take place on all commits regarding this
-#
-# Revision 1.9.2.6  2005/06/07 10:02:00  tipaul
-# porting dictionnary search from head to 2.2. there is now a ... facing titles, author & subject, to search in biblio & authorities existing values.
-#
-# Revision 1.9.2.5  2005/05/31 14:50:46  tipaul
-# fix for authority merging. There was a bug on official installs
-#
-# Revision 1.9.2.4  2005/05/30 11:24:15  tipaul
-# fixing a bug : when a field was repeated, the last field was also repeated. (Was due to the "empty" field in html between fields : to separate fields, in html, an empty field is automatically added. in AUTHhtml2marc, this empty field was not discarded correctly)
-#
-# Revision 1.9.2.3  2005/04/28 08:45:33  tipaul
-# porting FindDuplicate feature for authorities from HEAD to rel_2_2, works correctly now.
-#
-# Revision 1.9.2.2  2005/02/28 14:03:13  tipaul
-# * adding search on "main entry" (ie $a subfield) on a given authority (the "search everywhere" field is still here).
-# * adding a select box to requet "contain" or "begin with" search.
-# * fixing some bug in authority search (related to "main entry" search)
-#
-# Revision 1.9.2.1  2005/02/24 13:12:13  tipaul
-# saving authority modif in a text file. This will be used soon with another script (in crontab). The script in crontab will retrieve every authorityid in the directory localfile/authorities and modify every biblio using this authority. Those modifs may be long. So they can't be done through http, because we may encounter a webserver timeout, and kill the process before end of the job.
-# So, it will be done through a cron job.
-# (/me agree we need some doc for command line scripts)
-#
-# Revision 1.9  2004/12/23 09:48:11  tipaul
-# Minor changes in summary "exploding" (the 3 digits AFTER the subfield were not on the right place).
-#
-# Revision 1.8  2004/11/05 10:11:39  tipaul
-# export auth_count_usage (bugfix)
-#
-# Revision 1.7  2004/09/23 16:13:00  tipaul
-# Bugfix in modification
-#
-# Revision 1.6  2004/08/18 16:00:24  tipaul
-# fixes for authorities management
-#
-# Revision 1.5  2004/07/05 13:37:22  doxulting
-# First step for working authorities
-#
-# Revision 1.4  2004/06/22 11:35:37  tipaul
-# removing % at the beginning of a string to avoid loooonnnngggg searchs
-#
-# Revision 1.3  2004/06/17 08:02:13  tipaul
-# merging tag & subfield in auth_word for better perfs
-#
-# Revision 1.2  2004/06/10 08:29:01  tipaul
-# MARC authority management (continued)
-#
-# Revision 1.1  2004/06/07 07:35:01  tipaul
-# MARC authority management package
-#