Bug 21221: Shortcut memberentry scripts if patron does not exist
[koha.git] / members / memberentry.pl
index 7904e55..2bf1a02 100755 (executable)
 # along with Koha; if not, see <http://www.gnu.org/licenses>.
 
 # pragma
-use strict;
-use warnings;
+use Modern::Perl;
 
 # external modules
 use CGI qw ( -utf8 );
-# use Digest::MD5 qw(md5_base64);
 use List::MoreUtils qw/uniq/;
 
 # internal modules
@@ -35,18 +33,26 @@ use C4::Members;
 use C4::Members::Attributes;
 use C4::Members::AttributeTypes;
 use C4::Koha;
-use C4::Dates qw/format_date format_date_in_iso/;
 use C4::Log;
 use C4::Letters;
-use C4::Branch; # GetBranches
 use C4::Form::MessagingPreferences;
-use Koha::Borrower::Debarments;
+use Koha::AuthUtils;
+use Koha::AuthorisedValues;
+use Koha::Patron::Debarments;
+use Koha::Cities;
 use Koha::DateUtils;
+use Koha::Libraries;
+use Koha::Patrons;
+use Koha::Patron::Categories;
+use Koha::Patron::HouseboundRole;
+use Koha::Patron::HouseboundRoles;
+use Koha::Token;
 use Email::Valid;
 use Module::Load;
 if ( C4::Context->preference('NorwegianPatronDBEnable') && C4::Context->preference('NorwegianPatronDBEnable') == 1 ) {
     load Koha::NorwegianPatronDB, qw( NLGetSyncDataFromBorrowernumber );
 }
+use Koha::SMS::Providers;
 
 use vars qw($debug);
 
@@ -65,12 +71,23 @@ my ($template, $loggedinuser, $cookie)
            query => $input,
            type => "intranet",
            authnotrequired => 0,
-           flagsrequired => {borrowers => 1},
+           flagsrequired => {borrowers => 'edit_borrowers'},
            debug => ($debug) ? 1 : 0,
        });
 
-my $guarantorid    = $input->param('guarantorid');
 my $borrowernumber = $input->param('borrowernumber');
+my $patron         = Koha::Patrons->find($borrowernumber);
+
+if ( $borrowernumber and not $patron ) {
+    output_and_exit( $input, $cookie, $template,  'unknown_patron' );
+}
+
+if ( C4::Context->preference('SMSSendDriver') eq 'Email' ) {
+    my @providers = Koha::SMS::Providers->search();
+    $template->param( sms_providers => \@providers );
+}
+
+my $guarantorid    = $input->param('guarantorid');
 my $actionType     = $input->param('actionType') || '';
 my $modify         = $input->param('modify');
 my $delete         = $input->param('delete');
@@ -80,26 +97,23 @@ my $cardnumber     = $input->param('cardnumber');
 my $check_member   = $input->param('check_member');
 my $nodouble       = $input->param('nodouble');
 my $duplicate      = $input->param('duplicate');
+my $quickadd       = $input->param('quickadd');
 $nodouble = 1 if ($op eq 'modify' or $op eq 'duplicate');    # FIXME hack to represent fact that if we're
                                      # modifying an existing patron, it ipso facto
                                      # isn't a duplicate.  Marking FIXME because this
                                      # script needs to be refactored.
-my $select_city   = $input->param('select_city');
 my $nok           = $input->param('nok');
 my $guarantorinfo = $input->param('guarantorinfo');
 my $step          = $input->param('step') || 0;
 my @errors;
-my $default_city;
-# NOTE: Alert for ethnicity and ethnotes fields, they are invalid in all borrowers form
 my $borrower_data;
 my $NoUpdateLogin;
 my $userenv = C4::Context->userenv;
 
-
 ## Deal with debarments
 $template->param(
-    debarments => GetDebarments( { borrowernumber => $borrowernumber } ) );
-my @debarments_to_remove = $input->param('remove_debarment');
+    debarments => scalar GetDebarments( { borrowernumber => $borrowernumber } ) );
+my @debarments_to_remove = $input->multi_param('remove_debarment');
 foreach my $d ( @debarments_to_remove ) {
     DelDebarment( $d );
 }
@@ -108,15 +122,14 @@ if ( $input->param('add_debarment') ) {
     my $expiration = $input->param('debarred_expiration');
     $expiration =
       $expiration
-      ? output_pref(
-        { 'dt' => dt_from_string($expiration), 'dateformat' => 'iso' } )
+      ? dt_from_string($expiration)->ymd
       : undef;
 
     AddDebarment(
         {
             borrowernumber => $borrowernumber,
             type           => 'MANUAL',
-            comment        => $input->param('debarred_comment'),
+            comment        => scalar $input->param('debarred_comment'),
             expiration     => $expiration,
         }
     );
@@ -124,9 +137,6 @@ if ( $input->param('add_debarment') ) {
 
 $template->param("uppercasesurnames" => C4::Context->preference('uppercasesurnames'));
 
-my $minpw = C4::Context->preference('minPasswordLength');
-$template->param("minPasswordLength" => $minpw);
-
 # function to designate mandatory fields (visually with css)
 my $check_BorrowerMandatoryField=C4::Context->preference("BorrowerMandatoryField");
 my @field_check=split(/\|/,$check_BorrowerMandatoryField);
@@ -141,15 +151,24 @@ foreach (@field_check) {
        $template->param( "no$_" => 1);
 }
 $template->param( "add" => 1 ) if ( $op eq 'add' );
+$template->param( "quickadd" => 1 ) if ( $quickadd );
 $template->param( "duplicate" => 1 ) if ( $op eq 'duplicate' );
 $template->param( "checked" => 1 ) if ( defined($nodouble) && $nodouble eq 1 );
-( $borrower_data = GetMember( 'borrowernumber' => $borrowernumber ) ) if ( $op eq 'modify' or $op eq 'save' or $op eq 'duplicate' );
+if ( $op eq 'modify' or $op eq 'save' or $op eq 'duplicate' ) {
+    my $logged_in_user = Koha::Patrons->find( $loggedinuser ) or die "Not logged in";
+    output_and_exit_if_error( $input, $cookie, $template, { module => 'members', logged_in_user => $logged_in_user, current_patron => $patron } );
+
+    $borrower_data = $patron->unblessed;
+    $borrower_data->{category_type} = $patron->category->category_type;
+} else {
+    $patron = Koha::Patron->new;
+}
 my $categorycode  = $input->param('categorycode') || $borrower_data->{'categorycode'};
 my $category_type = $input->param('category_type') || '';
 unless ($category_type or !($categorycode)){
-    my $borrowercategory = GetBorrowercategory($categorycode);
-    $category_type    = $borrowercategory->{'category_type'};
-    my $category_name = $borrowercategory->{'description'}; 
+    my $borrowercategory = Koha::Patron::Categories->find($categorycode);
+    $category_type    = $borrowercategory->category_type;
+    my $category_name = $borrowercategory->description;
     $template->param("categoryname"=>$category_name);
 }
 $category_type="A" unless $category_type; # FIXME we should display a error message instead of a 500 error !
@@ -168,19 +187,16 @@ if ( $op eq 'insert' || $op eq 'modify' || $op eq 'save' || $op eq 'duplicate' )
         }
     }
 
-    my $dateobject = C4::Dates->new();
-    my $syspref = $dateobject->regexp();               # same syspref format for all 3 dates
-    my $iso     = $dateobject->regexp('iso');  #
     foreach (qw(dateenrolled dateexpiry dateofbirth)) {
         next unless exists $newdata{$_};
         my $userdate = $newdata{$_} or next;
-        if ($userdate =~ /$syspref/) {
-            $newdata{$_} = format_date_in_iso($userdate);      # if they match syspref format, then convert to ISO
-        } elsif ($userdate =~ /$iso/) {
-            warn "Date $_ ($userdate) is already in ISO format";
+
+        my $formatteddate = eval { output_pref({ dt => dt_from_string( $userdate ), dateformat => 'iso', dateonly => 1 } ); };
+        if ( $formatteddate ) {
+            $newdata{$_} = $formatteddate;
         } else {
             ($userdate eq '0000-00-00') and warn "Data error: $_ is '0000-00-00'";
-            $template->param( "ERROR_$_" => 1 );       # else ERROR!
+            $template->param( "ERROR_$_" => 1 );
             push(@errors,"ERROR_$_");
         }
     }
@@ -190,7 +206,7 @@ if ( $op eq 'insert' || $op eq 'modify' || $op eq 'save' || $op eq 'duplicate' )
     }
 }
 
-# remove keys from %newdata that ModMember() doesn't like
+# remove keys from %newdata that is not part of patron's attributes
 {
     my @keys_to_delete = (
         qr/^BorrowerMandatoryField$/,
@@ -210,6 +226,10 @@ if ( $op eq 'insert' || $op eq 'modify' || $op eq 'save' || $op eq 'duplicate' )
         qr/^\d+$/,
         qr/^\d+-DAYS/,
         qr/^patron_attr_/,
+        qr/^csrf_token$/,
+        qr/^add_debarment$/, qr/^debarred_expiration$/, # We already dealt with debarments previously
+        qr/^housebound_chooser$/, qr/^housebound_deliverer$/,
+        qr/^select_city$/,
     );
     for my $regexp (@keys_to_delete) {
         for (keys %newdata) {
@@ -218,28 +238,27 @@ if ( $op eq 'insert' || $op eq 'modify' || $op eq 'save' || $op eq 'duplicate' )
     }
 }
 
-#############test for member being unique #############
+# Test uniqueness of surname, firstname and dateofbirth
 if ( ( $op eq 'insert' ) and !$nodouble ) {
-    my $category_type_send;
-    if ( $category_type eq 'I' ) {
-        $category_type_send = $category_type;
-    }
-    my $check_category;    # recover the category code of the doublon suspect borrowers
-     #   ($result,$categorycode) = checkuniquemember($collectivity,$surname,$firstname,$dateofbirth)
-    ( $check_member, $check_category ) = checkuniquemember(
-        $category_type_send,
-        ( $newdata{surname}     ? $newdata{surname}     : $data{surname} ),
-        ( $newdata{firstname}   ? $newdata{firstname}   : $data{firstname} ),
-        ( $newdata{dateofbirth} ? $newdata{dateofbirth} : $data{dateofbirth} )
-    );
-    if ( !$check_member ) {
-        $nodouble = 1;
+    my $conditions;
+    $conditions->{surname} = $newdata{surname} if $newdata{surname};
+    if ( $category_type ne 'I' ) {
+        $conditions->{firstname} = $newdata{firstname} if $newdata{firstname};
+        $conditions->{dateofbirth} = $newdata{dateofbirth} if $newdata{dateofbirth};
+    }
+    $nodouble = 1;
+    my $patrons = Koha::Patrons->search($conditions); # FIXME Should be search_limited?
+    if ( $patrons->count > 0) {
+        $nodouble = 0;
+        $check_member = $patrons->next->borrowernumber;
     }
 }
 
   #recover all data from guarantor address phone ,fax... 
-if ( $guarantorid and ( $category_type eq 'C' || $category_type eq 'P' )) {
-    if (my $guarantordata=GetMember(borrowernumber => $guarantorid)) {
+if ( $guarantorid ) {
+    if (my $guarantor = Koha::Patrons->find( $guarantorid )) {
+        my $guarantordata = $guarantor->unblessed;
+        $category_type = $guarantordata->{categorycode} eq 'I' ? 'P' : 'C';
         $guarantorinfo=$guarantordata->{'surname'}." , ".$guarantordata->{'firstname'};
         $newdata{'contactfirstname'}= $guarantordata->{'firstname'};
         $newdata{'contactname'}     = $guarantordata->{'surname'};
@@ -261,16 +280,26 @@ $newdata{'city'}    = $input->param('city')    if defined($input->param('city'))
 $newdata{'zipcode'} = $input->param('zipcode') if defined($input->param('zipcode'));
 $newdata{'country'} = $input->param('country') if defined($input->param('country'));
 
-#builds default userid
-if ( (defined $newdata{'userid'}) && ($newdata{'userid'} eq '')){
-    if ( ( defined $newdata{'firstname'} ) && ( defined $newdata{'surname'} ) ) {
+$newdata{'lang'}    = $input->param('lang')    if defined($input->param('lang'));
+
+# builds default userid
+# userid input text may be empty or missing because of syspref BorrowerUnwantedField
+if ( ( defined $newdata{'userid'} && $newdata{'userid'} eq '' ) || $check_BorrowerUnwantedField =~ /userid/ && !defined $data{'userid'} ) {
+    if ( ( defined $newdata{'firstname'} || $category_type eq 'I' ) && ( defined $newdata{'surname'} ) ) {
         # Full page edit, firstname and surname input zones are present
-        $newdata{'userid'} = Generate_Userid( $borrowernumber, $newdata{'firstname'}, $newdata{'surname'} );
+        $patron->firstname($newdata{firstname});
+        $patron->surname($newdata{surname});
+        $patron->generate_userid;
+        $newdata{'userid'} = $patron->userid;
     }
-    elsif ( ( defined $data{'firstname'} ) && ( defined $data{'surname'} ) ) {
+    elsif ( ( defined $data{'firstname'} || $category_type eq 'I' ) && ( defined $data{'surname'} ) ) {
         # Partial page edit (access through "Details"/"Library details" tab), firstname and surname input zones are not used
         # Still, if the userid field is erased, we can create a new userid with available firstname and surname
-        $newdata{'userid'} = Generate_Userid( $borrowernumber, $data{'firstname'}, $data{'surname'} );
+        # FIXME clean thiscode newdata vs data is very confusing
+        $patron->firstname($data{firstname});
+        $patron->surname($data{surname});
+        $patron->generate_userid;
+        $newdata{'userid'} = $patron->userid;
     }
     else {
         $newdata{'userid'} = $data{'userid'};
@@ -280,6 +309,13 @@ if ( (defined $newdata{'userid'}) && ($newdata{'userid'} eq '')){
 $debug and warn join "\t", map {"$_: $newdata{$_}"} qw(dateofbirth dateenrolled dateexpiry);
 my $extended_patron_attributes = ();
 if ($op eq 'save' || $op eq 'insert'){
+
+    die "Wrong CSRF token"
+        unless Koha::Token->new->check_csrf({
+            session_id => scalar $input->cookie('CGISESSID'),
+            token  => scalar $input->param('csrf_token'),
+        });
+
     # If the cardnumber is blank, treat it as null.
     $newdata{'cardnumber'} = undef if $newdata{'cardnumber'} =~ /^\s*$/;
 
@@ -291,10 +327,19 @@ if ($op eq 'save' || $op eq 'insert'){
                 : ()
     }
 
-    if ( $newdata{dateofbirth} ) {
-        my $age = GetAge($newdata{dateofbirth});
-        my $borrowercategory=GetBorrowercategory($newdata{'categorycode'});   
-        my ($low,$high) = ($borrowercategory->{'dateofbirthrequired'}, $borrowercategory->{'upperagelimit'});
+    my $dateofbirth;
+    if ($op eq 'save' && $step == 3) {
+        $dateofbirth = $patron->dateofbirth;
+    }
+    else {
+        $dateofbirth = $newdata{dateofbirth};
+    }
+
+    if ( $dateofbirth ) {
+        my $patron = Koha::Patron->new({ dateofbirth => $dateofbirth });
+        my $age = $patron->get_age;
+        my $borrowercategory = Koha::Patron::Categories->find($categorycode);
+        my ($low,$high) = ($borrowercategory->dateofbirthrequired, $borrowercategory->upperagelimit);
         if (($high && ($age > $high)) or ($age < $low)) {
             push @errors, 'ERROR_age_limitations';
             $template->param( age_low => $low);
@@ -318,14 +363,24 @@ if ($op eq 'save' || $op eq 'insert'){
   # the edited values list when editing certain sub-forms. Get it straight
   # from the DB if absent.
   my $userid = $newdata{ userid } // $borrower_data->{ userid };
-  unless (Check_Userid($userid,$borrowernumber)) {
+  my $p = $borrowernumber ? Koha::Patrons->find( $borrowernumber ) : Koha::Patron->new;
+  $p->userid( $userid );
+  unless ( $p->has_valid_userid ) {
     push @errors, "ERROR_login_exist";
   }
-  
+
   my $password = $input->param('password');
   my $password2 = $input->param('password2');
   push @errors, "ERROR_password_mismatch" if ( $password ne $password2 );
-  push @errors, "ERROR_short_password" if( $password && $minpw && $password ne '****' && (length($password) < $minpw) );
+
+  if ( $password and $password ne '****' ) {
+      my ( $is_valid, $error ) = Koha::AuthUtils::is_password_valid( $password );
+      unless ( $is_valid ) {
+          push @errors, 'ERROR_password_too_short' if $error eq 'too_short';
+          push @errors, 'ERROR_password_too_weak' if $error eq 'too_weak';
+          push @errors, 'ERROR_password_has_whitespaces' if $error eq 'has_whitespaces';
+      }
+  }
 
   # Validate emails
   my $emailprimary = $input->param('email');
@@ -360,19 +415,15 @@ if ($op eq 'save' || $op eq 'insert'){
 
 if ( ($op eq 'modify' || $op eq 'insert' || $op eq 'save'|| $op eq 'duplicate') and ($step == 0 or $step == 3 )){
     unless ($newdata{'dateexpiry'}){
-        my $arg2 = $newdata{'dateenrolled'} || C4::Dates->today('iso');
-        $newdata{'dateexpiry'} = GetExpiryDate($newdata{'categorycode'},$arg2);
+        my $patron_category = Koha::Patron::Categories->find( $newdata{categorycode} );
+        $newdata{'dateexpiry'} = $patron_category->get_expiry_date( $newdata{dateenrolled} ) if $patron_category;
     }
 }
 
-if (
-        defined $input->param('SMSnumber')
-    &&  (
-           $input->param('SMSnumber') eq ""
-        or $input->param('SMSnumber') ne $newdata{'mobile'}
-        )
-) {
-    $newdata{smsalertnumber} = $input->param('SMSnumber');
+# BZ 14683: Do not mixup mobile [read: other phone] with smsalertnumber
+my $sms = $input->param('SMSnumber');
+if ( defined $sms ) {
+    $newdata{smsalertnumber} = $sms;
 }
 
 ###  Error checks should happen before this line.
@@ -381,8 +432,15 @@ if ((!$nok) and $nodouble and ($op eq 'insert' or $op eq 'save')){
        $debug and warn "$op dates: " . join "\t", map {"$_: $newdata{$_}"} qw(dateofbirth dateenrolled dateexpiry);
        if ($op eq 'insert'){
                # we know it's not a duplicate borrowernumber or there would already be an error
-        $borrowernumber = &AddMember(%newdata);
-        $newdata{'borrowernumber'} = $borrowernumber;
+        delete $newdata{password2};
+        my $patron = eval { Koha::Patron->new(\%newdata)->store };
+        if ( $@ ) {
+            # FIXME Urgent error handling here, we cannot fail without relevant feedback
+            # Lot of code will need to be removed from this script to handle exceptions raised by Koha::Patron->store
+            warn "Patron creation failed! - $@"; # Maybe we must die instead of just warn
+        } else {
+            $borrowernumber = $patron->borrowernumber;
+        }
 
         # If 'AutoEmailOpacUser' syspref is on, email user their account details from the 'notice' that matches the user's branchcode.
         if ( C4::Context->preference("AutoEmailOpacUser") == 1 && $newdata{'userid'}  && $newdata{'password'}) {
@@ -428,15 +486,65 @@ if ((!$nok) and $nodouble and ($op eq 'insert' or $op eq 'save')){
         if ( exists $data{'borrowernumber'} && C4::Context->preference('NorwegianPatronDBEnable') && C4::Context->preference('NorwegianPatronDBEnable') == 1 ) {
             NLSync({ 'borrowernumber' => $borrowernumber });
         }
-       } elsif ($op eq 'save'){ 
-               if ($NoUpdateLogin) {
-                       delete $newdata{'password'};
-                       delete $newdata{'userid'};
-               }
-        &ModMember(%newdata) unless scalar(keys %newdata) <= 1; # bug 4508 - avoid crash if we're not
+
+        # Create HouseboundRole if necessary.
+        # Borrower did not exist, so HouseboundRole *cannot* yet exist.
+        my ( $hsbnd_chooser, $hsbnd_deliverer ) = ( 0, 0 );
+        $hsbnd_chooser = 1 if $input->param('housebound_chooser');
+        $hsbnd_deliverer = 1 if $input->param('housebound_deliverer');
+        # Only create a HouseboundRole if patron has a role.
+        if ( $hsbnd_chooser || $hsbnd_deliverer ) {
+            Koha::Patron::HouseboundRole->new({
+                borrowernumber_id    => $borrowernumber,
+                housebound_chooser   => $hsbnd_chooser,
+                housebound_deliverer => $hsbnd_deliverer,
+            })->store;
+        }
+
+    } elsif ($op eq 'save') {
+
+        # Update or create our HouseboundRole if necessary.
+        my $housebound_role = Koha::Patron::HouseboundRoles->find($borrowernumber);
+        my ( $hsbnd_chooser, $hsbnd_deliverer ) = ( 0, 0 );
+        $hsbnd_chooser = 1 if $input->param('housebound_chooser');
+        $hsbnd_deliverer = 1 if $input->param('housebound_deliverer');
+        if ( $housebound_role ) {
+            if ( $hsbnd_chooser || $hsbnd_deliverer ) {
+                # Update our HouseboundRole.
+                $housebound_role
+                    ->housebound_chooser($hsbnd_chooser)
+                    ->housebound_deliverer($hsbnd_deliverer)
+                    ->store;
+            } else {
+                $housebound_role->delete; # No longer needed.
+            }
+        } else {
+            # Only create a HouseboundRole if patron has a role.
+            if ( $hsbnd_chooser || $hsbnd_deliverer ) {
+                $housebound_role = Koha::Patron::HouseboundRole->new({
+                    borrowernumber_id    => $borrowernumber,
+                    housebound_chooser   => $hsbnd_chooser,
+                    housebound_deliverer => $hsbnd_deliverer,
+                })->store;
+            }
+        }
+
+        if ($NoUpdateLogin) {
+            delete $newdata{'password'};
+            delete $newdata{'userid'};
+        }
+
+        my $patron = Koha::Patrons->find( $borrowernumber );
+        $newdata{debarredcomment} = $newdata{debarred_comment};
+        delete $newdata{debarred_comment};
+        delete $newdata{password2};
+        $patron->set(\%newdata)->store if scalar(keys %newdata) > 1; # bug 4508 - avoid crash if we're not
                                                                 # updating any columns in the borrowers table,
                                                                 # which can happen if we're only editing the
                                                                 # patron attributes or messaging preferences sections
+
+        $patron->update_password($newdata{userid}, $newdata{password});
+
         if (C4::Context->preference('ExtendedPatronAttributes') and $input->param('setting_extended_patron_attributes')) {
             C4::Members::Attributes::SetBorrowerAttributes($borrowernumber, $extended_patron_attributes);
         }
@@ -444,10 +552,18 @@ if ((!$nok) and $nodouble and ($op eq 'insert' or $op eq 'save')){
             C4::Form::MessagingPreferences::handle_form_action($input, { borrowernumber => $borrowernumber }, $template);
         }
        }
-       print scalar ($destination eq "circ") ? 
-               $input->redirect("/cgi-bin/koha/circ/circulation.pl?borrowernumber=$borrowernumber") :
-               $input->redirect("/cgi-bin/koha/members/moremember.pl?borrowernumber=$borrowernumber") ;
-       exit;           # You can only send 1 redirect!  After that, content or other headers don't matter.
+
+    if ( $destination eq 'circ' and not C4::Auth::haspermission( C4::Context->userenv->{id}, { circulate => 'circulate_remaining_permissions' } ) ) {
+        # If we want to redirect to circulation.pl and need to check if the logged in user has the necessary permission
+        $destination = 'not_circ';
+    }
+    print scalar( $destination eq "circ" )
+      ? $input->redirect(
+        "/cgi-bin/koha/circ/circulation.pl?borrowernumber=$borrowernumber")
+      : $input->redirect(
+        "/cgi-bin/koha/members/moremember.pl?borrowernumber=$borrowernumber"
+      );
+    exit; # You can only send 1 redirect!  After that, content or other headers don't matter.
 }
 
 if ($delete){
@@ -461,7 +577,7 @@ if ($nok or !$nodouble){
     %data=%newdata; 
     $template->param( updtype => ($op eq 'add' ?'I':'M'));     # used to check for $op eq "insert"... but we just changed $op!
     unless ($step){  
-        $template->param( step_1 => 1,step_2 => 1,step_3 => 1, step_4 => 1, step_5 => 1, step_6 => 1);
+        $template->param( step_1 => 1,step_2 => 1,step_3 => 1, step_4 => 1, step_5 => 1, step_6 => 1, step_7 => 1 );
     }  
 } 
 if (C4::Context->preference("IndependentBranches")) {
@@ -474,11 +590,11 @@ if (C4::Context->preference("IndependentBranches")) {
     }
 }
 if ($op eq 'add'){
-    $template->param( updtype => 'I', step_1=>1, step_2=>1, step_3=>1, step_4=>1, step_5 => 1, step_6 => 1);
+    $template->param( updtype => 'I', step_1=>1, step_2=>1, step_3=>1, step_4=>1, step_5 => 1, step_6 => 1, step_7 => 1);
 }
 if ($op eq "modify")  {
     $template->param( updtype => 'M',modify => 1 );
-    $template->param( step_1=>1, step_2=>1, step_3=>1, step_4=>1, step_5 => 1, step_6 => 1) unless $step;
+    $template->param( step_1=>1, step_2=>1, step_3=>1, step_4=>1, step_5 => 1, step_6 => 1, step_7 => 1) unless $step;
     if ( $step == 4 ) {
         $template->param( categorycode => $borrower_data->{'categorycode'} );
     }
@@ -494,11 +610,10 @@ if ($op eq "modify")  {
 }
 if ( $op eq "duplicate" ) {
     $template->param( updtype => 'I' );
-    $template->param( step_1 => 1, step_2 => 1, step_3 => 1, step_4 => 1, step_5 => 1, step_6 => 1 ) unless $step;
+    $template->param( step_1 => 1, step_2 => 1, step_3 => 1, step_4 => 1, step_5 => 1, step_6 => 1, step_7 => 1 ) unless $step;
     $data{'cardnumber'} = "";
 }
 
-$data{'cardnumber'}=fixup_cardnumber($data{'cardnumber'}) if ( ( $op eq 'add' ) or ( $op eq 'duplicate' ) );
 if(!defined($data{'sex'})){
     $template->param( none => 1);
 } elsif($data{'sex'} eq 'F'){
@@ -510,83 +625,48 @@ if(!defined($data{'sex'})){
 }
 
 ##Now all the data to modify a member.
-my ($categories,$labels)=ethnicitycategories();
-  
-my $ethnicitycategoriescount=$#{$categories};
-my $ethcatpopup;
-if ($ethnicitycategoriescount>=0) {
-  $ethcatpopup = CGI::popup_menu(-name=>'ethnicity',
-        -id => 'ethnicity',
-        -tabindex=>'',
-        -values=>$categories,
-        -default=>$data{'ethnicity'},
-        -labels=>$labels);
-  $template->param(ethcatpopup => $ethcatpopup); # bad style, has to be fixed
-}
 
 my @typeloop;
 my $no_categories = 1;
 my $no_add;
-foreach (qw(C A S P I X)) {
-    my $action="WHERE category_type=?";
-       ($categories,$labels)=GetborCatFromCatType($_,$action);
-    if(scalar(@$categories) > 0){ $no_categories = 0; }
-       my @categoryloop;
-       foreach my $cat (@$categories){
-               push @categoryloop,{'categorycode' => $cat,
-                         'categoryname' => $labels->{$cat},
-                         'categorycodeselected' => ((defined($borrower_data->{'categorycode'}) && 
-                                                     $cat eq $borrower_data->{'categorycode'}) 
-                                                     || (defined($categorycode) && $cat eq $categorycode)),
-               };
-       }
-       my %typehash;
-       $typehash{'typename'}=$_;
-    my $typedescription = "typename_".$typehash{'typename'};
-       $typehash{'categoryloop'}=\@categoryloop;
-       push @typeloop,{'typename' => $_,
+foreach my $category_type (qw(C A S P I X)) {
+    my $patron_categories = Koha::Patron::Categories->search_limited({ category_type => $category_type }, {order_by => ['categorycode']});
+    $no_categories = 0 if $patron_categories->count > 0;
+
+    my @categoryloop;
+    while ( my $patron_category = $patron_categories->next ) {
+        push @categoryloop,
+          { 'categorycode' => $patron_category->categorycode,
+            'categoryname' => $patron_category->description,
+            'categorycodeselected' =>
+              ( defined($categorycode) && $patron_category->categorycode eq $categorycode ),
+          };
+    }
+    my %typehash;
+    $typehash{'typename'} = $category_type;
+    my $typedescription = "typename_" . $typehash{'typename'};
+    $typehash{'categoryloop'} = \@categoryloop;
+    push @typeloop,
+      { 'typename'       => $category_type,
         $typedescription => 1,
-         'categoryloop' => \@categoryloop};
+        'categoryloop'   => \@categoryloop
+      };
 }
+
 $template->param('typeloop' => \@typeloop,
         no_categories => $no_categories);
 if($no_categories){ $no_add = 1; }
-# test in city
-if ( $guarantorid ) {
-    $select_city = getidcity($data{city});
-}
-($default_city=$select_city) if ($step eq 0);
-if (!defined($select_city) or $select_city eq '' ){
-       $default_city = &getidcity($data{'city'});
-}
 
-my $city_arrayref = GetCities();
-if (@{$city_arrayref} ) {
-    $template->param( city_cgipopup => 1);
 
-    if ($default_city) { # flag the current or default val
-        for my $city ( @{$city_arrayref} ) {
-            if ($default_city == $city->{cityid}) {
-                $city->{selected} = 1;
-                last;
-            }
-        }
-    }
-}
-  
-my $roadtypes = C4::Koha::GetAuthorisedValues( 'ROADTYPE', $data{streettype} );
-$template->param( roadtypes => $roadtypes);
+my $cities = Koha::Cities->search( {}, { order_by => 'city_name' } );
+my $roadtypes = C4::Koha::GetAuthorisedValues( 'ROADTYPE' );
+$template->param(
+    roadtypes => $roadtypes,
+    cities    => $cities,
+);
 
 my $default_borrowertitle = '';
 unless ( $op eq 'duplicate' ) { $default_borrowertitle=$data{'title'} }
-my($borrowertitle)=GetTitles();
-$template->param( title_cgipopup => 1) if ($borrowertitle);
-my $borrotitlepopup = CGI::popup_menu(-name=>'title',
-        -id => 'btitle',
-        -values=>$borrowertitle,
-        -override => 1,
-        -default=>$default_borrowertitle
-        );    
 
 my @relationships = split /,|\|/, C4::Context->preference('borrowerRelationship');
 my @relshipdata;
@@ -622,8 +702,8 @@ foreach (keys(%flags)) {
 }
 
 # get Branch Loop
-# in modify mod: userbranch value for GetBranchesLoop() comes from borrowers table
-# in add    mod: userbranch value come from branches table (ip correspondence)
+# in modify mod: userbranch value comes from borrowers table
+# in add    mod: userbranch value comes from branches table (ip correspondence)
 
 my $userbranch = '';
 if (C4::Context->userenv && C4::Context->userenv->{'branch'}) {
@@ -633,10 +713,9 @@ if (C4::Context->userenv && C4::Context->userenv->{'branch'}) {
 if (defined ($data{'branchcode'}) and ( $op eq 'modify' || $op eq 'duplicate' || ( $op eq 'add' && $category_type eq 'C' ) )) {
     $userbranch = $data{'branchcode'};
 }
+$template->param( userbranch => $userbranch );
 
-my $branchloop = GetBranchesLoop( $userbranch );
-
-if( !$branchloop ){
+if ( Koha::Libraries->search->count < 1 ){
     $no_add = 1;
     $template->param(no_branches => 1);
 }
@@ -660,11 +739,12 @@ if ($nok) {
   #Formatting data for display    
   
 if (!defined($data{'dateenrolled'}) or $data{'dateenrolled'} eq ''){
-  $data{'dateenrolled'}=C4::Dates->today('iso');
+  $data{'dateenrolled'} = output_pref({ dt => dt_from_string, dateformat => 'iso', dateonly => 1 });
 }
 if ( $op eq 'duplicate' ) {
-    $data{'dateenrolled'} = C4::Dates->today('iso');
-    $data{'dateexpiry'} = GetExpiryDate( $data{'categorycode'}, $data{'dateenrolled'} );
+    $data{'dateenrolled'} = output_pref({ dt => dt_from_string, dateformat => 'iso', dateonly => 1 });
+    my $patron_category = Koha::Patron::Categories->find( $data{categorycode} );
+    $data{dateexpiry} = $patron_category->get_expiry_date( $data{dateenrolled} );
 }
 if (C4::Context->preference('uppercasesurnames')) {
     $data{'surname'} &&= uc( $data{'surname'} );
@@ -672,8 +752,10 @@ if (C4::Context->preference('uppercasesurnames')) {
 }
 
 foreach (qw(dateenrolled dateexpiry dateofbirth)) {
-       $data{$_} = format_date($data{$_});     # back to syspref for display
-       $template->param( $_ => $data{$_});
+    if ( $data{$_} ) {
+       $data{$_} = eval { output_pref({ dt => dt_from_string( $data{$_} ), dateonly => 1 } ); };  # back to syspref for display
+    }
+    $template->param( $_ => $data{$_});
 }
 
 if (C4::Context->preference('ExtendedPatronAttributes')) {
@@ -688,7 +770,7 @@ if (C4::Context->preference('EnhancedMessagingPreferences')) {
         C4::Form::MessagingPreferences::set_form_values({ borrowernumber => $borrowernumber }, $template);
     }
     $template->param(SMSSendDriver => C4::Context->preference("SMSSendDriver"));
-    $template->param(SMSnumber     => defined $data{'smsalertnumber'} ? $data{'smsalertnumber'} : $data{'mobile'});
+    $template->param(SMSnumber     => $data{'smsalertnumber'} );
     $template->param(TalkingTechItivaPhone => C4::Context->preference("TalkingTechItivaPhoneNotification"));
 }
 
@@ -701,29 +783,39 @@ $template->param(  step  => $step   ) if $step;   # associate with step to know wh
 $template->param(
   BorrowerMandatoryField => C4::Context->preference("BorrowerMandatoryField"),#field to test with javascript
   category_type => $category_type,#to know the category type of the borrower
-  select_city => $select_city,
   "$category_type"  => 1,# associate with step to know where u are
   destination   => $destination,#to know wher u come from and wher u must go in redirect
   check_member    => $check_member,#to know if the borrower already exist(=>1) or not (=>0) 
   "op$op"   => 1);
 
-$template->param( branchloop => $branchloop ) if ( $branchloop );
+$guarantorid = $borrower_data->{'guarantorid'} || $guarantorid;
+my $guarantor = $guarantorid ? Koha::Patrons->find( $guarantorid ) : undef;
 $template->param(
+  patron => $patron, # Used by address include templates now
   nodouble  => $nodouble,
   borrowernumber  => $borrowernumber, #register number
-  guarantorid => ($borrower_data->{'guarantorid'} || $guarantorid),
-  ethcatpopup => $ethcatpopup,
+  guarantor   => $guarantor,
+  guarantorid => $guarantorid,
   relshiploop => \@relshipdata,
-  city_loop => $city_arrayref,
-  borrotitlepopup => $borrotitlepopup,
+  btitle=> $default_borrowertitle,
   guarantorinfo   => $guarantorinfo,
   flagloop  => \@flagdata,
   category_type =>$category_type,
   modify          => $modify,
-  nok     => $nok,#flag to konw if an error 
-  NoUpdateLogin =>  $NoUpdateLogin
+  nok     => $nok,#flag to know if an error
+  NoUpdateLogin =>  $NoUpdateLogin,
   );
 
+# Generate CSRF token
+$template->param( csrf_token =>
+      Koha::Token->new->generate_csrf( { session_id => scalar $input->cookie('CGISESSID'), } ),
+);
+
+# HouseboundModule data
+$template->param(
+    housebound_role  => scalar Koha::Patron::HouseboundRoles->find($borrowernumber),
+);
+
 if(defined($data{'flags'})){
   $template->param(flags=>$data{'flags'});
 }
@@ -740,22 +832,26 @@ if ( defined $min ) {
     );
 }
 
+if ( C4::Context->preference('TranslateNotices') ) {
+    my $translated_languages = C4::Languages::getTranslatedLanguages( 'opac', C4::Context->preference('template') );
+    $template->param( languages => $translated_languages );
+}
+
 output_html_with_http_headers $input, $cookie, $template->output;
 
 sub  parse_extended_patron_attributes {
     my ($input) = @_;
-    my @patron_attr = grep { /^patron_attr_\d+$/ } $input->param();
+    my @patron_attr = grep { /^patron_attr_\d+$/ } $input->multi_param();
 
     my @attr = ();
     my %dups = ();
     foreach my $key (@patron_attr) {
         my $value = $input->param($key);
         next unless defined($value) and $value ne '';
-        my $password = $input->param("${key}_password");
         my $code     = $input->param("${key}_code");
         next if exists $dups{$code}->{$value};
         $dups{$code}->{$value} = 1;
-        push @attr, { code => $code, value => $value, password => $password };
+        push @attr, { code => $code, value => $value };
     }
     return \@attr;
 }
@@ -789,16 +885,13 @@ sub patron_attributes_form {
             code              => $attr_type->code(),
             description       => $attr_type->description(),
             repeatable        => $attr_type->repeatable(),
-            password_allowed  => $attr_type->password_allowed(),
             category          => $attr_type->authorised_value_category(),
             category_code     => $attr_type->category_code(),
-            password          => '',
         };
         if (exists $attr_hash{$attr_type->code()}) {
             foreach my $attr (@{ $attr_hash{$attr_type->code()} }) {
                 my $newentry = { %$entry };
                 $newentry->{value} = $attr->{value};
-                $newentry->{password} = $attr->{password};
                 $newentry->{use_dropdown} = 0;
                 if ($attr_type->authorised_value_category()) {
                     $newentry->{use_dropdown} = 1;
@@ -820,7 +913,8 @@ sub patron_attributes_form {
         }
     }
     while ( my ($class, @items) = each %items_by_class ) {
-        my $lib = GetAuthorisedValueByCode( 'PA_CLASS', $class ) || $class;
+        my $av = Koha::AuthorisedValues->search({ category => 'PA_CLASS', authorised_value => $class });
+        my $lib = $av->count ? $av->next->lib : $class;
         push @attribute_loop, {
             class => $class,
             items => @items,