MT2116, Follow-up: CSV Export, fix backporting bugs

[3.0.x](bug #4084) fix offline circ

this add the function C4::Circulation::GetOpenIssue and delete \r chars when processing koc files.

Adding RIS and bibtex export

Signed-off-by: Galen Charlton <gmcharlt@gmail.com>

1110 : Balance carts and lists, follow-up : Added Opac lists features to admin lists

Signed-off-by: Henri-Damien LAURENT <henridamien.laurent@biblibre.com>

MT2116:   Addons to the CSV export

Adds the ability to customize CSV exports through the use of a YAML file.

The following customizations are available :
  - Preprocessing
  - Postprocessing
  - Field-by-field processing

The YAML field should be stored in the tools/csv-profiles/ directory and
named after the id of the CSV profile you want to customize.
An example file is provided in that directory.

MT2116 : Addons to the CSV Export

Add encoding selection
Add authorised values handling

MT2116: Addons to the CSV export

Add user-defined headers
Add CSV, field and subfield separator selection

Bug 3857: Add tools menu to left of CSV Profiles page

MT 2067, Follow-up : Description for CSV export not mandatory anymore

MT 1587 (Follow-up) : CSV export for cart and shelves (export_format table creation)

Signed-off-by: Henri-Damien LAURENT <henridamien.laurent@biblibre.com>

MT 1587 : CSV export for cart and shelves, with the ability to define different export profiles

Signed-off-by: Henri-Damien LAURENT <henridamien.laurent@biblibre.com>

(bug #4075) add use of getrecordvalue in opac-detail

MT2663 : Adds an itemcallnumber plugin

(bug #4020) XSLT unimarc display

When using XSLT Display, and UNIMARC,
since marcFlavour is not used in encoding data, when data is true utf8, as_xml
fails on some subfields.

Moreover, because transformMARCXMLForXSLT edits some values in the marc record
and the PERL UTF8 is not handled by MARC::File::USMARC, it endsup in double
encoding the data.
Sending a patch to fix both issues.

This patch adds
    - two functions in  C4/Charset.pm
        NormalizeString (uses Unicode::Normalize)
        SetUTF8Flag (This function in my opinion belongs to MARC::Record, or at least MARC::File::USMARC)
    - edits C4::XSLT in order to cope with the correct marcflavour
    - edits C4::Search searchResults to use setUTF8Flag

Conflicts solved:

C4/Charset.pm
C4/Search.pm
C4/XSLT.pm

[followup](bug #4062) marc21 item support

this add "item" index in marc21 record.abs

(bug #4062) add item index in zebra conf

This add the "item" index.

Spanish and Turkish updates

German, Italian, and Portuguese (Brazil) updates

Fixing the thai double up

Adding Thai translators

Spanish and Thai updates

[followup](bug #3348) fix spent values and spent resume

This fix the way to get spent datas, to user aqbudgetid instead of bookfund.

[followup] (bug #4051) set as binary

As we concat adress, we need to specify csv as binary, else it's broken and skip some lines.

[3.0.x] (bug #4055) backport canbook/itembereserved

This backport the functions from 3.2/3.4 to the 3.0 API, because we need to factorize the code.

[followup](bug #4051)  add borrower "title", and complete address in csv

this add the borrower title, and the complete address.

(bug #4051) separate firstname and surname

this patch separate firstname and surname in two columns in csv export.

(bug #4052) fix mandatory field/subfield deletion

this fix the way to delete repeatable mandatory fields, the minus char is now shown only on repeatable fields, even if they are mandatory or not.
If the last field is mandatory it won't be deleted.

(bug #4051) add columns in csv export of overdues

this patch add 2 columns in the csv export :
* item callnumber
* issue date

(bug #4050) update datelastseen even if document isn't on loan

this change the place of moddatelastseen to be used each time a document is checked in, even if the document is not on loan.

(Bug 4049) Searching itemtypes returning noise

Fix the problem of searching on partial itemtypes strings
for instance, itemtype="ARTICLE DE PERIODIQUE", itemtype="PERIODIQUE"
searching on itemtype="PERIODIQUE" would also get "ARTICLE DE PERIODIQUE"

Followup : (bug #3042) XSLT changes

types for system preference needed to be updated

(bug #4043) fix checkoverdues sqlquery

this fix the sqlquery to use "curdate()" instead of "now()", because now return a "datetime", and in date_due we have only a "date", so now() > curdate() everytime, it cause some problems in messages.

(bug #4038) fix birth date filter in borrowers stats

this patch format date for SQL if there is non-iso dates.

(bug #4044) don't trap fatal error if there is no start date

this fix GetExpirationDate that trap a fatal error if the subscription have not any start date.

MT2631 : adds sysprefs for MARC or ISBD display in OPAC

English(NZ), French and Thai updates

French (Canadian), Polish and Thai updates

[Followup] (bug #3894) reserve/request.pl

Fix bad variable name

bug fixing : Patron Search : IndependentBranches

When Independant Branches is set, some library expect not to see the patrons of other library
Adding a new systempreference : IndependentBranchPatron in order to be able to restrict Patron search to the library of the current user and not change the current behaviour of IndependantBranches patron search

(bug #3042) Changing XSLT sysprefs to take filename

This change system preferences for XSLT management
bumps kohaversion to 3.0.6.03
If you are using Koha in a non devel mode AND use XSLT, then you HAVE TO adapt the system preference to point to your htdocs

WARNINGS :
    - tested with UNIMARC XSL
    - donot test the presence of the file, if file absent, then BOOM
    - XSL CANNOT be different for intranet and OPAC for result lists.

(bug #4021) recent acquisitions Error500 on undefined biblio

This patch adds some more checks before creating the summary

(bug #4002) fix database for single itemnumber and foreign key

this fix serialitems to have a foreign key to items(if an item is deleted, serialitem must be deleted)
and it fixes issues to have only one issue by itemnumber(strange to have more than one).

[followup](bug #3667) don't delete if member is guarantor

this fix cleanborrowers to don't delete guanrantors.

[followup](bug #3667) fix dateexpiry filtering

this fix the dateexpiry used to filter users, now we use date specified.

[followup](bug #3667) cleaning borrowers fix

This fix GetBorrowersWhoHaveNotBorrowedSince to select only borrowers that have no issues and have no old_issues more recent than a specified date.

Revert "(bug #3801) fix itemtype administration"

This reverts commit 0dca25841d90cfb86080bbce37f0a0f8c09904ae.

German updates

Updating po files to catch the latest template changes

Fixing some whitespace issues in misc/translator/update.pl

Dutch, Thai and Polish language updates

(bug #4004) disallow access for non-logged in users in opac

This doesn't define borrowernumber = 0 if a borrower is NOT logged.
We know borrowernumber 0 is mysqluser... So in virtualshelves, a non logged user have all permissions.

(bug #3950) continue to rebuild pending reserves

This use yui to build interface, pagination, table, and filters.

(bug #3950) rebuild pendingreserves and fix reserves and transfert case

This patch rebuild pending reserves, export code to API and simplify SQL query(that was _very_ ugly!).
It fixes too circulation case, when a document is transfered because of user hold, it's still shown in pending reserves, now it don't.

(bug 3536) fix homeorholdingbranch on return

this patch create a new systempreference "homeorholdingbranch"-like used only for returns.

_koha_add_biblioitem rewrite

remove useless lines

remove warning

remove a warning

readable format selection

correctly add authid

Changing version number 3.0.5

Update on release notes

Bug 3730 - Wrong ISO 639-2 Language Code for Portuguese in database

http://bugs.koha.org/cgi-bin/bugzilla3/show_bug.cgi?id=3730

For 3.0.x head of the Git branch, the ISO 639-2 Language Code for
Portuguese in Koha database is wrong.

Specifically, in the table "language_rfc4646_to_iso639", when the
field "rfc4646_subtag" has the value "pt", the field "iso639_2_code"
should have the value of "por" and NOT the current one of "pol"
("pol" refers to "Polish" as correctly also appears for the code "pl",
in the row above the "pt" one).

In my test setups, this showed some serious sequences for people
that choose the Portuguese language in the Web Installer, namely:
- very weird look of Staff client with missing Header and Footer,
that renders the Staff client unusable
- Portuguese translation apparently not getting updated for the OPAC
(for people that do an Upgrade from a previous version)

This patch is for the 3.0.x branch (I tested it with that branch).

For the master branch, I don't have a database setup to create and
test a similar patch but Chris Cormack nicely volunteered to do that.
Thanks Chris!
Credits : Ricardo Dias Marques

(bug #3897) hold policies and circcontrol

This patch fix hold policies way to do, make it using circcontrol syspref to know the branch the rule must be based.

[replaceprevious](bug #3924) fix useDaysMode use

This fix system preference choices, and delete some useless code.

(bug #3925) fix build_holds_queue.pl

This fix sql query when item-level_itype is set to "off".

MT2502 : Reports Editor's 200$b to biblio's 210$c within
unimarc_field_210c plugin

remove NSB and NSE from output

remove a problematic charset conversion in ISO-5426

MT 2445 : SearchResults won't die if a record is incorrect

Fixing tests for Dates.t

Signed-off-by: Chris Cormack <chris@bigballofwax.co.nz>

Fixing split_ddcn now handles things like MP3-CD

Signed-off-by: Chris Cormack <chris@bigballofwax.co.nz>

German updates

Adding 3.0.5 release notes

English NZ, French, and Turkish language updates

Last of the updates

More po updates

Updating po files, to catch some new js fixes

Adding optgroup labels to translations

Multiple translation strings missing because of js

Bug 3824: Item modif doesn't select default value in combo list

(Bug 3863) AmazonReviews not showing up

Adding OpacAmazonReviews and OpacAmazonEnabled
Grouping Amazon related system preferences in C4::Auth.pm

English (NZ), French and Dutch updates

English NZ OPAC updates

French and NZ english updates

MT2432 : Do not show "place hold" link when there's no items

(bug #3173) revert non-working code

This patch revert 2 functions in OPAC shelves :
 * Add tags on shelf records
 * make hold on shelf records

The deleted code was backported from HEAD, but cannot be implemented as this in 3.0.x because API doesn't support it.
New feature must not be added to 3.0.x, or at least support the good API.

Spanish and Greek updates

(bug #3898) Followup : fixing Hold Policies implementation

An error slipped in kohastructure.sql
65abb5124e7fe00bac13f79dfaa785fc78821300

Greek, English (Great Britain) and Italian updates

3.0.x : intranet results Removing missing features

Removing Place Hold and Add To List Button

Revert "MT 2298 : Fix hidelostitems"

This reverts commit 481ccf6872622e1d00ed92b82dd8abd6930b6931.

Revert "2298 2299 : Search.pm and opac-search.pl"

This reverts commit e1b6555032d7035a3114746a0cb19c01cd17c9d7.

Revert "(MT #2298) Rewrite "only available items""

This reverts commit dfa44a90d4005a034bc2186e0d48ce4d5cb1992e.

Revert "[followup](MT #2298) fix bad conditions"

This reverts commit 0f7d9aa432cf3043e498a59769bd0a8528dac04e.

Dates : improvements

Fixed portuguese opac .po file

Dutch, Polish, Italian and German updates

Opac po file updates

Fixing portuguese