improvement: path limit in URL works without full result display

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@600 13eb9ef6-21d5-0310-b721-a9d68796d827

fix repeatable field names which have non 7-bit ascii characters

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@599 13eb9ef6-21d5-0310-b721-a9d68796d827

changes to support UTF-8 encoding from
SpreadSheet::ParseExcel::FmtDefault.

You will have to modify line 69 from
return pack('C*', unpack('n*', $sTxt));
to following which returns utf-8:
return pack('U*', unpack('n*', $sTxt));

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@488 13eb9ef6-21d5-0310-b721-a9d68796d827

bug fix when transfering fields with multiple values (e.g. checkboxes) to
pager (hidden fields that is)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@457 13eb9ef6-21d5-0310-b721-a9d68796d827

better check if table exists (so that DBD::SQLite upgrade won't break)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@399 13eb9ef6-21d5-0310-b721-a9d68796d827

don't be greedy when trying to find end of eval{...}
This enables inserting { } into field after eval

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@384 13eb9ef6-21d5-0310-b721-a9d68796d827

fixed direct memory lookup, workaround for strange
bug when requested output is scalar; it will ignore
first element which works but is not totally correct

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@383 13eb9ef6-21d5-0310-b721-a9d68796d827

if field in eval isn't repeatable use first value,
return eval errors

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@381 13eb9ef6-21d5-0310-b721-a9d68796d827

create missing lookup files

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@379 13eb9ef6-21d5-0310-b721-a9d68796d827

back-ported unlimited recursive mem_lookup from webpac v2.
Now you can say something like [[[900]]] and it will produce
tripple lookup (as opposed to double which was maximum in old
version).

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@351 13eb9ef6-21d5-0310-b721-a9d68796d827

removed template

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@350 13eb9ef6-21d5-0310-b721-a9d68796d827

set enviroment variables LC_COLLATE and LC_CTYPE (needed by SQLite to
convert charset to upper characters correctly)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@344 13eb9ef6-21d5-0310-b721-a9d68796d827

fixed parsing for science direct html with more than one <a href=> per one <tr>
support to force input file (if you uncomment filename in script)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@338 13eb9ef6-21d5-0310-b721-a9d68796d827

save MFN as field 001

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@336 13eb9ef6-21d5-0310-b721-a9d68796d827

print warning if type is not handled (probably a typo)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@333 13eb9ef6-21d5-0310-b721-a9d68796d827

various fixes

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@330 13eb9ef6-21d5-0310-b721-a9d68796d827

don't die on field which can't be parsed (just print warning), corrected
subfield order for field 210

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@329 13eb9ef6-21d5-0310-b721-a9d68796d827

command line parametars are now working (xml files are at end, so that shell
glob will work), misc improvements

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@328 13eb9ef6-21d5-0310-b721-a9d68796d827

first really working version: support single and repeating fields correctly,
output encodings implemented, support for indicators

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@327 13eb9ef6-21d5-0310-b721-a9d68796d827

fixes, cleanups, you know: on the way to usable version

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@326 13eb9ef6-21d5-0310-b721-a9d68796d827

first try at converting MODS XML records back to MARC

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@325 13eb9ef6-21d5-0310-b721-a9d68796d827

fix of a fix (case)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@322 13eb9ef6-21d5-0310-b721-a9d68796d827

implement my_unac_string function, and my_unac_filter option in global.conf
which you *REALLY* want to use if you don't have only clean 7-bit characters
in your data

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@320 13eb9ef6-21d5-0310-b721-a9d68796d827

fix CROASCII (B1.002:1982) filter

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@318 13eb9ef6-21d5-0310-b721-a9d68796d827

make distribution from SubVersion repository

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@317 13eb9ef6-21d5-0310-b721-a9d68796d827

Major change:

I no longer user HTML::Pager, SWISH and SWISH::Fork modules,
but SWISH::API (new interface to swish 2.4.x, which is required) and own
implementation of pager.

That saves round-trips of all results from swish-e to memory and to
HTML::Pager so this produces also significant speedup when result set is
large (tipically if you entered just a letter or two with huge number of
records).

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@304 13eb9ef6-21d5-0310-b721-a9d68796d827

bug fix: support for working from root of virtual host

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@302 13eb9ef6-21d5-0310-b721-a9d68796d827

even more detail explanation

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@300 13eb9ef6-21d5-0310-b721-a9d68796d827

explanation of bit-masks with examples

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@299 13eb9ef6-21d5-0310-b721-a9d68796d827

You can now specify configuration file as command-line option, and
if you don't do that, it will use default one called all2xml.conf

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@298 13eb9ef6-21d5-0310-b721-a9d68796d827

removed unneeded warning

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@297 13eb9ef6-21d5-0310-b721-a9d68796d827

bug fix: eval now honours codepage settings

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@293 13eb9ef6-21d5-0310-b721-a9d68796d827

delimiter and append now works as expected

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@290 13eb9ef6-21d5-0310-b721-a9d68796d827

fix

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@287 13eb9ef6-21d5-0310-b721-a9d68796d827

merge changes from trunk to branches, converted all import_xml

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@286 13eb9ef6-21d5-0310-b721-a9d68796d827

preserve other attributes

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@285 13eb9ef6-21d5-0310-b721-a9d68796d827

converted delimiters to new format

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@281 13eb9ef6-21d5-0310-b721-a9d68796d827

script to convert delimiters

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@280 13eb9ef6-21d5-0310-b721-a9d68796d827

Implemented new form of delimiters like this:

<tag>
<delimiter>, </delimiter>
<value>200a</value>
</tag>

which is equivavelnt to following old mark-up:

<tag delimiter=", ">200a</tag>

but, it won't loose spaces in attribute values (which
are invalid by XML specification and XML::Simple removes
them so WebPac never get them)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@279 13eb9ef6-21d5-0310-b721-a9d68796d827

moved tests in own directory, added test to demonstrate XML::Simple feature
to remove spaces from begin and end attribute value (which is wrong for
delimiters as WebPAC uses them)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@278 13eb9ef6-21d5-0310-b721-a9d68796d827

ported 269:272 from hidra

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@275 13eb9ef6-21d5-0310-b721-a9d68796d827

<config> tags (which use values from all2xml.conf) are now properly handled
if there is more than one in same swish tag. However, to use <config
type="index"> is useless IMHO, and <config type="index_lookup"> is not
implemented.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@274 13eb9ef6-21d5-0310-b721-a9d68796d827

"show details" now work corretly when not on first page

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@271 13eb9ef6-21d5-0310-b721-a9d68796d827

ported r260 from hidra branch: moved eval to parse_format.pm where it
belongs. Also changed eval format to: eval{v901^a eq "Mikrotezaurus"}
(please note same format as in ISIS formating language)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@263 13eb9ef6-21d5-0310-b721-a9d68796d827

ported 257:258 from hidra branch
all2xml.pl - fix for swish without filter
openisis/perl/OpenIsis.pm - removed warning

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@259 13eb9ef6-21d5-0310-b721-a9d68796d827

ported r254 from hidra branch

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@256 13eb9ef6-21d5-0310-b721-a9d68796d827

ported r248:252 from hidra branch:

r248: much improved installation instructions, especially for Debian
      GNU/Linux distributions
r249: changed use of Spreadsheet::ParseExcel and MARC to require/import so
      that dependency on those modules can be resolved in runtime.
r250: finished installation documentation
r251: removing dependency on HTML::Parser would ease installation
r252: smaller eval{} fiexes. eval{} logic should really move to
      parse_format.pm

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@255 13eb9ef6-21d5-0310-b721-a9d68796d827

implement close for perl OpenIsis bindings

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@240 13eb9ef6-21d5-0310-b721-a9d68796d827

including openisis 0.9.0 into webpac tree

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@239 13eb9ef6-21d5-0310-b721-a9d68796d827

preparation for first file dump at sourceforge.net

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@235 13eb9ef6-21d5-0310-b721-a9d68796d827

eval{...} now works for type="swish" also...

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@234 13eb9ef6-21d5-0310-b721-a9d68796d827

lookup_key and lookup_val types now support filters

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@233 13eb9ef6-21d5-0310-b721-a9d68796d827

dump TDB file (e.g. lookup)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@232 13eb9ef6-21d5-0310-b721-a9d68796d827

clear memory cache when opening new file lookup

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@231 13eb9ef6-21d5-0310-b721-a9d68796d827

Lot of changes and improvements:
- documentation at beginning of script
- use XML file for configuration (as opposed to hard-coded values in script)
- example XML configuration can be created with ./isis2marc.pl > config.xml
- supports unique and non-unique output depending on presence of <key>
  tag in configuration file

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@230 13eb9ef6-21d5-0310-b721-a9d68796d827

brown-bag-bug-fix: writing MARC file just once (at end) will save a lot of time

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@229 13eb9ef6-21d5-0310-b721-a9d68796d827

script which will select just some fields from CDS/ISIS database and insert
only unique values in MARC file (useful for creating ad-hoc authority file)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@228 13eb9ef6-21d5-0310-b721-a9d68796d827

Beginning of documentation for debugging of changes in configuration
file. In short: what to do when WebPAC isn't behaving as you expected.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@227 13eb9ef6-21d5-0310-b721-a9d68796d827

added SQLite parametar sqlite_handle_binary_nulls

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@226 13eb9ef6-21d5-0310-b721-a9d68796d827

don't die if old table cannot be dropped

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@225 13eb9ef6-21d5-0310-b721-a9d68796d827

important bug fix for bug introduced in 1.57: it might eat your data
if you are not using filter. This one was hard do find...

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@224 13eb9ef6-21d5-0310-b721-a9d68796d827

fix

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@223 13eb9ef6-21d5-0310-b721-a9d68796d827

Documentation describing usage of lookups

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@222 13eb9ef6-21d5-0310-b721-a9d68796d827

links using format

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@221 13eb9ef6-21d5-0310-b721-a9d68796d827

Important note about SQLite and dbi_user settings (in nutshell: leave them
blank)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@220 13eb9ef6-21d5-0310-b721-a9d68796d827

Display total and unique count when dumping index data to tables

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@219 13eb9ef6-21d5-0310-b721-a9d68796d827

Changed never userd format configuration option for import_xml to
marc_format to prevent clash with format for output. If you don't
specify it (as I never do) it will default to 'usmarc' which is probably
the right thing (tm).

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@218 13eb9ef6-21d5-0310-b721-a9d68796d827

bugfix and improvements:
- debug and quiet switches
- skip fields which are too short (just subfield without data)
- calculate directory address
- calculate base address in leader

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@217 13eb9ef6-21d5-0310-b721-a9d68796d827

insert empty indicators -- that required to rebuild directory, so
I'm also doing some sanity checks (on which programs that import
MARC files might fail later)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@216 13eb9ef6-21d5-0310-b721-a9d68796d827

brown-bag bug: I was using MARC.pm wrong: now whole file will be loaded
at start of indexing, changing memory usage to much more step-like, but
that enables real progress indicator and few seconds gain in indexing
speed.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@215 13eb9ef6-21d5-0310-b721-a9d68796d827

more verbose output

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@210 13eb9ef6-21d5-0310-b721-a9d68796d827

I was using MARC.pm wrong. It duplicated records in output

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@209 13eb9ef6-21d5-0310-b721-a9d68796d827

Script which will read PhpMyLibrary (phpmylibrary.sourceforge.net/)
database and dump MARC file for import in webpac

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@208 13eb9ef6-21d5-0310-b721-a9d68796d827

thesaurus is finally working... It contains recursive entries to parnet
term, and we actually needed to display narrower terms, so mem_lookup was
created. Important changes:
- you can write eval{"901a" eq "Mikrotezaurus"} within <isis>
  tag and if expression evaluates to false, no content will be outputed
  (It's used to hide microtesarus terms from lover level descriptors)
- mem_lookup.pm now supports formats: you can write something like
  [a:5614];;[d:[a:5614]] and it will correctly embed values

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@207 13eb9ef6-21d5-0310-b721-a9d68796d827

at close vacuum database if using PostgreSQL or SQLite

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@206 13eb9ef6-21d5-0310-b721-a9d68796d827

support for unrolling thesaurus entries which have data only about parent
term, so that we can display child terms for each entry

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@205 13eb9ef6-21d5-0310-b721-a9d68796d827

updated according to specification

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@204 13eb9ef6-21d5-0310-b721-a9d68796d827

grammar fix

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@203 13eb9ef6-21d5-0310-b721-a9d68796d827

implemented sort=1 variable to sort results by headline

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@202 13eb9ef6-21d5-0310-b721-a9d68796d827

changed behaviour when searching index and no entry beginning with string is
found: until now, it found first substring, and now it find substring from
beginning of word (it has to have space before it)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@201 13eb9ef6-21d5-0310-b721-a9d68796d827

Added missing changes to template for index results

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@200 13eb9ef6-21d5-0310-b721-a9d68796d827

fixed filter delimiter bug

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@199 13eb9ef6-21d5-0310-b721-a9d68796d827

Implement different interfaces to webpac (for books, articles etc, or in
different languages) easily: just add base_path with relative or
absolute URL to root of your webpac and you can then create multiple
aliases (using Alias directive in httpd.conf) which have same beginning
as base_path. Everything added after base_path will be added after filename
for templates, but before extension. Easy, eh?

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@198 13eb9ef6-21d5-0310-b721-a9d68796d827

Changed behaviour of creating data for swish_exact when using type="index".
Now every line is separate entry in swish_exact. That will create additional
clutter in index (fields which wouldn't be used because we are not insering
them in index), but you will have to bare with this for now.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@197 13eb9ef6-21d5-0310-b721-a9d68796d827

correct support for swish_exact when there are repeatable fields

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@196 13eb9ef6-21d5-0310-b721-a9d68796d827

don't repeat field name if same as last, support format_name and
format_delimiter on field level if using iterate_by_page (without this, it's
really hard to get useful formating when using iterate_by_page), don't warn
on rare occasion (which is faulty import_xml definition, but anyway...) when
using append="1"

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@195 13eb9ef6-21d5-0310-b721-a9d68796d827

closer to specification

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@193 13eb9ef6-21d5-0310-b721-a9d68796d827

use locale (important for sorting)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@192 13eb9ef6-21d5-0310-b721-a9d68796d827

dump content of gdbm file

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@191 13eb9ef6-21d5-0310-b721-a9d68796d827

exact matches can now specify to include (or not) wildcard at end. Added
also documentation about exact matching using swish-e

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@190 13eb9ef6-21d5-0310-b721-a9d68796d827

local changes specific to hida

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@189 13eb9ef6-21d5-0310-b721-a9d68796d827

implemented index_delimiter which enables to to format index entries in format
(values to be inserted in index);;(values to be displayed) if there is
definition of index_delimiter=";;". This will allow you to index (and
search) through values from original database and still have ability to
display lookup fields.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@188 13eb9ef6-21d5-0310-b721-a9d68796d827

support for subfields in fields 10/11

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@187 13eb9ef6-21d5-0310-b721-a9d68796d827

transfer swish_exact flash in form also, not only in URL

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@186 13eb9ef6-21d5-0310-b721-a9d68796d827

moved documentation in doc directory

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@185 13eb9ef6-21d5-0310-b721-a9d68796d827

fix for swish_exact

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@183 13eb9ef6-21d5-0310-b721-a9d68796d827

make index with lookup field working with iterate on page

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@182 13eb9ef6-21d5-0310-b721-a9d68796d827

fix swish_exact fields so that they don't show up in display

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@181 13eb9ef6-21d5-0310-b721-a9d68796d827

invalidate memory cache when needed

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@180 13eb9ef6-21d5-0310-b721-a9d68796d827

script which will create log of webpac memory and processor usage

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@179 13eb9ef6-21d5-0310-b721-a9d68796d827