updated branches to HEAD

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@303 13eb9ef6-21d5-0310-b721-a9d68796d827

support for working from root of virtual host

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@301 13eb9ef6-21d5-0310-b721-a9d68796d827

eval now honours codepage settings

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@292 13eb9ef6-21d5-0310-b721-a9d68796d827

updated branches to current head of trunk

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@291 13eb9ef6-21d5-0310-b721-a9d68796d827

update import_xml in branches

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@288 13eb9ef6-21d5-0310-b721-a9d68796d827

merge changes from trunk to branches, converted all import_xml

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@286 13eb9ef6-21d5-0310-b721-a9d68796d827

local

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@282 13eb9ef6-21d5-0310-b721-a9d68796d827

merge -r263:HEAD trunk/ branches/

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@277 13eb9ef6-21d5-0310-b721-a9d68796d827

more local changes

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@273 13eb9ef6-21d5-0310-b721-a9d68796d827

code to test parse_format.pm

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@272 13eb9ef6-21d5-0310-b721-a9d68796d827

note about usage of locale

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@270 13eb9ef6-21d5-0310-b721-a9d68796d827

remove base href= pointing to development server

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@262 13eb9ef6-21d5-0310-b721-a9d68796d827

HIDRA specific changes

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@261 13eb9ef6-21d5-0310-b721-a9d68796d827

moved eval to parse_format.pm where it belongs. Also changed eval format to:
eval{v901^a eq "Mikrotezaurus"} (please note same format as in ISIS
formating language)

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@260 13eb9ef6-21d5-0310-b721-a9d68796d827

fix for swish without filter

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@258 13eb9ef6-21d5-0310-b721-a9d68796d827

removed warning

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@257 13eb9ef6-21d5-0310-b721-a9d68796d827

eval{} logic was broken in last commit. fixed now

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@254 13eb9ef6-21d5-0310-b721-a9d68796d827

a lot of hidra-specific branches

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@253 13eb9ef6-21d5-0310-b721-a9d68796d827

smaller eval{} fiexes. eval{} logic should really move to
parse_format.pm

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@252 13eb9ef6-21d5-0310-b721-a9d68796d827

removing dependency on HTML::Parser would ease installation

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@251 13eb9ef6-21d5-0310-b721-a9d68796d827

finished installation documentation

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@250 13eb9ef6-21d5-0310-b721-a9d68796d827

changed use of Spreadsheet::ParseExcel and MARC to require/import so that
dependency on those modules can be resolved in runtime.

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@249 13eb9ef6-21d5-0310-b721-a9d68796d827

much improved installation instructions, especially
for Debian GNU/Linux distributions

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@248 13eb9ef6-21d5-0310-b721-a9d68796d827

moved hidra's global.conf into branch

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@246 13eb9ef6-21d5-0310-b721-a9d68796d827

removed demo global.conf

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@245 13eb9ef6-21d5-0310-b721-a9d68796d827

hidra's all2xml.conf moved into branch

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@244 13eb9ef6-21d5-0310-b721-a9d68796d827

deleted all2xml.conf which isn't for hidra

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@243 13eb9ef6-21d5-0310-b721-a9d68796d827

creating hidra branch of code

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@242 13eb9ef6-21d5-0310-b721-a9d68796d827

implement close for perl OpenIsis bindings

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@240 13eb9ef6-21d5-0310-b721-a9d68796d827

including openisis 0.9.0 into webpac tree

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@239 13eb9ef6-21d5-0310-b721-a9d68796d827

preparation for first file dump at sourceforge.net

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@235 13eb9ef6-21d5-0310-b721-a9d68796d827

eval{...} now works for type="swish" also...

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@234 13eb9ef6-21d5-0310-b721-a9d68796d827

lookup_key and lookup_val types now support filters

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@233 13eb9ef6-21d5-0310-b721-a9d68796d827

dump TDB file (e.g. lookup)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@232 13eb9ef6-21d5-0310-b721-a9d68796d827

clear memory cache when opening new file lookup

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@231 13eb9ef6-21d5-0310-b721-a9d68796d827

Lot of changes and improvements:
- documentation at beginning of script
- use XML file for configuration (as opposed to hard-coded values in script)
- example XML configuration can be created with ./isis2marc.pl > config.xml
- supports unique and non-unique output depending on presence of <key>
  tag in configuration file

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@230 13eb9ef6-21d5-0310-b721-a9d68796d827

brown-bag-bug-fix: writing MARC file just once (at end) will save a lot of time

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@229 13eb9ef6-21d5-0310-b721-a9d68796d827

script which will select just some fields from CDS/ISIS database and insert
only unique values in MARC file (useful for creating ad-hoc authority file)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@228 13eb9ef6-21d5-0310-b721-a9d68796d827

Beginning of documentation for debugging of changes in configuration
file. In short: what to do when WebPAC isn't behaving as you expected.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@227 13eb9ef6-21d5-0310-b721-a9d68796d827

added SQLite parametar sqlite_handle_binary_nulls

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@226 13eb9ef6-21d5-0310-b721-a9d68796d827

don't die if old table cannot be dropped

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@225 13eb9ef6-21d5-0310-b721-a9d68796d827

important bug fix for bug introduced in 1.57: it might eat your data
if you are not using filter. This one was hard do find...

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@224 13eb9ef6-21d5-0310-b721-a9d68796d827

fix

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@223 13eb9ef6-21d5-0310-b721-a9d68796d827

Documentation describing usage of lookups

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@222 13eb9ef6-21d5-0310-b721-a9d68796d827

links using format

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@221 13eb9ef6-21d5-0310-b721-a9d68796d827

Important note about SQLite and dbi_user settings (in nutshell: leave them
blank)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@220 13eb9ef6-21d5-0310-b721-a9d68796d827

Display total and unique count when dumping index data to tables

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@219 13eb9ef6-21d5-0310-b721-a9d68796d827

Changed never userd format configuration option for import_xml to
marc_format to prevent clash with format for output. If you don't
specify it (as I never do) it will default to 'usmarc' which is probably
the right thing (tm).

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@218 13eb9ef6-21d5-0310-b721-a9d68796d827

bugfix and improvements:
- debug and quiet switches
- skip fields which are too short (just subfield without data)
- calculate directory address
- calculate base address in leader

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@217 13eb9ef6-21d5-0310-b721-a9d68796d827

insert empty indicators -- that required to rebuild directory, so
I'm also doing some sanity checks (on which programs that import
MARC files might fail later)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@216 13eb9ef6-21d5-0310-b721-a9d68796d827

brown-bag bug: I was using MARC.pm wrong: now whole file will be loaded
at start of indexing, changing memory usage to much more step-like, but
that enables real progress indicator and few seconds gain in indexing
speed.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@215 13eb9ef6-21d5-0310-b721-a9d68796d827

more verbose output

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@210 13eb9ef6-21d5-0310-b721-a9d68796d827

I was using MARC.pm wrong. It duplicated records in output

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@209 13eb9ef6-21d5-0310-b721-a9d68796d827

Script which will read PhpMyLibrary (phpmylibrary.sourceforge.net/)
database and dump MARC file for import in webpac

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@208 13eb9ef6-21d5-0310-b721-a9d68796d827

thesaurus is finally working... It contains recursive entries to parnet
term, and we actually needed to display narrower terms, so mem_lookup was
created. Important changes:
- you can write eval{"901a" eq "Mikrotezaurus"} within <isis>
  tag and if expression evaluates to false, no content will be outputed
  (It's used to hide microtesarus terms from lover level descriptors)
- mem_lookup.pm now supports formats: you can write something like
  [a:5614];;[d:[a:5614]] and it will correctly embed values

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@207 13eb9ef6-21d5-0310-b721-a9d68796d827

thesaurus is finally working... It contains recursive entries to parnet
term, and we actually needed to display narrower terms, so mem_lookup was
created. Important changes:
- you can write eval{"901a" eq "Mikrotezaurus"} within <isis>
  tag and if expression evaluates to false, no content will be outputed
  (It's used to hide microtesarus terms from lover level descriptors)
- mem_lookup.pm now supports formats: you can write something like
  [a:5614];;[d:[a:5614]] and it will correctly embed values

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@207 13eb9ef6-21d5-0310-b721-a9d68796d827

at close vacuum database if using PostgreSQL or SQLite

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@206 13eb9ef6-21d5-0310-b721-a9d68796d827

support for unrolling thesaurus entries which have data only about parent
term, so that we can display child terms for each entry

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@205 13eb9ef6-21d5-0310-b721-a9d68796d827

support for unrolling thesaurus entries which have data only about parent
term, so that we can display child terms for each entry

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@205 13eb9ef6-21d5-0310-b721-a9d68796d827

updated according to specification

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@204 13eb9ef6-21d5-0310-b721-a9d68796d827

grammar fix

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@203 13eb9ef6-21d5-0310-b721-a9d68796d827

implemented sort=1 variable to sort results by headline

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@202 13eb9ef6-21d5-0310-b721-a9d68796d827

changed behaviour when searching index and no entry beginning with string is
found: until now, it found first substring, and now it find substring from
beginning of word (it has to have space before it)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@201 13eb9ef6-21d5-0310-b721-a9d68796d827

Added missing changes to template for index results

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@200 13eb9ef6-21d5-0310-b721-a9d68796d827

fixed filter delimiter bug

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@199 13eb9ef6-21d5-0310-b721-a9d68796d827

Implement different interfaces to webpac (for books, articles etc, or in
different languages) easily: just add base_path with relative or
absolute URL to root of your webpac and you can then create multiple
aliases (using Alias directive in httpd.conf) which have same beginning
as base_path. Everything added after base_path will be added after filename
for templates, but before extension. Easy, eh?

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@198 13eb9ef6-21d5-0310-b721-a9d68796d827

Changed behaviour of creating data for swish_exact when using type="index".
Now every line is separate entry in swish_exact. That will create additional
clutter in index (fields which wouldn't be used because we are not insering
them in index), but you will have to bare with this for now.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@197 13eb9ef6-21d5-0310-b721-a9d68796d827

correct support for swish_exact when there are repeatable fields

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@196 13eb9ef6-21d5-0310-b721-a9d68796d827

don't repeat field name if same as last, support format_name and
format_delimiter on field level if using iterate_by_page (without this, it's
really hard to get useful formating when using iterate_by_page), don't warn
on rare occasion (which is faulty import_xml definition, but anyway...) when
using append="1"

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@195 13eb9ef6-21d5-0310-b721-a9d68796d827

use sqlite again

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@194 13eb9ef6-21d5-0310-b721-a9d68796d827

closer to specification

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@193 13eb9ef6-21d5-0310-b721-a9d68796d827

use locale (important for sorting)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@192 13eb9ef6-21d5-0310-b721-a9d68796d827

dump content of gdbm file

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@191 13eb9ef6-21d5-0310-b721-a9d68796d827

exact matches can now specify to include (or not) wildcard at end. Added
also documentation about exact matching using swish-e

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@190 13eb9ef6-21d5-0310-b721-a9d68796d827

local changes specific to hida

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@189 13eb9ef6-21d5-0310-b721-a9d68796d827

implemented index_delimiter which enables to to format index entries in format
(values to be inserted in index);;(values to be displayed) if there is
definition of index_delimiter=";;". This will allow you to index (and
search) through values from original database and still have ability to
display lookup fields.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@188 13eb9ef6-21d5-0310-b721-a9d68796d827

support for subfields in fields 10/11

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@187 13eb9ef6-21d5-0310-b721-a9d68796d827

transfer swish_exact flash in form also, not only in URL

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@186 13eb9ef6-21d5-0310-b721-a9d68796d827

moved documentation in doc directory

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@185 13eb9ef6-21d5-0310-b721-a9d68796d827

hidra specific configuration files

git-svn-id: file:///home/dpavlin/private/svn/webpac/branches/hidra@184 13eb9ef6-21d5-0310-b721-a9d68796d827

fix for swish_exact

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@183 13eb9ef6-21d5-0310-b721-a9d68796d827

make index with lookup field working with iterate on page

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@182 13eb9ef6-21d5-0310-b721-a9d68796d827

fix swish_exact fields so that they don't show up in display

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@181 13eb9ef6-21d5-0310-b721-a9d68796d827

invalidate memory cache when needed

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@180 13eb9ef6-21d5-0310-b721-a9d68796d827

script which will create log of webpac memory and processor usage

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@179 13eb9ef6-21d5-0310-b721-a9d68796d827

major improvements: you can select order of scanning in each topic tag
to be eather by line (which is default, repeatable fields in one line will
be unrolled) or page-by-page (using new interate_by_page="1" attribute).
New page-by-page mode is really useful with lookups (because you can
append fields with lookups in same line, but using two tags), but it will
create multiple rows in html output.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@178 13eb9ef6-21d5-0310-b721-a9d68796d827

support for lookup fields. Implemented using GDBM or TDB (which I recommend
because it's fastest implementation)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@177 13eb9ef6-21d5-0310-b721-a9d68796d827

fix for wierd prefixes (consisting of chars and numbers)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@176 13eb9ef6-21d5-0310-b721-a9d68796d827

fix path

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@175 13eb9ef6-21d5-0310-b721-a9d68796d827

radio buttons for exact search

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@174 13eb9ef6-21d5-0310-b721-a9d68796d827

removed fixed width

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@173 13eb9ef6-21d5-0310-b721-a9d68796d827

profiling tests of cacheing of formats: improvements are close to 50%. Not
bad for one evening of hacking...

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@172 13eb9ef6-21d5-0310-b721-a9d68796d827

configuration option for unac_filter

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@171 13eb9ef6-21d5-0310-b721-a9d68796d827

Re-wrote parsing for ISO-type data (isis, marc) to use in-memory cache of
format... 10% speed improvement and cleaner code. Include filter functions
just once.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@170 13eb9ef6-21d5-0310-b721-a9d68796d827

die with message if no field name is specified

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@169 13eb9ef6-21d5-0310-b721-a9d68796d827

added years filter for swish to support 1983- notation

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@168 13eb9ef6-21d5-0310-b721-a9d68796d827

add prototype

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@167 13eb9ef6-21d5-0310-b721-a9d68796d827

added TODO for HIDRA

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@166 13eb9ef6-21d5-0310-b721-a9d68796d827

renamed files from HIDRA to contain _hidra_ in filename

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@165 13eb9ef6-21d5-0310-b721-a9d68796d827

implemented filter which can replace (or be used together with) unac_string
from Text::Unaccent

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@164 13eb9ef6-21d5-0310-b721-a9d68796d827