brown-bag-bug-fix: writing MARC file just once (at end) will save a lot of time

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@229 13eb9ef6-21d5-0310-b721-a9d68796d827

script which will select just some fields from CDS/ISIS database and insert
only unique values in MARC file (useful for creating ad-hoc authority file)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@228 13eb9ef6-21d5-0310-b721-a9d68796d827

Beginning of documentation for debugging of changes in configuration
file. In short: what to do when WebPAC isn't behaving as you expected.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@227 13eb9ef6-21d5-0310-b721-a9d68796d827

added SQLite parametar sqlite_handle_binary_nulls

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@226 13eb9ef6-21d5-0310-b721-a9d68796d827

don't die if old table cannot be dropped

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@225 13eb9ef6-21d5-0310-b721-a9d68796d827

important bug fix for bug introduced in 1.57: it might eat your data
if you are not using filter. This one was hard do find...

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@224 13eb9ef6-21d5-0310-b721-a9d68796d827

fix

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@223 13eb9ef6-21d5-0310-b721-a9d68796d827

Documentation describing usage of lookups

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@222 13eb9ef6-21d5-0310-b721-a9d68796d827

links using format

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@221 13eb9ef6-21d5-0310-b721-a9d68796d827

Important note about SQLite and dbi_user settings (in nutshell: leave them
blank)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@220 13eb9ef6-21d5-0310-b721-a9d68796d827

Display total and unique count when dumping index data to tables

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@219 13eb9ef6-21d5-0310-b721-a9d68796d827

Changed never userd format configuration option for import_xml to
marc_format to prevent clash with format for output. If you don't
specify it (as I never do) it will default to 'usmarc' which is probably
the right thing (tm).

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@218 13eb9ef6-21d5-0310-b721-a9d68796d827

bugfix and improvements:
- debug and quiet switches
- skip fields which are too short (just subfield without data)
- calculate directory address
- calculate base address in leader

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@217 13eb9ef6-21d5-0310-b721-a9d68796d827

insert empty indicators -- that required to rebuild directory, so
I'm also doing some sanity checks (on which programs that import
MARC files might fail later)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@216 13eb9ef6-21d5-0310-b721-a9d68796d827

brown-bag bug: I was using MARC.pm wrong: now whole file will be loaded
at start of indexing, changing memory usage to much more step-like, but
that enables real progress indicator and few seconds gain in indexing
speed.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@215 13eb9ef6-21d5-0310-b721-a9d68796d827

more verbose output

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@210 13eb9ef6-21d5-0310-b721-a9d68796d827

I was using MARC.pm wrong. It duplicated records in output

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@209 13eb9ef6-21d5-0310-b721-a9d68796d827

Script which will read PhpMyLibrary (phpmylibrary.sourceforge.net/)
database and dump MARC file for import in webpac

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@208 13eb9ef6-21d5-0310-b721-a9d68796d827

thesaurus is finally working... It contains recursive entries to parnet
term, and we actually needed to display narrower terms, so mem_lookup was
created. Important changes:
- you can write eval{"901a" eq "Mikrotezaurus"} within <isis>
  tag and if expression evaluates to false, no content will be outputed
  (It's used to hide microtesarus terms from lover level descriptors)
- mem_lookup.pm now supports formats: you can write something like
  [a:5614];;[d:[a:5614]] and it will correctly embed values

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@207 13eb9ef6-21d5-0310-b721-a9d68796d827

at close vacuum database if using PostgreSQL or SQLite

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@206 13eb9ef6-21d5-0310-b721-a9d68796d827

support for unrolling thesaurus entries which have data only about parent
term, so that we can display child terms for each entry

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@205 13eb9ef6-21d5-0310-b721-a9d68796d827

updated according to specification

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@204 13eb9ef6-21d5-0310-b721-a9d68796d827

grammar fix

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@203 13eb9ef6-21d5-0310-b721-a9d68796d827

implemented sort=1 variable to sort results by headline

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@202 13eb9ef6-21d5-0310-b721-a9d68796d827

changed behaviour when searching index and no entry beginning with string is
found: until now, it found first substring, and now it find substring from
beginning of word (it has to have space before it)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@201 13eb9ef6-21d5-0310-b721-a9d68796d827

Added missing changes to template for index results

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@200 13eb9ef6-21d5-0310-b721-a9d68796d827

fixed filter delimiter bug

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@199 13eb9ef6-21d5-0310-b721-a9d68796d827

Implement different interfaces to webpac (for books, articles etc, or in
different languages) easily: just add base_path with relative or
absolute URL to root of your webpac and you can then create multiple
aliases (using Alias directive in httpd.conf) which have same beginning
as base_path. Everything added after base_path will be added after filename
for templates, but before extension. Easy, eh?

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@198 13eb9ef6-21d5-0310-b721-a9d68796d827

Changed behaviour of creating data for swish_exact when using type="index".
Now every line is separate entry in swish_exact. That will create additional
clutter in index (fields which wouldn't be used because we are not insering
them in index), but you will have to bare with this for now.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@197 13eb9ef6-21d5-0310-b721-a9d68796d827

correct support for swish_exact when there are repeatable fields

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@196 13eb9ef6-21d5-0310-b721-a9d68796d827

don't repeat field name if same as last, support format_name and
format_delimiter on field level if using iterate_by_page (without this, it's
really hard to get useful formating when using iterate_by_page), don't warn
on rare occasion (which is faulty import_xml definition, but anyway...) when
using append="1"

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@195 13eb9ef6-21d5-0310-b721-a9d68796d827

closer to specification

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@193 13eb9ef6-21d5-0310-b721-a9d68796d827

use locale (important for sorting)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@192 13eb9ef6-21d5-0310-b721-a9d68796d827

dump content of gdbm file

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@191 13eb9ef6-21d5-0310-b721-a9d68796d827

exact matches can now specify to include (or not) wildcard at end. Added
also documentation about exact matching using swish-e

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@190 13eb9ef6-21d5-0310-b721-a9d68796d827

local changes specific to hida

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@189 13eb9ef6-21d5-0310-b721-a9d68796d827

implemented index_delimiter which enables to to format index entries in format
(values to be inserted in index);;(values to be displayed) if there is
definition of index_delimiter=";;". This will allow you to index (and
search) through values from original database and still have ability to
display lookup fields.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@188 13eb9ef6-21d5-0310-b721-a9d68796d827

support for subfields in fields 10/11

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@187 13eb9ef6-21d5-0310-b721-a9d68796d827

transfer swish_exact flash in form also, not only in URL

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@186 13eb9ef6-21d5-0310-b721-a9d68796d827

moved documentation in doc directory

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@185 13eb9ef6-21d5-0310-b721-a9d68796d827

fix for swish_exact

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@183 13eb9ef6-21d5-0310-b721-a9d68796d827

make index with lookup field working with iterate on page

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@182 13eb9ef6-21d5-0310-b721-a9d68796d827

fix swish_exact fields so that they don't show up in display

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@181 13eb9ef6-21d5-0310-b721-a9d68796d827

invalidate memory cache when needed

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@180 13eb9ef6-21d5-0310-b721-a9d68796d827

script which will create log of webpac memory and processor usage

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@179 13eb9ef6-21d5-0310-b721-a9d68796d827

major improvements: you can select order of scanning in each topic tag
to be eather by line (which is default, repeatable fields in one line will
be unrolled) or page-by-page (using new interate_by_page="1" attribute).
New page-by-page mode is really useful with lookups (because you can
append fields with lookups in same line, but using two tags), but it will
create multiple rows in html output.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@178 13eb9ef6-21d5-0310-b721-a9d68796d827

support for lookup fields. Implemented using GDBM or TDB (which I recommend
because it's fastest implementation)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@177 13eb9ef6-21d5-0310-b721-a9d68796d827

fix for wierd prefixes (consisting of chars and numbers)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@176 13eb9ef6-21d5-0310-b721-a9d68796d827

fix path

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@175 13eb9ef6-21d5-0310-b721-a9d68796d827

radio buttons for exact search

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@174 13eb9ef6-21d5-0310-b721-a9d68796d827

removed fixed width

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@173 13eb9ef6-21d5-0310-b721-a9d68796d827

profiling tests of cacheing of formats: improvements are close to 50%. Not
bad for one evening of hacking...

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@172 13eb9ef6-21d5-0310-b721-a9d68796d827

configuration option for unac_filter

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@171 13eb9ef6-21d5-0310-b721-a9d68796d827

Re-wrote parsing for ISO-type data (isis, marc) to use in-memory cache of
format... 10% speed improvement and cleaner code. Include filter functions
just once.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@170 13eb9ef6-21d5-0310-b721-a9d68796d827

die with message if no field name is specified

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@169 13eb9ef6-21d5-0310-b721-a9d68796d827

added years filter for swish to support 1983- notation

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@168 13eb9ef6-21d5-0310-b721-a9d68796d827

add prototype

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@167 13eb9ef6-21d5-0310-b721-a9d68796d827

added TODO for HIDRA

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@166 13eb9ef6-21d5-0310-b721-a9d68796d827

renamed files from HIDRA to contain _hidra_ in filename

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@165 13eb9ef6-21d5-0310-b721-a9d68796d827

implemented filter which can replace (or be used together with) unac_string
from Text::Unaccent

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@164 13eb9ef6-21d5-0310-b721-a9d68796d827

Added type="swish_exact" to save data into swish index with boundaries
xxbxx data xxexxx. This is helpful to implement exact match from beginning
of query and exact match to full query which are defined using e[nr] field
in web user interface (with same [nr] as f[nr] and v[nr] fields) which
have to have value 1 (from beginning) 2 (from end, not that useful...) or
3 (1+2 - exact match)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@163 13eb9ef6-21d5-0310-b721-a9d68796d827

added profile target

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@162 13eb9ef6-21d5-0310-b721-a9d68796d827

write nice (?) message indicating that there are no results for this query

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@161 13eb9ef6-21d5-0310-b721-a9d68796d827

fix

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@160 13eb9ef6-21d5-0310-b721-a9d68796d827

removed name of library (to produce generic template)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@159 13eb9ef6-21d5-0310-b721-a9d68796d827

fixed transfer of variables with multiple values in headline

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@158 13eb9ef6-21d5-0310-b721-a9d68796d827

small fix

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@157 13eb9ef6-21d5-0310-b721-a9d68796d827

added template example (which include do_checkbox JavaScript)
added select all/none/toggle at results page (usage of do_checkbox.js)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@156 13eb9ef6-21d5-0310-b721-a9d68796d827

improvements

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@155 13eb9ef6-21d5-0310-b721-a9d68796d827

another example of import xml file for ISIS. This one features links
(using format)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@154 13eb9ef6-21d5-0310-b721-a9d68796d827

implemented formats which can be used to produce links between records
in WebPac (documented in README.links)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@153 13eb9ef6-21d5-0310-b721-a9d68796d827

new languages

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@152 13eb9ef6-21d5-0310-b721-a9d68796d827

keep <a href>

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@151 13eb9ef6-21d5-0310-b721-a9d68796d827

support for "f" and "v" fields without number on which wildcards don't apply

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@150 13eb9ef6-21d5-0310-b721-a9d68796d827

display full record without path specified (used for linking)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@149 13eb9ef6-21d5-0310-b721-a9d68796d827

master template example

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@148 13eb9ef6-21d5-0310-b721-a9d68796d827

Implementation of master template: just create template html file in
public_html and insert ##webpac## where you want output of webpac.
Then define template to full path to that template, and you are ready to go.

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@147 13eb9ef6-21d5-0310-b721-a9d68796d827

convert more than one URL to correct html link

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@146 13eb9ef6-21d5-0310-b721-a9d68796d827

added more languages

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@145 13eb9ef6-21d5-0310-b721-a9d68796d827

fixed filters (again)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@144 13eb9ef6-21d5-0310-b721-a9d68796d827

added two missing characters (and still missing one)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@143 13eb9ef6-21d5-0310-b721-a9d68796d827

if no entries found, count should return number of all entries

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@142 13eb9ef6-21d5-0310-b721-a9d68796d827

another alternative encoding for Crolist. How many does it have?

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@141 13eb9ef6-21d5-0310-b721-a9d68796d827

fix for total number of entries from index if using filter, renamed
check function to count and added limit

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@140 13eb9ef6-21d5-0310-b721-a9d68796d827

removed unneeded delimiter parametar

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@139 13eb9ef6-21d5-0310-b721-a9d68796d827

Aargh! I should really go to sleep or make PostgeSQL replication or something...

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@138 13eb9ef6-21d5-0310-b721-a9d68796d827

I removed too much: this always added delimiter before first element

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@137 13eb9ef6-21d5-0310-b721-a9d68796d827

another fix for repeatable fields

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@136 13eb9ef6-21d5-0310-b721-a9d68796d827

fix repeatable fields in index data

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@135 13eb9ef6-21d5-0310-b721-a9d68796d827

more tasks

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@134 13eb9ef6-21d5-0310-b721-a9d68796d827

added note about SQLite performance, example in global.conf

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@133 13eb9ef6-21d5-0310-b721-a9d68796d827

better documentation, allmost useful :-)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@132 13eb9ef6-21d5-0310-b721-a9d68796d827

Crolist CROASCII

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@131 13eb9ef6-21d5-0310-b721-a9d68796d827

filter to import Crolist data in CROASCII code-page

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@130 13eb9ef6-21d5-0310-b721-a9d68796d827

documentation about MARC import

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@129 13eb9ef6-21d5-0310-b721-a9d68796d827

use index_DBI_cache.pm (non-cache version is depriciated)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@128 13eb9ef6-21d5-0310-b721-a9d68796d827

if searched word is not found when searching from beginning of index, try
to find in anywhere (substring match)

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@127 13eb9ef6-21d5-0310-b721-a9d68796d827

added links from result headline to details, CSS style to make headline links
and links in index non-underlined

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@126 13eb9ef6-21d5-0310-b721-a9d68796d827

fixed whitespace

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@125 13eb9ef6-21d5-0310-b721-a9d68796d827

links from index back to search

git-svn-id: file:///home/dpavlin/private/svn/webpac/trunk@124 13eb9ef6-21d5-0310-b721-a9d68796d827