--- /dev/null
+roadmap for the OpenIsis development
+
+
+Mapa para el desarrollo de OpenIsis
+
+
+* status
+- read-only engine
+- very basic versions of query/formatting
+- multiple language bindings: PHP,Perl,Java
+- webapps work fine (neither complex queries nor formatting)
+
+This is the status since summer 2002, one year after the development started.
+While multithreading ability would be useful when running inside a Java
+servlet engine, webforms do not usually create complex queries,
+do not refer to previous results and the graphical layout is anyway
+driven by HTML code inside a JSP rather than by formatting
+language constructs like "FONTS".
+
+
+* Estado actual
+- motor de sólo-lectura
+- consultas y formateo aún básicos
+- múltiples asociaciones (bindings) en los siguientes lenguajes: PHP, Perl, Java
+- aplicaciones web funcionan bien (sin consultas complejas ni formateo)
+
+Este es el estado desde verano 2002, un año despúes de
+haber comenzado el desarrollo.
+Mientras que sería útil incluír la habilidad de
+manejar multihilos dentro de
+un motor de servlets Java, formularios en web
+generalmente no requieren la realización de consultas
+complejas, no necesitan acceso a resultados anteriores
+y el diseño gráfico ya está incluído en el código HTML
+dentro de un JSP y no requiere de instrucciones
+de formateo como "FONTS".
+
+
+* prepared
+- Tcl/Tk GUI client
+- Lehmann/Yao index with collation support
+- highly efficient multithreading server
+
+Since midth of 2002, we've been preparing the next step,
+which shall lead to a (non web based) graphical user interface
+supporting simultaneous write access.
+In order to support even very demanding applications,
+we sacrificed the simplicity and convenience of direct file access
+in favor of a server based approach.
+After several tests and studies on how this might be integrated within
+the various environments the design phase is mostly finished and
+much of the code has already been written.
+The index structure is borrowed from Postgres/the GiST.
+
+
+* en preparación
+- cliente con interfaz gráfica en Tcl/Tk
+- Indice Lehmann/Yao con alfabetización flexible
+- servidor multihilos altamente eficiente
+
+Desde mediados de 2002 hemos preparado el próximo paso
+que deberá conducir a una interfaz gráfica (no basada
+en web) que posibilite acceeso a escritura simultáneo.
+A fin de dar soporte incluso a aplicaciones con altas
+exigencias, sacrificamos la simplicidad y
+conveniencia de acceso directo a archivos en favor de
+un enfoque basado en un servidor. Después de
+muchas pruebas y estudios sobre cómo podría ser
+integrado en los diferentes entornos, prácticamente
+hemos finalizado con la fase del diseño y ya hay mucho
+código escrito. La estructura del índice es prestado
+de Postgres/the GiST.
+
+
+* aims
+- multi-purpose database and server technology
+- robustness, performance and scalability
+- exploring application areas with tools
+
+While OpenIsis clearly has it's roots in CDS/ISIS,
+we believe the principles of IIF(ISO2709)-based databases to be
+very well suited for a wide range of applications,
+not only in the bibliographical domain.
+
+The more programmers feel ISIS is their database of choice,
+the more will contribute improvements.
+Maybe one day even Koha and Gnuteca will switch over from MySQL/Postgres.
+Therefore we strictly focus on an industrial-strength implementation
+of the core issues and on making them available to techies in various ways
+rather than building elaborated applications offering easy end user access.
+
+
+* Objetivos
+- base de datos y tecnología de servidor multipropósito
+- robustez, rendimiento y escalabilidad
+- exploración de diferentes áreas de aplicación con las herramientas
+
+Aunque las raíces de OpenIsis provienen de CDS/ISIS,
+creemos que los principios de bases de datos
+basados en el formato de intercambio de información
+(ISO 2709) se adaptan muy bien a una amplia gama de
+aplicaciones, no sólo en el ámbito bibliográfico.
+
+Cuanto más programadores eligan a ISIS como base de
+datos, mayores serán los avances contribuidos. Quizas
+incluso Koha y Gnuteca se pasen de MySQL/Postgres a
+ISIS. Como consecuencia nos hemos concentrado en una
+poderosa implementación de las funciones básicas y a
+ofrecerlos a desarrolladores de diferentes formas, en
+lugar de construir aplicaciones completas para el
+usuario final.
+
+
+* variants
+- standalone
+- client and multithreaded server
+- no multi-process writing, single-shot writers possible
+
+The most simple variant is working for some time now.
+In a read-only application, several clients may
+access the database simultaneously. (This *may* even work with *one* writer,
+but details are system dependent, so don't rely upon this).
+
+No two writing processes may have overlapping access to the database,
+since this would require fine-grained file locking (which has lots of
+problems) and rule out agressive caching (which has lots of benefits).
+However, where the complete access to the database, from opening to closing,
+is strictly serialized by one single lock, multi-process write access
+is possible (CGI, PHP).
+
+The approach most stable yet giving highly parallelized access is a
+server acting on behalf of a bunch of clients, as used by every RDBMS.
+
+
+* Variantes
+- estación de trabajo independiente
+- cliente y servidor multihilos
+- sin escritura multi-proceso, funciones de escritura monoestables
+
+La variante más sencilla ya funciona desde algún
+tiempo. Es una aplicación de sólo lectura, varios
+clientes pueden acceder una base de datos en forma
+simultánea. (Esto incluso *puede* funcionar con *un*
+cliente que grabe datos sobre ella, sin embargo los
+datalles dependen del sistema de implementación, por
+lo que ésto no deberá ser tomado al pie de la letra).
+
+
+* application scenarios
+- multi-purpose or customized Tk application
+- PHP or Perl webapp readonly or client
+- Java webapp standalone, server or client
+- multi-protocol C server (Z39.50, HTTP, IMAP)
+
+The basic GUI version will try to mimik the basic features of WinISIS.
+The scripting abilities of Tcl/Tk can be used for customizing applications.
+For experienced users facing complex tasks, this could provide a much more
+demanding, yet also more flexible alternative to worksheets and printformats.
+
+As with today's RDBMS, all language environments can act as client to a
+database server. Java, due to it's one-multithreaded-process architecture,
+may also incorporate the multisession server code locally (via JNI).
+The server proper is not limited to it's native database access protocol,
+but may support a host of session based TCP protocols,
+e.g. Z39.50 using the Yaz toolkit.
+
+
+* Escenarios de aplicación
+- aplicaciones multipropósito o a medida con Tk
+- aplicaciones web en PHP o Perl de sólo-lectura o clientes
+- aplicaciones Java independientes, cliente o servidor
+- servidor multi-protocolo en C (Z39.50, HTTP, IMAP)
+
+La versión con interfaz gráfica reimplementará las
+características básicas de WinISIS. La facilidad de
+Tcl/Tk para integrar scripts puede aprovecharse para
+aplicaciones a medida. Para usuarios experimentados
+que se enfrentan a tareas complejas, ésto es una
+alternativa más exigente, pero también más flexible
+que hojas de trabajo y formatos de impresión (PFT).
+
+
+* server architecture
+- multithreading - multisession
+- various embedded languages possible
+- usually not itself client
+
+The server opens one session for every client to hold references to previous
+query results. All requests on behalf of one client are serialized.
+As a consequence, IO and memory, which are also bound to sessions,
+can be accessed safely within the server without additional locking.
+
+The basic server language, yet another PFT-lookalike, can be augmented
+by embedded versions of the several bindings similar to the well known
+PASCAL formatting exits. While the server could also itself access remote
+databases, this is not recommended since it may hamper availability.
+
+
+* Arquitectura del servidor
+- multihilos - multisessión
+- posibilidad de usar varios lenguajes incrustados
+- generalmente no es un cliente en sí
+
+El servidor abre una sessión para cada cliente para
+almacenar referencias a los resultados obtenidos por
+consultas anteriores. Todas las solicitudes de un
+cliente se serializan, como consecuencia el
+acceso a los archivos y la memoria también se ligan a
+una sesión y pueden accederse en forma segura dentro
+del servidor sin bloquéo adicional.
+
+El lenguaje del servidor es solamente otro tipo de PFT
+y puede aumentarse incrustando versiones de las
+diferentes asociaciones similar a las conocidas
+salidas de formato de Isispascal. Mientras que el
+servidor también podría acceder bases de datos
+remotas, ésto no se recomiendo ya que puede haber
+inconvenientes con la avabilidad.
+
+
+* client architecture
+- TCP or local sockets
+- asynchronous in event based environment (GUI,server)
+- synchronous else
+
+The client connects to the server by means of TCP or the faster Unix sockets.
+The basic programmatic interface will, after sending a request to the server,
+wait until the response is available completely. In some environments like
+the Tk GUI however, it is possible for the client to stay responsive while
+waiting, display some progress bar and then show results as they arrive.
+
+
+* Arquitectura de clientes
+- TCP o sockets locales
+- entorno asincrónico basado en eventos (GUI, servidor)
+- otros sincrónicos
+
+El cliente se contecta al servidor mediante TCP o los
+sockets de Unix que son más rápidos. La interfaz de
+programación básica espera -después de haber enviado
+una solicitud al servidor- hasta que la respuesta esté
+disponible en forma completa. Sin embargo algunos
+entornos como la interfaz gráfica de Tk pueden incluír
+algún tipo de barra de progreso y mostrar los
+resultados en la medida que ingresan a fin de mantener
+el cliente en espera.
+
+
+* relation to technologies
+- use pros, avoid cons
+- bring ISIS power to other techniques
+- but stay independent of single concept like XML
+
+There is no single perfect programming environment for all kinds of tasks
+and all sorts of programmers. In order to support the widest possible
+range of techniques, we must not tie OpenIsis to any particular one.
+
+Using C++, for example, causes problems when linked into another environment
+which fails to properly call constructors and destructors or was compiled
+with another version of "io.h". While relying on a C++ based XML-parser is
+perfectly ok for a given application, it would not be such a good idea for
+a multi-purpose library. Even C-runtime features must be used with caution.
+
+
+* Relación con tecnologías
+- aprovechar los pros, evitar los contra
+- llevar el poder de ISIS a otras tecnologías
+- pero permanecer independiente de conceptos aislados como XML
+
+No hay un entorno de programación perfecto para todo
+tipo de tareas y todos los programadores. Para dar
+soporte al rango más amplio de tecnologías no debemos
+atar a OpenIsis a ninguna en particular.
+
+Usando C++ por ejemplo, aparecen problemas cuando se
+enlazan en otro entorno que falla al llamar
+correctamente a constructures y destructores o cuando
+ha sido compilado con otra versión de "io.h". Mientas
+que un parser XML basado en C++ es perfectamente
+factible en una aplicación dada, no sería tan bueno
+para una librería multi-propósito. Incluso
+características del librería de runtime de C (libc)
+deben emplearse con cautela.
+
+
+* Java features
+- works well in servlet engines
+- full-fledged language with well-designed utilities
+- mature and portable multithreading support
+- JVM license problems, buggy GUI toolkits
+
+The various improvements over the C++/Smalltalk heritage made Java
+the language of choice for object oriented programming in large-scale
+software projects. Servlet engines are the most elaborate environment
+for complex web-publishing tasks.
+
+Unfortunately, the GUI toolkits AWT and Swing are poorly designed
+and implemented. The Sun JVM and JDK are subject to export restrictions,
+and the free JVMs are not very mature.
+
+
+* Características de Java
+- funciona bien en motores servlet
+- lenguaje completo con funciones bien diseñadas
+- soporte para multihilos maduro y portable
+- problemas con la licencia, toolkits GUI deficientes (AWT)
+
+Las diferentes mejores sobre la herencia de
+C++/Smalltalk hacen de Java el lenguaje de elección
+para programación orientada a objetas en proyectos de
+software de gran escala. Motores servlets ofrecen el
+entorno más elaborado para tareas complejas en la
+publicación web.
+
+Desafortunadamente los toolkits de interfaces gráficas
+AWT y Swing están pobremente diseñados e
+implementadas. La máquina virtual Java y JDK de
+Sun están sujetas a restricciones en cuanto a su
+exportación y otras máquinas virtuales Java no están
+demasiado maduras.
+
+
+* Java application
+- multithreaded network application with in-process server
+- synchronous client in pure Java
+- integration based on JDBC or "enterprise beans"
+
+The database frontend for "Institut der Didaktik der Mathematik" is a simple
+example how to take advantage of HTTP session handling and javax.mail classes
+to create an order system. Remote database access can be implemented in pure
+Java (like Oracle's "thin client"), however, asynchronous communication is
+not supported by java.net.Socket. The wealth of existing Java based solutions
+might be basis for integration e.g. with SOAP.
+
+
+* Uso de Java
+- aplicación multihilos en red con servidor de procesamiento interno
+- clientes sincrónicos en Java puro
+- integración basada en JDBC o "enterprise beans"
+
+El interfaz de base de datos para el "Instituto
+de didáctica de la matemática" es un ejemplo simple de
+cómo se puede aprovechar las ventajas de un handling
+de sesión HTTP y de clases javax.mail para crear un
+sistema de solicitud bibliográfica. Se puede
+implementar el acceso a bases de datos remotas en Java
+puro (como el "cliente liviano" de Oracle), sin
+embargo java.net.Socket no ofrece soporte para
+comunicación asincrónica. La abundancia de soluciones
+existentes basadas en Java pueden ofrecer una base
+para una mayor integración, por ejemplo con SOAP.
+
+
+* Tcl/Tk features
+- best portable GUI toolkit
+- very tight integration with ISIS
+- easy scripting for customization
+- not too widespread use
+
+As a GUI toolkit, Tk is unparalleled in portability and ease of use.
+While it can also be used as PerlTk, PythonTk and even JavaTk,
+Tcl is Tk's native language and, among the mentioned, the most easy to learn.
+Since Tcl was conceived as Tool Command Language, features of the
+C library are easily and efficiently made accessible.
+While Tcl is twelve years old and very mature, it is not that well known
+and does not offer such an enormous amount of third-party libraries to use.
+
+
+* Características de Tcl/Tk
+- el mejor juego de herramientas GUI multiplataforma
+- integración muy estrecha con ISIS
+- scripting sencillo para requerimientos particulares
+- uso no demasiado extendido
+
+Como toolkit de interfaz gráfica, Tk no tiene igual en
+cuanto a portabilidad y facilida de uso. Mientras que
+también puede ser usado como PerlTk, PythonTk e
+incluso JavaTk, Tcl es el lenguaje nativo de Tk y
+entre los mencionados, el de más facil aprendizaje.
+Debido a que Tcl fué concebido como un lenguaje
+de control de herramientas, se accede con facilidad y eficiencia a
+las características de la librería en C. Mientras que
+Tcl ya tiene doce años y es muy maduro, no es tan
+conocido y no ofrece una cantidad tan enorme de
+librerías adicionales.
+
+
+* Tcl/Tk application
+- graphical user interface
+- asynchronous singlethreaded client
+- integrated in server
+
+Tcl's most important application is to provide a portable Tk-based GUI,
+which, due to it's nature as a script, can be tailored to the needs of
+each library or augmented by additional functionality like Z39.50
+(indexdata wrote a Tcl/Tk client based on Yaz).
+This GUI provides synchronous access to local databases and asynchronous
+remote access, however, runs itself in a single thread.
+
+Tcl is also well suited as a safe server extension language,
+with one interpreter per session.
+
+
+* Uso de Tcl/Tk
+- interfaz de usuario gráfica
+- cliente asincrónico de proceso simple (sólo hilo)
+- integrado con el servidor
+
+La aplicación de Tcl más importante es de proveer una
+interfaz gráfica portable y basada en Tk que, debido a
+su naturaleza de script, puede ser hecho a medida de
+cada biblioteca o aumentada con funcionalidades
+adicionales como Z39.50 (indexdata escribió un
+cliente Tcl/Tk basado en Yaz). Esta interfaz gráfica
+provee acceso sincrónico a bases de datos locales y
+acceso remoto asincrónico, sin embargo corre en sí
+mismo como un sólo hilo.
+
+
+* Perl features
+- pathologically eclectic rubbish lister
+- best for the lazy, impatient and hubristic
+- unreadable one-way code
+
+The experienced programmers preferred quick-and-dirty language.
+There is rarely a situation in life for which not somebody wrote some
+Perl Module. Usually, however, you can use it but not read it.
+
+
+* Características de Perl
+- "pathologically eclectic rubbish lister"
+- lo mejor para vagos, impacientes y presuntuosos
+- código unidireccional ilegible
+
+El lenguaje rápido-y-sucio preferido por programadores
+experimentales. Se encuentra raramente una ocasión en
+la vida donde alguién NO haya escrito un módulo Perl.
+Sin embargo generalmente lo puede usar, pero no leerlo.
+
+Nota1: (Listador de tonterías patológicamente eclécticas).
+
+
+* Perl application
+- converting
+- reports
+- integration
+- cgi
+
+You wouldn't start writing a complex application in Perl, would you?
+One year later it's nearly impossible to go any further.
+However, behind and between the scenes Perl is as useful as for small
+CGI based web frontends.
+
+
+* Uso de Perl
+- conversión
+- informes
+- integración
+- cgi
+
+Ustedes no comenzarían escribir una aplicacion
+compleja en Perl, ¿no es cierto?
+Un año más tarde es casi imposible de ir más allá.
+Sin embargo, atrás y entre escenas Perl es tan práctico
+para pequeños cgi-frontends para web.
+
+
+* PHP features
+- easy for beginners
+- commonly available on servers
+- with Apache, runs multiprocess
+
+
+* Características de PHP
+- fácil para principiantes
+- generalmente disponible en los servidores
+- multiproceso con Apache
+
+
+* PHP application
+- lightweight web apps
+- integration with existing PHP code
+- for writing, should be used as client
+
+
+* Uso de PHP
+- Aplicaciones web livianas
+- integración con código PHP pre-existente
+- para escritura, debe ser utilizado como cliente
+
+
+* Mail and MIME
+- mailheaders easily stored as ISIS records
+- IMAP queries similar to Type-1/ISIS
+- well established concept for handling multimedia
+
+MIME is not exactly a programming language, but an environment
+worthwhile to support. While media attached to an ISIS DB is locally
+best stored in separate files (just like RDBMS store their "BLOBS"),
+it's type and attributes should be described according to the MIME schema.
+Even where bibliographical rules for such descriptions apply,
+MIME is best suited to give some client app hints on how to display
+or further process such data.
+
+In the long term one could envision basing the cyrus IMAP server on
+ISIS to hold the metadata.
+
+
+* Mail y MIME
+- Encabezamientos mail se almacenan fácilmente como registros ISIS
+- consultas IMAP tienen similitudes con consultas tipo-1/ISIS
+- concepto establecido para manejar multimedia
+
+MIME no es exactamente un lenguaje de programación,
+pero un entorno que merece soporte. Mientras que es
+preferible almacenar archivos multimedia atachados
+localmente a una base de datos ISIS en forma separada
+(justo como las bases relacionales almacenan sus "BLOBS"),
+el tipo y atributos de estos archivos
+deberían describirse acorde al esquema MIME. Incluso
+cuando se aplican reglas bibliográficas en estas
+descripciones, MIME ofrece la mejor forma de informar
+a las aplicaciones cliente como visualizar o procesar
+estos datos.
+
+A largo plazo se podría enfocar de basar el
+servidor IMAP cyrus en ISIS para almacenar los metadatos.
+
+
+* XML
+- structures easily flattened to ISIS records
+- compact storage, fast access
+- can search for all attributes
+
+During the last years virtually every software "moved" to XML,
+actually putting fancy new cloths on their same old data.
+Since bibliographers were among the early supporters of XML's anchestor
+SGML it is not surprising that these cloths can easily be stripped off
+in order to store structures whose XML representation is available
+into an ISIS DB. Each opening tag produces a field with subfields
+holding it's attributes. Fields representing the childs are followed
+by a field denoting the closing tag.
+
+
+* XML
+- estructura que se adapta fácilmente a registros ISIS
+- almacenamiento compacto, acceso rápido
+- permite consultas por todos los atributos
+
+Durante los ultimos años practicamente todo "se movió"
+hacia XML colocando bonitas ropas nuevas sobre los
+mismos datos viejos. Debido a que entre los primeros
+en impulsar SGML -el ancestro de XML- estuvieron
+bibliógraficos, no es de sorprender que estas ropas
+pueden quitarse facilmente para almacenar datos en
+bases de datos ISIS, mientras que las estructuras XML
+siguen accesibles. Cada etiqueta de apertura genera un
+campo con subcampos que almacenan sus atributos. Los
+nodos hijos se representan en campos a los que le
+sigue un campo que significa las etiquetas de cierre.
+
+
+* supported platforms
+- linux fully supported
+- other unixes incl. MacOS X
+- windows w/o multithreading
+
+As of today, linux/intel is the ideal platform.
+On other unixes, we may have to deal with big endian processors
+and support for POSIX threads may vary.
+Windows 9x/Me lacks sufficient multithreading support.
+NT4/00/XP has the necessary calls, but difficult to use.
+
+
+* Soporte para plataformas
+- soporte completo para linux
+- otros unixes incluyendo MacOS X
+- windows sin multi-procesamiento
+
+Actualmente linux/intel representa la plataforma
+ideal. Sobre otros unixes tenemos que manejar
+procesadores big endian y el soporte para subprocesos
+POSIX puede variar. Windows 9x/Me carece de suficiente
+soporte para multihilos. NT4/00/XP incluya las
+llamadas necesarias, pero son dificiles de usar.
+
+
+* proposed file formats
+- plaintext MST
+- XRF 4/2, 5/3, 7/5 or as seems fit
+
+Besides the legacy MST and XRF, OpenIsis will support additional formats.
+A plaintext MST is very similar to ISO2709, representing a record as
+a series of lines. There are neither limits on field length, record length
+or database size nor any alignment or byte order incompatibilities.
+In most cases it will even occupy slightly less space.
+
+The record length should be stored together with the position in the XRF
+instead of the MST, so access requires less IO and the number of bytes
+used for position/length can be allocated as needed.
+
+
+* Formatos de archivo propuestos
+- archivo maestro plano (MST)
+- archivo de referencias cruzadas (XRF) 5/3, 7/5 o como parezca ajustarse
+
+Mas allá de los formatos heredados MST y XRF, OpenIsis
+ofrecerá soporte a formatos adicionales. Un MST en un
+archivo plano es muy similar a ISO 2709, representando
+un registro como una serie de lineas. Tampoco hay
+limitacion de longitud de campo, longitud de registro
+o tamaño de la base de datos, ni alineamiento o
+incompatibilidades de orden de bytes. En muchos casos,
+incluso ocuparía un espacio levemente menor.
+
+
+* application projects
+- common serials database
+- commercial applications (web shop and content management)
+- several web based
+
+
+* Proyectos de aplicaciones
+- base de datos de publicaciones periódicas
+- aplicaciones comerciales (comercios en-línea y gestión de contenidos)
+- varios basados sobre aplicaciones web
+
+
+* roadmap 2003
+- 02: finish index
+- winter: standalone GUI (HTML formatting)
+- spring: server with GUI client
+- Java and Perl overhaul
+- reworked formatting
+- full Type-1 queries
+
+
+* Objetivos para 2003
+- febrero: terminar índice
+- marzo: aplicación GUI para estaciones de trabajo independiente (sobre formato HTML)
+- primavera: servidor con cliente GUI
+- revisión de las asociaciones con Java y Perl
+- retrabajar formateo
+- soporte completo para consultas tipo 1
+
+
+---
+ $Id: Cuba.txt,v 1.6 2003/02/10 17:15:39 kripke Exp $
projects / webpac / blobdiff