Perl • DESARROLLO
Archivo y acceso a PDFs
EL BIBLIOTECARIO
Este mes aprenderemos a ubicar artículos en archivos PDF protegidos y cómo usar una base de datos para
acceder a estos artículos más tarde. POR MICHAEL SCHILLI
N
o importa si se trata de un entre-
tenido artículo del periódico
local o de un excelente análisis
político del New Yorker: pueden ser una
buena lectura para un día lluvioso, y
puede que queramos archivarlos de algu-
na manera para poder recuperarlos fácil-
mente.
Desafortunadamente, estas joyas del
periodismo puede que no estén disponi-
bles online, dado que muchos periódicos
aún no tienen sus ediciones en la Web.
Mala cosa: el papel termina ocupando
un montón de sitio en nuestro despacho,
y ¿realmente queremos llenar estanterías
y estanterías de carpetones?
Escanear y Comprimir
Una alternativa es digitalizar los artícu-
los de nuestro interés con un escáner y
guardarlos en discos como archivos PDF.
Para poder llevar la cuenta de los archi-
vos adecuadamente en una colección
que crece continuamente, presentamos
este mes magsafe, un script en Perl con
el que administrar una base de datos de
archivos escaneados (el listado completo
de este script se puede bajar de [1]).
Dos o tres páginas se escanean rápida-
mente con la excelente interfaz gráfica
xsane, del proyecto Sane [2], que es
compatible con casi cualquier escáner a
través de su back-end. Tanto los escáne-
res Epson como los HP All-in-One
Officejet funcionaron a la perfección
bajo Linux en nuestro laboratorio.
Después de escanear, guardamos cada
página como un fichero PNG. Una reso-
lución de 200dpi será suficiente para
mantener el texto legible. Usaremos el
programa convert en un truco sacado de
[3] para unificar todas las páginas en un
único documento PDF:
convert -density 200 U
-quality 95 \
-resize "1600x1600>" U
*.png archivo.pdf
Este comando recopila los archivos *.png
del directorio actual, limitando el ancho y
alto a 1600 píxeles. Las imágenes de
menor tamaño quedarán intactas debido
al signo > utilizado. convert unifica las
páginas en un PDF a una resolución de
200dpi. Los archivos PNG se comprimen
a JPG dentro del PDF conservando una
calidad del 95% respecto del original.
Dentro del Archivo
Después de escanear las once páginas
del excelente artículo “La tortura del
Outsourcing” del New Yorker, escrito
por Jane Mayer, y haberlo pasado a
archivo.pdf, realizamos la siguiente lla-
mada al script magsafe para registrarlo:
magsafe -m "New Yorker" -a U
"Jane Mayer"
-t "La tortura del Outsourcing"
-i 2005/02/14 -p 106 -d U
archivo.pdf
WWW.LINUX- MAGAZINE.ES
Esto crea un registro con el nombre de la
publicación (“New Yorker”), el título del
documento (“La tortura del
Outsourcing”), el número (“2005/02/
14”) y la página (106).
La información se guarda en una base
de datos, que admite consultas SQL.
Hemos empleado el motor de bases de
datos SQLite. Si comprobamos la infor-
mación referida a su instalación com-
probaremos que sólo necesitamos unos
pocos módulos CPAN y el script se
encargará de todo lo demás.
El script no copia el documento PDF,
archivo.pdf, a la base de datos, sino a un
directorio donde se guardan todos los
archivos bajo una secuencia numérica
(000001, 000002,…). Si añadimos nues-
tro artículo del New Yorker a la inmacu-
lada base de datos, se creará un nuevo
documento denominado “000001”, que
contiene el PDF.
Nuestro segundo documento será un
artículo de un periódico local que relata
una reyerta en un pub Londinense:
magsafe -m U
"Southwest London Inquirer"
-t "Pintas voladoras"
-i 2005/02 -p 4 -d U
archivo.pdf
Como se puede comprobar, no es obliga-
torio incluir el nombre del autor. De
hecho, los autores de muchos artículos
en prensa son anónimos.
Número 08 49
DESARROLLO • Perl
Si ejecutamos magsafe sin especificar
ningún parámetro, el script nos requerirá
más información de la siguiente forma:
$ magsafe
[1] New
[2] New Yorker
[3] Southwest London Inquirer
Magazine [1]>
Como hemos introducido previamente
dos artículos, magsafe tomó nota de los
nombres de las publicaciones y ahora
las muestra por pantalla en un menú.
Para añadir una nueva publicación, sólo
tenemos que presionar 1 y teclear el
nombre:
Magazine [1]> 1
Enter Magazine Name []> The Sun
Document []> ...
magsafe copia el documento PDF especi-
ficado por la opción -d (o introducido
interactivamente como acabamos de ver)
a un directorio codificado, le asigna un
número correlativo a cada documento
(000001, 000002,…) y referencia la ruta
hasta este archivo en la base de datos.
Una Aguja en un Pajar
Usar una base de datos tiene la ventaja
de poder buscar los datos de la manera
que más se ajuste a lo que necesitemos.
Para nuestra base de datos de periódicos,
que hemos guardado en un archivo
denominado doc_escaneados.dat, es
muy fácil hacerlo desde la línea de
comandos con sqlite3 y unas mínimas
nociones del viejo SQL:
$ sqlite3 doc_escaneados.dat
sqlite> SELECT * from doc where
title like '%Pintas%'
2|Pintas voladoras U
||2|4|2005/02
CTRL-D
$ sa más tarde.
Podríamos objetar que el proceso es algo
incómodo. magsafe nos ofrece un legua-
je simplificado de consultas como res-
puesta.
Si usamos el parámetro -s, tendremos
que especificar la cadena de búsqueda
con el siguiente formato:
"campo:patrón campo: U
patrón ..."
50 Número 08
La siguiente línea busca los artículos con
la palabra Pintas en el título:
$ magsafe -s title:Pintas
"Pintas voladoras", U
Unknown, Southwest London U
Inquirer, 2005/02,
4, /DATA/DOCS/000002
Internamente, magsafe genera una con-
sulta SQL, después de añadir la cadena
de búsqueda entre caracteres de tanto
por ciento. Supongamos que estamos
buscando artículos publicados en 2005,
es decir, con un valor de “2005” en el
campo issue. En este caso, introduciría-
mos:
magsafe -s issue:2005
Podríamos restringir adicionalmente la
consulta a artículos del “Southwest
London Inquirer”:
magsafe -s "issue:2005 U
mag:Southwest"
Base de Datos Abstracta
Hemos visto la abstracción de base de
datos Class::DBI que usa magsafe en
otras ocasiones en la sección de Perl. En
esta ocasión, vamos a hacer las cosas
incluso más fáciles. El módulo
Class::DBI::Loader simplifica las defini-
ciones de clase para Class::DBI, pues
analiza el diseño de la base de datos y
genera clases de abstracción y sus rela-
ciones por referencia.
El listado magsafe muestra cómo se
implementa. El módulo Getopt::Std ana-
liza las opciones de línea de comandos
que acepta magsafe. La línea 29 busca -
a, -m, -t, etc. Los dos puntos en el forma-
to de la cadena establecen que un pará-
metro debe seguir a cada opción marca-
da de esta forma. getopts guarda los
valores en un hash, %o, el cual se proce-
La línea 33 comprueba si existe el
directorio del documento (puede estar
vacío), y se puede escribir en él. Si no es
así, se tendrá que crear el directorio
antes de iniciar el programa.
La función db_init() de la línea 36 se
asegura de que los usuarios no tienen
que preocuparse de los detalles de la
base de datos. Si la base de datos no
existe, db_init() usa unas pocas líneas
SQL, que empiezan en la línea 147, para
WWW.LINUX- MAGAZINE.ES
Figura 1: Escaneo de un artículo con xsane.
crear una nueva base de datos con dos
tablas. La Figura 2 muestra el esquema.
La tabla doc contiene una línea para
cada documento que guardemos. La línea
incluye el título y autor del artículo, el
número, la página y el nombre de la publi-
cación de la cual se sacó el artículo. La
mayoría de la gente no lee demasiadas
publicaciones, pero lo hacen regularmen-
te. El diseño de la base de datos sería
pobre si guardáramos el nombre completo
de la publicación en cada línea. En vez de
esto, la tabla doc tiene un campo mag con
una identificación numérica que apunta a
la línea en la tabla mag, que tiene el iden-
tificador asociado al nombre completo de
la publicación.
La tabla de definiciones que sigue a
línea 147 en magsafe es un homenaje al
estándar SQL, incluyendo la línea:
mag INT REFERENCES mag,
en la tabla doc, que tiene una pinta algo
inusual. Esta es una manera de indicar que
la columna mag apunta a la tabla mag, y
también de establecer la relación entre el
identificador de la publicación y el título.
Las primeras dos columnas en ambas
tablas son identificaciones numéricas, que
se etiquetan como claves primarias. El
constructor de clases Class::DBI::Loader
llamado en la línea 40 necesita que le asig-
nen indentificadores únicos a los objetos
que constituyen las líneas de la tabla. A
las filas nuevas se les asigna automática-
mente nuevos identificadores incremen-
tando el último que se usó.

La siguiente línea:
namespace => "Scanned::DB"
en la llamada al constructor del cargador
de base de datos se asegura de que las
clases de abstracción de tablas son visi-
bles en Perl en el espacio de nombres de
Scanned::DB.
Después de la llamada
Class::DBI::Loader->new(), el método
find_class() va a buscar los objetos que
representan las tablas, como se ve en las
líneas 50 y 52, proporcionando la tabla
de nombres como argumentos. $docdb,
objeto de Scanned::DB::Doc type, apunta
a la tabla de documentos doc, mientras
que $magdb (Scanned::DB::Mag) apunta
a la tabla de publicaciones, mag.
Para permitir que los objetos cumplan
con las consultas estándar Class::DBI y
también condiciones WHERE más com-
plicadas, el parámetro additional_classes
en la línea 43 realiza una petición al
paquete Class::DBI::Abstract-Search.
El parámetro relationships en la línea
46 le indica a Class::DBI::Loader que
analice las relaciones entre las tablas doc
Perl • DESARROLLO
y mag y las enlace. Gracias a la condi-
ción REFERENCES de SQL, entiende que
la columna mag de la tabla doc es sim-
plemente una clave externa, que se usa
para hacer un JOIN con la tabla mag.
Desde la Línea de
Comandos
En la línea 56 el script comienza a proce-
sar los parámetros de la línea de coman-
dos. Si no se pone la -s, el usuario no
busca una entrada de la base de datos,
sino que introducirá una nueva línea.
Las líneas de la 59 a la 67 aceptan valo-
res de varias opciones de la línea de
comandos. Si una o más opciones no se
fijan, la función ask() (proporcionada
por el módulo Sysadm::Install) muestra Figura 2: Esquema de la base de datos
al usuario los valores que faltan. El SQLite.
campo del autor es opcional y no se pre-
gunta por el. porcionan métodos para acceder a los
Seleccionar una publicación es un campos individuales en los registros: por
poco mas complejo y usa la función ejemplo, $obj-> name() devuelve el
mag_pick definida en la línea 169 y nombre de la publicación, que se guarda
siguientes. El método retrieve_all() del en la columna name de la tabla mag.
objeto tabla de base de datos $magsdb Si $picked no está activado, es decir, si la
lee todas las filas existentes en la tabla opción en la línea de comandos correspon-
mag. Los objetos de datos devueltos pro- diente a la publicación está vacía, la línea
DESARROLLO • Perl
179 usa la función pick() (también de
Sysadm::Install) para ofrecer al usuario ele-
gir de un menú de los nombres de las revis-
tas. Si el usuario elige la primera entrada,
New, la línea 181 invalida la selección y la
línea 186 permite al usuario introducir el
nombre de una nueva publicación, que
será mostrada en la lista la próxima vez. El
método find_or_create() crea entonces una
nueva entrada en la tabla mag, o bien
encuentra una revista existente.
De esta manera, la variable $mag en
la línea 57 representa una revista
nueva o existente. Como
Class::DBI::Loader hizo el trabajo pre-
viamente y analizó las relaciones entre
las tablas doc y mag, gracias a las ban-
deras relationships, ahora la línea 69
puede, sin más, llamar a nales del hash, search_where() no busca
$mag->add_to_docs() para añadir un
artículo a la tabla doc y permitir a su
columna mag que apunte a la publica-
ción de la tabla mag. El método
add_to_docs() del objeto revista no
está definido explícitamente en magsa-
fe. Se genera automáticamente en la
capa de abstracción de base de datos
DBI::Class.
Para copiar el documento PDF al direc-
torio de documentos, magsafe llama a la
función cp desde Sysadm::Install en la
línea 83. La función docpath() definida
en la línea 129 devuelve la futura ruta
completa del archivo. Para ello, simple-
mente convierte la identificación a un
entero de seis dígitos rellena con ceros y
anexa el documento al directorio.
Más Fácil que SQL
En caso de petición de búsqueda, la línea
89 itera sobre los pares column:pattern,
que proceden de la opción -s y separados
por espacios en blanco. La línea 92 separa
entonces el nombre de la columna de la
palabra clave de búsqueda. Si el nombre
de la columna es mag, la línea 96 busca
primero una revista coincidente adosán-
dole caracteres de porcentaje y llamando a
search_like() en la tabla mag. Esto puede
no devolver ninguna revista, una o
muchas en @mags. El método id()
encuentra los identificadores de las revis-
tas coincidentes, dejando a la línea 99 que
guarde una tupla tal que:
"mag" => [$id1, $id2, ...]
en el hash %search. $id1, $id2, etc… son
los identificadores numéricos para las
52 Número 08
revistas resultantes de la petición de bús-
queda, y la entrada de hash asignada a la
clave “mag” apunta a un array que con-
tiene esos identificadores como elemen-
tos.
Por otro lado, si un usuario busca por
otra columna diferente de mag, se habili-
ta la rama else en la línea 103 y la clave
de búsqueda se coloca entre signos de
porcentaje y se asigna al nombre de
columna clave en el hash %search.
El contenido del hash %search es
exactamente lo que espera el método
search_where(). Se llama en la línea 108
y devuelve líneas que cumplen todas las
condiciones especificadas por el hash. Si
el parámetro de comparación cmp está
puesto en “like” en las opciones adicio-
coincidencias literales, sino por patrones
con comodines dados como %, cum-
pliendo con el estándar SQL.
El comando print de la línea 113 se
llama para cada objeto que se ha encon-
trado, activado por la subsecuente cláu-
sula for @objs.
Caracteres no Estándar
SQLite3 espera que todas las cadenas
estén en UTF-8. En caso de que estemos
guardando los títulos con caracteres
acentuados, con ISO 8859-1, no funcio-
nará. Algunas distribuciones más nuevas
de Linux tienen sus terminales en UTF-8,
mientras que las más antiguas usan ISO
8859-1 con más frecuencia. Debemos
comprobar la variable de entorno LANG.
Si está fijada a en_US.UTF-8, por ejem-
plo, nuestras terminales usan UTF-8.
Si la variable $UTF8_TERM de la línea
20 está fijada a un valor permitido, el
script interpretará toda la entrada como
UTF-8 y no acometerá una conversión. Si
$UTF8_TERM es 0, magsafe dará por
supuesto que los datos de entrada están
en ISO 8859-1 y convertirá todo a UTF-8
antes de situarlos en la base de datos.
Si se necesita la conversión, magsafe
recurrirá al módulo CPAN Iconv. La
línea 23 crea un objeto Text::Iconv para
convertir de ISO-8859-1 a UTF-8.
Adicionalmente llama a raise_error()
con el valor 1, para forzar una excep-
ción en caso de error. El método con-
vert() convierte cualquier cadena que
le pasemos de una codificación a la
otra. El módulo Encode, para aquellos
que tengan Perl 5.8.x o posterior, es
otra alternativa.
WWW.LINUX- MAGAZINE.ES
Instalación
El script necesita los módulos DBI,
Class::DBI, Class::DBI::SQLite,
Class::DBI::Abstract-Search y
DBD::SQLite para la abstracción, todos
ellos disponibles desde CPAN.
Adicionalmente, necesitaremos
Text::Iconv y Sysadm::Install.
Si preferimos usar el cliente desde la
línea de comandos sqlite3 para investigar
la base de datos SQL manualmente, ten-
dremos que descargar el tarball desde
[4], compilarlo e instalarlo desde allí.
Las versiones 1 y 2 de Sqlite no funcio-
narán, dado que DBD::SQLite se basa en
sqlite 3.x que no es compatible con las
bases de datos generadas usando otras
versiones de SQlite.
Tenga cuidado: si estamos usando
bases de datos SQLite para otras aplica-
ciones con versiones anteriores del
módulo DBD::SQLite y queremos seguir
usándolos, necesitaremos hacer una con-
versión al nuevo formato SQLite antes de
hacer la actualización:
sqlite OLD.DB .dump | U
sqlite3 NEW.DB
Una vez que hayamos instalado la última
versión del módulo DBD::SQLite, no
podremos leer bases de datos creadas
con versiones anteriores.
La variable $DOC_DIR define el direc-
torio de documentos en la línea 27 del
script magsafe. Adicionalmente, la varia-
ble $DB_NAME en la línea 16 establece
el nombre del archivo de base de datos
SQLite. Este directorio debe existir antes
de iniciar el programa y se debe poder
escribir a él.
Ahora, los entusiastas de los medios
escritos pueden escanear artículos inte-
resantes de las revistas que leen y dejar
éstas en el contenedor de reciclaje.
Imáginese todo lo que se puede hacer
con el espacio que dejaremos libre. ■
RECURSOS
[1] Descarga de magsafe.pl: https://www.
linux-magazine.es/Magazine/
Downloads/08
[2] http://www.sane-project.org
[3] PDF Hacks, por Sid Steward, O’Reilly
2004
[4] Página Web de SQLite, http://www.
sqlite.org