Sistemas Espaciales de Teledeteccin
Satlites Landsat y Sentinel
Universidad Nacional de Trujillo Valle Jequetepeque
Ingeniera Informtica
Zegarra Arana Juan Alexander
Guadalupe, Per
juze@hotmail.es
Resumen Big data, macrodatos, datos masivos, inteligencia de
datos o datos a gran escala es un concepto que hace referencia a
conjuntos de datos tan grandes que aplicaciones informtica
tradicionales del procesamiento de datos no son suficientes para
tratar con ellos y a los procedimientos usados para encontrar
patrones repetitivos dentro de esos datos.
En informtica, NoSQL (a veces llamado "no slo SQL") es una
amplia clase de sistemas de gestin de bases de datos que difieren
del modelo clsico de SGBDR (Sistema de Gestin de Bases de
Datos Relacionales, en ingls, RDBMS) en aspectos importantes,
siendo el ms destacado que no usan SQL como lenguaje principal
de consultas.
Palabras clave Big data Satlite, datos masivos, inteligencia
de datos o datos a gran escala, no slo SQL.
I. INTRODUCCIN
Del gran volumen de informacin, esta existe en una gran
variedad de datos que pueden ser representados de diversas
maneras en todo el mundo, por ejemplo de dispositivos
mviles, audio, video, sistemas GPS, incontables sensores
digitales en equipos industriales, automviles, medidores
elctricos, veletas, anemmetros, etc., los cuales pueden medir
y comunicar el posicionamiento, movimiento, vibracin,
temperatura, humedad y hasta los cambios qumicos que sufre
el aire, de tal forma que las aplicaciones que analizan estos
datos requieren que la velocidad de respuesta sea lo demasiado
rpida para lograr obtener la informacin correcta en el
momento preciso. Estas son las caractersticas principales de
una oportunidad para Big Data.
II. BIG DATA Y NOSQL
En 1998 nace el trmino NoSQL usado para identificar
aquellas bases de datos que no seguan el modelo relacional.
En 2009 el trmino fue aceptado de manera general
estableciendo cuatro tipos de bases de datos no relacionales:
Bases de datos de pares Llave-Valor.
Bases de datos documentales.
Bases de datos de almacenamiento por columna.
Bases de datos de Grafos.
Saavedra Saldaa Manuel Humberto
Guadalupe, Per
manuelsaavedra11@gmail.com
Estas bases de datos NoSQL buscan solventar las
limitaciones que el modelo relacional se encuentra en entornos
de almacenamiento masivo de datos y concretamente en las
que tiene en el momento de escalar, donde es necesario
disponer de servidores muy potentes y de balanceo de carga.
Estos problemas que ha buscado resolver NoSQL tienen una
profunda relacin con BigData.
ENTONCES, QU ES NOSQL?
NoSQL es un sistema de gestin de bases de datos que
difiere del modelo clsico de gestin relacional. Los datos
almacenados no requieren estructuras fijas como tablas,
normalmente no soportan las operaciones JOIN, ni garantizan
completamente ACID (Atomicidad, coherencia, aislamiento y
durabilidad), y habitualmente escalan bien horizontalmente.
Una vez que NoSQL solucion los problemas de gestin de
grandes cantidades de informacin surgi BigData.
QU ES BIGDATA?
BigData agrupa las tcnicas de almacenamiento, anlisis y
manejo de inmensos repositorios de datos, estos son tan
inmensos que resulta imposible tratarlos con las herramientas
de bases de datos y analticas convencionales. BigData Centra
sus caractersticas en tres partes:
Volumen. Grandes volmenes de datos, a partir de
TeraBytes o incluso PetaBytes.
Variedad. El concepto de BigData tambin suele
venir acompaado de diversos tipos de fuentes de
datos, sean estructurados o no estructurados.
Velocidad. La frecuencia de las actualizaciones de
estas grandes bases de datos tambin es un punto a
tener en cuenta. Es por ello por lo que su
procesamiento y posterior anlisis tambin ha de
realizarse prcticamente en tiempo real para poder
mejorar la toma de decisiones en base a la
informacin generada.
BigData, en trminos generales puede referirse a la tendencia
en el avance de la tecnologa que ha abierto las puertas hacia
un nuevo enfoque de entendimiento y toma de decisiones, la
cual es utilizada para describir enormes cantidades de datos
(Estructurados, no estructurados y semi estructurados) que
tomara demasiado tiempo y sera muy costoso cargarlos a una
base de datos relacional para su anlisis. De tal manera que, el
concepto de BigData aplica para toda aquella informacin que
no puede ser procesada o analizada utilizando procesos o
herramientas tradicionales. Sin embargo, BigData no se refiere
a alguna cantidad en especfico, ya que es usualmente utilizado
cuando se habla en trminos de petabytes y exabytes de datos.
GigaByte = 1,000,000,000
TeraByte = 1,000,000,000,000
PetaByte = 1,000,000,000,000,000
ExaByte = 1,000,000,000,000,000,000
Fig. 1. Escala de base de datos nosql vs la tradicional.
BIG DATA
TECNOLOGA
Existen muchsimas herramientas para tratar con big data.
Algunos ejemplos incluyen Hadoop, NoSQL, Cassandra,
Inteligencia empresarial, Aprendizaje automtico y
MapReduce. Estas herramientas tratan con algunos de los tres
tipos de big data:
Datos estructurados:
Datos que tienen bien definidos su longitud y su formato,
como las fechas, los nmeros o las cadenas de caracteres. Se
almacenan en tablas. Un ejemplo son las bases de datos
relacionales y las hojas de clculo.
Datos no estructurados:
Datos en el formato tal y como fueron recolectados,
carecen de un formato especfico. No se pueden
almacenar dentro de una tabla ya que no se puede
desgranar su informacin a tipos bsicos de datos.
Algunos ejemplos son los PDF, documentos multimedia,
correos electrnicos o documentos de texto.
Datos semiestructurados:
Datos que no se limitan a campos determinados, pero que
contiene marcadores para separar los diferentes
elementos. Es una informacin poco regular como para
ser gestionada de una forma estndar. Estos datos poseen
sus propios metadatos semiestructurados19 que describen
los objetos y las relaciones entre ellos, y pueden acabar
siendo aceptados por convencin. Un ejemplo es el
HTML, el XML o el JSON.
DE DNDE PROVIENEN TODOS ESTOS DATOS?
Un iPhone hoy en da tiene ms capacidad de cmputo que la
NASA cuando el hombre lleg a la luna por lo que la cantidad
de datos generados por persona y en unidad de tiempo es muy
grande. Catalogamos la procedencia de los datos segn las
siguientes categoras:
GENERADOS POR LAS PERSONAS:
El hecho de enviar correos electrnicos o mensajes por
WhatsApp, publicar un estado en Facebook, tuitear contenidos
o responder a una encuesta por la calle son cosas que hacemos
a diario y que crean nuevos datos y metadatos que pueden ser
analizados. Se estima que cada minuto al da se envan ms de
200 millones de correos electrnicos, se comparten ms de
700 000 piezas de contenido en Facebook, se realizan dos
millones de bsquedas en Google o se editan 48 horas de
vdeo en YouTube. Por otro lado, las trazas de utilizacin en
un sistema ERP, incluir registros en una base de datos o
introducir informacin en una hoja de clculo son otras formas
de generar estos datos.
Transacciones de datos:
La facturacin, las llamadas o las transaccin entre cuentas
generan informacin que tratada pueden ser datos relevantes.
Un ejemplo ms claro lo encontraremos en las transacciones
bancarias: lo que el usuario conoce como un ingreso de X
euros, la computacin lo interpretar como una accin llevada
a cabo en una fecha y momento determinado, en un lugar
concreto, entre unos usuarios registrados, y ms metadatos.
Marketing electrnico y web:
Se generan una gran cantidad de datos cuando se navega por
internet. Con la web 2.0 se ha roto el paradigma webmaster-
contenido-lector y los mismos usuarios se convierten en
creadores de contenido gracias a su interaccin con el sitio.
Existen muchas herramientas de seguimiento utilizadas en su
mayora con fines de marketing y anlisis de negocio. Los
movimientos de ratn quedan grabados en mapas de calor y
queda registro de cunto pasamos en cada pgina y cundo las
visitamos.
Mquina a mquina (machine to machine, M2M):
Son las tecnologas que comparten datos con dispositivos:
medidores, sensores de temperatura, de luz, de altura, de
presin, de sonido que transforman las magnitudes fsicas o
qumicas y las convierten en datos. Existen desde hace
dcadas, pero la llegada de las comunicaciones inalmbricas
(Wi-Fi, Bluetooth, RFID) ha revolucionado el mundo de los
sensores. Algunos ejemplos son los GPS en la automocin o
los sensores de signos vitales en la medicina.
Biomtrica:
Son el conjunto de datos que provienen de la seguridad,
defensa y servicios de inteligencia. Son cantidades de datos
generados por lectores biomtricos como escneres de retina,
escneres de huellas digitales, o lectores de cadenas de ADN.
El propsito de estos datos es proporcionar mecanismos de
seguridad y suelen estar custodiadas por los ministerios de
defensa y departamentos de inteligencia. Un ejemplo de
aplicacin es el cruce de ADN entre una muestra de un crimen
y una muestra en nuestra base de datos.
NOSQL
Almacenamiento NoSQL
El trmino NoSQL se refiere a Not Only SQL y son sistemas
de almacenamiento que no cumplen con el esquema entidad-
relacin. Proveen un sistema de almacenamiento mucho ms
flexible y concurrente y permiten manipular grandes
cantidades de informacin de manera mucho ms rpida que
las bases de datos relacionales.
Distinguimos cuatro grandes grupos de bases de datos
NoSQL:
Almacenamiento clave-valor (key-value):
Los datos se almacenan de forma similar a los mapas o
diccionarios de datos, donde se accede al dato a partir de una
clave nica. Los valores (datos) son aislados e independientes
entre ellos, y no son interpretados por el sistema. Pueden ser
variables simples como enteros o caracteres, u objetos. Por
otro lado, este sistema de almacenamiento carece de una
estructura de datos clara y establecida, por lo que no requiere
un formateo de los datos muy estricto.
Son tiles para operaciones simples basadas en las claves. Un
ejemplo es el aumento de velocidad de carga de un sitio web
que pueden utilizar diferentes perfiles de usuario, teniendo
mapeados los archivos que hay que incluir segn el id de
usuario y que han sido calculados con anterioridad. Apache
Cassandra es la tecnologa de almacenamiento clave-valor
ms reconocida por los usuarios.
Almacenamiento documental:
Las bases de datos documentales guardan un gran parecido
con las bases de datos Clave-Valor, diferencindose en el dato
que guardan. Si en la anterior no requera una estructura de
datos concreta, en este caso guardamos datos
semiestructurados. Estos datos pasan a llamarse documentos,
y pueden estar formateados en XML, JSON, Binary JSON o el
que acepte la misma base de datos.
Todos los documentos tienen una clave nica con la que puede
ser accedido e identificado explcitamente. Estos documentos
no son opacos al sistema, por lo que pueden ser interpretados
y lanzar queries sobre ellos. Un ejemplo que aclare cmo se
usa lo encontramos en un blog: se almacena el autor, la fecha,
el ttulo, el resumen y el contenido del post.
CouchDB o MongoDB son quiz las ms conocidas. Hay que
hacer mencin especial a MapReduce, una tecnologa de
Google inicialmente diseada para su algoritmo PageRank,
que permite seleccionar un subconjunto de datos, agruparlos o
reducirlos y cargarlos en otra coleccin, y a Hadoop que es
una tecnologa de Apache diseada para almacenar y procesar
grandes cantidades de datos.
Almacenamiento en grafo:
Las bases de datos en grafo rompen con la idea de tablas y se
basan en la teora de grafos, donde se establece que la
informacin son los nodos y las relaciones entre la
informacin son las aristas, algo similar en el modelo
relacional. Su mayor uso se contempla en casos de relacionar
grandes cantidades de datos que pueden ser muy variables. Por
ejemplo, los nodos pueden contener objetos, variables y
atributos diferentes en unos y los otros. Las operaciones de
join se sustituyen por recorridos a travs del grafo, y se guarda
una lista de adyacencias entre los nodos. Encontramos un
ejemplo en las redes sociales: en Facebook cada nodo se
considera un usuario, que puede tener aristas de amistad con
otros usuarios, o aristas de publicacin con nodos de
contenidos. Soluciones como Neo4J y GraphDB son las ms
conocidas dentro de las bases de datos en grafo.
Almacenamiento orientado a columnas:
Por ltimo, el almacenamiento Column-Oriented es parecido
al Documental. Su modelo de datos es definido como un
mapa de datos multidimensional poco denso, distribuido y
persistente. Se orienta a almacenar datos con tendencia a
escalar horizontalmente, por lo que permite guardar diferentes
atributos y objetos bajo una misma clave. A diferencia del
documental y el clave-valor, en este caso se pueden almacenar
varios atributos y objetos, pero no sern interpretables
directamente por el sistema. Permite agrupar columnas en
familias y guardar la informacin cronolgicamente,
mejorando el rendimiento. Esta tecnologa se acostumbra a
usar en casos con 100 o ms atributos por clave. Su precursor
es BigTable de Google, pero han aparecido nuevas soluciones
como HBase o HyperTable.
Ventajas
Estos sistemas responden a las necesidades de
escalabilidad horizontal que tienen cada vez ms
empresas.3
Pueden manejar enormes cantidades de datos.
No generan cuellos de botella.
Escalamiento sencillo.
Diferentes DBs NoSQL para diferentes proyectos.
Se ejecutan en clusters de mquinas baratas.
Desventajas
Las bases de datos NoSQL al ser de cdigo abierto
poseen un soporte diferente al soporte que ofrecen las
compaas comerciales a sus productos. La
comunidad open source, si bien podra responder a
cualquier problema, posiblemente se puedan tardar
ms que una compaa comercial de cdigo
propietario.
No estn lo suficientemente maduros para algunas
empresas.- A pesar de sus puestas en prctica en
algunas grandes empresas, las bases de datos NoSQL
an se enfrentan a un problema de credibilidad
importante con muchas empresas. Los crticos
sealan la falta de madurez de NoSQL y los posibles
problemas de inestabilidad, mientras que citan la
madurez, y una gran funcionalidad y estabilidad de
los RDBMSes.
La falta de experiencia.- La novedad de NoSQL
significa que no hay una gran cantidad de
desarrolladores y administradores que conocen la
tecnologa -lo que hace difcil a las empresas
encontrar personas con los conocimientos tcnicos
apropiados. Por el contrario, el mundo RDBMS tiene
miles de personas muy cualificadas.
Problemas de compatibilidad.- A diferencia de las
bases de datos relacionales, que comparten ciertos
estndares, las bases de datos NoSQL tienen pocas
normas en comn. Cada base de datos NoSQL tiene
su propia API, las interfaces de consultas son nicas
y tienen peculiaridades. Esta falta de normas significa
que es imposible cambiar simplemente de un
proveedor a otro, por si no quedara satisfecho con el
servicio.
CONCLUSIONES
El uso de Big Data ha ayudado a los investigadores a
descubrir cosas que les podran haber tomado aos en
descubrir por si mismos sin el uso de estas
herramientas, debido a la velocidad del anlisis, es
posible que el analista de datos pueda cambiar sus
ideas basndose en el resultado obtenido y retrabajar
el procedimiento una y otra vez hasta encontrar el
verdadero valor al que se est tratando de llegar.
IBM cuenta con una plataforma de Big Data basada
en dos productos principales: IBM InfoSphere
BigInsights e IBM InfoSphere Streams.
Implementar una solucin alrededor de Big Data
implica de la integracin de diversos componentes y
proyectos que en conjunto forman el ecosistema
necesario para analizar grandes cantidades de datos.
Sin una plataforma de Big Data se necesitara que
desarrollar adicionalmente cdigo que permita
administrar cada uno de esos componentes como por
ejemplo: manejo de eventos, conectividad, alta
disponibilidad, seguridad, optimizacin y desempeo,
depuracin, monitoreo, administracin de las
aplicaciones, SQL y scripts personalizados.
III. REFERENCIA
[1] macrodatos e inteligencia de datos, alternativas a big data.
Consultado el 11 de abril de 2017.
[2] Douglas, Laney. 3D Data Management: Controlling Data
Volume, Velocity and Variety. Gartner. Consultado el 6 de
febrero de 2001. ESA Bulletin 131. August 2007.
[3] Lopez Garca, David (2012-2013). Analysis of the possibilities
of use of Big Data in organizations. Consultado el 18 de octubre
de 2014.
[4] NoSQL Relational Database Management System: Home
Page. Strozzi.it. 2 de octubre de 2007. Consultado el 29 de
marzo de 2010.