LUCIDDB

LucidDB es el primer y único RDBMS de código abierto construido exclusivamente para almacenamiento de datos e inteligencia de negocios. Se basa en piedras angulares arquitectónicas como column-store, indexación de mapa de bits, combinación / agregación hash y multiversioning a nivel de página. La mayoría de los sistemas de bases de datos (tanto propietarios como de código abierto) comienzan la vida con un enfoque en las capacidades de procesamiento de transacciones, y luego obtienen capacidades analíticas atornilladas como una idea tardía (si es que lo hacen). Por el contrario, cada componente de LucidDB fue diseñado con los requisitos de la integración de datos flexible, de alto rendimiento y procesamiento de consultas sofisticado en mente. Por otra parte, la exhaustividad en el ámbito de enfoque de su arquitectura significa simplicidad para el usuario: no requiere DBA.

En lugar de lanzar hardware en los problemas de almacenamiento de datos dependiendo de clusters caros o "appliances" especializados, la escalabilidad ofrecida por la arquitectura única de LucidDB le permite lograr un gran rendimiento utilizando sólo un único servidor Linux o Windows estándar. Además de mantener los costos bajos, esto también minimiza las molestias de mantenimiento y administración.

Categoría	Característica	Beneficios
Almacenamiento	Tablas de columnas	Tasas de compresión de datos muy altas para columnas con muchos valores repetidos; E / S reducida para las consultas que acceden sólo a un subconjunto de columnas; Mayor eficacia del caché
	Indexación inteligente	Se adapta automáticamente a la representación de mapa de bits o btree en función de la distribución de datos (incluso utilizando ambos en el mismo índice para diferentes porciones de la misma tabla), produciendo una compresión de datos óptima, una E / S reducida y una evaluación rápida de expresiones booleanas sin la necesidad de Un DBA para elegir el tipo de índice
	Versión multipágina de nivel de página	Soporta la simultaneidad de lectura y escritura con la coherencia de la instantánea, permitiendo a los lectores acceder a una tabla mientras los datos se están cargando o actualizando en masa; El control de versiones a nivel de página es mucho más eficiente que los sistemas transaccionales de multiversión, como el control de versiones a nivel de fila o la reconstrucción de páginas basadas en registros
	Etiquetas de almacén	Permite que la ejecución de informes se sincronice con un estado de base de datos global particular, como el último ETL exitoso, de modo que las consultas nunca vean estados intermedios inconsistentes; Permite el ETL de goteo-alimentación, y se puede utilizar para eliminar la imposición del tiempo muerto de una ventana de ETL.
	Copia de seguridad incremental + en caliente	Permite que el sistema sea respaldado de forma consistente mientras las consultas y ETL se ejecutan, eliminando el tiempo de inactividad; Las opciones de incremento y compresión minimizan el almacenamiento de archivos y el ancho de banda.
Mejoramiento	Optimización de Star join	Evita leer filas de tablas de hechos que no son necesarias por consulta
	Ordenación de ensamblaje basada en costos y selección de índices	No se requieren sugerencias
Ejecución	Hash join / aggregation	Puede escalar hasta el número de crujir incluso los conjuntos de datos más grandes en RAM limitada a través de partición basada en disco resistente al sesgo
	Prelectura inteligente	Alto rendimiento y mayor eficacia de caché y disco porque LucidDB casi siempre puede predecir exactamente qué bloques de disco son necesarios para satisfacer una consulta
	INSERT / UPSERT como carga a granel	Las tablas se pueden cargar directamente desde fuentes externas a través de SQL; No se requiere una utilidad de cargador masivo independiente (para el rendimiento, las cargas nunca se registran en el nivel de fila, pero se pueden recuperar completamente a través del deshacer de nivel de página); La sentencia SQL: 2003 MERGE proporciona la capacidad estándar de upsert
Conectividad	Arquitectura SQL / MED	Permite que LucidDB se conecte a fuentes de datos externas heterogéneas a través de envoltorios de datos externos y acceda a su contenido como tablas externas
	Envoltorio de datos externos JDBC	Permite que las tablas externas en cualquier fuente de datos JDBC sean consultadas a través de LucidDB, con los filtros empujados hacia abajo a la fuente cuando sea posible
	Envoltura de datos externos de archivo plano	Permite que los archivos planos (por ejemplo, formato BCP o CSV) sean consultados como tablas externas a través de LucidDB
	Posibilidad de conexión	Permite la creación de nuevos contenedores de datos externos (por ejemplo, para acceder a datos de un servicio web) en Java y conexión en caliente a una instancia LucidDB en ejecución
	Paso de integración de datos Pentaho	Permite insertar datos en LucidDB desde la herramienta ETL Kettle
Extensibilidad	Arquitectura SQL / JRT	Permite que nuevas funciones y transformaciones sean desarrolladas en Java y hot-plugged en una instancia LucidDB en ejecución; LucidDB también viene con una biblioteca complementaria de funciones comunes de ETL ( applib ). Los jarros de complementos se auto-instalan mediante descriptores de despliegue .
	Funciones definidas por el usuario	Permite que el conjunto de funciones incorporadas se amplíe con la lógica de usuario personalizada
	Transformaciones definidas por el usuario	Permite nuevas funciones de tabla (como lógica personalizada para operadores de minería de datos o consultas CONNECT BY) que se agregan al sistema

Historia 

16-Jun-2010: La versión 0.9.3 ya está disponible. Esta versión estrena puertos para Mac OS / X y Windows de 64 bits; También se incluyen una serie de nuevas características tales como descriptores de despliegue de SQL / J y varias rutinas applib, además de habilitación para la carga masiva basada en HTTP de Pentaho Data Integration.

25-Oct-2009: ¡Una gran bienvenida a Dynamo BI como nuevo patrocinador corporativo para el proyecto LucidDB! Lea el anuncio en la lista de correo .

24-Oct-2009: La versión 0.9.2 ya está disponible. Se trata de una versión de mantenimiento, con nuevas características para la compatibilidad con cliente / servidor HTTP y autenticación de contraseña basada en catálogos.

8-Oct-2009: El puente PG2LucidDB ya está disponible, permitiendo el acceso a LucidDB desde cualquier entorno cliente. Vea el anuncio y obtenga el código aquí .

6-Jul-2009: ¡Un proveedor administrado de ADO.NET ya está disponible para su uso desde .net en Windows y Mono en Linux! Vea el anuncio y obtenga el código aquí .

24-May-2009: El release 0.9.1 ya está disponible. Esta es una versión de mantenimiento con algunas correcciones críticas.

22-Apr-2009: El lanzamiento 0.9.0 ya está disponible. Las nuevas características principales incluyen soporte UNICODE, ALTER TABLE ADD COLUMN, UPDATE y optimizaciones de upsert relacionadas. John Sichi está dando una charla de LucidDB en la Conferencia Percona Performance el 23 de abril.

Aunque LucidDB se destina principalmente como almacén de datos de sólo lectura, se requieren operaciones de escritura para cargar los datos en el almacén. Para permitir que las lecturas continúen durante las cargas de datos y las actualizaciones, LucidDB utiliza el control de versiones. Las páginas de datos se leen basándose en una instantánea de los datos al inicio de la transacción de inicio.Cuando se necesita actualizar una página, se crea una nueva versión de la página y se encadena de la página original. Cada transacción de escritura subsiguiente creará una nueva versión de la página y la añadirá a la cadena de páginas existente. Por lo tanto, las transacciones de larga duración y de sólo lectura pueden seguir leyendo las instantáneas más antiguas mientras que las nuevas transacciones leerán instantáneas más actualizadas. Las páginas que ya no se usan pueden recuperarse para que las cadenas de páginas no crezcan para siempre.

Interfaz