25 - 29 de Noviembre de 2002

Montevideo, Uruguay

Radisson Victoria Plaza Hotel

 
CL41
 
Tecnologia de Mediação para Extração e Transformação de Dados em Ambientes de Data Warehouse

Leticia Maria Gonçalvez Furtado
Instituto Militar de Engenharia - IME/RJ. Departamento de Engenharia de Sistemas
leticia.furtado@bol.com.br
Ana Maria de C. Moura
Departamento de Sistemas e Computação, Instituto Militar de Engenharia
anamoura@ime.eb.br
 
Abstract

Governmental and environmental agencies have recognized that Data Warehouses (DWs) oriented to environmental domain can cause a deep impact in the ability to preserve the environment. However, extracting and transforming environmental data from external sources in order to load them into the data organization area of a DW are much more complex when compared with conventional DWs. In environmental DWs, data are based on autonomous, heterogeneous external data sources distributed over the Web. In order to improve data extraction and transformation, this work proposes the conjointly use of a middleware system and DW technologies. Hence a middleware system locates and extracts Web data sources with their respective metadata, and applies on them a special a transformation service developed in the scope of this work as program wrappers, before loading them into the ODS (Operational data Store) of a DW. Furthermore, this transformation process is described using CWM (Common Warehouse Metamodel), a metadata standard to provide interoperability between DW development tools.

Keywords: Data Transformation, Data Warehouse, Metadata, CWM, Mediators.

 
Resumo

Agências e organizações ambientais reconhecem que Data Warehouses (DWs) orientados a assuntos ambientais podem causar profundo impacto na habilidade de proteger o meio ambiente. No entanto, a extração e transformação de dados ambientais das fontes externas para carga na área de organização de dados do DW são muito mais complexos quando comparados aos DWs convencionais. Nos DWs ambientais, os dados são baseados em fontes de dados externas, autônomas e heterogêneas distribuídas na Web. Para melhorar a extração e transformação de dados, este trabalho propõe o uso conjunto do sistema de middleware e da tecnologia de DW. O sistema de middleware localiza e extrai dados de fontes Web com seus respectivos metadados, e aplica sobre eles um serviço de transformação desenvolvido no escopo desse trabalho como wrapper de programa, depois os carrega no Operation Data Store (ODS) do DW. Esse processo de transformação é descrito usando CWM, um padrão de metadados para prover interoperabilidade entre ferramentas de desenvolvimento de DW.

Palavras Chave: Transformação de Dados, Data Warehouse, Metadados, CWM, Mediadores.



Texto completo        Volver

infoUYclei 2002