Data Warehouses are data-intensive

Data Warehouses are data-intensive systems that are used for analytical tasks in businesses such as analysing sales/profits statistics, cost/benefit relation statistics, customer preferences statistics. The term used for these tasks is “on-line analytical processing” (OLAP) in order to distinguish them from operational data-intensive systems, for which the term “on-line transaction processing” (OLTP) has become common. Thus, whenever we are confronted with data warehouse design, this includes the design of an OLAP system.
The idea of a data warehouse [In96, Ki96] is to extract data from operational databases and
to store them separately. The justification for this approach is that OLAP largely deals with
condensed data, thus does not depend on the latest updates by transactions. Furthermore, OLAP requires only read-access to the data, so the separation of the data for OLAP from OLTP allows time-consuming transaction management to be dispensed with.
Thus, the first problem in data warehouse design is to integrate views from various source
databases. This point of view of data warehouse design as a view integration problem has been strongly promoted in [Wi95] and [KM99]. On the other hand it has been observed that the structure of the data needed for OLAP, i.e. the structure of data warehouse schemata, is somehow simpler than the structure of operational databases. This has led to the notion of multi-dimensional databases, in which “facts” needed for OLAP such as number of sales, prices. are separated from “dimensions” such as time, location, product, i.e. parameters that characterise the facts. Formally, we still obtain relations, in which the dimensions form a key, but the multi-dimensional (relational) database schemata usually 254 have the form of star or snowflake schemata [In96]. The work in [GL96] presents a formal model for multi-dimensional databases.
The main idea of data warehouses implies a separation of input from operational databases and output to views that contain the data for particular OLAP tasks. In the data warehouse literature these views are often called “data marts”. The work in [LST99] presented a
different view on data warehouse design emphasising not just the input, but also the output,
i.e. the data marts and OLAP. In doing this, each data mart together with the OLAP functions working on it defines a so-called “dialogue object”. Following this idea it is astonishing that a lot of work is put into the design of data warehouses, whereas the major emphasis should be on the OLAP functions that are based on views over the warehouse.
This motivates us to take a closer look into the systems dynamics, not just the static data
structures.
Furthermore, as dialogue objects over a data warehouse lead to views over a view, it may be questioned, whether it makes sense to take a holistic approach to data warehouse design or whether it might be better to replace the data warehouse by a collection of materialised views on the operational databases. This view is also underlying the work in [TS98, Th99]. In [MSZ05] an approach to data warehouse design was presented that explicitly refers to the fundamental idea of separating input from operational databases from output to OLAP systems. The emphasis was on the distribution of data warehouses. In this paper here we discuss step-wise refinement from the 3-tier architecture, aiming at achieving a complete set of rules for the refinement. We roughly classify the rules into two groups: those that reflect additional application needs and those that reorganise and improve a specification without adding new requirements. For the first group we have to pick up techniques for view integration, reorganisation of data structures according to a formal data warehouse model [GL96], distribution design techniques [MSZ05], and constraint manipulation techniques. For the second group techniques for introducing materialised
views [TS98 and more standard operational refinement rules have to be considered.
This approach is related to a formal approach to the design of data warehouses and OLAP
systems using the method of Abstract State Machines (ASMs, [BS03, Bo03]). ¨ This formal approach was presented in [ZS04, ZM04b, SZ05]. A formalisation of refinement rules incorporating ideas from [Bo03] ¨ was introduced in [ZM04a]. We present the 3-tier architecture in Section 2. We discuss the step-wise refinement in Section 3, with examples that show how the rules should be applied, i.e. we give pragmatic guidelines for the refinement method. We conclude with a short summary.

Kết quả (Việt) 1:

Kho lưu trữ dữ liệu là hệ thống dữ liệu chuyên sâu được sử dụng cho phân tích các nhiệm vụ trong các doanh nghiệp như phân tích số liệu thống kê doanh thu/lợi nhuận, chi phí/lợi ích liên quan thống kê, số liệu thống kê sở thích khách hàng. Thuật ngữ được sử dụng cho những công việc này là "xử lý phân tích trực tuyến" (OLAP) để phân biệt chúng từ hệ thống dữ liệu chuyên sâu hoạt động, mà thuật ngữ "xử lý các giao dịch trực tuyến" (OLTP) đã trở nên phổ biến. Vì vậy, bất cứ khi nào chúng ta đang phải đối mặt với dữ liệu kho bãi thiết kế, điều này bao gồm việc thiết kế một hệ thống OLAP.Ý tưởng của một kho dữ liệu [In96, Ki96] là để trích xuất dữ liệu từ cơ sở dữ liệu hoạt động vàđể lưu trữ chúng một cách riêng biệt. Các biện minh cho phương pháp này là OLAP chủ yếu đề vớingưng tụ dữ liệu, do đó không phụ thuộc vào các bản cập nhật mới nhất của giao dịch. Hơn nữa, OLAP đòi hỏi chỉ đọc truy cập vào dữ liệu, do đó cho phép chia tách các dữ liệu cho OLAP từ OLTP tốn thời gian giao dịch quản lý để được dispensed với.Vì vậy, vấn đề đầu tiên trong thiết kế nhà kho dữ liệu là tích hợp từ nhiều nguồndatabases. This point of view of data warehouse design as a view integration problem has been strongly promoted in [Wi95] and [KM99]. On the other hand it has been observed that the structure of the data needed for OLAP, i.e. the structure of data warehouse schemata, is somehow simpler than the structure of operational databases. This has led to the notion of multi-dimensional databases, in which “facts” needed for OLAP such as number of sales, prices. are separated from “dimensions” such as time, location, product, i.e. parameters that characterise the facts. Formally, we still obtain relations, in which the dimensions form a key, but the multi-dimensional (relational) database schemata usually 254 have the form of star or snowflake schemata [In96]. The work in [GL96] presents a formal model for multi-dimensional databases.The main idea of data warehouses implies a separation of input from operational databases and output to views that contain the data for particular OLAP tasks. In the data warehouse literature these views are often called “data marts”. The work in [LST99] presented adifferent view on data warehouse design emphasising not just the input, but also the output,i.e. the data marts and OLAP. In doing this, each data mart together with the OLAP functions working on it defines a so-called “dialogue object”. Following this idea it is astonishing that a lot of work is put into the design of data warehouses, whereas the major emphasis should be on the OLAP functions that are based on views over the warehouse.This motivates us to take a closer look into the systems dynamics, not just the static datastructures.Furthermore, as dialogue objects over a data warehouse lead to views over a view, it may be questioned, whether it makes sense to take a holistic approach to data warehouse design or whether it might be better to replace the data warehouse by a collection of materialised views on the operational databases. This view is also underlying the work in [TS98, Th99]. In [MSZ05] an approach to data warehouse design was presented that explicitly refers to the fundamental idea of separating input from operational databases from output to OLAP systems. The emphasis was on the distribution of data warehouses. In this paper here we discuss step-wise refinement from the 3-tier architecture, aiming at achieving a complete set of rules for the refinement. We roughly classify the rules into two groups: those that reflect additional application needs and those that reorganise and improve a specification without adding new requirements. For the first group we have to pick up techniques for view integration, reorganisation of data structures according to a formal data warehouse model [GL96], distribution design techniques [MSZ05], and constraint manipulation techniques. For the second group techniques for introducing materialisedviews [TS98 and more standard operational refinement rules have to be considered.This approach is related to a formal approach to the design of data warehouses and OLAPsystems using the method of Abstract State Machines (ASMs, [BS03, Bo03]). ¨ This formal approach was presented in [ZS04, ZM04b, SZ05]. A formalisation of refinement rules incorporating ideas from [Bo03] ¨ was introduced in [ZM04a]. We present the 3-tier architecture in Section 2. We discuss the step-wise refinement in Section 3, with examples that show how the rules should be applied, i.e. we give pragmatic guidelines for the refinement method. We conclude with a short summary.

Kết quả (Việt) 2:

Dữ liệu kho hàng là những hệ thống dữ liệu chuyên sâu được sử dụng cho các nhiệm vụ phân tích trong các doanh nghiệp như phân tích doanh thu / lợi nhuận thống kê, số liệu thống kê liên quan chi phí / lợi ích, sở thích của khách hàng thống kê. Thời hạn sử dụng cho những công việc này là "on-line phân tích xử lý" (OLAP) để phân biệt với các hệ thống dữ liệu chuyên sâu hoạt động, mà thuật ngữ "on-line xử lý giao dịch" (OLTP) đã trở nên phổ biến. Vì vậy, bất cứ khi nào chúng ta đang phải đối mặt với thiết kế kho dữ liệu, điều này bao gồm việc thiết kế một hệ thống OLAP.
Ý tưởng về một kho dữ liệu [In96, Ki96] là để trích xuất dữ liệu từ cơ sở dữ liệu hoạt động và
lưu trữ chúng một cách riêng biệt. Các biện minh cho phương pháp này là OLAP chủ yếu đề với
dữ liệu đặc, do đó không phụ thuộc vào các bản cập nhật mới nhất của giao dịch. Hơn nữa, OLAP chỉ cần đọc truy cập vào các dữ liệu, vì vậy việc tách các dữ liệu cho OLAP từ OLTP cho phép thời gian quản lý giao dịch được miễn chế.
Vì vậy, vấn đề đầu tiên trong thiết kế kho dữ liệu là để tích hợp điểm từ nguồn khác nhau
cơ sở dữ liệu . Quan điểm này của thiết kế kho dữ liệu như là một vấn đề quan điểm hội nhập đã được đẩy mạnh trong [Wi95] và [KM99]. Mặt khác, nó đã được quan sát thấy rằng cấu trúc của dữ liệu cần thiết cho OLAP, tức là cấu trúc của lược đồ kho dữ liệu, bằng cách nào đó đơn giản hơn so với cấu trúc của cơ sở dữ liệu hoạt động. Điều này đã dẫn đến các khái niệm cơ sở dữ liệu đa chiều, trong đó "sự kiện" cần thiết cho OLAP như số lượng bán hàng, giá cả. được tách ra từ "chiều" như thời gian, địa điểm, sản phẩm, các thông số ví dụ tiêu biểu cho các sự kiện. Về hình thức, chúng ta vẫn có được các mối quan hệ, trong đó các kích thước hình thành một chìa khóa, nhưng các lược đồ đa chiều (quan hệ) cơ sở dữ liệu thường 254 có hình thức sao hoặc bông tuyết lược đồ [In96]. Các công việc trong [GL96] trình bày một mô hình chính thức cho cơ sở dữ liệu đa chiều.
Ý tưởng chính của kho dữ liệu bao hàm một sự tách biệt của đầu vào từ cơ sở dữ liệu hoạt động và đầu ra để xem có chứa các dữ liệu cho các nhiệm vụ OLAP cụ thể. Trong các tài liệu kho dữ liệu các quan điểm này thường được gọi là "siêu thị dữ liệu". Các công việc trong [LST99] trình bày một
quan điểm khác về thiết kế kho dữ liệu nhấn mạnh không chỉ là đầu vào, nhưng cũng có đầu ra,
tức là các siêu thị dữ liệu và OLAP. Để làm được điều này, mỗi mart dữ liệu cùng với các chức năng OLAP làm việc trên nó định nghĩa một cái gọi là "đối tượng đối thoại". Sau ý tưởng này là đáng ngạc nhiên rằng rất nhiều công việc được đưa vào thiết kế của kho dữ liệu, trong khi nhấn mạnh lớn nên được về chức năng OLAP được dựa trên quan điểm trong kho.
Điều này thúc đẩy chúng ta có một cái nhìn gần hơn vào hệ thống năng động, không chỉ là dữ liệu tĩnh
cấu trúc.
hơn nữa, như là đối thoại đối tượng trên một dẫn kho dữ liệu để xem qua một lần xem, nó có thể được hỏi, cho dù nó có ý nghĩa để có một cách tiếp cận toàn diện để thiết kế kho dữ liệu hoặc cho dù đó có thể là tốt hơn để thay thế các kho dữ liệu của một tập hợp các quan điểm vật hoá trên cơ sở dữ liệu hoạt động. Quan điểm này cũng được cơ bản các công việc trong [TS98, Th99]. Trong [MSZ05] một cách tiếp cận để thiết kế kho dữ liệu đã được trình bày mà đề cập rõ đến những ý tưởng cơ bản của đầu vào tách từ cơ sở dữ liệu hoạt động từ đầu ra để hệ thống OLAP. Việc nhấn mạnh vào việc phân phối các kho dữ liệu. Trong bài báo này ở đây chúng tôi thảo luận về sự tinh tế từng bước từ các kiến trúc 3-tier, nhằm đạt được một bộ hoàn chỉnh các quy tắc để sàng lọc. Chúng tôi tạm phân loại các quy tắc thành hai nhóm: những người phản ánh nhu cầu ứng dụng bổ sung và những người tổ chức lại và cải thiện một đặc điểm kỹ thuật mà không cần thêm các yêu cầu mới. Đối với nhóm đầu tiên chúng ta phải nhận kỹ thuật để xem hội nhập, tổ chức lại cấu trúc dữ liệu theo một mô hình kho dữ liệu chính thức [GL96], kỹ thuật thiết kế phân phối [MSZ05], và các kỹ thuật thao tác hạn chế. Đối với nhóm thứ hai kỹ thuật cho việc giới thiệu thể hóa
quan điểm [TS98 và quy tắc tinh hoạt động nhiều hơn tiêu chuẩn đã được xem xét.
Cách tiếp cận này có liên quan đến một phương pháp chính thức để thiết kế các kho dữ liệu và OLAP
hệ thống sử dụng các phương pháp của State Machines Tóm tắt (ASMs, [ BS03, Bo03]). ¨ cách tiếp cận chính thức này đã được trình bày trong [ZS04, ZM04b, SZ05]. Một thức hóa các quy tắc kết hợp tinh tế ý tưởng từ [Bo03] ¨ đã được giới thiệu trong [ZM04a]. Chúng tôi trình bày các kiến trúc 3-tier trong phần 2. Chúng tôi thảo luận về sự tinh tế từng bước tại mục 3, với ví dụ cho thấy cách các quy tắc cần được áp dụng, tức là chúng tôi cung cấp những hướng dẫn thiết thực cho các phương pháp sàng lọc. Chúng tôi kết thúc với một bản tóm tắt ngắn.