5.4 BIG DATA OVERSIGHT: FIVE KEY CO

5.4 BIG DATA OVERSIGHT: FIVE KEY CONCEPTS
The conclusion is that the standard approach to data governance in which data policies defined by an internal governance council direct control of the usability of datasets cannot be universally applied to big data applications. And yet there is definitely a need for some type of oversight that can ensure that the datasets are usable and that the analytic results are trustworthy. One way to address the need for data quality and consistency is to leverage the concept of data policies based on the information quality characteristics that are important to the big data project.
This means considering the intended uses of the results of the analyses and how the inability to exercise any kind of control on the original sources of the information production flow can be mitigated by the users on the consumption side. This approach requires a number of key concepts for data practitioners and business process owners to keep in mind:
• managing consumer data expectations;
• identifying the critical data quality dimensions;
• monitoring consistency of metadata and reference data as a basis for entity extraction;
• repurposing and reinterpretation of data;
• data enrichment and enhancement when possible.

5.4.1 Managing Consumer Data Expectations
There may be a wide variety of users consuming the results of the spectrum of big data analytics applications. Many of these applications use an intersection of available datasets. Analytics applications are supposed to be designed to provide actionable knowledge to create or improve value. The quality of information must be directly related to the ways the business processes are either expected to be improved by better quality data or how ignoring data problems leads to undesired negative impacts, and there may be varied levels of interest in asserting levels of usability and acceptability for acquired datasets by different parties.
This means, for the scope of the different big data analytics projects, you must ascertain these collective user expectations by engaging the different consumers of big data analytics to discuss how quality aspects of the input data that might affect the computed results. Some examples include:
• datasets that are out of sync from a time perspective (e.g., one dataset refers to today’s transactions being compared to pricing data from yesterday);
• not having all the datasets available that are necessary to execute the analysis;
• not knowing if the data element values that feed the algorithms taken from different datasets share the same precision (e.g., sales per minute vs sales per hour);
• not knowing if the values assigned to similarly named data attributes truly share the same underlying meaning (e.g., is a “customer” the person who pays for our products or the person who is entitled
to customer support?).
Engaging the consumers for requirements is a process of discussions with the known end users, coupled with some degree of speculation and anticipation of who the pool of potential end users are, what they might want to do with a dataset, and correspondingly, what their levels of expectation are. Then, it is important to establish how those expectations can be measured and monitored, as well as the realistic remedial actions that can be taken.

5.4.2 Identifying the Critical Dimensions of Data Quality
An important step is to determine the dimensions of data quality that are relevant to the business and then distinguish those that are only measurable from those that are both measurable and controllable. This distinction is important, since you can use the measures to assess usability when you cannot exert control and to make corrections or updates when you do have control. In either case, here are some dimensions for measuring the quality of information used for big data analytics:
• Temporal consistency: Measuring the timing characteristics of datasets used in big data analytics to see whether they are aligned from a temporal perspective.
• Timeliness: Measuring if the data streams are delivered according to end-consumer expectations.
• Currency: Measuring whether the datasets are up to date.
• Completeness: Measuring that all the data is available.
• Precision consistency: Assessing if the units of measure associated with each data source share the same precision and if those units are properly harmonized if not.
• Unique identifiability: Focusing on the ability to uniquely identify entities within datasets and data streams and link those entities to known system of record information.
• Semantic consistency: This metadata activity may incorporate a glossary of business terms, hierarchies and taxonomies for business concepts, and relationships across concept taxonomies for standardizing ways that entities identified in structured and unstructured data are tagged in preparation for data use.

5.4.3 Consistency of Metadata and Reference Data for Entity Extraction
Big data analytics is often closely coupled with the concept of text analytics, which depends on contextual semantic analysis of streaming text and consequent entity concept identification and extraction. But before you can aspire to this kind of analysis, you need to ground your definitions within clear semantics for commonly used reference data and units of measure, as well as identifying aliases used to refer to the same or similar ideas.
Analyzing relationships and connectivity in text data is key to entity identification in unstructured text. But because of the variety of types of data that span both structured and unstructured sources, one must be aware of the degree to which unstructured text is replete with nuances, variation, and double meanings. There are many examples of this ambiguity, such as references to a car, a minivan, an SUV, a truck, a roadster, as well as the manufacturer’s company name, make, or model—all referring to an automobile.
These concepts are embedded in the value within a context, and are manifested as metadata tags, keywords, and categories that are often recognized as the terms that drive how search engine optimization algorithms associate concepts with content. Entity identification and extraction depend on the differentiation between words and phrases that carry high levels of “meaning” (such as person name, business names, locations, or quantities) from those that are used to establish connections and relationships, mostly embedded within the language of the text.
As data volumes expand, there must be some process for definition (and therefore control) over concept variation in source data streams. Introducing conceptual domains and hierarchies can help with semantic consistency, especially when comparing data coming from multiple
source data streams.
Be aware that context carries meaning; as there are different inferences about data concepts and relationship, you can make based on the identification of concept entities known within your reference data domains and how close they are found in the data source or stream. But since the same terms and phrases may have different meanings depending on the participating constituency generating the content, it yet again highlights the need for precision in semantics associated with concepts extracted from data sources and streams.

Kết quả (Việt) 2:

5.4 BIG DỮ LIỆU GIÁM SÁT: FIVE KHÁI NIỆM CHÍNH
Kết luận là phương pháp tiêu chuẩn để quản trị dữ liệu trong đó các chính sách dữ liệu được xác định bởi một điều khiển trực tiếp hội đồng quản trị nội bộ của các khả năng sử dụng các bộ dữ liệu có thể không được áp dụng phổ biến cho các ứng dụng dữ liệu lớn. Và có chắc chắn là một nhu cầu cho một số loại giám sát có thể đảm bảo rằng các tập dữ liệu là hoàn toàn tin rằng các kết quả phân tích đáng tin cậy. Một cách để giải quyết nhu cầu về chất lượng và nhất quán là để tận dụng các khái niệm về chính sách dữ liệu dựa trên các đặc tính chất lượng thông tin quan trọng đối với các dự án lớn dữ liệu.
Điều này có nghĩa là xem xét các mục đích sử dụng của các kết quả phân tích và làm thế nào không có khả năng để thực hiện bất kỳ loại điều khiển trên nguồn gốc của dòng sản thông tin có thể được giảm nhẹ bởi những người sử dụng ở bên tiêu thụ. Cách tiếp cận này đòi hỏi một số khái niệm quan trọng cho các học viên dữ liệu và các chủ sở hữu quá trình kinh doanh để giữ trong tâm trí:
• quản lý dữ liệu mong đợi của người tiêu dùng;
• xác định các kích thước chất lượng dữ liệu quan trọng;
• giám sát thống nhất của các siêu dữ liệu và dữ liệu tham khảo như một cơ sở cho việc khai thác tổ chức;
• đặt lại mục tiêu và diễn giải lại các dữ liệu;
• làm giàu dữ liệu và tăng cường khi có thể. 5.4.1 Expectations Giám dữ liệu người tiêu dùng có thể có nhiều người dùng tiêu thụ các kết quả của quang phổ của các ứng dụng phân tích dữ liệu lớn. Nhiều người trong số các ứng dụng này sử dụng một giao điểm của bộ dữ liệu có sẵn. Ứng dụng Analytics có nghĩa vụ phải được thiết kế để cung cấp kiến thức hành động để tạo ra hoặc cải thiện giá trị. Chất lượng thông tin phải liên quan trực tiếp đến cách các quy trình kinh doanh là một trong hai dự kiến sẽ được cải thiện bởi các dữ liệu chất lượng tốt hơn hoặc làm thế nào bỏ qua vấn đề dữ liệu dẫn đến những tác động tiêu cực không mong muốn, và có thể được thay đổi mức độ quan tâm trong việc khẳng định mức độ của khả năng sử dụng và chấp nhận cho bộ dữ liệu được mua lại bởi các bên khác nhau. Điều này có nghĩa, trong khuôn khổ các dự án phân tích dữ liệu lớn khác nhau, bạn phải xác định những mong đợi của người dùng tập thể bằng cách đưa người tiêu dùng khác nhau của phân tích dữ liệu lớn để thảo luận về các khía cạnh chất lượng của dữ liệu đầu vào mà có thể ảnh hưởng đến kết quả tính toán. Một số ví dụ bao gồm: • các bộ dữ liệu được đồng bộ từ một quan điểm thời gian (ví dụ, một bộ dữ liệu liên quan đến các giao dịch hiện nay đang được so sánh với dữ liệu giá từ hôm qua); • không có tất cả các bộ dữ liệu có sẵn đó là cần thiết để thực hiện các phân tích; • không biết nếu các giá trị phần tử dữ liệu mà ăn các thuật toán lấy từ các bộ dữ liệu khác nhau chia sẻ chính xác tương tự (ví dụ, doanh số bán hàng mỗi phút vs bán hàng mỗi giờ); • không biết nếu các giá trị được gán cho dữ liệu có tên tương tự thuộc tính thật sự chia sẻ ý nghĩa cơ bản giống nhau (ví dụ: , là một "khách hàng" của người trả tiền cho các sản phẩm của chúng tôi hoặc những người có quyền để hỗ trợ khách hàng?). Tham gia vào những người tiêu dùng đối với các yêu cầu là một quá trình của các cuộc thảo luận với những người sử dụng cuối cùng được biết, cùng với một số mức độ đầu cơ và dự đoán các hồ bơi của người dùng cuối có tiềm năng là ai, những gì họ có thể muốn làm gì với một bộ dữ liệu, và tương ứng với những gì mức độ kỳ vọng là. Sau đó, điều quan trọng là phải thiết lập như thế nào những kỳ vọng có thể được đo và theo dõi, cũng như các hành động khắc phục hậu quả thực tế có thể được thực hiện. 5.4.2 Xác định các khía cạnh quan trọng của chất lượng dữ liệu Một bước quan trọng là để xác định kích thước của chất lượng dữ liệu mà có liên quan đến công việc kinh doanh và sau đó phân biệt được những điều đó chỉ có thể đo lường từ những người mà cả hai đều có thể đo lường và kiểm soát. Sự khác biệt này là rất quan trọng, vì bạn có thể sử dụng các biện pháp để đánh giá khả năng sử dụng khi bạn không thể kiểm soát và phát huy để sửa chữa hoặc cập nhật khi bạn có kiểm soát. Trong cả hai trường hợp, đây là một số kích thước để đo lường chất lượng thông tin được sử dụng để phân tích dữ liệu lớn: • quán Temporal: Đo lường các đặc tính thời gian của bộ dữ liệu được sử dụng trong phân tích dữ liệu lớn để xem liệu họ có được liên kết từ một cảnh tạm thời. • Kịp thời: Đo nếu các dòng dữ liệu được cung cấp theo những mong đợi của người tiêu dùng cuối cùng. • tệ:. Đo xem các tập dữ liệu được cập nhật • Đầy đủ:. Đo rằng tất cả các dữ liệu có sẵn • Chính xác nhất quán: Đánh giá nếu các đơn vị đo lường kết hợp với mỗi dữ liệu nguồn chia sẻ chính xác tương tự và nếu những đơn vị được hài hòa đúng cách nếu không. • identifiability độc đáo: Tập trung vào khả năng nhận diện các đơn vị trong tập dữ liệu và dòng dữ liệu và liên kết các thực thể để hệ thống được biết thông tin hồ sơ. • tính nhất quán ngữ nghĩa: Hoạt động này metadata có thể kết hợp một danh mục thuật ngữ kinh doanh, phân cấp và phân loại cho các khái niệm kinh doanh, và các mối quan hệ trên nguyên tắc phân loại khái niệm cho rằng các cơ quan tiêu chuẩn hóa cách xác định trong dữ liệu có cấu trúc và phi cấu trúc được gắn thẻ để chuẩn bị cho việc sử dụng dữ liệu. 5.4.3 Tính nhất quán của Siêu dữ liệu và dữ liệu tham khảo cho Entity Khai thác dữ liệu phân tích Big thường được kết hợp chặt chẽ với các khái niệm về phân tích văn bản, mà phụ thuộc vào phân tích ngữ nghĩa theo ngữ cảnh của dòng văn bản và thực thể quả xác định khái niệm và khai thác. Nhưng trước khi bạn có thể mong muốn phân tích loại này, bạn cần phải định nghĩa mặt đất của bạn trong ngữ nghĩa rõ ràng cho các dữ liệu thường được sử dụng tài liệu tham khảo và các đơn vị đo lường, cũng như xác định các bí danh dùng để chỉ những ý tưởng tương tự hoặc tương tự. Phân tích các mối quan hệ và kết nối trong dữ liệu văn bản là chìa khóa để nhận dạng thực thể trong văn bản phi cấu trúc. Nhưng vì sự đa dạng của các loại dữ liệu mà span cả các nguồn có cấu trúc và phi cấu trúc, người ta phải nhận thức được mức độ mà văn bản phi cấu trúc là trang bị đầy đủ với các sắc thái, biến đổi, và ý nghĩa kép. Có rất nhiều ví dụ về sự mập mờ này, chẳng hạn như tài liệu tham khảo cho một chiếc xe hơi, một minivan, SUV, xe tải, một chiếc roadster, cũng như tên công ty của nhà sản xuất, thực hiện, hoặc mô hình tất cả các đề cập đến một ô tô. Những khái niệm này được nhúng trong các giá trị trong một bối cảnh, và được biểu hiện như thẻ siêu dữ liệu, từ khóa, và loại thường được công nhận là các điều khoản mà lái xe như thế nào công cụ tìm kiếm tối ưu hóa các khái niệm thuật toán liên kết với nội dung. Nhận dạng thực thể và khai thác phụ thuộc vào sự khác biệt giữa các từ và cụm từ mà tiến mức độ cao của "ý nghĩa" (chẳng hạn như tên người, tên doanh nghiệp, địa điểm, hoặc số lượng) từ những người được sử dụng để thiết lập kết nối và các mối quan hệ, chủ yếu là nhúng trong ngôn ngữ của văn bản. Khi khối lượng dữ liệu mở rộng, phải có một số quy trình định nghĩa (và do đó kiểm soát) trên biến khái niệm trong nguồn dòng dữ liệu. Giới thiệu lĩnh vực khái niệm và phân cấp có thể giúp đỡ với sự nhất quán ngữ nghĩa, đặc biệt là khi so sánh các dữ liệu đến từ nhiều luồng dữ liệu nguồn. Hãy nhận biết ngữ cảnh mang ý nghĩa; như có những suy luận khác nhau về khái niệm dữ liệu và mối quan hệ, bạn có thể thực hiện dựa trên việc xác định các thực thể khái niệm được biết đến trong lĩnh vực dữ liệu tham khảo của bạn và làm thế nào gần chúng được tìm thấy trong nguồn dữ liệu hoặc suối. Nhưng kể từ khi các từ ngữ tương tự có thể có ý nghĩa khác nhau tùy thuộc vào các cử tri tham gia tạo ra các nội dung, nó một lần nữa nhấn mạnh sự cần thiết cho độ chính xác về ngữ nghĩa gắn liền với khái niệm chiết xuất từ các nguồn dữ liệu và suối.