Introduction to High-Performance Ap

Introduction to High-Performance Appliances for Big Data Management

Big data analytics applications combine the means for developing and implementing algorithms that must access, consume, and manage data. In essence, the framework relies on a technology ecosystem of components that must be combined in a variety of ways to address each application’s requirements, which can range from general information technology (IT) performance scalability to detailed performance improvement objectives associated with specific algorithmic demands. For example, some algorithms expect that massive amounts of data are immediately available quickly, necessitating large amounts of core memory. Other applications may need numerous iterative exchanges of data between different computing nodes, which would require highspeed networks.
The big data technology ecosystem stack may include:
• Scalable storage systems that are used for capturing, manipulating, and analyzing massive datasets.
• A computing platform, sometimes configured specifically for largescale analytics, often composed of multiple (typically multicore) processing nodes connected via a high-speed network to memory and disk storage subsystems. These are often referred to as appliances.
• A data management environment, whose configurations may range from a traditional database management system scaled to massive parallelism to databases configured with alternative distributions and layouts, to newer graph-based or other NoSQL data management schemes.
• An application development framework to simplify the process of developing, executing, testing, and debugging new application code. This framework should include programming models, development tools, program execution and scheduling, and system configuration and management capabilities.

• Layering packaged methods of scalable analytics (including statistical and data mining models) that can be configured by the analysts and other business consumers to help improve the ability to design and build analytical and predictive models.
• Oversight and management processes and tools that are necessary to ensure alignment with the enterprise analytics infrastructure and collaboration among the developers, analysts, and other business users.
In this chapter, we examine the storage, appliance, and data management aspects of this ecosystem.
6.1 USE CASES
To motivate the discussion, it is worth looking at four typical big data analytics use cases chosen from among the characteristics implementations discussed in Chapter 2:
1. Targeted customer marketing, in which customer profiles are analyzed for the purpose of formulating customized marketing campaigns to influence customer purchase behaviors.
2. Social media analytics applications that scan through streams of social media channels looking for positive or negative sentiments that are correlated to the behavior of a collective of individuals.
3. Fraud detection algorithms that analyze historical patterns of activity looking for suspicious behaviors that are indicative of fraud or abuse, as well as scanning transactions in real time looking for aberrant behavior requiring further investigation.
4. Web site recommendation engines that lever large sets of historical transaction patterns combined with customer profiles to identify suggested additional items to be presented to the customer as potential add-on purchases.
Table 6.1 provides some considerations for storage, appliance hardware, and data management related to the use case.
6.2 STORAGE CONSIDERATIONS: INFRASTRUCTURE BEDROCK FOR THE DATA LIFECYCLE (51)
In any environment intended to support the analysis of massive amounts of data, there must be the infrastructure supporting the data lifecycle from acquisition, preparation, integration, and execution. The need to acquire and manage massive amounts of data suggests a need for specialty storage systems to accommodate the big data applications.
When evaluating specialty storage offerings, some variables to consider include:
• Scalability, which looks at whether expectations for performance improvement are aligned with the additional of storage resources, and the degree to which the storage subsystem can support massive data volumes of increasing size.
• Extensibility, which examines how flexible the storage system’s architecture is in allowing the system to be grown without the constraint of artificial limits.
• Accessibility, which looks at any limitations or constraints in providing simultaneous access to an expanding user community without compromising performance.
• Fault tolerance, which imbues the storage environment with the capability to recover from intermittent failures.
• High-speed I/O capacity, which measures whether the input/output channels can satisfy the demanding timing requirements for absorbing, storing, and sharing large data volumes.
• Integratability, which measures how well the storage environment can be integrated into the production environment.
Often, the storage framework involves a software layer for managing a collection of storage resources and providing much of these capabilities. The software configures storage for replication to provide a level of fault tolerance, as well as managing communications using standard protocols (such as UDP or TCP/IP) among the different processing nodes. In addition, some frameworks will replicate stored data, providing redundancy in the event of a fault or failure.

6.3 BIG DATA APPLIANCES: HARDWARE AND SOFTWARE TUNED FOR ANALYTICS
Because big data applications and analytics demand a high level of system performance that exceeds the capabilities of typical systems, there is a general need for using scalable multiprocessor configurations tuned to meet mixed-used demand for reporting, ad hoc analysis, and more complex analytical models. And as can be seen in relation to the example use cases in Table 6.1, there are going to be a plethora of performance drivers for computational scalability, with respect to data volumes and the number of simultaneous users. Naturally, the technical leaders must assess the end-users’ scalability requirements to help in selecting a specific architectural approach.
There are essentially two approaches to configuring a highperformance architecture platform. One (the hardware appliance approach) employs specialty-hardware configurations, while the other (the software appliance approach) uses software to manage a collection of commodity hardware components.
Hardware appliances are often configured as multiprocessor systems, although the architectures may vary in relation to the ways that different memory components are configured. There are different facets of the system that contribute to maximizing system performance, including CPU/core configurations, cache memory, core memory, flash memory, temporary disk storage areas, and persistent disk storage. Hardware architects consider the varying configurations of these levels of the memory hierarchy to find the right combination of memory devices with varying sizes, costs, and speed to achieve the right level of performance and scalability and provide optimal results by satisfying the ability to respond to increasingly complex queries, while enabling simultaneous analyses.
Different architectural configurations address different scalability and performance issues in different ways, so when it comes to deciding which type of architecture is best for your analytics needs, consider different alternatives including symmetric multiprocessor (SMP) systems, massively parallel processing (MPP), as well as software appliances that adapt to parallel hardware system models.
Hardware appliances are designed for big data applications. They often will incorporate multiple (multicore) processing nodes and multiple storage nodes linked via a high-speed interconnect. Support tools are usually included as well to manage high-speed integration connectivity and enable mixed configurations of computing and storage nodes.
A software appliance for big data is essentially a suite of highperformance software components that can be layered on commodity hardware. Software appliances can incorporate database management software coupled with a high-performance execution engine and query optimization to support and take advantage of parallelization and data distribution. Vendors may round out the offering by providing application development tools, analytics capabilities, as well as enable direct user tuning with alternate data layouts for improved performance.

Kết quả (Việt) 1:

Giới thiệu về thiết bị gia dụng hiệu suất cao cho quản lý dữ liệu lớnLớn dữ liệu phân tích ứng dụng kết hợp các phương tiện để phát triển và thực hiện các thuật toán mà phải truy cập, tiêu thụ, và quản lý dữ liệu. Về bản chất, khuôn khổ dựa trên hệ sinh thái công nghệ của các thành phần phải được kết hợp trong một số cách để giải quyết yêu cầu mỗi ứng dụng có thể dao động từ thông tin tổng quát công nghệ (CNTT) hiệu suất khả năng mở rộng tới mục tiêu cải thiện hiệu suất chi tiết liên quan đến yêu cầu cụ thể của thuật toán. Ví dụ, một số thuật toán mong đợi rằng số tiền lớn của dữ liệu có sẵn ngay lập tức một cách nhanh chóng, Hải một lượng lớn bộ nhớ lõi. Các ứng dụng khác có thể cần nhiều lặp đi lặp lại trao đổi dữ liệu giữa các nút máy tính khác nhau, sẽ yêu cầu highspeed mạng.Ngăn xếp hệ sinh thái công nghệ lớn dữ liệu có thể bao gồm:• Hệ thống khả năng mở rộng lưu trữ được sử dụng cho việc chụp, thao tác, và phân tích datasets lớn.• Một tảng điện toán, đôi khi cấu hình đặc biệt cho phân tích largescale, thường bao gồm nhiều các nút (thường đa lõi) xử lý kết nối thông qua một mạng tốc độ cao để bộ nhớ và đĩa hệ thống phụ lưu trữ. Chúng thường được gọi là thiết bị gia dụng.• Một dữ liệu môi trường quản lý, mà cấu hình có thể dao động từ một hệ thống quản lý cơ sở dữ liệu truyền thống thu nhỏ để xử lý song song lớn để cơ sở dữ liệu cấu hình với phân phối thay thế và bố trí, để mới hơn dựa trên biểu đồ hoặc khác NoSQL dữ liệu quản lý chương trình.• Một khuôn khổ phát triển ứng dụng để đơn giản hóa quá trình phát triển, thực hiện, thử nghiệm và gỡ lỗi mã ứng dụng mới. Khuôn khổ này nên bao gồm lập trình mô hình, công cụ phát triển, thực hiện chương trình và lập kế hoạch, và cấu hình hệ thống và khả năng quản lý.• Lớp đóng gói các phương pháp của khả năng mở rộng phân tích (bao gồm thống kê và dữ liệu khai thác mô hình) có thể được cấu hình bởi các nhà phân tích và người tiêu dùng kinh doanh khác để giúp cải thiện khả năng để thiết kế và xây dựng mô hình phân tích và dự báo.• Giám sát và quản lý quy trình và các công cụ cần thiết để đảm bảo sự liên kết với các doanh nghiệp phân tích cơ sở hạ tầng và hợp tác giữa các nhà phát triển, các nhà phân tích, và người dùng doanh nghiệp khác.Trong chương này, chúng tôi xem xét các khía cạnh quản lý lưu trữ, thiết bị, và dữ liệu của hệ sinh thái này.6.1 TRƯỜNG HỢP SỬ DỤNGĐể khuyến khích các cuộc thảo luận, nó là giá trị nhìn vào bốn điển hình dữ liệu lớn analytics sử dụng trường hợp được lựa chọn trong số các đặc tính hiện thực thảo luận trong chương 2:1. được nhắm mục tiêu khách hàng tiếp thị, trong đó khách hàng cấu hình được phân tích cho các mục đích xây dựng tùy chỉnh các chiến dịch tiếp thị để ảnh hưởng đến khách hàng mua hành vi.2. xã hội truyền thông analytics ứng dụng quét qua dòng kênh truyền thông xã hội tìm kiếm tình cảm tích cực hay tiêu cực được tương quan đến hành vi của một tập thể của cá nhân.3. gian lận phát hiện thuật toán phân tích các mô hình lịch sử của hoạt động tìm kiếm hành vi đáng ngờ được chỉ của gian lận hoặc lạm dụng, cũng như chức năng quét các giao dịch trong thời gian thực tìm kiếm hành vi bất thường đòi hỏi phải tiếp tục điều tra.4. trang Web giới thiệu động cơ đòn bẩy lớn bộ tiêu mẫu lịch sử giao dịch kết hợp với khách hàng cấu hình để xác định các đề xuất thêm khoản mục được trình bày cho khách hàng như tiện ích tiềm năng mua.6.1 bảng cung cấp một số cân nhắc để lưu trữ, thiết bị phần cứng, và quản lý dữ liệu liên quan đến trường hợp sử dụng.6.2 CÂN NHẮC LÍ: NỀN TẢNG CƠ SỞ HẠ TẦNG CHO VÒNG ĐỜI CỦA DỮ LIỆU (51)Trong bất kỳ môi trường nhằm mục đích hỗ trợ phân tích lượng lớn dữ liệu, phải có cơ sở hạ tầng hỗ trợ vòng đời của dữ liệu từ việc mua lại, chuẩn bị, tích hợp và thực hiện. Sự cần thiết để phát hiện và quản lý số lượng lớn của dữ liệu cho thấy một nhu cầu cho hệ thống lưu trữ đặc biệt để thích ứng với các ứng dụng lớn dữ liệu.Khi đánh giá đặc biệt lưu trữ dịch vụ, bao gồm một số biến để xem xét:• Khả năng mở rộng, mà nhìn vào cho dù những kỳ vọng cho cải thiện hiệu suất được liên kết với bổ sung của tài nguyên lí, và mức độ mà các hệ thống phụ lưu trữ có thể hỗ trợ số lượng lớn dữ liệu tăng kích thước.• Khả năng mở rộng, xem xét cách linh hoạt hệ thống lưu trữ của kiến trúc là trong việc cho phép hệ thống để được trồng mà không có sự hạn chế của các giới hạn nhân tạo.• Khả năng tiếp cận, mà nhìn vào bất kỳ giới hạn hoặc hạn chế trong việc cung cấp truy cập đồng thời tới một cộng đồng người dùng rộng mà không ảnh hưởng đến hiệu suất.• Lỗi khoan dung, mà imbues môi trường lưu trữ với khả năng phục hồi từ thất bại liên tục.• Khả năng tốc độ cao I/O, các biện pháp cho dù các kênh đầu vào/đầu ra có thể đáp ứng các yêu cầu đòi hỏi thời gian để hấp thụ, lưu trữ và chia sẻ dữ liệu lớn tập.• Integratability, mà các biện pháp tốt như thế nào môi trường lưu trữ có thể được tích hợp vào môi trường sản xuất.Thông thường, khuôn khổ lưu trữ liên quan đến một lớp phần mềm để quản lý một tập hợp các nguồn lực lưu trữ và cung cấp phần lớn những khả năng. Phần mềm cấu hình lưu trữ để nhân rộng để cung cấp khả năng chịu lỗi, cũng như việc quản lý thông tin liên lạc bằng cách sử dụng tiêu chuẩn giao thức (chẳng hạn như UDP hoặc TCP/IP) trong số các nút xử lý khác nhau. Ngoài ra, một số khuôn khổ sẽ sao chép lưu trữ dữ liệu, cung cấp sự thừa trong trường hợp có một lỗi hay thất bại.6.3 THIẾT BỊ GIA DỤNG LỚN DỮ LIỆU: PHẦN CỨNG VÀ PHẦN MỀM ĐIỀU CHỈNH CHO ANALYTICSBởi vì ứng dụng lớn dữ liệu và phân tích yêu cầu một mức độ cao hiệu năng hệ thống vượt quá khả năng của hệ thống tiêu biểu, có là một vị tướng cần thiết để sử dụng khả năng mở rộng cấu hình sự điều chỉnh để đáp ứng nhu cầu sử dụng hỗn hợp cho báo cáo, đặc biệt phân tích, và mô hình phân tích phức tạp hơn. Và có thể nhìn thấy trong quan hệ với các trường hợp sử dụng ví dụ trong bảng 6,1, có đang có là một plethora của các trình điều khiển hiệu suất cho khả năng mở rộng tính toán, đối với dữ liệu khối lượng và số lượng người dùng đồng thời. Đương nhiên, các nhà lãnh đạo kỹ thuật phải đánh giá yêu cầu khả năng mở rộng của người dùng cuối cùng để giúp đỡ trong việc lựa chọn một cách tiếp cận cụ thể kiến trúc.Có những cơ bản hai phương pháp tiếp cận để cấu hình một nền tảng kiến trúc highperformance. Một (các phương pháp thiết bị phần cứng) sử dụng các cấu hình phần cứng đặc biệt, trong khi khác (phần mềm thiết bị phương pháp tiếp cận) sử dụng phần mềm để quản lý một tập hợp các thành phần phần cứng hàng hóa. Thiết bị phần cứng thường đặt cấu hình là sự hệ thống, mặc dù các kiến trúc có thể khác nhau liên quan đến cách bộ nhớ khác nhau thành phần được đặt cấu hình. Có những khía cạnh khác nhau của hệ thống đóng góp để tối đa hóa hiệu năng hệ thống, bao gồm lõi CPU/cấu hình, bộ nhớ cache, bộ nhớ lõi, bộ nhớ flash, khu vực lưu trữ đĩa tạm thời, và lưu trữ đĩa liên tục. Kiến trúc sư phần cứng xem xét các cấu hình khác nhau của các cấp độ của bộ nhớ hệ thống phân cấp để tìm thấy sự kết hợp của bộ nhớ thiết bị có kích thước khác nhau, chi phí và tốc độ để đạt được mức độ phù hợp của hiệu suất và khả năng mở rộng và cung cấp kết quả tối ưu bằng cách đáp ứng khả năng để đối phó với truy vấn ngày càng phức tạp, trong khi cho phép đồng thời phân tích.Cấu hình khác nhau của kiến trúc địa chỉ khác nhau khả năng mở rộng và vấn đề hiệu suất theo những cách khác nhau, vì vậy khi nói đến việc quyết định những loại hình của kiến trúc là tốt nhất cho nhu cầu phân tích của bạn, hãy xem xét lựa chọn thay thế khác nhau, bao gồm hệ thống (SMP) sự đối xứng, xử lý một cách ồ ạt song song (MPP), cũng như các thiết bị phần mềm mà thích ứng với các mô hình hệ thống song song phần cứng.Thiết bị phần cứng được thiết kế cho các ứng dụng lớn dữ liệu. Họ thường sẽ kết hợp nhiều (multicore) xử lý các nút và nhiều lí nút liên kết thông qua một kết nối tốc độ cao. Công cụ hỗ trợ được thường bao gồm là tốt để quản lý kết nối tốc độ cao tích hợp và cho phép các cấu hình kết hợp của máy tính và lưu trữ các nút.Một thiết bị phần mềm cho dữ liệu lớn là cơ bản một bộ thành phần phần mềm highperformance có thể được lớp trên hàng hóa phần cứng. Phần mềm thiết bị có thể kết hợp phần mềm quản lý cơ sở dữ liệu kết hợp với một hiệu suất cao thực hiện động cơ và truy vấn tối ưu hóa để hỗ trợ và tận dụng lợi thế của parallelization và dữ liệu phân phối. Nhà cung cấp có thể vòng trong việc cung cấp bằng cách cung cấp công cụ phát triển ứng dụng, khả năng phân tích, cũng như sử trực tiếp người dùng điều chỉnh với dữ liệu luân phiên bố trí để cải thiện hiệu suất.