Big data analytics applications com

Big data analytics applications combine the means for developing and implementing algorithms that must access, consume, and manage data. In essence, the framework relies on a technology ecosystem of components that must be combined in a variety of ways to address each application’s requirements, which can range from general information technology (IT) performance scalability to detailed performance improvement objectives associated with specific algorithmic demands.
For example, some algorithms expect that massive amounts of data are immediately available quickly, necessitating large amounts of core memory. Other applications may need numerous iterative exchanges of data between different computing nodes, which would require highspeed networks.
The big data technology ecosystem stack may include:
• Scalable storage systems that are used for capturing, manipulating, and analyzing massive datasets.
• A computing platform, sometimes configured specifically for largescale analytics, often composed of multiple (typically multicore) processing nodes connected via a high-speed network to memory and disk storage subsystems. These are often referred to as appliances.
• A data management environment, whose configurations may range from a traditional database management system scaled to massive parallelism to databases configured with alternative distributions and layouts, to newer graph-based or other NoSQL data management schemes.
• An application development framework to simplify the process of developing, executing, testing, and debugging new application code. This framework should include programming models, development tools, program execution and scheduling, and system configuration and management capabilities.
Big Data Analytics. DOI: http://dx.doi.org/10.1016/B978-0-12-417319-4.00006-5 © 2013 Elsevier Inc.All rights reserved.
• Layering packaged methods of scalable analytics (including statistical and data mining models) that can be configured by the analysts and other business consumers to help improve the ability to design and build analytical and predictive models.
• Oversight and management processes and tools that are necessary to ensure alignment with the enterprise analytics infrastructure and collaboration among the developers, analysts, and other business users.
In this chapter, we examine the storage, appliance, and data management aspects of this ecosystem.

Các ứng dụng lớn phân tích dữ liệu kết hợp các phương tiện để phát triển và thực hiện các thuật toán mà phải truy cập, và quản lý dữ liệu. Về bản chất, khuôn khổ dựa trên một hệ sinh thái công nghệ của các thành phần đó phải được kết hợp trong nhiều cách khác nhau để giải quyết các yêu cầu của từng ứng dụng, trong đó có thể bao gồm từ công nghệ thông tin nói chung (CNTT) hiệu suất khả năng mở rộng với mục tiêu cải thiện hiệu suất chi tiết gắn với nhu cầu thuật toán cụ thể.
Ví dụ, một số thuật toán mong đợi rằng một lượng lớn dữ liệu là ngay lập tức có sẵn nhanh chóng, cần phải có một lượng lớn bộ nhớ lõi. Các ứng dụng khác có thể cần nhiều trao đổi lặp đi lặp lại của dữ liệu giữa các nút tính toán khác nhau, mà sẽ yêu cầu các mạng tốc độ cao.
Các công nghệ dữ liệu hệ sinh thái đống lớn có thể bao gồm:
. • Khả năng mở rộng hệ thống lưu trữ được sử dụng để chụp hình, thao tác, và phân tích dữ liệu khổng lồ
• Một nền tảng điện toán , đôi khi cụ thể cấu hình cho phân tích mô lớn, thường bao gồm nhiều (thường là đa lõi) chế biến các nút kết nối thông qua một mạng tốc độ cao với bộ nhớ và lưu trữ đĩa hệ thống con. Chúng thường được gọi là các thiết bị.
• Một môi trường quản lý dữ liệu, cấu hình mà có thể từ một hệ thống quản lý cơ sở dữ liệu truyền thống có quy mô lớn để song song với cơ sở dữ liệu cấu hình với các bản phân phối khác và bố trí, để đề án dựa trên đồ thị hoặc dữ liệu NoSQL khác quản lý mới.
• Một khung phát triển ứng dụng để đơn giản hóa quá trình phát triển, thực hiện, kiểm tra và gỡ lỗi mã ứng dụng mới. Khuôn khổ này nên bao gồm các mô hình lập trình, công cụ phát triển, thực hiện chương trình và lịch trình, và cấu hình hệ thống và khả năng quản lý.
Big Data Analytics. DOI:. Http://dx.doi.org/10.1016/B978-0-12-417319-4.00006-5 © 2013 Elsevier quyền Inc.All Ltd.
• Phân tán các phương thức đóng gói của phân tích khả năng mở rộng (bao gồm cả mô hình khai thác thống kê và dữ liệu) có thể được cấu hình bởi các nhà phân tích kinh doanh và người tiêu dùng khác để giúp nâng cao khả năng thiết kế và xây dựng mô hình phân tích và dự báo.
• Giám sát và quản lý các quá trình và các công cụ cần thiết để đảm bảo sự liên kết với các cơ sở hạ tầng phân tích doanh nghiệp và hợp tác giữa các nhà phát triển, các nhà phân tích, và người dùng doanh nghiệp khác.
Trong chương này, chúng ta xem xét các khía cạnh lưu trữ, thiết bị, và quản lý dữ liệu của hệ sinh thái này.