The demand for computing resources

The demand for computing resources such as CPU cycles, primary and secondary storage,and network bandwidth depend heavily on the volume of data processed by an application.

The demand for resources can be a function of the time of the day, can monotonically increase or decrease in time, or can experience predictable, or unpredictable peaks.

For example, a new web service will experience a low request rate at the very beginning and the load will exponentially increase if the service is successful. A service for income tax processing will experience a peak around the tax filling deadline, while access to a service provided by FEMA (Federal Emergency Management Agency) will increase dramatically after a natural disaster.

The elasticity of a public cloud, the fact that it can supply to an application precisely
the amount of resources it needs and that one pays only for the resources it consumes are serious incentives to migrate to a public cloud. The question we address is how scaling can be actually implemented in a cloud when a very large number of applications exhibit this often unpredictable behavior [62, 233, 355]. To make matter worse, in addition to an unpredictable external load the cloud resource management has to deal resource reallocation due to server failures.

We distinguish two scaling modes, vertical and horizontal. Vertical scaling keeps the
number of VMs of an application constant, but increases the amount of resources allocated to each one of them. This can be done either by migrating the VMs to more powerful servers, or by keeping the VMs on the same servers, but increasing their share of the CPUtime. The first alternative involves additional overhead; the VM is stopped, a snapshot of it is taken, the file is transported to a more powerful server, and, finally, the VM is restated at the new site.

Horizontal scaling is the most common mode of scaling on a cloud; it is done by increasing the number of VMs as the load increases and reducing this number when the load decreases.

Often, this leads to an increase of communication bandwidth consumed by the application.

Load balancing among the running VMs is critical for this mode of operation. For a very large application multiple load balancers may need to cooperate with one another. In some 217 instances the load balancing is done by a frontend server which distributes incoming requests of a transaction-oriented system to backend servers.
An application should de designed to support scaling. As we have seen in Section 4.6
in case of a modularly divisible application the workload partitioning is static, it is decided apriori and cannot be changed thus, the only alternative is vertical scaling. In case of an arbitrarily divisible application the workload can be partitioned dynamically; as the load increases, the system can allocate additional VMs to process the additional workload. Most cloud application belong to this class and this justifies our statement that horizontal scaling is the most common scaling mode. In this case
Mapping a computation means to assign suitable physical servers to the application. A very important first step in application processing is to identify the type of application and map it accordingly. For example, a communication-intensive application should be mapped to a powerful server to minimize the network traffic. This may increase the cost per unit of CPU usage, but it will decrease the computing time and, probably, reduce the overall cost for the user; at the same time, it will reduce the network traffic, a highly desirable effect from the perspective of the cloud service provider. To scale up and down a compute-intensive application a good strategy is to increase/decrease the number of VMs or instances; as the load is relatively stable, the overhead of starting up or terminating an instances does not
increase significantly the computing time or the cost.

Several strategies to support scaling exist. Automatic VM scaling uses pre-defined metrics, e.g., CPU utilization to make scaling decisions. Automatic scaling requires sensors to monitor the state of VMs and servers; controllers make decisions based on the information about the state of the cloud, often using a state machine model for decision making. Amazon and Rightscale (http://www.rightscale.com) offer automatic scaling. In case of AWS the CloudWatch service supports applications monitoring and allows a user to set up conditions for automatic migrations.

Non-scalable or single load balancers are also used for horizontal scaling. The Elastic Load Balancing service from Amazon automatically distributes incoming application traffic across multiple EC2 instances. Another service, the Elastic Beanstalk allows dynamic scaling between a low and a high number of instances specified by the user, see Section 3.1. The cloud user usually has to pay for the more sophisticated scaling services such as Elastic Beanstalk

Kết quả (Việt) 1:

Nhu cầu cho các tài nguyên máy tính như CPU chu kỳ, tiểu học và trung học lưu trữ và băng thông mạng phụ thuộc rất nhiều vào khối lượng dữ liệu xử lý bởi một ứng dụng. Nhu cầu về nguồn lực có thể là một chức năng của thời gian trong ngày, có thể monotonically tăng hoặc giảm trong thời gian, hoặc có thể trải nghiệm đỉnh núi dự đoán được, hoặc không thể đoán trước. Ví dụ, một dịch vụ web mới sẽ kinh nghiệm một tỷ lệ thấp yêu cầu tại rất mới bắt đầu và tải theo cấp số nhân sẽ tăng nếu dịch vụ thành công. Một dịch vụ cho xử lý thuế thu nhập sẽ kinh nghiệm một đỉnh cao xung quanh thành phố hạn chót điền thuế, trong khi truy cập vào một dịch vụ cung cấp bởi FEMA (liên bang Emergency Management Agency) sẽ tăng lên đáng kể sau một thảm họa tự nhiên.Tính đàn hồi của một đám mây công cộng, thực tế là nó có thể cung cấp cho một ứng dụng chính xácsố lượng tài nguyên cần thiết và một trả tiền chỉ để các nguồn lực nó tiêu thụ là nghiêm trọng ưu đãi để di chuyển sang một đám mây công cộng. Các câu hỏi chúng tôi địa chỉ là cách rộng có thể được thực sự thực hiện trong một đám mây khi rất nhiều các ứng dụng triển lãm hành vi này thường không thể đoán trước [62, 233, 355]. Để làm cho vấn đề tồi tệ hơn, ngoài một không thể đoán trước bên ngoài tải đám mây quản lý tài nguyên đã để đối phó tài nguyên reallocation do máy chủ thất bại.Chúng tôi phân biệt hai chế độ rộng, dọc và ngang. Dọc rộng giữ cácsố lượng máy ảo của một hằng số ứng dụng, nhưng tăng số lượng tài nguyên được cấp phát cho mỗi một trong số họ. Điều này có thể được thực hiện bằng cách di chuyển các máy ảo để mạnh hơn máy chủ hoặc bằng cách giữ các máy ảo trên máy chủ cùng một, nhưng ngày càng tăng của chia sẻ của CPUtime. Việc thay thế đầu tiên liên quan đến chi phí bổ sung; máy ảo dừng lại, một bản chụp của nó được lấy, các tập tin được vận chuyển đến một máy chủ mạnh hơn, và, cuối cùng, máy ảo restated tại trang web mới.Ngang rộng là phổ biến nhất chế độ rộng trên một đám mây; nó được thực hiện bằng cách tăng số lượng máy ảo khi tải tăng và giảm số này khi tải làm giảm.Thông thường, điều này dẫn đến sự gia tăng của truyền thông băng thông tiêu thụ bởi các ứng dụng.Cân bằng giữa các máy ảo chạy tải là rất quan trọng cho chế độ này hoạt động. Cho một ứng dụng rất lớn nhiều tải balancers có thể cần phải hợp tác với nhau. Trong một số trường hợp 217 cân bằng tải được thực hiện bởi một máy chủ lối vào đó phân phối đến yêu cầu của một hệ thống giao dịch theo định hướng tới máy chủ phụ trợ.Một ứng dụng nên de được thiết kế để hỗ trợ mở rộng quy mô. Như chúng ta đã thấy trong phần 4.6in case of a modularly divisible application the workload partitioning is static, it is decided apriori and cannot be changed thus, the only alternative is vertical scaling. In case of an arbitrarily divisible application the workload can be partitioned dynamically; as the load increases, the system can allocate additional VMs to process the additional workload. Most cloud application belong to this class and this justifies our statement that horizontal scaling is the most common scaling mode. In this caseMapping a computation means to assign suitable physical servers to the application. A very important first step in application processing is to identify the type of application and map it accordingly. For example, a communication-intensive application should be mapped to a powerful server to minimize the network traffic. This may increase the cost per unit of CPU usage, but it will decrease the computing time and, probably, reduce the overall cost for the user; at the same time, it will reduce the network traffic, a highly desirable effect from the perspective of the cloud service provider. To scale up and down a compute-intensive application a good strategy is to increase/decrease the number of VMs or instances; as the load is relatively stable, the overhead of starting up or terminating an instances does notincrease significantly the computing time or the cost.Several strategies to support scaling exist. Automatic VM scaling uses pre-defined metrics, e.g., CPU utilization to make scaling decisions. Automatic scaling requires sensors to monitor the state of VMs and servers; controllers make decisions based on the information about the state of the cloud, often using a state machine model for decision making. Amazon and Rightscale (http://www.rightscale.com) offer automatic scaling. In case of AWS the CloudWatch service supports applications monitoring and allows a user to set up conditions for automatic migrations.Non-scalable or single load balancers are also used for horizontal scaling. The Elastic Load Balancing service from Amazon automatically distributes incoming application traffic across multiple EC2 instances. Another service, the Elastic Beanstalk allows dynamic scaling between a low and a high number of instances specified by the user, see Section 3.1. The cloud user usually has to pay for the more sophisticated scaling services such as Elastic Beanstalk

Kết quả (Việt) 2:

Nhu cầu về tài nguyên máy tính như CPU, lưu trữ chính và phụ, và băng thông mạng phụ thuộc rất nhiều vào số lượng dữ liệu được xử lý bởi một ứng dụng. Nhu cầu về nguồn lực có thể là một hàm số của thời gian trong ngày, đơn điệu có thể tăng hoặc giảm trong thời gian, hoặc có thể trải nghiệm đỉnh dự đoán được, hoặc không thể đoán trước. Ví dụ, một dịch vụ web mới sẽ được trải nghiệm một tỷ lệ yêu cầu thấp ở đầu và tải sẽ tăng theo cấp số nhân nếu dịch vụ là thành công. Một dịch vụ để xử lý thuế thu nhập sẽ được trải nghiệm một cao điểm xung quanh thời hạn điền thuế, trong khi truy cập vào một dịch vụ cung cấp bởi FEMA (Cơ quan Quản lý Khẩn cấp Liên bang) sẽ tăng lên đáng kể sau khi một thảm họa tự nhiên. Các tính đàn hồi của một đám mây công cộng, thực tế là nó có thể cung cấp cho một ứng dụng chính xác số lượng tài nguyên cần thiết và một trong đó chỉ trả cho các nguồn lực nó tiêu thụ là ưu đãi nghiêm trọng để di chuyển đến một đám mây công cộng. Câu hỏi chúng ta giải quyết là làm thế nào rộng có thể được thực sự thực hiện trong một đám mây khi một số lượng rất lớn các ứng dụng hiện hành vi thường không thể đoán trước [62, 233, 355]. Để làm cho vấn đề tồi tệ hơn, ngoài một tải bên ngoài không thể đoán trước quản lý tài nguyên điện toán đám mây có để đối phó việc tái phân bổ tài nguyên do lỗi máy chủ. Chúng tôi phân biệt hai chế độ rộng, chiều dọc và ngang. Rộng dọc giữ số lượng máy ảo của một hằng số ứng dụng, nhưng tăng số lượng tài nguyên được phân bổ cho mỗi một trong số họ. Điều này có thể được thực hiện bằng cách di chuyển các máy ảo máy chủ để mạnh mẽ hơn, hoặc bằng cách giữ cho các máy ảo trên cùng một máy chủ, nhưng gia tăng thị phần của họ về CPUtime. Việc thay thế đầu tiên liên quan đến việc bổ sung trên không; VM là dừng lại, một ảnh chụp của nó được thực hiện, các tập tin được chuyển đến một máy chủ mạnh mẽ hơn, và, cuối cùng, các máy ảo được trình bày lại tại nơi ở mới. scaling ngang là chế độ thông thường nhất của nhân rộng trên một đám mây; nó được thực hiện bằng cách tăng số lượng máy ảo như tăng tải và giảm số lượng này khi tải giảm. Thông thường, điều này dẫn đến sự gia tăng băng thông truyền thông tiêu thụ bởi các ứng dụng. Tải cân bằng giữa các máy ảo đang chạy là rất quan trọng đối với chế độ này hoạt động . Đối với một ứng dụng rất lớn nhiều cân bằng tải có thể cần phải hợp tác với nhau. Trong một số trường hợp 217 cân bằng tải được thực hiện bởi một máy chủ frontend phân bố các yêu cầu gửi đến một hệ thống giao dịch theo định hướng đến các máy chủ phụ trợ. Một ứng dụng nên De thiết kế để hỗ trợ nhân rộng. Như chúng ta đã thấy trong phần 4.6 trong trường hợp của một ứng dụng theo mô đun chia các phân vùng khối lượng công việc là tĩnh, đó là quyết định apriori và không thể thay đổi do đó, lựa chọn duy nhất là mở rộng quy mô theo chiều dọc. Trong trường hợp của một ứng dụng tùy tiện chia khối lượng công việc có thể được phân chia tự động; như tăng tải, hệ thống có thể phân bổ thêm máy ảo để xử lý khối lượng công việc bổ sung. Hầu hết các ứng dụng đám mây thuộc về lớp này và điều này biện minh cho tuyên bố của chúng tôi rằng tỉ lệ ngang là chế độ rộng phổ biến nhất. Trong trường hợp này sơ đồ hóa một tính toán có nghĩa là gán các máy chủ vật lý phù hợp với các ứng dụng. Một bước rất quan trọng đầu tiên trong xử lý ứng dụng là xác định loại ứng dụng và bản đồ nó cho phù hợp. Ví dụ, một ứng dụng giao tiếp chuyên sâu nên được ánh xạ tới một máy chủ mạnh mẽ để giảm thiểu lưu lượng mạng. Điều này có thể làm tăng chi phí cho mỗi đơn vị sử dụng CPU, nhưng nó sẽ làm giảm thời gian tính toán và, có thể, làm giảm tổng chi phí cho người sử dụng; đồng thời, nó sẽ làm giảm lưu lượng mạng, một hiệu ứng rất mong muốn từ quan điểm của các nhà cung cấp dịch vụ điện toán đám mây. Để mở rộng quy mô lên xuống một ứng dụng tính toán chuyên sâu một chiến lược tốt là để tăng / giảm số lượng máy ảo hoặc trường hợp; như tải là tương đối ổn định, trên cao bắt đầu lên hoặc chấm dứt một trường hợp không làm tăng đáng kể thời gian tính toán hay chi phí. Một số chiến lược để hỗ trợ mở rộng quy mô tồn tại. Tự động rộng VM sử dụng các số liệu được xác định trước, ví dụ, sử dụng CPU để đưa ra quyết định mở rộng quy mô. Tự động rộng đòi hỏi cảm biến để theo dõi trạng thái của máy ảo và máy chủ; bộ điều khiển đưa ra quyết định dựa trên những thông tin về tình trạng của các đám mây, thường sử dụng một mô hình máy nhà nước cho việc ra quyết định. Amazon và Rightscale (http://www.rightscale.com) cung cấp rộng tự động. Trong trường hợp của AWS dịch vụ CloudWatch hỗ trợ giám sát các ứng dụng và cho phép người dùng thiết lập các điều kiện cho sự di cư tự động. Cân bằng tải không khả năng mở rộng hoặc đơn cũng được sử dụng cho tỉ lệ ngang. Các dịch vụ Load Balancing Elastic từ Amazon tự động phân phối lưu lượng ứng dụng đến trên nhiều trường hợp EC2. Dịch vụ khác, đàn hồi Beanstalk cho phép mở rộng quy mô năng động giữa mức thấp và một số lượng lớn các trường hợp quy định bởi người sử dụng, xem Phần 3.1. Người sử dụng điện toán đám mây thường phải trả tiền cho các dịch vụ mở rộng quy mô phức tạp hơn như Elastic Beanstalk