Traditionally, the computer has bee

Traditionally, the computer has been viewed as a sequential machine. Most computer
programming languages require the programmer to specify algorithms as sequences
of instructions. Processors execute programs by executing machine instructions in
a sequence and one at a time. Each instruction is executed in a sequence of operations (fetch instruction, fetch operands, perform operation, store results).
This view of the computer has never been entirely true. At the micro-operation
level, multiple control signals are generated at the same time. Instruction pipelining,
at least to the extent of overlapping fetch and execute operations, has been around
for a long time. Both of these are examples of performing functions in parallel. This
approach is taken further with superscalar organization, which exploits instructionlevel parallelism. With a superscalar machine, there are multiple execution units
within a single processor, and these may execute multiple instructions from the
same program in parallel.
As computer technology has evolved, and as the cost of computer hardware
has dropped, computer designers have sought more and more opportunities for parallelism, usually to enhance performance and, in some cases, to increase availability.
After an overview, this chapter looks at some of the most prominent approaches
to parallel organization. First, we examine symmetric multiprocessors (SMPs), one
of the earliest and still the most common example of parallel organization. In an
SMP organization, multiple processors share a common memory. This organization
raises the issue of cache coherence, to which a separate section is devoted. Next,
the chapter examines multithreaded processors and chip multiprocessors. Then
we describe clusters, which consist of multiple independent computers organized
in a cooperative fashion. Clusters have become increasingly common to support
workloads that are beyond the capacity of a single SMP. Another approach to the
use of multiple processors that we examine is that of nonuniform memory access
(NUMA) machines. The NUMA approach is relatively new and not yet proven in
the marketplace, but is often considered as an alternative to the SMP or cluster
approach. Finally, this chapter looks at hardware organizational approaches to vector computation. These approaches optimize the ALU for processing vectors or
arrays of floating-point numbers. They are common on the class of systems known
as supercomputers.
LEARNINGOBJECTIVES
After studying this chapter, you should be able to:
 Summarize the types of parallel processor organizations.
 Present an overview of design features of symmetric multiprocessors.
 Understand the issue of cache coherence in a multiple processor system.
 Explain the key features of the MESI protocol.
 Explain the difference between implicit and explicit multithreading.
 Summarize key design issues for clusters.
 Explain the concept of nonuniform memory access.
 Present an overview of vector computation.
17.1 / MULTIPLE PROCESSOR ORGANIZATIONS 613
17.1 MULTIPLE PROCESSOR ORGANIZATIONS
Types of Parallel Processor Systems
A taxonomy first introduced by Flynn [FLYN72] is still the most common way of
categorizing systems with parallel processing capability. Flynn proposed the following categories of computer systems:
• Single instruction, single data (SISD) stream: A single processor executes
a single instruction stream to operate on data stored in a single memory.
Uniprocessors fall into this category.
• Single instruction, multiple data (SIMD) stream: A single machine instruction controls the simultaneous execution of a number of processing elements
on a lockstep basis. Each processing element has an associated data memory,
so that instructions are executed on different sets of data by different processors. Vector and array processors fall into this category, and are discussed in
Section 18.7.
• Multiple instruction, single data (MISD) stream: A sequence of data is transmitted to a set of processors, each of which executes a different instruction
sequence. This structure is not commercially implemented.
• Multiple instruction, multiple data (MIMD) stream: A set of processors simultaneously execute different instruction sequences on different data sets.
SMPs, clusters, and NUMA systems fit into this category.
With the MIMD organization, the processors are general purpose; each is able to
process all of the instructions necessary to perform the appropriate data transformation. MIMDs can be further subdivided by the means in which the processors communicate (Figure 17.1). If the processors share a common memory, then each processor
accesses programs and data stored in the shared memory, and processors communicate with each other via that memory. The most common form of such system is known
as a symmetric multiprocessor (SMP), which we examine in Section 17.2. In an SMP,
multiple processors share a single memory or pool of memory by means of a shared
bus or other interconnection mechanism; a distinguishing feature is that the memory
access time to any region of memory is approximately the same for each processor.
A more recent development is the nonuniform memory access (NUMA)organization, which is described in Section 17.5. As the name suggests, the memory access time
to different regions of memory may differ for a NUMA processor.
A collection of independent uniprocessors or SMPs may be interconnected to
form a cluster. Communication among the computers is either via fixed paths or via
some network facility.
Parallel Organizations

Kết quả (Việt) 1:

Theo truyền thống, máy tính đã được xem như là một máy tính tuần tự. Hầu hết máy tính ngôn ngữ lập trình đòi hỏi các lập trình viên để xác định các thuật toán là trình tự Các hướng dẫn. Bộ vi xử lý thực hiện chương trình bằng cách thực hiện hướng dẫn máy trong một trình tự và cùng một lúc. Mỗi hướng dẫn được thực hiện trong một chuỗi các hoạt động (tải chỉ dẫn, lấy operands, thực hiện thao tác, lưu trữ kết quả).Quan điểm này của máy tính chưa bao giờ hoàn toàn đúng. Tại micro-hoạt động cấp, nhiều tín hiệu điều khiển được tạo ra cùng một lúc. Hướng dẫn pipelining, tối thiểu ở mức độ của sự chồng lấn lấy và thực thi lệnh, đã khoảng trong một thời gian dài. Cả hai là ví dụ về thực hiện chức năng song song. Điều này cách tiếp cận được lấy thêm với tổ chức superscalar, khai thác xử lý song song instructionlevel. Với một máy superscalar, có rất nhiều thực hiện đơn vị trong vòng một bộ xử lý duy nhất, và đây có thể thực hiện nhiều hướng dẫn từ các cùng một chương trình song song.Như công nghệ máy tính đã phát triển, và như chi phí phần cứng máy tính đã giảm xuống, nhà thiết kế máy tính đã tìm cách thêm và thêm cơ hội cho xử lý song song, thường là để nâng cao hiệu suất, và trong một số trường hợp, để tăng tình trạng sẵn có. Sau khi một tổng quan, chương này sẽ xem xét một số phương pháp tiếp cận nổi bật nhất để tổ chức song song. Trước tiên, chúng tôi kiểm tra đối xứng multiprocessors (mini), một của các ví dụ sớm nhất và vẫn còn nhiều nhất phổ biến của tổ chức song song. Trong một SMP tổ chức, bộ vi xử lý nhiều chia sẻ một bộ nhớ phổ biến. Tổ chức này tăng vấn đề của bộ nhớ cache tính mạch lạc, mà một phần riêng biệt được dành. Tiếp theo, kiểm tra các chương multithreaded bộ vi xử lý và chip multiprocessors. Sau đó chúng tôi mô tả cụm, bao gồm nhiều máy tính độc lập tổ chức trong một thời trang hợp tác xã. Cụm đã trở nên ngày càng phổ biến để hỗ trợ khối lượng công việc vượt quá khả năng của một SMP duy nhất. Một cách tiếp cận đến các sử dụng bộ vi xử lý nhiều mà chúng tôi xem xét là các nonuniform bộ nhớ truy cập (NUMA) máy. Cách tiếp cận NUMA tương đối mới và chưa được chứng minh trong trên thị trường, nhưng thường được coi như là một thay thế cho SMP hoặc cụm cách tiếp cận. Cuối cùng, chương này nhìn vào phương pháp tiếp cận tổ chức phần cứng để vector tính toán. Những cách tiếp cận tối ưu hóa ALU để xử lý vector hoặc mảng floating-point số. Họ là phổ biến trên các lớp học của hệ thống được biết đến như siêu máy tính.LEARNINGOBJECTIVESSau khi nghiên cứu chương này, bạn có thể:Tóm tắt các loại của các tổ chức xử lý song song.Trình bày một tổng quan về các tính năng thiết kế của đối xứng multiprocessors.Hiểu vấn đề của bộ nhớ cache tính mạch lạc trong một hệ thống xử lý nhiều.Giải thích các tính năng quan trọng của giao thức MESI.Giải thích sự khác biệt giữa tiềm ẩn và rõ ràng đa luồng.Tóm tắt các vấn đề quan trọng thiết kế cho cụm.Giải thích các khái niệm về nonuniform bộ nhớ truy cập.Trình bày một tổng quan về các tính toán véc tơ.TỔ CHỨC BỘ VI XỬ LÝ 17.1 / NHIỀU 613 17.1 NHIỀU BỘ XỬ LÝ TỔ CHỨCLoại hệ thống bộ xử lý song songMột phân loại đầu tiên được giới thiệu bởi Flynn [FLYN72] là cách vẫn còn nhiều nhất phổ biến của phân loại hệ thống với khả năng xử lý song song. Flynn đề xuất các loại sau đây của hệ thống máy tính:• Chỉ dẫn duy nhất, dòng dữ liệu duy nhất (SISD): một bộ xử lý duy nhất thực hiện một dòng duy nhất chỉ dẫn để hoạt động trên dữ liệu được lưu trữ trong một ký ức duy nhất. Uniprocessors rơi vào loại này.• Chỉ dẫn duy nhất, nhiều luồng dữ liệu (SIMD): một hướng dẫn máy điều khiển đồng thời thực hiện một số yếu tố chế biến trên cơ sở lockstep. Mỗi phần tử xử lý có một bộ nhớ dữ liệu liên quan, do đó, rằng hướng dẫn này được thực hiện trên bộ khác nhau của dữ liệu của bộ vi xử lý khác nhau. Bộ vi xử lý vector và mảng rơi vào loại này, và sẽ được thảo luận trong Phần 18.7.• Nhiều hướng dẫn, dòng dữ liệu duy nhất (MISD): một chuỗi các dữ liệu được chuyển đến một tập hợp các bộ vi xử lý, mỗi trong số đó thực hiện một chỉ dẫn khác nhau trình tự. Cấu trúc này không được thực hiện thương mại.• Nhiều hướng dẫn, nhiều luồng dữ liệu (MIMD): một tập hợp các bộ vi xử lý đồng thời thực hiện trình tự hướng dẫn khác nhau trên bộ dữ liệu khác nhau. Mini, cụm và NUMA hệ thống phù hợp với thể loại này.Tổ chức MIMD, bộ vi xử lý là trơn; mỗi có thể xử lý tất cả các hướng dẫn cần thiết để thực hiện việc chuyển đổi dữ liệu thích hợp. MIMDs có thể được chia một phần bởi các phương tiện mà trong đó các bộ vi xử lý giao tiếp (con số 17.1). Nếu các bộ vi xử lý chia sẻ một bộ nhớ phổ biến, sau đó mỗi bộ vi xử lý truy cập chương trình và dữ liệu được lưu trong bộ nhớ dùng chung, và bộ vi xử lý giao tiếp với nhau thông qua bộ nhớ điều đó. Các hình thức phổ biến nhất của hệ thống như vậy được biết đến như là một đối xứng sự (SMP), mà chúng ta xem xét phần 17.2. Trong một SMP, bộ vi xử lý nhiều chia sẻ bộ nhớ đơn hoặc hồ bơi của bộ nhớ bằng phương tiện của một chia sẻ xe buýt hoặc cơ chế kết nối khác; một tính năng phân biệt là bộ nhớ thời gian truy cập để bất kỳ khu vực của bộ nhớ là khoảng tương tự cho mỗi bộ vi xử lý. Một phát triển gần đây là tổ chức nonuniform bộ nhớ truy cập (NUMA) được mô tả trong phần 17,5. Như tên cho thấy, thời gian truy cập bộ nhớ các khu vực khác nhau của bộ nhớ có thể khác nhau cho một bộ xử lý NUMA.Một bộ sưu tập độc lập uniprocessors hoặc mini có thể được nối liền với nhau để tạo thành một cụm. Liên lạc giữa các máy tính là thông qua con đường cố định hoặc thông qua một số cơ sở mạng.Tổ chức song song

Kết quả (Việt) 2:

Theo truyền thống, các máy tính đã được xem như là một máy tính tuần tự. Hầu hết các máy tính
ngôn ngữ lập trình yêu cầu các lập trình để xác định các thuật toán như trình tự
hướng dẫn. Bộ vi xử lý thực hiện các chương trình bằng cách thực hiện hướng dẫn của máy trong
một chuỗi và một tại một thời điểm. Mỗi chỉ lệnh được thực hiện trong một chuỗi các hoạt động (lấy hướng dẫn, lấy toán hạng, thực hiện các hoạt động, kết quả cửa hàng).
Quan điểm này của máy tính chưa bao giờ được hoàn toàn đúng. Tại vi hoạt động
cấp độ, nhiều tín hiệu điều khiển được tạo ra cùng một lúc. Hướng dẫn pipelining,
ít nhất là trong phạm vi của chồng chéo lấy và thực hiện các hoạt động, đã được khoảng
một thời gian dài. Cả hai là những ví dụ thực hiện chức năng song song. Điều này
được thực hiện cách tiếp cận hơn nữa với tổ chức superscalar, trong đó khai thác song song instructionlevel. Với một máy superscalar, có nhiều đơn vị thực hiện
trong một bộ xử lý duy nhất, và đó có thể thực hiện nhiều hướng dẫn từ
cùng một chương trình song song.
Khi công nghệ máy tính đã phát triển, và như chi phí của phần cứng máy tính
đã giảm, các nhà thiết kế máy tính đã tìm kiếm nhiều hơn và nhiều cơ hội hơn cho xử lý song song, thường là để nâng cao hiệu suất và, trong một số trường hợp, để tăng tính sẵn sàng.
Sau một cái nhìn tổng quan, chương này xem xét một số các phương pháp nổi bật nhất
để tổ chức song song. Đầu tiên, chúng tôi kiểm tra multiprocessors đối xứng (SMPS), một
trong những đầu tiên và vẫn là ví dụ phổ biến nhất của tổ chức song song. Trong một
tổ chức SMP, nhiều bộ xử lý chia sẻ một bộ nhớ chung. Tổ chức này
đặt ra vấn đề của bộ nhớ cache sự gắn kết, mà một phần riêng biệt được dành. Tiếp theo,
chương kiểm tra bộ vi xử lý đa luồng và multiprocessors chip. Sau đó,
chúng tôi mô tả các cụm, trong đó bao gồm nhiều máy tính độc lập được tổ chức
một cách hợp tác xã. Cụm đã trở nên ngày càng phổ biến để hỗ trợ
khối lượng công việc đó vượt quá khả năng của một SMP duy nhất. Một cách tiếp cận để
sử dụng nhiều bộ xử lý mà chúng ta xem xét là truy cập bộ nhớ không đồng dạng
(NUMA) máy. Cách tiếp cận Numa là tương đối mới và chưa được chứng minh trong
thị trường, nhưng thường được coi như là một thay thế cho SMP hoặc cụm
phương pháp tiếp cận. Cuối cùng, chương này xem xét phần cứng cách tiếp cận tổ chức để tính toán vector. Những cách tiếp cận tối ưu hóa ALU để xử lý vector hoặc
mảng các số dấu chấm động. Họ được phổ biến trên các lớp của hệ thống được biết đến
. như siêu máy tính
LEARNINGOBJECTIVES
Sau khi nghiên cứu chương này, bạn sẽ có thể:
? Tóm tắt các loại hình tổ chức xử lý song song.
? Trình bày tổng quan về các tính năng thiết kế của multiprocessors đối xứng.
? Hiểu được vấn đề của bộ nhớ cache sự gắn kết trong một hệ thống xử lý nhiều.
? Giải thích các tính năng chính của giao thức MESI.
? Giải thích sự khác biệt giữa đa luồng ngầm và rõ ràng.
? Tóm tắt các vấn đề thiết kế chính cho các cụm.
? Giải thích khái niệm của bộ nhớ truy cập không đồng dạng.
? Trình bày tổng quan về tính toán vector.
17,1 / nhiều tổ chức PROCESSOR 613
17,1 TỔ CHỨC BỘ XỬ LÝ NHIỀU
loại hệ thống xử lý song song
Một phân loại đầu tiên được giới thiệu bởi Flynn [FLYN72] vẫn là cách phổ biến nhất của
phân loại hệ thống với khả năng xử lý song song. Flynn đề xuất các loại sau đây của hệ thống máy tính:
• hướng dẫn đơn, dữ liệu duy nhất (SISD) dòng: Một bộ xử lý duy nhất thực hiện
. một dòng lệnh duy nhất để hoạt động trên dữ liệu được lưu trữ trong một bộ nhớ duy nhất
Uniprocessors rơi vào loại này.
• hướng dẫn đơn, dữ liệu (SIMD) dòng: Một hướng dẫn máy tính duy nhất kiểm soát việc thực hiện đồng thời của một số yếu tố xử lý
trên cơ sở và bước. Mỗi phần tử xử lý có bộ nhớ dữ liệu liên quan,
để hướng dẫn được thực hiện trên bộ khác nhau của dữ liệu bằng cách xử lý khác nhau. Vector và mảng vi xử lý rơi vào loại này, và sẽ được thảo luận trong
mục 18.7.
• Nhiều hướng dẫn, dữ liệu duy nhất (MISD) dòng: Một chuỗi các dữ liệu được truyền đến một bộ vi xử lý, mỗi trong số đó thực hiện một lệnh khác nhau
theo thứ tự. Cấu trúc này không được thực hiện thương mại.
• Nhiều hướng dẫn, nhiều dữ liệu (MIMD) dòng:. Một tập hợp các bộ vi xử lý cùng một lúc thực hiện trình tự hướng dẫn khác nhau trên bộ dữ liệu khác nhau
. SMPS, cụm, và hệ thống NUMA phù hợp với thể loại này
với các tổ chức MIMD, các bộ vi xử lý có chung mục đích; mỗi có thể
xử lý tất cả các hướng dẫn cần thiết để thực hiện việc chuyển đổi dữ liệu thích hợp. MIMDs có thể được chia nhỏ hơn nữa bằng các phương tiện, trong đó các bộ vi xử lý giao tiếp (Hình 17.1). Nếu bộ xử lý chia sẻ một bộ nhớ chung, sau đó mỗi bộ xử lý
truy cập các chương trình và dữ liệu được lưu trữ trong bộ nhớ chia sẻ, và bộ vi xử lý giao tiếp với nhau thông qua bộ nhớ. Các hình thức phổ biến nhất của hệ thống như vậy được gọi
là một đa đối xứng (SMP), mà chúng tôi kiểm tra tại mục 17.2. Trong một SMP,
nhiều bộ xử lý chia sẻ một bộ nhớ duy nhất hoặc hồ bơi của bộ nhớ bằng phương tiện của một chia sẻ
xe buýt hoặc cơ chế kết nối khác; một đặc điểm phân biệt là bộ nhớ
thời gian truy cập vào bất kỳ khu vực của bộ nhớ là xấp xỉ như nhau cho mỗi bộ xử lý.
Một phát triển gần đây hơn là truy cập bộ nhớ không đồng dạng (NUMA) tổ chức, được mô tả trong mục 17.5. Như tên cho thấy, thời gian truy cập bộ nhớ
với các khu vực khác nhau của bộ nhớ có thể khác nhau đối với một bộ xử lý Numa.
Một bộ sưu tập của uniprocessors độc lập hoặc SMPS có thể được kết nối để
tạo thành một cụm. Giao tiếp giữa các máy tính hoặc là thông qua con đường cố định hoặc thông qua
một số cơ sở mạng.
Các tổ chức song song