The criterion of optimality, i.e.,

The criterion of optimality, i.e., the term Q(x, c), can have a different interpretation or physical

meaning when implemented on a real system. For example, it is the deviation from the desired

behaviour (or output) of a system in a control application. Thus, the solution to the optimality

problem described by Equations (7.1)–(7.3) is now a problem of finding the vector c = c∗,

also called the optimal vector, which satisfies J (c). It is to be noted here that a process or

system for which the optimality is sought can be deterministic or stochastic in nature.

It is now obvious that for any deterministic or stochastic system the criterion of optimality,

i.e., the functional J (c) in Equations (7.1)–(7.3), should be known explicitly with sufficient

a priori information along with the constraints. If the functional J (c) is differentiable, its

extremum (i.e., maximum or minimum) can be obtained for the values of the parameter vector

c = (c1, c2,..., cN ) when the partial derivatives ∂ J (c)/∂cv, v = 1, 2,..., N are simultane-
ously equal to zero. That is

∂ J (c)

∇ J (c) =

∂ J (c)

,

∂c1

∂c2

,..., ∂ J (c)



∂cN

= 0 (7.4)

The vectors c = (c1, c2,..., cN ) for which ∇ J (c) = 0 are called the stationary or singular

vectors. The problem is that not all stationary vectors are optimal and they do not correspond

to the desired solution, i.e., the desired extremum of the functional. Therefore, ∇ J (c) = 0

is only a necessary condition (Tsypkin, 1971). The sufficient conditions can be derived in

the form of an inequality based on the determinant containing the partial derivatives of the

second order of the functional with respect to c = (c1, c2,..., cN ). However, it is not worth

doing even in cases where the computational effort is not huge. If there is only one extremum,

the stationary vector corresponding to the maximum or minimum can be found from the

physical conditions of the problem. The conditions of optimality define only local extrema.

Finding the global extremum becomes extremely difficult when the number of such extrema

is large.

There have been different methods for finding the unique optimal value of the vector c∗.

Gradient-based optimization techniques use derivative information in determining the search

direction. Among the gradient-based techniques, the steepest descent method and Newton’s

method are well known. Conjugate gradient, Gauss–Newton and Levenberg–Marquardt are

well-known variants of these methods. There is no guarantee that a gradient-based descent

algorithm will find the global optimum of a complex objective function within a finite time.

All descent methods are deterministic, requiring the initial points to be selected randomly,

which has a decisive effect on the final results. If the initial points are to be chosen randomly,

then the approach must be stochastic in nature or derivative-free.

If the criterion of optimality J (c) and its distribution are known, the approach for opti-
mization is to be called ordinary. There exist many ordinary approaches and they are mainly

analytic and algorithmic methods. These methods are suitable for simple problems of first and

second order. Approximations are used for higher-order problems. Algorithmic methods seem

not very promising for this kind of problem.

On the other hand, if the distribution is not known or not sufficient a priori information

is available, then an adaptive approach is used for optimization. In an adaptive approach,

current information is actively used to compensate the insufficient a priori information. When

a process is unknown (i.e., when it is not certain whether the process is deterministic or

stochastic), an adaptive approach is also applicable. The adaptive approach is mainly an

Kết quả (Việt) 1:

Các tiêu chí của điều, ví dụ, thuật ngữ Q (x, c), có thể có một giải thích khác nhau hoặc vật lýý nghĩa khi thực hiện trên một hệ thống thực sự. Ví dụ, đó là độ lệch từ mong muốnhành vi (hoặc sản lượng) của một hệ thống trong một ứng dụng điều khiển. Vì vậy, các giải pháp cho điềuvấn đề được mô tả bởi phương trình (7.1)–(7.3) bây giờ là một vấn đề của việc tìm kiếm vector c = c∗,cũng được gọi là véc tơ tối ưu đáp ứng J (c). Nó là phải lưu ý ở đây mà một quá trình hoặcHệ thống mà điều là tìm kiếm có thể được xác định hoặc ngẫu nhiên trong tự nhiên.It's bây giờ rõ ràng rằng đối với bất kỳ xác định ngẫu nhiên hệ thống hoặc các tiêu chí của điều,tức là, chức năng J (c) trong các phương trình (7.1)–(7.3), nên được biết đến một cách rõ ràng với đầy đủtiên nghiệm thông tin cùng với những hạn chế. Nếu chức năng J (c) là khả vi, của nóextremum (tức là, tối đa hoặc tối thiểu) có thể được thu được cho các giá trị của tham số vectorc = (c1, c2,..., cN) khi một phần derivatives ∂ J (c) / ∂cv, v = 1, 2,..., N là simultane -ously bằng 0. Đó là∂ J (c)∇ J (c) =∂ J (c),∂C1∂C2,..., ∂ J (c)∂CN= 0 (7.4)Vectơ c = (c1, c2,..., cN) cho ∇ J (c) = 0 được gọi là văn phòng phẩm hoặc số ítvectơ. Vấn đề là không phải tất cả văn phòng phẩm vectơ là tối ưu và họ không phù hợpgiải pháp mong muốn, tức là, extremum mong muốn của các chức năng. Vì vậy, ∇ J (c) = 0là chỉ một điều kiện cần thiết (Tsypkin, 1971). Đủ điều kiện có thể được bắt nguồn trongCác hình thức của một bất đẳng thức dựa trên yếu tố quyết định có chứa một phần derivatives của cácThứ hai thứ tự của các chức năng đối với c = (c1, c2,..., cN). Tuy nhiên, nó không phải là giá trịlàm ngay cả trong trường hợp các nỗ lực tính toán là không lớn. Nếu có chỉ có một extremum,văn phòng phẩm vector tương ứng với tối đa hoặc tối thiểu có thể được tìm thấy từ cácđiều kiện vật chất của vấn đề. Các điều kiện của điều xác định chỉ địa phương extrema.Việc tìm kiếm toàn cầu extremum trở nên cực kỳ khó khăn khi số lượng như vậy extremalà lớn.Đã có các phương pháp khác nhau cho việc tìm kiếm giá trị duy nhất tối ưu của vector c∗.Độ dốc tối ưu hóa kỹ thuật sử dụng các thông tin bắt nguồn từ trong việc xác định tìm kiếmhướng. Trong số các kỹ thuật dựa trên độ dốc, đường gốc phương pháp và Newtonphương pháp được nổi tiếng. Liên hợp gradient, Gauss-Newton và Levenberg-MarquardtPhiên bản nổi tiếng của những phương pháp này. Có là không có bảo đảm rằng một dựa trên độ dốc gốcthuật toán sẽ tìm thấy tối ưu toàn cầu của một hàm mục tiêu phức tạp trong một thời gian hữu hạn.Tất cả các phương pháp gốc được xác định, đòi hỏi phải có những điểm ban đầu để được lựa chọn ngẫu nhiên,trong đó có một ảnh hưởng quyết định kết quả cuối cùng. Nếu những điểm ban đầu là để được chọn ngẫu nhiên,sau đó phương pháp tiếp cận phải là ngẫu nhiên trong tự nhiên hoặc phái sinh miễn phí.Nếu các tiêu chí của điều J (c) và phân phối của nó được biết đến, phương pháp tiếp cận cho opti -mization là để được gọi là bình thường. Có nhiều cách tiếp cận bình thường và họ là chủ yếu làphương pháp phân tích và thuật toán. Những phương pháp này rất thích hợp cho các vấn đề đơn giản của đầu tiên vàlệnh thứ hai. Xấp xỉ được sử dụng cho các vấn đề đặt hàng cao hơn. Thuật toán phương pháp có vẻkhông phải rất hứa hẹn cho loại vấn đề.Mặt khác, nếu việc phân phối là không biết hoặc không đủ thông tin tiên nghiệmlà có, sau đó một cách tiếp cận thích nghi được sử dụng để tối ưu hóa. Trong một cách tiếp cận thích nghi,hiện tại thông tin tích cực được sử dụng để bù đắp sự không đủ thông tin priori. Khimột quá trình là không rõ (ví dụ, khi nó không phải là nhất định cho dù quá trình xác định hoặcngẫu nhiên), một cách tiếp cận thích nghi là cũng áp dụng. Các phương pháp thích nghi là chủ yếu là một

Kết quả (Việt) 2:

Các tiêu chí tối ưu, tức là hạn Q (x, c), có thể có một cách giải thích khác nhau về thể chất hoặc ý nghĩa khi được thực hiện trên một hệ thống thực. Ví dụ, nó là độ lệch từ mong muốn hành vi (hay đầu ra) của một hệ thống trong một ứng dụng điều khiển. Vì vậy, các giải pháp tối ưu cho vấn đề được mô tả bởi phương trình (7.1) - (7.3) bây giờ là một vấn đề của việc tìm kiếm các vector c = c *, còn được gọi là các vector tối ưu, thỏa mãn J (c). Nó phải được lưu ý ở đây là một quá trình hoặc hệ thống mà tối ưu được tìm kiếm có thể được xác định hoặc ngẫu nhiên trong tự nhiên. Đó là bây giờ rõ ràng rằng đối với bất kỳ hệ thống xác định hoặc ngẫu nhiên các tiêu chí tối ưu, tức là, J chức năng (c) trong phương trình (7.1) - (7.3), nên được biết đến một cách rõ ràng với đủ a priori thông tin cùng với các khó khăn. Nếu J chức năng (c) là khả vi, nó cực trị (tức là tối đa hoặc tối thiểu) có thể thu được các giá trị của vector tham số c = (c1, c2, ..., cN) khi các đạo hàm riêng ∂ J (c ) / ∂cv, v = 1, 2, ..., N được simultane- ously bằng số không. Đó là ∂ J (c) ∇ J (c) = ∂ J (c), ∂c1 ∂c2, ..., J ​​∂ (c) ∂cN = 0 (7.4) Các vectơ c = (c1, c2 ,. .., cN) mà ∇ J (c) = 0 được gọi là văn phòng phẩm hoặc số vectơ. Vấn đề là không phải tất cả các vector văn phòng phẩm là tối ưu và chúng không tương ứng với các giải pháp mong muốn, ví dụ, các cực trị mong muốn của các chức năng. Vì vậy, ∇ J (c) = 0 chỉ là một điều kiện cần thiết (Tsypkin, 1971). Các điều kiện đủ có thể được bắt nguồn trong các hình thức của một sự bất bình đẳng dựa trên các yếu tố quyết định có chứa các dẫn xuất một phần của lệnh thứ hai của các chức năng liên quan đến c = (c1, c2, ..., cN) với. Tuy nhiên, nó không phải là đáng làm, ngay cả trong trường hợp các nỗ lực tính toán không phải là lớn. Nếu chỉ có một cực trị, các vector văn phòng tương ứng với tối đa hoặc tối thiểu có thể được tìm thấy từ các điều kiện vật chất của vấn đề. Các điều kiện tối ưu xác định chỉ có cực trị địa phương. Việc tìm kiếm các cực trị toàn cầu trở nên vô cùng khó khăn khi số lượng các cực trị như vậy là lớn. Đã có những phương pháp khác nhau cho việc tìm kiếm các giá trị tối ưu duy nhất của vector c *. Kỹ thuật tối ưu Gradient dựa trên sử dụng thông tin phái sinh trong việc xác định tìm kiếm hướng. Trong số các kỹ thuật dựa trên gradient, các phương pháp gốc dốc và Newton của phương pháp đều nổi tiếng. Conjugate Gradient, Gauss-Newton và Levenberg-Marquardt được nổi tiếng biến thể của phương pháp này. Không có gì đảm bảo rằng một người gốc dựa trên gradient thuật toán sẽ tìm thấy những tối ưu toàn cục của hàm mục tiêu phức tạp trong một thời gian hữu hạn. Tất cả các phương pháp gốc là xác định, đòi hỏi các điểm ban đầu được lựa chọn ngẫu nhiên, trong đó có một ảnh hưởng quyết định kết quả cuối cùng . Nếu các điểm ban đầu sẽ được chọn ngẫu nhiên, sau đó tiếp cận phải là ngẫu nhiên trong tự nhiên hoặc phái sinh miễn phí. Nếu các tiêu chí tối ưu J (c) và phân phối của nó được biết đến, các phương pháp tiếp cận cho opti- mization là để được gọi là bình thường. Có tồn tại nhiều cách tiếp cận thông thường và họ chủ yếu là phương pháp phân tích và thuật toán. Những phương pháp này rất thích hợp cho vấn đề đơn giản của đầu và lệnh thứ hai. Xấp xỉ được sử dụng cho các vấn đề trật tự cao. Phương pháp thuật toán dường như không phải là rất hứa hẹn đối với các loại vấn đề. Mặt khác, nếu phân phối là không biết đến hoặc không đủ một thông tin tiên nghiệm có sẵn, sau đó một cách tiếp cận thích ứng được sử dụng để tối ưu hóa. Trong cách tiếp cận thích ứng, thông tin hiện đang tích cực sử dụng để bù đắp sự thiếu một thông tin tiên nghiệm. Khi một quá trình là không rõ (ví dụ, khi nó không chắc chắn rằng liệu quá trình này là xác định hoặc ngẫu nhiên), một cách tiếp cận thích ứng cũng được áp dụng. Các cách tiếp cận thích ứng là chủ yếu là một