- First published in the Proceeding

- First published in the Proceedings of the European Conference on Information Management and
Evaluation (ECIME 2007), September 20-21, 2007, Montpellier, France --
Analysis of the current State of Enterprise Architecture Evaluation Methods and Practices
Martin Hoffmann
Information Technology Research Institute, University of Jyväskylä, Finland
[e-mail]
Abstract: Today, more and more organizations adopt enterprise architecture (EA) processes to cope
with the changing environment and to improve their performance and competitiveness. However, the
evaluation of EA regarding its quality and benefits is rather difficult. The studies of previous research
resulted in the recognition that there is no methodology for enabling the EA evaluation by considering
the whole EA. Therefore, this paper presents and analyses the current state of methods and practices
to evaluate EA from different viewpoints. The introduced approaches focus especially on performing
an assessment mainly based on architectural descriptions. All methods, standards, and measures
address EA related concerns and evaluation needs regarding business, information, systems, and
technology. All of the presented techniques have been developed or tested and validated in a
practical environment.
Keywords: Enterprise Architecture evaluation, evaluation methods, analysis
1. Introduction
Enterprise Architecture (EA) is an approach for supporting the management and development of an
organization through a set of architectural models, usually including the viewpoints of business,
information, information systems and technology. These views should transfer knowledge about the
organization towards involved stakeholder roles. Furthermore, they give a guideline for the necessary
architectural descriptions of the current architecture and also a future one.
The enterprise architecture is focusing on the realisation of the organization’s goals and vision though
fulfilling so called needs. A need captures those stakeholder’s concerns that will drive key decisions
by the architect, such as decisions pertaining to performance, technology or cost drivers (Hilliard,
Kurland et al. 1997). The architecture must be assessed regarding the fulfilment of these needs which
are also called evaluation needs.
The evaluation results are a useful basis for the system's improvement concerning the achievement of
the organization’s goals and vision. Furthermore, the evaluation supports the definition of the target
EA.
This paper aims at presenting the current possibilities to evaluate EA and focusing especially on
performing an assessment mainly based on the descriptions of architectural decisions and solutions.
The essential research questions investigated in this paper are:
ƒ What kind of methods for EA evaluation exists?
ƒ What are the strengths of these methods?
ƒ What evaluation needs are addressed by these methods?
The research for this study was conducted in four steps:
1. Review of Literature to identify the current state of EA evaluation methods and practices
2. Identification of evaluation needs based on the study of (Niina Hämäläinen 2007)
3. Investigation and analysis of modelling standards and quality evaluation methods from
business process, data modelling and software architecture research areas
4. Selection of techniques which could be applied on the identified evaluation needs
The studies of previous research resulted in the recognition that currently used evaluation approaches
mainly assess the EA management and development processes but there is no methodology for
enabling the EA evaluation by considering the architectural decisions and solutions.
Therefore, methods, standards and measures for the assessment of certain architectural concerns of
enterprise architecture are presented. The presented techniques address the concerns of business,
information, systems and technology separately. All of the introduced techniques have been
developed or tested and validated in a practical environment.
The paper is structured as follows. The second section describes the currently wide-spread EA
evaluation approaches enterprise maturity models and IT-Business-alignment. In the third section,
methods which can be applied to evaluate the architectural decisions and solutions are presented and
their strengths and application areas are introduced. Finally, the fourth section concludes the paper.

3. Current State of EA Evaluation
In this section, the current state of EA evaluation and especially methods which can be applied to
carry out an EA evaluation are discussed.
Existing EA assessment techniques basically focus on the improvement of enterprise architecture
management and the management process which means that new EA development targets are
identified and development priorities are set. Therefore, enterprise maturity models and IT-Businessalignment
evaluation are utilized.
One of the first capability maturity models, Capability Maturity Model for Software (CMM), was
developed by the Software Engineering Institute, Carnegie Mellon. It enables the assessment and the
control of IT-related processes as well as the assessment of organization’s development competence.
According to (Paulk 1993), architecture maturity involves an organization’s ability to organization-wide
manage the development, implementation and maintenance of architectures on various levels – e.g.
business, information, applications and infrastructure.
Most of the assessment models have been developed by consulting firms such as Gartner (Gartner
2002) and METAGroup (META Group Inc. 2000), and federal agencies or organizations, such as the
US Office of Management and Budget (OMB) (OMB 2004), the US department of commerce (DoC)
(DoC 2003), and the National Association of State Chief Information Officers (NASCIO) (NASCIO
2003). These models generally work the same way as the early CMM. Basically, they use a number of
criteria to assess architecture maturity. Typical criteria are, for example, process, governance,
communication, technology, and business alignment. For each criterion five maturity levels exist and
they are provided with a description of aspects. The maturity models differ in the amount of criteria
which are investigated. However, no matter which model is applied, they all support the identification
of insufficiencies and areas of improvement in the enterprise architecture development process.
Another approach to assess the EA management and development processes is IT-Business
alignment. There is a general agreement what alignment entails: the fit between business strategy, IT
strategy, organizational structures and processes, and IT structures and processes (Luftman 2000).
The aim of alignment is for IT activities to support those of the entire business (Chan 2002).
One well-known model is Luftman’s strategic alignment assessment model which presents an
approach for determining a company’s business-IT alignment based on six criteria: communications,
competency/value measurements, governance, partnership, skills, as well as scope and architecture
(Luftman 2000). This last criterion is used to evaluate IT maturity. According to (Luftman 2000), each
of these six variables is assigned five levels of alignment. The model provides a short description of
the aspects of each level.
3 The Evaluation of Architectural Decisions in EA Context
The evaluation of the architecture is rather challenging because there seems to be no coherent view
on enterprise architecture. Many different concepts, modelling techniques, tools, and visualisation
techniques are utilized (Jonkers 2003). Sometimes the architectural decisions are not even
documented at all. Moreover, predicting the fulfilment of goals through certain architectural decision in
a changing and highly-dynamic environment is difficult. The literature review in the area of
architecture evaluation methods resulted in the recognition that obviously there seems to be a lack of
evaluation methodologies. While there are many approaches for the assessment of software
architecture (Clements, Kazman et al. 2001), (A. V. Corry 2005), (H. Grahn 2003) (Bosch 2005),
(Bosch and Molin 1999)) there is nothing equivalent for the EA domain. According to (Hilliard, Kurland
et al. 1997), an architecture evaluation methodology must include the following tasks:
ƒ Analysis of Needs, Goals and Vision
ƒ Gather relevant documents and other artefacts related to the architecture
ƒ Evaluate documentation against measures and score results
ƒ Interpret results and identify architecture-related risks
ƒ Documentation of results.
So far there is no method which fulfils these tasks for the entire EA. That is why we decided to follow
the structure given by most of the enterprise architecture frameworks (Zachman 1987), (The Open
Group 2006), (CIO Council 1999), (Defense 2003) and analysed techniques that could be applied to
evaluate the different views of EA: business architecture, information architecture, systems
architecture, technology architecture. All presented assessment techniques are either based on
standards or are developed or validated in a practical environment.
Many of the introduced techniques rely on conceptual modelling to improve the architectural
knowledge among different stakeholders from different domains such as managers, business
analysts, and developers. These conceptual modelling standards enhance the architectural
understanding, knowledge sharing and the analysis of the structure and behaviour of the organization,
are also considered as evaluation approaches. Furthermore, review methods, simulation approaches,
and measures for assessing quality attributes are presented. In the following, the suggested
approaches are briefly introduced.
3.1 Business Architecture Evaluation
According to TOGAF (The Open Group 2006), the Business Architecture embodies the descriptions of
business goals and objectives, business functions, business processes, business rol

Kết quả (Việt) 1:

-Lần đầu tiên được xuất bản trong thủ tục tố tụng của hội nghị Châu Âu về quản lý thông tin vàĐánh giá (ECIME 2007), ngày 20-21, 2007, Montpellier, Pháp-Phân tích của hiện tại bang doanh nghiệp kiến trúc phương pháp đánh giá và thực tiễnMartin HoffmannViện nghiên cứu công nghệ thông tin, đại học Jyväskylä, Phần [e-mail]óm tắt: Hôm nay, nhiều hơn và nhiều hơn nữa tổ chức thông qua quá trình kiến trúc (EA) doanh nghiệp để đối phóvới thay đổi môi trường và để cải thiện hiệu suất và khả năng cạnh tranh của họ. Tuy nhiên, cácđánh giá của EA về chất lượng và lợi ích của nó là khá khó khăn. Các nghiên cứu của nghiên cứu trước đâykết quả là sự công nhận rằng có là không có phương pháp cho phép đánh giá EA bằng cách xem xétEA toàn bộ. Do đó, bài viết này trình bày và phân tích nhà nước hiện nay của phương pháp và thực tiễnđể đánh giá EA từ quan điểm khác nhau. Giới thiệu phương pháp tiếp cận tập trung đặc biệt là về thực hiệnđánh giá chủ yếu là dựa trên kiến trúc mô tả. Tất cả các phương pháp, tiêu chuẩn và các biện phápđịa chỉ EA liên quan đến mối quan tâm và đánh giá nhu cầu liên quan đến kinh doanh, thông tin, Hệ thống, vàcông nghệ. Tất cả các kỹ thuật trình bày đã được phát triển hoặc thử nghiệm và xác nhận trong mộtmôi trường thực tế.Từ khoá: Đánh giá doanh nghiệp kiến trúc, phương pháp đánh giá, phân tích1. giới thiệuDoanh nghiệp kiến trúc (EA) là một cách tiếp cận để hỗ trợ việc quản lý và phát triển mộttổ chức thông qua một tập hợp các mô hình kiến trúc, thường bao gồm các quan điểm kinh doanh,thông tin, Hệ thống thông tin và công nghệ. Những quan điểm nên chuyển giao kiến thức về cáctổ chức đối với các bên liên quan tham gia vai trò. Hơn nữa, họ cung cấp cho một hướng dẫn cho các cần thiếtMô tả kiến trúc của kiến trúc hiện tại và cũng là một trong tương lai.Kiến trúc doanh nghiệp đang tập trung vào việc thực hiện của tầm nhìn và mục tiêu của tổ chức mặc dùthực hiện như vậy gọi là nhu cầu. Một nhu cầu bắt mối quan tâm của bên liên quan sẽ lái xe quyết định quan trọngkiến trúc sư, chẳng hạn như quyết định liên quan đến hiệu suất, công nghệ hoặc chi phí trình điều khiển (Hilliard,Kurland et al. năm 1997). Kiến trúc phải được đánh giá về hoàn thành các nhu cầu màcòn được gọi là đánh giá nhu cầu.Các kết quả đánh giá là một cơ sở hữu ích để cải thiện các hệ thống liên quan đến thành tích củacủa tổ chức mục tiêu và tầm nhìn. Hơn nữa, việc thẩm định hỗ trợ định nghĩa của các mục tiêuEA.Bài báo này nhằm mục đích trình bày những khả năng hiện tại để đánh giá EA và tập trung đặc biệt là trênthực hiện một đánh giá chủ yếu là dựa trên những mô tả quyết định kiến trúc và các giải pháp.Các câu hỏi nghiên cứu cần thiết điều tra trong bài báo này là:Những loại các phương pháp để đánh giá EA tồn tại?Những thế mạnh của những phương pháp này là gì?Đánh giá những gì cần được giải quyết bằng những phương pháp này?Nghiên cứu cho nghiên cứu này được tiến hành trong bốn bước:1. xem xét của văn học để xác định nhà nước hiện nay của EA đánh giá phương pháp và thực tiễn2. xác định các nhu cầu đánh giá dựa trên nghiên cứu (Niina Hämäläinen 2007)3. điều tra và phân tích của mô hình tiêu chuẩn và phương pháp đánh giá chất lượng từquá trình kinh doanh, dữ liệu mô hình và lĩnh vực nghiên cứu kiến trúc phần mềm4. lựa chọn kỹ thuật mà có thể được áp dụng trên các nhu cầu được xác định đánh giáCác nghiên cứu của nghiên cứu trước đây kết quả là sự công nhận hiện đang sử dụng phương pháp tiếp cận đánh giáđánh giá chủ yếu là EA quản lý và quá trình phát triển nhưng có là không có phương pháp chocho phép đánh giá EA bằng cách xem xét quyết định kiến trúc và các giải pháp.Vì vậy, phương pháp, tiêu chuẩn và các biện pháp để đánh giá một số mối quan tâm kiến trúc củadoanh nghiệp kiến trúc được trình bày. Các kỹ thuật trình bày giải quyết mối quan tâm dịch vụ doanh nhân,thông tin, Hệ thống và công nghệ một cách riêng biệt. Tất cả các kỹ thuật giới thiệu đãphát triển hoặc thử nghiệm và xác nhận trong một môi trường thực tế. Giấy có cấu trúc như sau. Phần thứ hai mô tả hiện đang lây lan rộng EAđánh giá phương pháp tiếp cận doanh nghiệp kỳ hạn thanh toán mô hình và CNTT kinh doanh liên kết. Trong phần thứ ba,phương pháp mà có thể được áp dụng để đánh giá các quyết định kiến trúc và các giải pháp được trình bày vàCác ưu điểm và ứng dụng các khu vực được giới thiệu. Cuối cùng, phần thứ tư kết luận giấy.3. hiện tại bang EA đánh giáTrong phần này, nhà nước hiện nay của EA đánh giá và đặc biệt là các phương pháp có thể được áp dụng chothực hiện một đánh giá EA được thảo luận.Hiện tại EA đánh giá kỹ thuật về cơ bản tập trung vào việc cải thiện doanh nghiệp kiến trúcquản lý và quản lý có nghĩa là mới EA phát triển mục tiêu xử lý.xác định và ưu tiên phát triển được thiết lập. Do đó, doanh nghiệp kỳ hạn thanh toán mô hình và CNTT-Businessalignmentthẩm định được sử dụng.Một trong các mô hình trưởng thành khả năng đầu tiên, khả năng mô hình kỳ hạn thanh toán cho phần mềm (CMM), làphát triển bởi viện kỹ thuật phần mềm Carnegie Mellon. Nó cho phép đánh giá và cáckiểm soát của nó liên quan đến quá trình đánh giá của tổ chức phát triển năng lực.Theo (Paulk 1993), kiến trúc kỳ hạn thanh toán liên quan đến một tổ chức có thể phạm vi tổ chứcquản lý phát triển, thực hiện và bảo trì của kiến trúc trên cấp độ khác nhau-ví dụ:kinh doanh, thông tin, ứng dụng và cơ sở hạ tầng.Hầu hết các mô hình đánh giá đã được phát triển bởi các công ty như Gartner (Gartner tư vấn2002) và METAGroup (META nhóm Inc 2000), và các cơ quan liên bang hoặc tổ chức, chẳng hạn như cácHoa Kỳ văn phòng quản lý và ngân sách (OMB) (OMB 2004), bộ Hoa Kỳ của thương mại (DoC)(DoC 2003), và Hiệp hội quốc gia của nhân viên thông tin trưởng nhà nước (NASCIO) (NASCIONăm 2003). các mô hình này thường làm việc cùng một cách với CMM đầu. Về cơ bản, họ sử dụng một sốtiêu chí để đánh giá sự trưởng thành kiến trúc. Điển hình tiêu chuẩn là, ví dụ, quá trình, quản trị,truyền thông, công nghệ, và liên kết kinh doanh. Đối với mỗi kỳ hạn thanh toán tiêu chuẩn năm cấp độ tồn tại vàhọ được cung cấp một mô tả về các khía cạnh. Các mô hình kỳ hạn thanh toán khác nhau trong số tiền tiêu chíđó điều tra. Tuy nhiên, không có vấn đề mà mô hình này được áp dụng, tất cả đều hỗ trợ việc xác địnhinsufficiencies và các khu vực của cải tiến trong quá trình phát triển doanh nghiệp kiến trúc.Một cách tiếp cận để đánh giá việc EA quản lý và quá trình phát triển là doanh nghiệp CNTTliên kết. Đó là một thỏa thuận chung liên kết những gì đòi hỏi: phù hợp giữa chiến lược kinh doanh, nóchiến lược, tổ chức cấu trúc và quy trình, và nó cấu trúc và quy trình (Luftman 2000).Mục đích của liên kết là cho nó hoạt động để hỗ trợ những người kinh doanh toàn bộ (Chan năm 2002).Một mô hình nổi tiếng là Luftman của liên kết chiến lược đánh giá mô hình đó trình bày mộtcách tiếp cận để xác định một công ty kinh doanh-IT chỉnh dựa trên sáu tiêu chí: thông tin liên lạc,đo lường năng lực/giá trị, quản trị, quan hệ đối tác, kỹ năng, cũng như phạm vi và kiến trúc(Luftman 2000). Tiêu chuẩn này cuối cùng được sử dụng để đánh giá nó kỳ hạn thanh toán. Theo (Luftman năm 2000), mỗiCác biến sáu được gán năm cấp độ của liên kết. Các mô hình cung cấp một mô tả ngắn vềCác khía cạnh của mỗi cấp.3 đánh giá các quyết định kiến trúc trong bối cảnh EAViệc thẩm định của kiến trúc là khá khó khăn bởi vì có vẻ là không có xem mạch lạctrên kiến trúc doanh nghiệp. Nhiều khái niệm khác nhau, mô hình kỹ thuật, công cụ và visualisationkỹ thuật được sử dụng (Jonkers năm 2003). Đôi khi các quyết định kiến trúc không thậm chítài liệu ở tất cả. Hơn nữa, dự đoán hoàn thành mục tiêu thông qua một số quyết định kiến trúc trongmột môi trường thay đổi và rất năng động là khó khăn. Việc xem xét văn học trong khu vực củaphương pháp đánh giá kiến trúc dẫn đến sự công nhận rõ ràng là có vẻ là một thiếuphương pháp đánh giá. Trong khi có rất nhiều phương pháp tiếp cận cho việc đánh giá phần mềmkiến trúc (Clements, Kazman et al. năm 2001), (A. V. Corry 2005), (H. Grahn 2003) (Bosch 2005),(Bosch và Molin 1999)) không có gì tương đương cho miền EA. Theo (Hilliard, Kurlandet al. 1997), một phương pháp đánh giá kiến trúc phải bao gồm các tác vụ sau:Phân tích nhu cầu, mục tiêu và tầm nhìnThu thập tài liệu liên quan và đồ tạo tác khác liên quan đến kiến trúcĐánh giá tài liệu chống lại các biện pháp và điểm kết quảGiải thích kết quả và xác định các rủi ro liên quan đến kiến trúc Tài liệu hướng dẫn của kết quả.Cho đến nay, có là không có phương pháp mà fulfils các tác vụ này cho toàn bộ EA. Đó là lý do tại sao chúng tôi quyết định làm theocấu trúc được đưa ra bởi hầu hết các doanh nghiệp kiến trúc khung (Zachman năm 1987), (The mởNhóm năm 2006), (CIO hội đồng năm 1999), (quốc phòng năm 2003) và phân tích kỹ thuật có thể được áp dụng chođánh giá các quan điểm khác nhau của EA: kiến trúc kinh doanh, kiến trúc thông tin, Hệ thốngkiến trúc, kỹ thuật kiến trúc. Tất cả các kỹ thuật trình bày đánh giá hoặc là dựa trêntiêu chuẩn hoặc là phát triển hoặc xác nhận trong một môi trường thực tế.Nhiều người trong số các kỹ thuật giới thiệu dựa trên mô hình khái niệm để cải thiện các kiến trúckiến thức giữa các bên liên quan khác nhau từ các tên miền khác nhau chẳng hạn như quản lý, kinh doanhnhà phân tích, và nhà phát triển. Các tiêu chuẩn mô hình khái niệm tăng cường các kiến trúcsự hiểu biết, chia sẻ kiến thức và phân tích cấu trúc và hành vi của các tổ chức,cũng được coi là phương pháp tiếp cận đánh giá. Hơn nữa, xem xét phương pháp, phương pháp tiếp cận mô phỏng,và các biện pháp để đánh giá chất lượng thuộc tính được trình bày. Năm sau, gợi ýphương pháp tiếp cận được một thời gian ngắn giới thiệu.3.1 doanh nghiệp kiến trúc đánh giáTheo TOGAF (The mở nhóm năm 2006), kiến trúc kinh doanh biểu hiện những mô tả củaquy trình kinh doanh mục tiêu và mục tiêu, chức năng kinh doanh, kinh doanh, kinh doanh rol