A team of scientists has developed

A team of scientists has developed an algorithm that captures our learning abilities, enabling computers to recognize and draw simple visual concepts that are mostly indistinguishable from those created by humans. The work, which appears in the latest issue of the journal Science, marks a significant advance in the field -- one that dramatically shortens the time it takes computers to 'learn' new concepts and broadens their application to more creative tasks.
"Our results show that by reverse engineering how people think about a problem, we can develop better algorithms," explains Brenden Lake, a Moore-Sloan Data Science Fellow at New York University and the paper's lead author. "Moreover, this work points to promising methods to narrow the gap for other machine learning tasks."
The paper's other authors were Ruslan Salakhutdinov, an assistant professor of Computer Science at the University of Toronto, and Joshua Tenenbaum, a professor at MIT in the Department of Brain and Cognitive Sciences and the Center for Brains, Minds and Machines.
When humans are exposed to a new concept -- such as new piece of kitchen equipment, a new dance move, or a new letter in an unfamiliar alphabet -- they often need only a few examples to understand its make-up and recognize new instances. While machines can now replicate some pattern-recognition tasks previously done only by humans -- ATMs reading the numbers written on a check, for instance -- machines typically need to be given hundreds or thousands of examples to perform with similar accuracy.
"It has been very difficult to build machines that require as little data as humans when learning a new concept," observes Salakhutdinov. "Replicating these abilities is an exciting area of research connecting machine learning, statistics, computer vision, and cognitive science."
Salakhutdinov helped to launch recent interest in learning with 'deep neural networks,' in a paper published in Science almost 10 years ago with his doctoral advisor Geoffrey Hinton. Their algorithm learned the structure of 10 handwritten character concepts -- the digits 0-9 -- from 6,000 examples each, or a total of 60,000 training examples.
In the work appearing in Science this week, the researchers sought to shorten the learning process and make it more akin to the way humans acquire and apply new knowledge -- i.e., learning from a small number of examples and performing a range of tasks, such as generating new examples of a concept or generating whole new concepts.
To do so, they developed a 'Bayesian Program Learning' (BPL) framework, where concepts are represented as simple computer programs. For instance, the letter 'A' is represented by computer code -- resembling the work of a computer programmer -- that generates examples of that letter when the code is run. Yet no programmer is required during the learning process: the algorithm programs itself by constructing code to produce the letter it sees. Also, unlike standard computer programs that produce the same output every time they run, these probabilistic programs produce different outputs at each execution. This allows them to capture the way instances of a concept vary, such as the differences between how two people draw the letter 'A.'
While standard pattern recognition algorithms represent concepts as configurations of pixels or collections of features, the BPL approach learns "generative models" of processes in the world, making learning a matter of 'model building' or 'explaining' the data provided to the algorithm. In the case of writing and recognizing letters, BPL is designed to capture both the causal and compositional properties of real-world processes, allowing the algorithm to use data more efficiently. The model also "learns to learn" by using knowledge from previous concepts to speed learning on new concepts -- e.g., using knowledge of the Latin alphabet to learn letters in the Greek alphabet. The authors applied their model to over 1,600 types of handwritten characters in 50 of the world's writing systems, including Sanskrit, Tibetan, Gujarati, Glagolitic -- and even invented characters such as those from the television series Futurama.
In addition to testing the algorithm's ability to recognize new instances of a concept, the authors asked both humans and computers to reproduce a series of handwritten characters after being shown a single example of each character, or in some cases, to create new characters in the style of those it had been shown. The scientists then compared the outputs from both humans and machines through 'visual Turing tests.' Here, human judges were given paired examples of both the human and machine output, along with the original prompt, and asked to identify which of the symbols were produced by the computer.
While judges' correct responses varied across characters, for each visual Turing test, fewer than 25 percent of judges performed significantly better than chance in assessing whether a machine or a human produced a given set of symbols.
"Before they get to kindergarten, children learn to recognize new concepts from just a single example, and can even imagine new examples they haven't seen," notes Tenenbaum. "I've wanted to build models of these remarkable abilities since my own doctoral work in the late nineties. We are still far from building machines as smart as a human child, but this is the first time we have had a machine able to learn and use a large class of real-world concepts -- even simple visual concepts such as handwritten characters -- in ways that are hard to tell apart from humans."
The work was supported by grants from the National Science Foundation to MIT's Center for Brains, Minds and Machines (CCF-1231216), the Army Research Office (W911NF-08-1-0242, W911NF-13-1-2012), the Office of Naval Research (N000141310333), and the Moore-Sloan Data Science Environment at New York University

Kết quả (Việt) 1:

Một nhóm các nhà khoa học đã phát triển một thuật toán mà bắt chúng tôi khả năng học tập, cho phép các máy tính để nhận ra và rút ra khái niệm trực quan đơn giản được chủ yếu là không thể phân biệt từ những người tạo ra bởi con người. Tác phẩm xuất hiện trong vấn đề mới nhất của tạp chí khoa học, nhãn hiệu đáng kể nâng cao trong lĩnh vực - một trong đó đáng kể có thể rút ngắn thời gian nó sẽ đưa máy tính để 'tìm hiểu' khái niệm mới và đưa các ứng dụng vào công việc sáng tạo hơn."Các kết quả hiển thị bởi kỹ thuật đảo ngược như thế nào mọi người nghĩ về một vấn đề, chúng tôi có thể phát triển thuật toán tốt hơn," giải thích Brenden Lake, một thành viên Moore-Sloan dữ liệu khoa học tại Đại học New York và tác giả chính của tờ báo. "Hơn nữa, công việc này trỏ tới hứa hẹn phương pháp để thu hẹp khoảng cách cho máy công việc học tập."Giấy của tác giả khác Ruslan Salakhutdinov, phó giáo sư của khoa học máy tính tại Đại học Toronto, và Joshua Tenenbaum, một giáo sư tại MIT trong vùng não và nhận thức khoa học và Trung tâm não, tâm trí và máy.Khi con người được tiếp xúc với một khái niệm mới--chẳng hạn như đoạn mới của thiết bị nhà bếp, một động thái múa mới, hoặc một lá thư mới trong một bảng chữ cái không quen thuộc--họ thường cần chỉ là một vài ví dụ để hiểu trang điểm của mình và nhận ra trường hợp mới. Trong khi máy bây giờ có thể sao chép một số nhiệm vụ công nhận mẫu trước đó được thực hiện chỉ bởi con người - máy ATM đọc số viết vào một kiểm tra, ví dụ - máy thường cần phải được đưa ra hàng trăm hoặc hàng ngàn của các ví dụ để thực hiện với độ chính xác tương tự."Nó đã rất khó khăn để xây dựng máy đó có yêu cầu là ít dữ liệu như con người khi học một khái niệm mới," quan sát Salakhutdinov. "Sao chép các khả năng là một khu vực thú vị của nghiên cứu kết nối máy học, thống kê, máy tính, và khoa học nhận thức."Salakhutdinov đã giúp để khởi động tại quan tâm trong việc học với 'mạng nơ-ron sâu,' trong một bài báo xuất bản trong khoa học gần 10 năm trước đây với cố vấn của ông tiến sĩ Geoffrey Hinton. Thuật toán của họ đã học được cấu trúc của khái niệm ký tự viết tay 10 - chữ số 0-9 - từ 6.000 ví dụ mỗi, hoặc một tổng số 60.000 đào tạo ví dụ.Trong công việc xuất hiện trong khoa học tuần này, các nhà nghiên cứu đã tìm cách để rút ngắn quá trình học tập và làm cho nó nhiều giống như cách con người có được và áp dụng kiến thức mới--tức là, học hỏi từ một số ít các ví dụ và thực hiện một loạt các nhiệm vụ, chẳng hạn như tạo ra các ví dụ mới của một khái niệm hoặc tạo ra các khái niệm hoàn toàn mới.Để làm như vậy, họ phát triển một khuôn khổ 'Bayes chương trình học' (BPL), nơi khái niệm được đại diện như là chương trình máy tính đơn giản. Ví dụ, chữ 'A' được đại diện bởi máy tính mã - tương tự như công việc của một lập trình viên máy tính--mà tạo ra các ví dụ của lá thư đó khi chạy các mã. Tuy nhiên, không có lập trình viên là cần thiết trong quá trình học tập: các thuật toán chương trình chính nó bằng cách xây dựng mã để sản xuất thư khi nó thấy. Ngoài ra, không giống như máy tính chuẩn chương trình sản xuất sản lượng cùng mỗi khi họ chạy, những chương trình xác suất sản xuất kết quả đầu ra khác nhau tại mỗi thực hiện. Điều này cho phép họ để nắm bắt cách trường hợp của một khái niệm khác nhau, chẳng hạn như sự khác biệt giữa làm thế nào hai người vẽ chữ 'A.'Trong khi mô hình tiêu chuẩn công nhận thuật toán đại diện cho khái niệm như là cấu hình của điểm ảnh hoặc các bộ sưu tập của tính năng, cách tiếp cận BPL học "thể sinh mô hình" của quá trình trên thế giới, làm cho học tập là một vấn đề của 'xây dựng mô hình' hoặc 'giải thích' dữ liệu cung cấp cho các thuật toán. Trong trường hợp của văn bản và công nhận thư, BPL được thiết kế để nắm bắt cả hai tính chất quan hệ nhân quả và sáng tác của quá trình thế giới thực, cho phép các thuật toán sử dụng dữ liệu hiệu quả hơn. Các mô hình cũng "học để tìm hiểu" bằng cách sử dụng kiến thức từ khái niệm trước đó để học tập tốc độ trên các khái niệm mới--ví dụ, bằng cách sử dụng kiến thức về chữ cái Latinh để tìm hiểu các chữ cái trong bảng chữ cái Hy Lạp. Các tác giả áp dụng mô hình của họ để hơn 1.600 các loại ký tự viết tay trong 50 của hệ thống chữ viết của thế giới, bao gồm cả tiếng Phạn, Tây Tạng, Gujarati, Glagolitic--và thậm chí phát minh nhân vật chẳng hạn như những từ loạt phim truyền hình Futurama.Ngoài việc thử nghiệm các thuật toán có thể nhận ra các trường hợp mới của một khái niệm, các tác giả yêu cầu cả con người và máy tính để tái sản xuất một loạt các ký tự viết tay sau khi được hiển thị một ví dụ duy nhất của mỗi ký tự, hoặc trong một số trường hợp, để tạo ra nhân vật mới trong phong cách của những người nó đã được chứng minh. Các nhà khoa học sau đó so sánh kết quả đầu ra từ con người và máy thông qua 'thử nghiệm thị giác Turing.' Ở đây, thẩm phán của con người đã được đưa ra các ví dụ kết hợp của cả hai con người và đầu ra máy, cùng với bản gốc nhanh chóng, và yêu cầu để xác định của các biểu tượng được tạo ra bởi máy tính.Trong khi câu trả lời đúng thẩm phán khác nhau trên ký tự, cho mỗi thử nghiệm thị giác Turing, ít hơn 25 phần trăm của các thẩm phán thực hiện đáng kể tốt hơn có thể có trong việc đánh giá cho dù một máy tính hoặc một con người sản xuất một tập hợp của các biểu tượng."Trước khi họ nhận được để nhà trẻ, trẻ em tìm hiểu để nhận ra các khái niệm mới từ chỉ là một ví dụ duy nhất, và thậm chí có thể tưởng tượng mới ví dụ họ không nhìn thấy," ghi chú Tenenbaum. "Tôi đã muốn xây dựng các mô hình của những khả năng đáng chú ý từ công việc riêng của tôi tiến sĩ trong nineties cuối. Chúng tôi là vẫn còn xa xây dựng máy thông minh như một đứa trẻ con người, nhưng đây là lần đầu tiên chúng tôi đã có một máy tính có thể tìm hiểu và sử dụng một lớp lớn của khái niệm thực thế giới--khái niệm trực quan thậm chí đơn giản như ký tự viết tay--bằng nhiều cách mà khó có thể nói ngoài con người."Các công việc đã được hỗ trợ bởi tài trợ từ Quỹ khoa học quốc gia đến Trung tâm MIT cho não, tâm trí và máy (CCF-1231216), quân đội nghiên cứu văn phòng (W911NF-08-1-0242, W911NF-13-1-2012), văn phòng nghiên cứu Hải quân (N000141310333) và Moore-Sloan dữ liệu khoa học môi trường tại Đại học New York

Kết quả (Việt) 2:

Một nhóm các nhà khoa học đã phát triển một thuật toán mà bắt khả năng học tập của chúng tôi, cho phép các máy tính để nhận biết và vẽ khái niệm trực quan đơn giản mà hầu hết là không thể phân biệt từ những người tạo ra bởi con người. Công việc, xuất hiện trong số mới nhất của tạp chí Science, đã đánh dấu một bước tiến đáng kể trong lĩnh vực này -. Một, rút ngắn đáng kể thời gian cần máy tính có thể nhận biết những khái niệm mới và mở rộng các ứng dụng của họ với nhiệm vụ sáng tạo hơn
"Kết quả của chúng tôi cho thấy rằng bằng kỹ thuật đảo ngược thế nào mọi người suy nghĩ về một vấn đề, ​​chúng ta có thể phát triển các thuật toán tốt hơn, "giải thích Brenden Lake, một Moore-Sloan Khoa học Dữ liệu nghiên cứu sinh tại Đại học New York và là tác giả chính của bài báo. "Hơn nữa, công việc này điểm đến phương pháp đầy hứa hẹn để thu hẹp khoảng cách cho các nhiệm vụ học máy khác."
Tác giả khác của bài báo là Ruslan Salakhutdinov, một trợ lý giáo sư về khoa học máy tính tại Đại học Toronto, và Joshua Tenenbaum, một giáo sư tại MIT trong Bộ não và nhận thức khoa học và các Trung tâm Brains, Minds và máy móc.
Khi con người được tiếp xúc với một khái niệm mới - chẳng hạn như đoạn mới của thiết bị nhà bếp, một điệu nhảy di chuyển mới, hoặc một bức thư mới trong một bảng chữ cái xa lạ - họ thường chỉ cần một vài ví dụ để hiểu nó make-up và công nhận các trường hợp mới. Trong khi các máy bây giờ có thể tái tạo một số nhiệm vụ mô hình nhận dạng trước đó chỉ được thực hiện bởi con người - máy ATM đọc những con số ghi trên séc, ví dụ - máy thường cần phải được đưa ra hàng trăm hoặc hàng ngàn ví dụ để thực hiện với độ chính xác tương tự.
"Nó có đã rất khó khăn để xây dựng máy móc đòi hỏi ít dữ liệu như con người khi học một khái niệm mới, "quan sát Salakhutdinov. "Nhân rộng những khả năng là một lĩnh vực thú vị của nghiên cứu kết nối máy học, thống kê, tầm nhìn máy tính, và nhận thức khoa học."
Salakhutdinov giúp để khởi động quan tâm gần đây việc học với "mạng lưới thần kinh sâu, vào trong một báo công bố trên Science gần 10 năm trước đây với cố vấn tiến sĩ của ông Geoffrey Hinton. Thuật toán của họ học được cấu trúc của 10 khái niệm nhân vật viết tay - các chữ số 0-9 -. Từ 6.000 ví dụ từng, hoặc tổng cộng 60.000 ví dụ huấn luyện
trong công việc xuất hiện trong khoa học tuần này, các nhà nghiên cứu đã tìm cách để rút ngắn quá trình học tập và làm cho nó giống như để cách con người tiếp thu và áp dụng kiến thức mới -. tức là, học hỏi từ một số lượng nhỏ các ví dụ và thực hiện một loạt các nhiệm vụ, chẳng hạn như tạo ra các ví dụ mới của một khái niệm hoặc tạo ra toàn bộ những khái niệm mới
Để làm như vậy, họ phát triển một "Chương trình Bayesian Learning" (BPL) khuôn khổ, nơi mà khái niệm được biểu diễn như là các chương trình máy tính đơn giản. Ví dụ, các chữ 'A' được đại diện bởi các mã máy tính - giống như công việc của một lập trình viên máy tính - mà tạo ra các ví dụ về thư đó khi đang chạy. Tuy nhiên, không lập trình được yêu cầu trong suốt quá trình học tập: các chương trình thuật toán riêng của mình bằng cách xây dựng mã để sản xuất các thư nó thấy. Ngoài ra, không giống như các chương trình máy tính tiêu chuẩn sản xuất ra cùng kết quả mỗi khi họ chạy, các chương trình này xác suất sản xuất ra khác nhau ở từng thực hiện. Điều này cho phép họ nắm bắt cách các trường hợp của một khái niệm khác nhau, chẳng hạn như sự khác nhau giữa cách hai người vẽ chữ 'A'
Trong khi các thuật toán nhận dạng mẫu tiêu chuẩn đại diện cho các khái niệm như các cấu hình của các điểm ảnh, bộ sưu tập các tính năng, cách tiếp cận BPL học "sinh sản mô hình "của các quá trình trên thế giới, làm cho việc học là một vấn đề" Xây dựng mô hình 'hoặc' giải thích 'dữ liệu cung cấp cho các thuật toán. Trong trường hợp văn bản và thư công nhận, BPL được thiết kế để nắm bắt cả những quan hệ nhân quả và tính thành phần của quá trình thực thế giới, cho phép các thuật toán để sử dụng dữ liệu hiệu quả hơn. Mô hình này cũng "học cách học" bằng cách sử dụng kiến thức từ những khái niệm trước đây để tăng tốc độ học tập trên những khái niệm mới - ví dụ, bằng cách sử dụng kiến thức của bảng chữ cái Latin để học chữ cái trong bảng chữ cái Hy Lạp. Các tác giả áp dụng mô hình của họ đến hơn 1.600 loại ký tự viết tay trong 50 hệ thống của thế giới văn bản, bao gồm tiếng Phạn, Tây Tạng, Gujarati, Chữ Glagolitic - và các nhân vật thậm chí còn phát minh ra như những từ phim truyền hình Futurama.
Ngoài kiểm tra khả năng của thuật toán để nhận ra các trường hợp mới của một khái niệm, các tác giả đã yêu cầu cả hai người và máy tính để tái sản xuất một loạt các ký tự viết tay sau khi được thể hiện một ví dụ đơn lẻ của từng nhân vật, hoặc trong một số trường hợp, để tạo ra nhân vật mới trong phong cách của những người nó đã được chứng minh . Các nhà khoa học sau đó so sánh các kết quả ở cả người và máy thông qua 'bài kiểm tra Turing thị giác. " Ở đây, các thẩm phán của con người đã được đưa ra ví dụ kết hợp của cả hai đầu ra của con người và máy móc, cùng với dấu nhắc ban đầu, và được yêu cầu xác định trong những biểu tượng đã được sản xuất bởi máy tính.
Trong khi trả lời đúng các thẩm phán khác nhau giữa các nhân vật, mỗi bài kiểm tra Turing thị giác , ít hơn 25 phần trăm của các thẩm phán thực hiện tốt hơn so với cơ hội đáng kể trong việc đánh giá liệu một máy hay một con người được sản xuất một được thiết lập của các biểu tượng.
"Trước khi họ nhận được để mẫu giáo, trẻ học cách nhận ra các khái niệm mới từ chỉ là một ví dụ duy nhất, và thậm chí có thể tưởng tượng ví dụ mới mà họ đã không nhìn thấy, "lưu ý Tenenbaum. "Tôi đã muốn xây dựng mô hình của những khả năng đặc biệt kể từ khi công việc tiến sĩ của riêng mình vào cuối những năm chín mươi. Chúng tôi vẫn đang ở xa máy thông minh như một đứa trẻ con người xây dựng, nhưng đây là lần đầu tiên chúng tôi đã có một máy tính có thể học và sử dụng một lớp lớn của các khái niệm thực thế giới - ngay cả khái niệm trực quan đơn giản như chữ viết tay - theo những cách khó khăn để nói ngoài từ con người ".
Công trình này được tài trợ bởi Quỹ Khoa học Quốc gia Trung tâm nghiên cứu cho Brains , Minds và Máy móc (CCF-1.231.216), Văn phòng Nghiên cứu Quân đội (W911NF-08-1-0242, W911NF-13-1-2012), Văn phòng Nghiên cứu Hải quân (N000141310333), và Môi trường Moore-Sloan dữ liệu khoa học tại Đại học New York