Developing localization and navigat

Developing localization and navigation assistance tools for visually impaired people have
been received many intention in the autonomous robotics community [6]. Most of the works
focus on finding efficient localization solutions based on positioning data from different
sensors such as GPS, laser, Radio Frequency Identification (RFID), vision or the fusion of
several of them. Loomis et al. [17] surveyed efficiency of GPS-based navigation systems
supporting visually impaired people. The GPS-based systems share similar problems: low
accuracy in urban-environments (localization accuracy is limited to approximately 20 m),
signal loss due to multi-path effect or line-of-sight restrictions due to the presence of buildings
or even foliage. Kulyukin et al. [15] proposed a system based on Radio Frequency Identification
(RFID) for aiding the navigation of visually impaired people in indoor environments.
The system requires the design of a dense network of location identifiers. Helal et al. [13]
proposed a wireless pedestrian navigation system. They integrated several signals such as
voiced, wireless networks, Geographic Information System (GIS) and GPS to provide the
visually impaired people with an optimized route. Recent advanced techniques in computer
vision offer substantial improvements with respect to localization and navigation services in
known or unknown environments. The vision-based approaches offer not only safe navigation,
but also provide a very rich and valuable description of the environment. For example, [2]
develops an application named LocateIt, which helps blind people locate objects in indoor
environments.

In [30], ShelfScanner is a real-time grocery detector that allows online detection of items on
a shopping list. With respect to visual mapping and localization, Alcantarilla [9] utilizes wellknown
techniques such as Simultaneous Localization and Mapping (SLAM) and Structure
from Motion (SfM) to create a 3-D Map of an indoor environment. He then utilizes visual
descriptors (such as Gauge- Speeded Up Robust Features, G-SURF) to mark local coordinates
on the constructed 3-D map. Instead of building a prior 3-D map, Lui et al. [16] utilize a precaptured
reference sequence of the environment. Given a new query sequence, their system
attempts to find the corresponding set of indices in the reference video. Some wearable
applications based on visual SLAM have also been proposed. Pradeep et al. [23] present a
head-mounted stereo-vision platform for detecting obstacles in the path and warn subjects
about their presence. They incorporate visual odometry and feature based metric-topological
SLAM. Murali et al. [18] estimate the user’s location relative to the crosswalks in the current
traffic intersection. They develop a vision-based smartphone system for providing guidance
to blind and visually impaired travelers at traffic intersections. The system of Murali et al.
in [18] requires supplemental images from Google Map services, therefore its applicability is
limited to outdoor travel.

It is clear from these works that a SLAM-based approach is ideally suited to the task of
guiding the visually impaired, because SLAM combines the two key elements required for
a user friendly and widely applicable system: map building and self-location. However, the
complexity of the map building task varies in function of environment size. In some case, a
map can be acquired from the visual sensor, but in other cases, the map is such that it must
be constructed from other sensor modalities such as GPS, WIFI [5]. Furthermore, matching a
current view to a position on the created map seems to be the hardest problem in many works
[1], [10]. Important work towards appearance-based place recognition has been conducted in
[27] which borrowed ideas from text retrieval systems and introduced the concept of the so
called visual vocabulary. The idea was later extended to vocabulary trees by [21], allowing to
efficiently use large vocabularies [25] demonstrated city-scale place recognition using these
tree structures.

Recently, Maddern et al. report an improvement to the robustness of FAB-Map by incorporating
odometric information into the place recognition process. [28] Propose BRIEF-GIST,
a very simplistic appearance-based place recognition system based on the BRIEF descriptor.
BRIEF-GIST is much easier to implement and its performance is comparable to FAB-MAP.
In our point of view, an incremental map is able to support us in improving matching results.
Therefore, different from the systems mentioned above, we attempt to create a rich map as
good as possible through many trials. When new observations arrive, these new observations
must be locally and globally consistent with the previously constructed map. To this end
we employ the the loop closure algorithms from [5], [20]. Furthermore, we pay significant
attention to the creation of the visual dictionary. We deploy the GIST features [22], a holistic
representation of the natural scenes. Selection of the most representative frames helps to
construct a robust visual dictionary of the environment.

Different from above works, in this paper, we focus on resolving the issues of the navigation
such as positioning the robot in the environment, detecting and recognizing obstacles that
warning for visually impaired people along the way. In term of the end-user, the proposed
system needs to be easy and friendly for using.

Kết quả (Việt) 1:

Đang phát triển địa phương hoá và định hướng hỗ trợ công cụ cho người khiếm cólà nhận được nhiều ý định trong cộng đồng tự trị robot [6]. Hầu hết các tác phẩmtập trung vào việc tìm kiếm địa phương hoá hiệu quả giải pháp dựa trên vị trí dữ liệu từ khác nhaucảm ứng chẳng hạn như GPS, laser, nhận dạng tần số vô tuyến (RFID), tầm nhìn hoặc sự hợp nhấtmột số của họ. Loomis et al. [17] được khảo sát hiệu quả của hệ thống định vị dựa trên GPShỗ trợ trực quan hỏng người. Dựa trên GPS hệ thống chia sẻ vấn đề tương tự: thấpđộ chính xác trong môi trường đô thị (nội địa hóa chính xác là giới hạn đối với khoảng 20 m),tín hiệu mất do hiệu ứng đa đường dẫn hoặc hạn chế line-of-sight do sự hiện diện của các tòa nhàhoặc thậm chí tán lá. Kulyukin et al. [15] đề xuất một hệ thống dựa trên nhận dạng tần số vô tuyến(RFID) để giúp đỡ các menu của người khiếm trong môi trường trong nhà.Hệ thống yêu cầu thiết kế của một mạng lưới dày đặc các định danh vị trí. Helal et al. [13]đề xuất một hệ thống không dây điều hướng đi bộ. Họ tích hợp một số tín hiệu chẳng hạn nhưlồng tiếng, mạng không dây, Hệ thống thông tin địa lý (GIS) và GPS để cung cấp cácnhững người có một tuyến đường tối ưu hóa khiếm thị. Tại kỹ thuật tiên tiến trong máy tínhtầm nhìn cung cấp cải tiến đáng kể đối với dịch vụ nội địa hóa và điều hướng trongđược biết đến hoặc không xác định môi trường. Cung cấp các phương pháp tiếp cận dựa trên tầm nhìn không chỉ an toàn chuyển hướng,nhưng cũng cung cấp một mô tả rất phong phú và có giá trị của môi trường. Ví dụ, [2]phát triển một ứng dụng được đặt theo tên LocateIt, giúp người mù, xác định vị trí các đối tượng trong hồmôi trường.[30], ShelfScanner là một máy dò hàng tạp hóa thời gian thực cho phép trực tuyến phát hiện mặt hàng ngàymột danh sách mua sắm. Đối với hình ảnh lập bản đồ và địa phương hoá, Alcantarilla [9] sử dụng náokỹ thuật chẳng hạn như nội địa hóa đồng thời và lập bản đồ (SLAM) và cấu trúctừ chuyển động (SfM) để tạo ra bản đồ 3-D của môi trường trong nhà. Ông sau đó sử dụng thị giáctrình mô tả (chẳng hạn như khổ - tốc lên tính năng mạnh mẽ, G-SURF) để đánh dấu các tọa độ địa phươngNgày xây dựng bản đồ 3-D. Thay vì xây dựng bản đồ 3-D trước, Lui et al. [16] sử dụng một precapturedtham khảo các trình tự của môi trường. Đưa ra một chuỗi truy vấn mới, Hệ thống của họcố gắng để tìm thấy các thiết lập tương ứng của chỉ số trong đoạn video tài liệu tham khảo. Đeo một sốứng dụng dựa trên visual SLAM cũng đã được đề xuất. Pradeep et al. [23] hiện tại mộtđầu gắn kết âm thanh stereo-tầm nhìn nền tảng để phát hiện những trở ngại trong con đường và cảnh báo đối tượngvề sự hiện diện của họ. Họ kết hợp hình ảnh odometry và tính năng dựa trên số liệu tô pôSLAM. Xiêm et al. [18] ước tính của người sử dụng vị trí tương đối so với crosswalks trong hiện tạigiao lưu lượng truy cập. Họ phát triển một hệ thống điện thoại thông minh dựa trên tầm nhìn cho việc cung cấp hướng dẫnđể người mù và khiếm lẻ tại nút giao thông lưu lượng truy cập. Hệ thống của Lan Vien et al.trong [18] đòi hỏi phải bổ sung hình ảnh từ các dịch vụ Google bản đồ, vì vậy ứng dụng của nó làgiới hạn hồ du lịch.Nó là rõ ràng từ những tác phẩm một cách tiếp cận dựa trên SLAM là lý tưởng phù hợp với nhiệm vụhướng dẫn các khiếm, bởi vì SLAM kết hợp hai yếu tố quan trọng cần thiết chomột người dùng thân thiện và áp dụng rộng rãi hệ thống: bản đồ xây dựng và tự vị trí. Tuy nhiên, cácphức tạp của bản đồ xây dựng nhiệm vụ khác nhau trong các chức năng lượng môi trường. Trong một số trường hợp, mộtbản đồ có thể được mua từ các cảm biến hình ảnh, nhưng trong trường hợp khác, bản đồ là như vậy mà nó phảiđược xây dựng từ phương thức cảm biến khác chẳng hạn như GPS, WIFI [5]. Hơn nữa, kết hợp mộtxem hiện tại một vị trí trên bản đồ tạo ra có vẻ là vấn đề khó khăn nhất trong nhiều tác phẩm[1], [10]. Các công việc quan trọng hướng tới dựa trên xuất hiện nơi công nhận đã được tiến hành trong[27] đó mượn ý tưởng từ văn bản tải hệ thống và giới thiệu các khái niệm về các vì vậygọi là trực quan từ vựng. Ý tưởng sau đó mở rộng vốn từ vựng cây bởi [21], cho phép đểhiệu quả sử dụng từ vựng lớn [25] của nơi chứng tỏ thành phố-quy mô công nhận sử dụng nhữngcấu trúc cây.Gần đây, Maddern et al. thông báo một cải tiến cho mạnh mẽ của FAB-bản đồ bằng cách kết hợpodometric thông tin vào quá trình công nhận ra. [28] đề xuất giới thiệu tóm tắt-GIST,một rất đơn giản dựa trên xuất hiện nơi công nhận hệ thống dựa trên mô tả ngắn gọn.Giới thiệu tóm tắt-GIST là dễ dàng hơn để thực hiện và hiệu quả của nó được so sánh với bản đồ FAB.Trong quan điểm của chúng tôi, một bản đồ gia tăng có thể hỗ trợ chúng tôi trong việc cải thiện kết quả phù hợp.Do đó, khác với các hệ thống được đề cập ở trên, chúng tôi cố gắng tạo ra một bản đồ phong phú nhưtốt nhất có thể thông qua nhiều thử nghiệm. Khi quan sát mới đến nơi, các quan sát mớiphải tại địa phương và toàn cầu phù hợp với bản đồ được xây dựng trước đó. Để kết thúc nàychúng tôi sử dụng các thuật toán vòng lặp đóng cửa từ [5], [20]. Hơn nữa, chúng tôi trả tiền đáng kểquan tâm đến việc tạo ra các từ điển trực quan. Chúng tôi triển khai các GIST tính năng [22], một toàn diệnđại diện của cảnh tự nhiên. Lựa chọn của các khung hình đại diện nhất giúpxây dựng một từ điển hình ảnh mạnh mẽ của môi trường.Khác nhau từ phía trên công trình, trong bài báo này, chúng tôi tập trung vào giải quyết các vấn đề của các menuchẳng hạn như vị trí robot trong môi trường, phát hiện và công nhận những trở ngại màcảnh báo cho thị giác kém người trên đường đi. Trong thuật ngữ của người dùng cuối cùng, đề xuấtHệ thống cần phải được dễ dàng và thân thiện cho việc sử dụng.

Kết quả (Việt) 2:

Phát triển nội địa hóa và hỗ trợ điều hướng công cụ cho người khiếm thị đã
nhận được nhiều ý định trong các robot cộng đồng tự trị [6]. Hầu hết các công trình
tập trung vào việc tìm kiếm các giải pháp hiệu quả nội địa hóa dựa trên dữ liệu định vị từ khác nhau
các cảm biến như GPS, laser, Radio Frequency Identification (RFID), tầm nhìn hoặc sự kết hợp của
một số người trong số họ. Loomis et al. [17] khảo sát hiệu quả của hệ thống định vị GPS dựa trên
hỗ trợ người khiếm thị. Các hệ thống GPS dựa trên chia sẻ các vấn đề tương tự: thấp
độ chính xác trong đô thị-môi trường (độ chính xác nội địa hóa được giới hạn trong khoảng 20 m),
mất tín hiệu do hiệu ứng đa đường hoặc line-of-sight hạn chế do sự hiện diện của các tòa nhà
hay thậm chí tán lá . Kulyukin et al. [15] đề xuất một hệ thống dựa trên Radio Frequency Identification
(RFID) viện trợ cho điều hướng của người khiếm thị trong môi trường trong nhà.
Hệ thống yêu cầu thiết kế của một mạng lưới dày đặc các định vị trí. Helal et al. [13]
đề xuất một hệ thống dẫn đường cho người đi bộ không dây. Chúng được tích hợp một số tín hiệu như
lồng tiếng, mạng không dây, hệ thống thông tin địa lý (GIS) và GPS để cung cấp những
người khiếm thị với một tuyến đường tối ưu. Kỹ thuật tiên tiến gần đây trong máy tính
tầm nhìn cung cấp những cải tiến đáng kể đối với dịch vụ nội địa hóa và chuyển hướng với
môi trường đã biết hoặc chưa biết. Các phương pháp tiếp cận dựa trên tầm nhìn định hướng cung cấp không chỉ an toàn,
mà còn cung cấp một mô tả rất phong phú và có giá trị của môi trường. Ví dụ, [2]
phát triển một ứng dụng có tên LocateIt, giúp người khiếm thị định vị trí các đối tượng trong nhà
môi trường. Trong [30], ShelfScanner là một máy dò tạp hóa thời gian thực, cho phép phát hiện trực tuyến của các mặt hàng trên một danh sách mua sắm. Đối với bản đồ trực quan và nội địa hóa với, Alcantarilla [9] sử dụng wellknown kỹ thuật như đồng thời các địa phương trong và Mapping (SLAM) và cấu trúc từ Motion (SFM) để tạo ra một bản đồ 3-D của một môi trường trong nhà. Sau đó, ông sử dụng hình ảnh mô tả (như Gauge- đẩy mạnh tính năng mạnh mẽ, G-SURF) để đánh dấu tọa độ địa phương trên bản đồ xây dựng 3-D. Thay vì xây dựng một bản đồ 3-D trước, Lui et al. [16] sử dụng một precaptured chuỗi tham chiếu của môi trường. Cho một chuỗi truy vấn mới, hệ thống của họ cố gắng để tìm thấy những bộ tương ứng của các chỉ số trong đoạn video tham khảo. Một số mặc các ứng dụng dựa trên SLAM thị giác cũng đã được đề xuất. Pradeep et al. [23] trình bày một nền tảng âm thanh stereo-vision đầu gắn để phát hiện chướng ngại vật trong đường dẫn và cảnh báo các đối tượng về sự hiện diện của họ. Chúng kết hợp odometry trực quan và tính năng dựa trên metric-topo SLAM. Murali et al. [18] ước tính của người sử dụng vị trí tương đối so với lối băng qua đường trong hiện tại nút giao thông. Họ phát triển một hệ thống điện thoại thông minh dựa trên tầm nhìn để cung cấp hướng dẫn cho du khách mù và khiếm thị tại nút giao thông giao thông. Hệ thống Murali et al. Trong [18] cần các ảnh được bổ sung từ các dịch vụ của Google Map, do đó khả năng ứng dụng của nó được giới hạn du lịch ngoài trời. Rõ ràng từ những tác phẩm đó một cách tiếp cận SLAM dựa trên rất phù hợp với nhiệm vụ hướng dẫn trực quan bị suy giảm, vì SLAM kết hợp hai yếu tố quan trọng cần thiết cho một người dùng thân thiện và áp dụng rộng rãi hệ thống: xây dựng bản đồ và tự vị trí. Tuy nhiên, sự phức tạp của nhiệm vụ xây dựng bản đồ thay đổi trong chức năng của kích thước môi trường. Trong một số trường hợp, một bản đồ có thể được mua lại từ các bộ cảm biến hình ảnh, nhưng trong trường hợp khác, bản đồ là như vậy mà nó phải được xây dựng từ các phương thức cảm biến khác như GPS, WIFI [5]. Hơn nữa, phù hợp với một cái nhìn hiện tại để một vị trí trên bản đồ được tạo ra có vẻ là vấn đề khó khăn nhất trong nhiều công trình [1], [10]. Công việc quan trọng đối với sự xuất hiện dựa trên sự công nhận nơi đã được tiến hành trong [27] mà vay mượn ý tưởng từ các hệ thống thu hồi văn bản và giới thiệu các khái niệm về cái gọi là từ vựng trực quan. Ý tưởng này sau đó đã được mở rộng để cây từ vựng bằng cách [21], cho phép sử dụng hiệu quả các từ vựng lớn [25] đã chứng minh thành phố có quy mô công nhận vị trí sử dụng các cấu trúc cây. Gần đây, Maddern et al. báo cáo một sự cải tiến cho sự vững mạnh của FAB-Map bằng cách kết hợp odometric thông tin vào quá trình công nhận nơi. [28] Đề xuất LƯỢC-GIST, một hệ thống nhận dạng vị trí xuất hiện dựa trên rất đơn giản dựa trên mô tả LƯỢC. SƠ LƯỢC-GIST là dễ dàng hơn nhiều để thực hiện và hiệu quả của nó được so sánh với FAB-MAP. Theo quan điểm của chúng tôi, một bản đồ gia tăng có thể hỗ trợ chúng tôi trong việc cải thiện kết quả phù hợp. Do đó, khác với các hệ thống đã đề cập ở trên, chúng tôi cố gắng để tạo ra một bản đồ phong phú như là tốt nhất có thể thông qua nhiều thử thách. Khi quan sát mới đến, những quan sát mới phải tại địa phương và trên toàn cầu phù hợp với bản đồ được xây dựng trước đó. Để kết thúc này, chúng tôi sử dụng các thuật toán vòng lặp đóng cửa từ [5], [20]. Hơn nữa, chúng tôi phải trả đáng kể sự quan tâm đến việc tạo ra các từ điển bằng hình. Chúng tôi triển khai các tính năng GIST [22], một tổng đại diện của cảnh quan thiên nhiên. Lựa chọn của khung hình đại diện nhất giúp xây dựng một từ điển bằng hình mạnh mẽ của môi trường. Khác với các công trình trên, trong bài báo này, chúng tôi tập trung vào việc giải quyết các vấn đề của điều hướng như vị trí các robot trong các môi trường, phát hiện và nhận diện những trở ngại mà cảnh báo cho người khiếm thị trên đường đi. Trong nhiệm kỳ của người dùng cuối, các đề xuất hệ thống cần phải được dễ dàng và thân thiện cho việc sử dụng.