Participants in our study agreed to

Participants in our study agreed to provide a continuous log of their smartphone use over an extended
period of time. We built an Android app to log each app invocation as an event, together with
date/time and the phone’s location (if GPS is enabled). Participants were asked to upload their log
on a daily basis. A privacy step allowed them to delete episodes that they might not wish to share.
The next task is to find meaningful groups of events (apps) from the logs submitted by users. However,
due to the multi-tasking user behavior, time-based [20, 4] or content/lexicon-based [5] identi-
fication approaches may not come in handy [10]. However, this is not the focus of this paper. Initial
analysis of the data indicated that phone usage could be segmented into episodes consisting of interaction
events closely spaced in time. We used 3 mins inactivity to separate event clusters first, based
on a pilot study. Participants were then invited to our lab on a regular basis (about once a week) to
annotate their logs to provide more accurate groupings of events.
2.1 Smart Phone Annotation
We showed participants episodes extracted from their own logs via time-based approach. Meta
information such as date, time, and location, was shown to aid recall. Participants were asked to
produce two types of annotation, using the Brat server-based tool [21]: 1) Task Structure: link
applications that served a common goal/intention; 2) Task Description: type in a brief description
of the goal or intention of the task. For example, in Fig 1, the user first linked two apps (one about
camera and another about text message) together since they were used for the goal of sharing a
photo, and wrote a description “took a pic of ”. Some of the task descriptions were quite detailed
and provided the actual app sequence executed (see example in Fig 1). However, others were quite
abstract, such as “look up math problems” or “schedule a study session”.
2.2 Interactive Dialog Task
We also let users talk to a Wizard-of-Oz dialog system to reproduce (“reenact”) the multi-domain
tasks in speech, instead of using the touch screen, in a controlled laboratory environment. The
users were shown 1) apps used; 2) task description they provided earlier; 3) meta data such as time,
location to help them recall the task (see the left part in Fig 2). The wizard (21-year-old male
native English speaker) was instructed to respond directly to participant’s goal-directed requests
and to not accept out-of-domain inputs. The participants were not required to follow the order of
the applications used on the smartphones. Other than for remaining on-task, we did not constrain
expression. An example of a transcribed dialog is shown in the right part in Fig 2. This allowed us
2
: Ready.
: Connect my phone to bluetooth speaker.
: Connected to bluetooth speaker.
: And play music.
: What music would you like to play?
: Shuffle playlist.
: I will play the music for you.
TASK59; 20150203; 1; Tuesday; 10:48
play music via bluetooth speaker
com.android.settings  com.lge.music
W1
U1
W2
U2
W3
U3
W4
Meta
Desc
App
Dialogue
SETTINGS
MUSIC
MUSIC
Figure 2: Multi-app task dialog example. Meta, Desc, App were shown to the participant. Utterances
were transcribed manually or via Google ASR. Apps were manually assigned to utterances.
Category #Participants Age #Apps #Tasks #Multi
Male 4 23.0 19.3 170 133
Female 10 34.6 19.1 363 322
Age < 25 6 21.2 19.7 418 345
Age ≥ 25 8 38.9 18.8 115 110
Native 12 31.8 19.3 269 218
Non-native 2 28.5 18.0 264 237
Overall 14 31.3 19.1 533 455
Table 1: Corpus characteristics. Age informally indicates young and old; #Apps is the average
number of unique apps; #Multi is the number of multi-turn dialogues.
to create parallel corpora1 of how people would use multiple apps to achieve an intention via both
smartphone (touch screen) and language. We recruited 14 participants in this study and collected 533
parallel interactions, among which 455 involve multiple user turns (see Table 1 for the breakdown)

Kết quả (Việt) 1:

Những người tham gia trong nghiên cứu của chúng tôi đã đồng ý để cung cấp một bản ghi liên tục của việc sử dụng điện thoại thông minh trên một mở rộngkhoảng thời gian. Chúng tôi xây dựng một ứng dụng Android để đăng nhập mỗi invocation ứng dụng như là một sự kiện, cùng vớingày/thời gian và vị trí của điện thoại (nếu GPS được kích hoạt). Những người tham gia được yêu cầu để tải lên của đăng nhậptrên cơ sở hàng ngày. Một bước bảo mật cho phép họ để xoá tập mà họ có thể không muốn chia sẻ.Công việc tiếp theo là để tìm các nhóm có ý nghĩa của sự kiện (ứng dụng) từ các bản ghi gửi bởi người dùng. Tuy nhiên,do đa tác vụ hành vi người dùng, dựa trên thời gian [20, 4] hoặc nội dung/lexicon dựa trên [5] identi -fication phương pháp tiếp cận có thể không đến trong tiện dụng [10]. Tuy nhiên, đây không phải là trọng tâm của bài báo này. Ban đầuphân tích các dữ liệu chỉ ra rằng sử dụng điện thoại có thể được phân đoạn vào tập bao gồm các tương tácsự kiện chặt chẽ khoảng cách trong thời gian. Chúng tôi sử dụng 3 phút không hoạt động để tách sự kiện cụm đầu tiên, dựatrên một nghiên cứu thí điểm. Những người tham gia sau đó đã được mời đến phòng thí nghiệm của chúng tôi một cách thường xuyên (khoảng một lần một tuần) đểchú thích các bản ghi của họ để cung cấp chính xác hơn nhóm của sự kiện.2.1 điện thoại thông minh chú thíchChúng tôi cho thấy những người tham gia tập chiết xuất từ các bản ghi riêng của họ thông qua cách tiếp cận dựa trên thời gian. Metathông tin như ngày, thời gian và địa điểm, được hiển thị để hỗ trợ thu hồi. Những người tham gia được yêu cầusản xuất hai loại chú thích, sử dụng Brat dựa trên máy chủ cụ [21]: 1) nhiệm vụ cấu trúc: liên kếtứng dụng phục vụ một mục tiêu phổ biến/ý định; 2) Mô tả nhiệm vụ: nhập vào một mô tả ngắn gọnmục tiêu hay mục đích của nhiệm vụ. Ví dụ, trong hình 1, người sử dụng đầu tiên liên kết hai ứng dụng (một khoảngmáy ảnh và một về tin nhắn văn bản) cùng nhau kể từ khi chúng được sử dụng cho mục đích của việc chia sẻ mộthình ảnh, và đã viết một mô tả "lấy một pic của". Một số mô tả nhiệm vụ đã được khá chi tiếtvà cung cấp thực tế ứng dụng trình tự thực hiện (xem ví dụ trong hình 1). Tuy nhiên, những người khác đã khátóm tắt, chẳng hạn như "nhìn lên những vấn đề toán học" hay "lịch trình một buổi học".2.2 hộp thoại tương tác nhiệm vụChúng tôi cũng cho phép người dùng nói chuyện với một hệ thống hộp thoại Wizard of Oz để tái sản xuất ("reenact") tên miền đanhiệm vụ trong bài phát biểu, thay vì sử dụng màn hình cảm ứng, trong một môi trường phòng thí nghiệm kiểm soát. Cácngười dùng đã được thể hiện 1) ứng dụng sử dụng; 2) Mô tả công việc họ cung cấp trước đó; 3) meta dữ liệu chẳng hạn như thời gian,vị trí để giúp họ nhớ lại công việc (xem phần còn lại trong hình 2). Thuật sĩ (21 tuổi, Namnói tiếng Anh bản xứ) đã được hướng dẫn để đáp ứng trực tiếp của người tham gia hướng mục tiêu yêu cầuvà không chấp nhận ra tên miền đầu vào. Những người tham gia đã không bắt buộc phải thực hiện theo thứ tựCác ứng dụng được sử dụng trên các điện thoại thông minh. Khác hơn nhất còn lại trên-nhiệm vụ, chúng tôi đã không hạn chếbiểu hiện. Một ví dụ về một hộp thoại sao chép lại Hiển thị ở phía bên phải trong hình 2. Điều này cho phép chúng tôi2: Đã sẵn sàng.: Kết nối điện thoại của tôi với bluetooth loa.: Kết nối với bluetooth loa.: Và chơi nhạc.: Âm nhạc những gì bạn muốn chơi không?: Danh sách chơi shuffle.: Tôi sẽ chơi nhạc cho bạn.TASK59; 20150203; 1; Thứ ba; 10:48chơi âm nhạc thông qua bluetooth loacom.Android.Settings  com.lge.musicW1U1W2U2W3U3W4MetaDescỨng dụngĐối thoạiCÀI ĐẶTÂM NHẠCÂM NHẠCHình 2: Ứng dụng đa nhiệm vụ hộp thoại ví dụ. Meta, Desc, ứng dụng được hiển thị cho những người tham gia. Lờiđược phiên âm theo cách thủ công hoặc qua Google ASR. Ứng dụng theo cách thủ công được phân về lời.Thể loại #Participants tuổi #Apps #Tasks #MultiTỷ 4 23.0 19,3 170 133Nữ 10 34.6 19,1 363 322Tuổi < 25 6 21.2 19,7 418 345Tuổi ≥ 25 8 38.9 18,8 115 110Bản xứ 12 31.8 19,3 269 218Người bản xứ phòng không 2 28.5 18.0 264 237Tổng thể 14 31,3 19,1 533 455Bảng 1: Corpus đặc điểm. Tuổi không chính thức cho thấy trẻ và cũ; #Apps là trung bìnhsố ứng dụng duy nhất; #Multi laø soá löôïng đa biến đối thoại.để tạo ra song song corpora1 như thế nào mọi người sẽ sử dụng nhiều ứng dụng để đạt được một ý định thông qua cả haiđiện thoại thông minh (màn hình cảm ứng) và ngôn ngữ. Chúng tôi tuyển dụng 14 người tham gia trong nghiên cứu này và thu thập 533song song tương tác, trong đó, 455 liên quan đến nhiều người dùng quay (xem bảng 1 cho các sự cố)

Kết quả (Việt) 2:

Những người tham gia trong nghiên cứu của chúng tôi đã đồng ý cung cấp một bản ghi liên tục sử dụng điện thoại thông minh của mình trong một mở rộng
khoảng thời gian. Chúng tôi xây dựng một ứng dụng Android để đăng nhập mỗi lời gọi ứng dụng như là một sự kiện, cùng với
ngày / thời gian và vị trí của điện thoại (nếu GPS được kích hoạt). Những người tham gia được yêu cầu tải lên bản ghi của họ
trên một cơ sở hàng ngày. Một bước bảo mật cho phép họ để xóa các phần mà họ có thể không muốn chia sẻ.
Nhiệm vụ tiếp theo là tìm các nhóm có ý nghĩa của sự kiện (ứng dụng) từ các bản ghi gửi bởi người dùng. Tuy nhiên,
do các hành vi sử dụng đa tác vụ, dựa trên thời gian [20, 4] hoặc nội dung / từ vựng dựa trên [5] nhận diện
các cách tiếp cận fication có thể không có ích [10]. Tuy nhiên, đây không phải là trọng tâm của bài viết này. Ban đầu
phân tích các dữ liệu chỉ ra rằng việc sử dụng điện thoại có thể được tách ra thành các tập phim bao gồm sự tương tác
các sự kiện gần nhau trong thời gian. Chúng tôi sử dụng 3 phút không hoạt động để các cụm sự kiện riêng biệt đầu tiên, dựa
trên một nghiên cứu thí điểm. Người tham gia được mời đến phòng thí nghiệm của chúng tôi một cách thường xuyên (khoảng một tuần một lần) để
chú thích các bản ghi của họ để cung cấp cho các nhóm chính xác hơn về các sự kiện.
2.1 Smart Phone Annotation
Chúng tôi đã cho thấy những người tham gia tập phim trích từ nhật ký của riêng mình thông qua cách tiếp cận dựa trên thời gian. Meta
thông tin như ngày, giờ và địa điểm, đã được hiển thị để hỗ trợ thu hồi. Những người tham gia được yêu cầu
sản xuất hai loại chú thích, sử dụng các máy chủ dựa trên công cụ Brat [21]: 1) Cơ cấu công tác: liên kết
các ứng dụng phục vụ một mục tiêu chung / ý định; 2) Nhiệm vụ Mô tả: loại trong một mô tả ngắn gọn
về mục tiêu hay mục đích của công việc. Ví dụ, trong hình 1, người sử dụng đầu tiên liên kết hai ứng dụng (một về
máy ảnh và một người khác về tin nhắn văn bản) với nhau kể từ khi chúng được sử dụng cho các mục đích chia sẻ một
hình ảnh, và đã viết một mô tả "mất một pic của". Một số mô tả công việc là khá chi tiết
và cung cấp các chuỗi ứng dụng thực tế thực hiện (xem ví dụ ở hình 1). Tuy nhiên, những người khác là khá
trừu tượng, chẳng hạn như "tìm bài toán" hoặc "sắp xếp một buổi học".
2.2 Interactive Dialog công tác
Chúng tôi cũng cho phép người dùng nói chuyện với một hệ thống hộp thoại Wizard-of-Oz để tái sản xuất ("diễn lại") đa -domain
nhiệm vụ trong bài phát biểu, thay vì sử dụng màn hình cảm ứng, trong một môi trường phòng thí nghiệm kiểm soát. Việc
sử dụng đã thể hiện 1) ứng dụng được sử dụng; 2) Mô tả nhiệm vụ mà họ cung cấp trước đó; 3) dữ liệu meta như thời gian,
địa điểm để giúp họ nhớ lại những nhiệm vụ (xem phần bên trái trong hình 2). Các wizard (nam 21 tuổi
người nói tiếng Anh bản địa) đã được hướng dẫn để đáp ứng yêu cầu trực tiếp đến mục tiêu định hướng của người tham gia
và không chấp nhận out-of-miền đầu vào. Những người tham gia không được yêu cầu để thực hiện theo thứ tự của
các ứng dụng được sử dụng trên điện thoại thông minh. Khác hơn so với còn lại trên nhiệm vụ, chúng tôi không hạn chế
biểu hiện. Một ví dụ về một hộp thoại phiên âm được hiển thị ở phần bên phải trong hình 2. Điều này cho phép chúng tôi
2: Sẵn sàng.: Kết nối điện thoại với loa bluetooth.: Kết nối với bluetooth loa.: Và chơi âm nhạc.: Music gì bạn muốn chơi ?: Shuffle playlist.: Tôi sẽ chơi nhạc cho bạn. TASK59; 20150203; 1; Thứ ba; 10:48 chơi nhạc qua loa bluetooth com.android.settings  com.lge.music W1 U1 W2 U2 W3 U3 W4 Meta quyết App thoại Cài đặt MUSIC MUSIC Hình 2: nhiệm vụ nhiều ví dụ ứng dụng thoại. Meta, quyết định, App được hiển thị để người tham gia. Lời phát biểu được ghi chép lại bằng tay hoặc thông qua Google ASR. Ứng dụng đã được thủ gán cho lời phát biểu. Category #Participants Tuổi #Apps #Tasks #Multi Nam 4 23,0 19,3 170 133 Nữ 10 34,6 19,1 363 322 Tuổi <25 6 21,2 19,7 418 345 Tuổi ≥ 25 8 38,9 18,8 115 110 Native 12 31,8 19,3 269 218 2 28,5 18,0 264 237 Không bản địa chung 14 31,3 19,1 533 455 Bảng 1: Corpus đặc. Tuổi thức cho trẻ và người già; #Apps Là trung bình số lượng các ứng dụng độc đáo; #Multi Là số lượng các cuộc đối thoại đa-turn. Tạo corpora1 song song về cách mọi người sẽ sử dụng nhiều ứng dụng để đạt được một ý định thông qua cả điện thoại thông minh (màn hình cảm ứng) và ngôn ngữ. Chúng tôi đã tuyển 14 người tham gia trong nghiên cứu này và thu thập 533 tương tác song song, trong đó có 455 liên quan đến nhiều lượt người sử dụng (xem Bảng 1 cho các sự cố)