NCL-Tester: Graphic Application for NCL Documents
Temporal Test Creation
Fábio Barreto Daniel Tamaki Batista
UNILASALLE-RJ Laboratório MídiaCom, UFF
fabio.barreto@lasalle.org.br danieltamaki.uff@gmail.com
Débora C. Muchaluat-Saade
Laboratório MídiaCom, UFF
debora@midiacom.uff.br
ABSTRACT
Interactive digital TV applications with runtime errors would
certainly damage the viewer's experience. Testing NCL
multimedia applications is very important to ensure that they will
run appropriately on a digital TV receiver and really fits the
author's specification. In the literature, there are works that
propose tools for checking consistency of NCL documents.
However, most of these works do not provide a graphical editor
that facilitates the specification of temporal tests that can be used
to verify if a document executes as desired. This paper proposes a
new graphical tool, called NCL-Tester, which offers such
functionality for NCL documents. Through NCL-Tester, an NCL
application designer can specify temporal relationships between
its media components and test whether these relationships will be
respected when the NCL application runs. NCL-Tester uses aNaa
(API for NCL Authoring and Analysis) to run the tests and returns
to the author a success or error message for each test. The
usefulness of the proposed tool was verified by usability tests.
KEYWORDS
Relação temporal, NCL, aNaa, verificação de consistência de
documentos hipermídia, NCL-Tester
1. INTRODUÇÃO
Sistemas hipermídia manipulam mídias, digitalmente, sendo elas
contínuas ou discretas além de prover a interação com usuários.
Estão disponíveis em várias plataformas como smartphones,
computadores, tablets e TVs digitais. Essas aplicações são
desenvolvidas por diversos tipos de profissionais que variam
desde designers gráficos, editores audiovisuais e autores que
trabalham na construção de documentos hipermídia. Enquanto
designers trabalham buscando definir a qualidade e editores com a
produção de determinados itens de mídia específicos da aplicação,
o autor trabalha com a integração dos módulos de modo que a
aplicação atenda às especificações definidas.
Documentos hipermídia podem ser criados através de uma
Permission to make digital or hard copies of all or part of this work for
personal or classroom use is granted without fee provided that copies are not
made or distributed for profit or commercial advantage and that copies bear
this notice and the full citation on the first page. Copyrights for components of
this work owned by others than ACM must be honored. Abstracting with
credit is permitted. To copy otherwise, or republish, to post on servers or to
redistribute to lists, requires prior specific permission and/or a fee. Request
permissions from Permissions@acm.org.
WebMedia '16, November 08-11, 2016, Teresina, PI, Brazil
© 2016 ACM. ISBN 978-1-4503-4512-5/16/11…$15.00
DOI: http://dx.doi.org/10.1145/2976796.2988199
91
Joel A. F. dos Santos
CEFET/RJ
joel.santos@cefet-rj.br
linguagem de autoria hipermídia, que permite especificar tanto
propriedades temporais quanto espaciais das mídias que
participam da aplicação.
Diferentes linguagens hipermídia são usadas para especificar
comportamentos temporais e espaciais de um documento
hipermídia. Dentre as principais, estão as linguagens de autoria
SMIL (Synchronized Multimedia Integration Language) [1],
HTML5 (HyperText Markup Language 5) [2] e NCL (Nested
Context Language) [3]. Esta última é a linguagem adotada como
padrão para desenvolvimento de programas interativos no Sistema
Brasileiro de TV Digital e foco deste trabalho.
Com o objetivo de minimizar os erros na autoria hipermídia,
alguns trabalhos propõem ferramentas gráficas [4][5] [6] e
validadoras [7] [8] [9] [10] como alternativas para facilitar a
produção e edição de aplicações multimídia.
O uso de ferramentas de autoria gráfica como o NEXT [5], abstrai
do usuário a necessidade de utilizar detalhes da linguagem
adotada na criação do documento. Isso pode eliminar o problema
de criação de uma aplicação não funcional, porém, problemas
comportamentais podem ainda persistir. Os diferentes tipos de
mídias e suas interações definidas em um documento hipermídia
podem não representar o comportamento desejado pelo autor
apesar de não apresentarem erros funcionais.
A API aNaa (API for NCL Authoring and Analysis) [11] possui a
capacidade de analisar um documento NCL baseado em uma
determinada propriedade representando um comportamento
específico. Entretanto, não oferece diretamente ao autor um
ambiente com uma representação visual amigável ao usuário.
Este trabalho propõe NCL-Tester, uma ferramenta gráfica que
oferece tal funcionalidade para documentos NCL. Através de
NCL-Tester, o projetista de uma aplicação NCL pode especificar
relacionamentos espaço-temporais entre os seus componentes de
mídia e testar se esses relacionamentos serão respeitados quando a
aplicação NCL for executada. NCL-Tester utiliza a API aNaa para
executar os testes e retorna para o autor a resposta de sucesso ou
erro para cada teste. O usuário pode especificar testes baseados
em tipos pré-definidos de propriedades e realizar a análise do
documento através da ferramenta proposta. Os resultados da
análise gerados pela API são apresentados pelo editor para o
usuário de forma clara e visual para que ele possa interpretá-los e
obter auxílio no desenvolvimento de um documento hipermídia.
O restante deste trabalho está estruturado da seguinte maneira. A
Seção 2 apresenta trabalhos relacionados. A Seção 3 apresenta o
NCL-Tester. A Seção 4 discute brevemente testes de usabilidade
feitos com a ferramenta. A seção 5 conclui o artigo e aponta
trabalhos futuros.
2. TRABALHOS RELACIONADOS
A literatura é rica em discussão sobre a validação de documentos
multimídia. Em geral, são poucos os trabalhos que permitem a
criação de propriedades definidas pelo próprio autor de um
documento. Esta seção resume alguns trabalhos que propõem
abordagens para validação de documentos NCL.
Felix em [12] apresenta uma abordagem para a validação de
documentos NCL através de model-checking. A validação de um
documento é feita sobre um conjunto de autômatos, representando
seu comportamento, usando fórmulas em lógica temporal
previamente criadas pelo autor. Entretanto, o trabalho não oferece
uma ferramenta gráfica que facilite a criação de tais fórmulas.
Bertino et al. em [13] propõem um modelo de autoria baseado em
restrições.. A validação de um documento é feita verificando a
consistência do conjunto de restrições. Se uma inconsistência é
encontrada, o conjunto de restrições é automaticamente reduzido
de forma a evitar a inconsistência. Quando tal redução automática
não é possível, o autor deve revisar o código criado para evitar a
inconsistência.
Elias et al. em [14] também propõem um sistema de autoria
baseado em restrições. Dois operadores são definidos:
TEMPORAL e SPATIAL. Cada operador permite ao autor definir
um valor de prioridade. Para manter a consistência de um
conjunto de restrições, sempre que necessário, restrições são
removidas com base em sua prioridade.
Gaggi e Bossi em [15] definem uma semântica formal para SMIL.
Durante autoria, a estrutura de um documento é enriquecida com
assertivas expressando propriedades temporais a serem
respeitadas. A validação de um documento é realizada pela
aplicação de axiomas, definidos na semântica proposta em [15],
para verificar se uma dada construção ou conjunto de construções
corretamente muda o estado do documento. Caso contrário, o
problema encontrado é indicado ao autor para que seja corrigido.
Junior et al. em [16] usam uma abordagem dirigida a modelos
para a validação de documentos NCL. A validação é realizada
através da transformação de um documento NCL em uma
estrutura de Kripke. A validação usa uma ferramenta de model-
checking e fórmulas em lógica temporal representando
propriedades a serem validadas. O trabalho propõe um editor para
especificação de propriedades definidas pelo usuário.
NCL-Tester possibilita a execução de testes isoladamente ou em
grupos de propriedades das mídias pertencentes de um documento
NCL padrão. A estrutura da ferramenta deixa em aberto a
possibilidade para futuras inclusões de novos testes sobre outras
propriedades. Tais testes podem ser definidos pelo próprio autor
permitindo uma maior flexibilidade em seu trabalho.
Em [12] [16] são providas ferramentas para a criação e teste de
propriedades temporais e espaciais em documentos hipermídia.
Em [12]o autor deve especificar as propriedades através de
fórmulas em lógica temporal. Em [16] o autor escolhe uma
propriedade de um conjunto de propriedades predefinidas.
Diferente destes trabalhos, NCL-Tester prove uma interface
gráfica com a qual o autor pode especificar o teste a ser validado.
É importante ressaltar ainda que NCL-Tester atua sobre
documentos NCL padrão, diferente de [16], onde o autor deve
converter o documento para uma versão simplificada de NCL
afim de realizar a validação.
92
3. NCL-TESTER
A realização de testes temporais em um documento hipermídia
através da ferramenta NCL-Tester se dá com testes unitários entre
mídias, contidas em um documento a ser testado. Para tanto,
durante a leitura de um documento NCL selecionado pelo usuário,
suas mídias são identificadas e adicionadas ao repositório de
mídias de NCL-Tester. A ferramenta permite analisar um
documento NCL por vez, portanto ao abrir um novo documento,
todas as abas com testes criados anteriormente são apagadas, bem
como seus resultados.
A Figura 1 apresenta a tela do NCL-Tester, onde podemos
perceber três menus: Project, Test e Help. O menu Project possui
duas funcionalidades. Uma para importar o documento NCL a ser
validado e outra que permite fechar a aplicação. A opção de
importar abre um browser para o usuário selecionar o documento
a ser validado, nesse momento todas as mídias contidas no
documento aparecem no repositório de mídia na parte inferior da
tela. Na Figura 1, por exemplo temos as mídias: hey, ho e listen.
Além dos menus a ferramenta apresenta dois conjuntos de abas, o
Relations Test e o conjunto de abas de testes. O Relations Test
possui duas abas contendo em cada uma os tipos de relações a
serem utilizados na criação dos testes. Na aba Temporal o usuário
pode escolher qual/quais relações temporais ele quer testar. São
apresentadas representações gráficas para as relações de Allen
before, meets, ovelaps, starts, during, finishes e equals.
A representação de cada relação remete às figuras da relação de
Allen. A partir do momento que o usuário escolhe o teste que
deseja realizar, uma aba é criada no conjunto de abas de testes. A
partir de então o usuário pode escolher quais mídias presentes no
repositório de mídias participarão do teste. A escolha da mídia é
feita arrastando uma mídia para o campo correspondente na
relação sendo criada. Um exemplo é apresentado na Figura 1 onde
o retângulo verde foi preenchido com a mídia ho.
Todo teste criado tem uma mídia considerada como mestre e uma
ou mais consideradas como escravas. Na representação visual do
teste, a mídia mestre é indicada por um retângulo verde, enquanto
as mídias escravas são indicadas por retângulos cinza. No
exemplo apresentado na Figura 1 a mídia ho foi selecionada como
mestre do teste Equals. Nesta figura, a mídia listen foi escolhida
como escrava.
Figura 1: Tela do NCL-Tester
Cada teste especificado pelo usuário, no momento da validação, é
convertido em uma lista de testes, um para cada mídia escrava.
Nessa lista, cada teste segue o mesmo tipo do teste criado na
ferramenta mas possui apenas dois participantes, a mídia mestre e
uma mídia escrava. Os testes são então analisados separadamente
através da API aNaa. Esse procedimento permite que o resultado
da análise seja mais específico, indicando ao usuário em qual, ou
quais, mídia um erro foi detectado, caso exista.
A partir do momento que o teste é criado ele poderá ser executado
individualmente no link “Execute Equals test” como podemos ver
no final da aba Equals na Figura 1. O resultado do teste será
apresentado conforme na Figura 2.
Figura 2: Execução do teste finalizada
As mídias para as quais o teste falhou são pintada de vermelho e
as que passaram são pintadas de verde. No final da aba de
descrição do teste é apresentando uma lista dos testes individuais
que falharam.
As vantagens na abordagem de sistema de abas estão nas
facilidades para o usuário final de poder eliminar um teste apenas
fechando a aba correspondente, melhor organização, tendo todos
os testes visíveis ao mesmo tempo e possibilidade de troca do
teste em destaque para edição ou execução. Todos os itens
listados eliminam o passo extra de buscar o teste desejado dentro
de uma pilha. Com o sistema, o usuário pode preferir executar
apenas um teste separado enquanto trabalha na criação de outros
ou pode realizar a execução de todos os testes de uma vez para ter
um resultado mais completo da análise de um documento.
A escolha dos possíveis testes a serem realizados foi motivada
pela possibilidade de análise que a ferramenta aNaa [11] permite.
Assim, os testes possíveis a serem feitos no editor são aqueles que
verificam as propriedades (relações) atômicas implementadas em
aNaa. Outras propriedades podem ser criadas usando as
propriedades atômicas como base e consequentemente testadas.
4. AVALIAÇÃO DO EDITOR
Foi avaliada a usabilidade da ferramenta NCL-Tester através de
teste de usabilidade baseado no sistema de escala de usabilidade
(SUS - System Usability Scale)[17]. Os participantes do teste são
alunos e profissionais da área de ciência da computação. O grupo
de participantes foi subdividido entre aqueles sem conhecimento
de NCL, contendo 5 participantes, e aqueles com experiência em
NCL, contendo 6 participantes.
Os resultados do teste foram interpretados e por fim, levados em
consideração para futuras melhorias na ferramenta. A Tabela 1
93
contém os resultados finais de média SUS dos participantes
agrupados por sua proficiência na linguagem NCL.
Proficiência em NCL 5 4 3 2 1
Total 72,5 73,75 80 55 60,8
Tabela 1: Resultado SUS
O resultado padrão do SUS para que uma interface seja
considerada aceitável é 68 [29]. Como a média geral foi de 68,4 e
a para pessoas proficientes na linguagem NCL foi de 75,4 pode-se
afirmar que NCL-Tester está bem avaliado para seu público alvo,
usuários proficientes em NCL. O resultado de 58 para pessoas
sem proficiência em NCL mostra que a interface ainda há de ser
melhorada para ser melhor aceita por usuários em geral. Dentre as
sugestões indicadas pelos participantes do teste, foi reforçada a
melhoria na intuitividade da ferramenta alegando-se a existência
de pouca informação na interface do editor para indicar ao usuário
o que fazer. Outras sugestões envolveram a adição de teclas de
atalho para execução de funcionalidades da ferramenta,
possibilidade de apagar o registro do painel de resultados sempre
que uma avaliação for realizada e sugestões para melhorias dos
nomes exibidos na interface da ferramenta
5. CONCLUSÕES
Este trabalho tem como principal contribuição a proposta e
criação de uma ferramenta gráfica, chamada NCL-Tester, para
especificação de testes temporais em documentos NCL, visando
auxiliar o desenvolvimento de aplicações interativas para o
Sistema Brasileiro de Televisão Digital.
Ao utilizar a ferramenta proposta, o autor de um documento
hipermídia tem condições de realizar testes automatizados e obter
respostas ilustrativas sobre o comportamento entre mídias de seu
documento, melhorando assim o processo de desenvolvimento de
aplicações interativas para o SBTVD. Este autor teria uma maior
dificuldade de garantir que seu documento atenda a determinadas
propriedades especificadas sem o uso da ferramenta proposta.
NCL-Tester se baseia na API aNaa para executar cada teste
especificado pelo usuário e exibir seu resultado. aNaa realiza a
validação de um documento através de model-cheking e considera
propriedades temporais baseadas nas relações de Allen e
propriedades espaciais baseadas nas relações RCC.
A implementação de NCL-Tester utiliza o padrão de projeto MVC
e o paradigma de programação orientado a objetos em Java.
Foram realizados testes de usabilidade de NCL-Tester com um
grupo de 11 usuários, que consideraram a ferramenta útil para a
validação de documentos NCL, obtendo uma média SUS de 75,4
entre autores NCL.
Melhorias hão de ser feitas no editor com o desenvolvimento de
mais tipos de testes temporais entre mídias, por exemplo,
contendo especificação de atraso exato entre elas e testes
verificando propriedades de interação com o usuário final. Um
outro trabalho futuro é possibilitar a criação de testes espaciais a
partir das relações RCC (Randell, Cui e Cohn)[18] e combinação
das propriedades atualmente disponíveis.
No âmbito de usabilidade da ferramenta, a possibilidade de salvar
o ambiente de trabalho do autor para que se possa continuar a
análise de um documento com testes já criados posteriormente,
melhorias na legibilidade, melhor intuitividade de uso da
ferramenta, bem como atalhos do teclado para suas funções, são
trabalhos em andamento.
 A expansão dos tipos de documentos hipermídia a serem
analisados, além de NCL, virão com o suporte futuro da API aNaa
ou a criação de outra API que realize tal verificação. Também será
considerada a possibilidade do repositório de mídias de importar
mais tipos de mídia, além de áudio, vídeo e imagem, conforme as
novas possibilidades de testes forem criadas.
6. REFERÊNCIAS
[1] SMIL, “Synchronized Multimedia Integration Language
(SMIL 3.0),” 2008. [Online]. Available:
http://www.w3.org/TR/SMIL3/. [Acesso em 13 08 2015].
[2] HTML5, “A vocabulary and associated APIs for HTML,”
2014. [Online]. Available: http://www.w3.org/TR/html5/.
[Acesso em 2015 08 13].
[3] ITU, “Nested Context Language (NCL) and Ginga-NCL for
IPTV,” 2009. [Online]. Available: http://www.itu.int/rec/T-
REC-H.761-200904-S. [Acesso em 07 06 2016].
[4] R. L. Guimarães, R. M. R. Costa and L. F. Soares,
“Composer: Ambiente de Autoria de Aplicações Declarativas
para TV Digital Interativa,” in XII Simpósio Brasileiro de
Sistemas Multimídia e Web, 2007.
[5] D. Silva e D. Muchaluat-Saade, “NEXT-Editor Gráfico par
Autoria de Documentos NCL com Suporte a Templates de
Composição,” em WebMedia, 2012.
[6] D. Mattos, STEVE - Editor Gráfico da Visão Espaço-
Temporal para Autoria de Documentos Hipermídia, Niterói:
Dissertação de Mestrado em Computação, Universidade
Federal Fluminense, 2015.
[7] E. Araújo, R. Azevedo e C. Neto, “NCL-validador: um
processo para validação sintática e semântica de documentos
multimidia NCL,” em Jornada de Informática do Maranhão,
2008.
[8] B. Lima, R. Azevedo, M. Moreno e L. Soares, “Composer 3:
Ambiente de Autoria Extensível, Adaptável e
Multiplataforma.,” em WebMedia - Workshop de TV Digital
Interativa (WTVDI), 2010.
[9] A. Bossi e O. Gaggi, “Enriching smil with assertions for
temporal validation,” em 15th international conference on
Multimedia, 2007.
[10] S. Elias, K. Easwarakumar e R. Chbeir, “Dynamic
consistency checking for temporal and spatial relations in
multimedia presentations.,” em the 2006 ACM symposium on
Applied computing, 2006.
[11] J. A. F. dos Santos, Multimedia Document Validation Along
Its Life Cycle, Niterói: Tese de Doutorado em Computação,
Universidade Federal Fluminense, 2016.
[12] M. F. Felix, “Formal Analysis of Software Models Oriented
by Architectural Abstractions,” 2004.
[13] E. Bertino, E. Ferrari, A. Perego and D. Santi, “A Constraint-
Based Approach for the Authoring of Multi-Topic
Multimedia Presentations,” in IEEE International Conference
on Multimedia and Expo, Amsterdam, Netherlands, IEEE
Computer Society, 2005, pp. 578-581.
[14] S. Elias, K. Easwarakumar and R. Chbeir, “Dynamic
consistency checking for temporal and spatial relations in
multimedia presentations,” in Proceedings of the 2006 ACM
symposium on Applied computing, Dijon, France, ACM,
2006, pp. 1380-1384.
94
[15] O. Gaggi and A. Bossi, “Analysis and verification of SMIL
documents,” Multimedia Systems, vol. 17, no. 6, pp.
487-506, April 2011.
[16] D. Picinin Júnior, C. Koliver, C. A. S. Santos and J.-M.
Farines, “Verifying Hypermedia Applications by Using an
MDE Approach,” in System Analysis and Modeling: Models
and Reusability, vol. 8769, Springer International Publishing,
2014, pp. 174-189.
[17] J. Brooke, SUS - A quick and dirty usability scale. Usability
Evaluation in Industry, Taylor and Francis, 1996.
[18] D. A. Randell, Z. Cui and A. G. Cohn, “A spatial logic based
on regions and connection,” Principles of Knowledge
Representation and Reasoning, pp. 165-176, 1992.
[19] JavaFX, “Client Technologies: Java Platform, Standard
Edition (Java SE) 8 Release 8,” 2014. [Online]. Available:
http://docs.oracle.com/javase/8/javase-
clienttechnologies.htm. [Acesso em 10 07 2014].
[20] C. Santos, L. Soares, G. Souza and J. Courtiat, “Design
methodology and formal validation of hypermedia
documents,” Proceedings of the sixth ACM International
Conference, pp. 39-48, 1998.
[21] W3C, “Synchronized Multimedia Integration Language -
SMIL,” World-Wide Web Consortium Recommendation,
2008. [Online]. Available: http://www.w3c.org/TR/SMIL3.
[22] M. a. T. M. a. M. P. de Oliveira, “ACM Transactions on
Information Systems (TOIS),” A statechart-based model for
hypermedia applications, vol. 19, p. 52, 2001.
[23] E. Clarke, O. Grumberg and D. Peled, Model Checking, The
MIT Press, 2000.
[24] M. Clavel, S. Eker, F. Drurán, P. Lincoln, N. Martí-Oliet and
J. Meseguer, “All about Maude - A High-performance
Logical Framework: how to Specify, Program, and Verify
Systems in Rewriting Logic,” Springer-Verlag New York Inc,
vol. 4350, 2007.
[25] J. A. F. dos Santos, J. V. Silva, R. R. Vasconcelos, W. Schau,
C. Werner and D. C. Muchaluat-Saade, “aNa: API for NCL
Authoring,” in Proceedings of the 18th Brazilian Symposium
on Multimedia and the Web - Workshop of Tools and
Applications, 2012.
[26] J. A. F. dos Santos, C. Braga and D. C. Muchaluat-Saade,
“Automating the Analysis of NCL Documents with a Model-
driven Approach,” in Proceedings of the 19th Brazilian
Symposium on Multimedia and the Web, New York, ACM,
2013, pp. 193-200.
[27] J. F. Allen, “Maintaining Knowledge about Temporal
Intervals,” Communications of the ACM, vol. 26, no. 11, pp.
832-843, 1983.
[28] A. Pnueli, “The temporal logic of programs,” in 18th Annual
Symposium on Foundations of Computer Science, IEEE,
1997, pp. 46-57.
[29] L. Soares, R. Rodrigues and D. Muchaluat-Saade, “Modeling,
authoring and formatting hypermedia documents in the
HyperProp system,” Multimedia Systems, vol. 8, no. 2, pp.
118-134, 2000.