Machine Translated by Google

Web Semântica 9 (2018) 291–302 DOI 291

10.3233/SW-180292
Imprensa IOS

Editorial

Web Semântica e Computação Humana: A

status de um campo emergente
d c
Marta Sabou a,*, Lora Aroyo b, Kalina Bontcheva c , Alessandro Bozzon e Rehab K. Qarout
uma

Faculdade de Informática, Universidade Técnica de Viena, Viena, Áustria

E-mail: marta.sabou@ifs.tuwien.ac.at
b
Departamento de Ciência da Computação, Vrije Universiteit Amsterdam, Holanda
E-mail: lmaroyo@gmail.com
c
Departamento de Ciência da Computação, Universidade de Sheffield, Sheffield, Reino Unido
E-mails: k.bontcheva@sheffield.ac.uk, rkqarout1@sheffield.ac.uk
d
Departamento de Tecnologia de Software, Delft University of Technology, Delft, Holanda
E-mail: a.bozzon@tudelft.nl

Resumo. Este artigo editorial apresenta uma edição especial que solicitou artigos na interseção da Web Semântica e Human
Pesquisa de computação. A pesquisa nesse espaço interdisciplinar remonta a uma década e tem sido reconhecida como
linha própria de um manifesto de pesquisa seminal publicado em 2015. Mas onde estamos em 2018? Como essa linha de pesquisa
evoluiu na última década? Como os trabalhos desta edição especial se alinham com as principais linhas de trabalho da comunidade? Nisso
editorial inspecionamos e refletimos sobre a evolução da pesquisa na intersecção da Web Semântica e da Computação Humana. Nós
utilizar uma metodologia baseada em Estudos de Mapeamento Sistemático para coletar dados bibliográficos quantitativos que analisamos através do
lente de tópicos de pesquisa previstos pelo manifesto de pesquisa para caracterizar a evolução da pesquisa nesta área, proporcionando assim uma
contexto para a introdução dos artigos desta edição especial. Encontramos evidências de um campo de pesquisa próspero; ao mesmo tempo em que amadurece
o campo oferece uma série de oportunidades de pesquisa aberta para o trabalho onde as melhores práticas e técnicas da Web Semântica são aplicadas
para apoiar e melhorar o estado da arte em Computação Humana, mas também para um trabalho que explore a força de ambas as áreas para
abordar questões científica e socialmente relevantes.

Palavras-chave: Web Semântica, Computação Humana, crowdsourcing

1. Introdução pesquisa e a área mais ampla de Computação Humana

Em 2015, um manifesto de pesquisa [40] propôs um roteiro
para a pesquisa na interseção da Semântica
áreas de pesquisa Web e Crowdsourcing, defendendo
a existência de amplas sinergias entre esses dois campos de
pesquisa que precisam ser exploradas. O manifesto
e o entusiasmo geral por esta linha de pesquisa
nos motivou a organizar uma edição especial como
publicação de artigos na interseção da Web Semântica
*Autor correspondente. E-mail: marta.sabou@ifs.tuwien.ac.at.
e Crowdsourcing (HC&C).
O objetivo deste editorial é transmitir uma imagem
como esta linha de pesquisa evoluiu ao longo do passado
década, e especialmente durante os três anos desde a
publicação do manifesto. Isso é feito em dois
caminhos. Por um lado, pretendemos fornecer uma ampla e
visão quantitativa do campo, realizando uma análise da literatura
científica nesta área publicada
na última década (2008–2018) na Seção 3.
Por outro lado, apresentamos brevemente os trabalhos publicados em
esta edição especial e posicioná-los no contexto mais amplo

1570-0844/18/$35,00 © 2018 – IOS Press e os autores. Todos os direitos reservados

Machine Translated by Google
292 M. Sabou et ai. / Web Semântica e Computação Humana
texto da pesquisa na Seção 4. Concluímos na Seção 5
com as lições aprendidas com a nossa análise e discutir os desafios
pendentes em aberto que poderiam ser perseguidos neste
excitante área de pesquisa.
2. Sinergias da Web Semântica e Humana
Pesquisa de computação
Existem várias sinergias entre as áreas de
Web Semântica e Computação Humana que abrem
uma série de caminhos para a investigação [40].
Decorrente de sua motivação original de estender
a Web com uma camada de representação semântica [4,17],
a Web Semântica (SW) visa resolver um conjunto de problemas
complexos que os computadores ainda não conseguem dominar
completamente. Os exemplos incluem a criação de modelos conceituais
(por exemplo, ontologias), a anotação semântica de vários tipos de
mídia ou vinculação de entidades em Linked Open
Conjuntos de dados e gráficos de conhecimento. Como resultado, a
implantação em larga escala de tecnologias da Web Semântica geralmente
depende da disponibilidade de contribuição humana significativa. Tais
contribuições são tradicionalmente fornecidas
por especialistas – por exemplo, engenheiros de ontologia para construir
ontologias, ou anotadores para criar os dados semânticos ou vincular
entre as instâncias de vários conjuntos de dados.
Os métodos de Computação Humana (HC) alavancam
poder de processamento para resolver problemas que ainda são difíceis
de resolver usando apenas computadores [37], e, portanto, são
adequados para apoiar pesquisas em Web Semântica
especialmente naquelas áreas que ainda requerem contribuições
humanas. Por exemplo, métodos HC podem ser usados
para criar dados de treinamento para algoritmos avançados ou como
meios para avaliar a saída de tais algoritmos. No entanto, para aumentar
a precisão e a eficiência
de interpretação de dados em escala, cada vez mais algoritmos
(máquinas) e contribuições humanas são reunidas em uma simbiose
natural [11]. Tal sinergia é
muitas vezes executadas como interações iterativas, também conhecidas
como o paradigma Human-in-the-Loop. Neste paradigma
o usuário tem a capacidade de influenciar o resultado de
o processo da máquina, fornecendo feedback sobre diferentes opiniões,
perspectivas e pontos de vista. Além disso, este paradigma contribui
para aumentar a explicabilidade e transparência da Inteligência Artificial
resultados.
Enquanto os métodos de HC poderiam teoricamente envolver apenas
pequeno número de colaboradores, abordagens de crowdsourcing ,
alavancam a “sabedoria da multidão” ao engajar um grande número de
colaboradores online para realizar tarefas que ainda não podem ser
automatizadas, muitas vezes repostas.
colocando uma força de trabalho tradicional, como funcionários ou
especialistas de domínio [18]. Como tal, os métodos de crowdsourcing
não apenas apoiam a criação de pesquisas relevantes
dados, mas mais importante, eles também podem ajudar a resolver
o gargalo de especialistas e anotadores de conhecimento
necessários para a implantação em larga escala de Semântica
Tecnologias Web e Linked Data.
Os benefícios potenciais na interseção da Semântica
Os campos Web e Computação Humana já foram discutidos em 2015
[40], onde duas principais possibilidades de pesquisa
filiais onde identificadas e documentadas.
Por um lado, HC&C oferece técnicas promissoras para resolver
tarefas típicas da Web Semântica. Nos referimos
para este ramo como HC&C para Web Semântica (em breve,
HC4SW). Dois cenários foram previstos em [40] como
típico para a linha de pesquisa HC4SW, como segue:
– Engenharia de Ontologias e Curadoria da Base de Conhecimento:
diz respeito à aquisição de conhecimento
estruturas (por exemplo, ontologias, bases de conhecimento,
gráficos de conhecimento) através de uma série de tarefas
como definir classes e suas hierarquias,
identificando relações, estendendo ontologias com
instâncias, rótulos, documentação e metadados.
– Validação e Aprimoramento do Conhecimento :
abrange tarefas que visam melhorar a qualidade de
fontes de dados semânticos “analisando, verificando,
corrigir ou estender” [40] aspectos selecionados de
estruturas de conhecimento.
Por outro lado, as tecnologias da Web Semântica podem
apoiar a pesquisa HC&C (SW4HC) de uma das seguintes maneiras:
– Representação do Conhecimento: usando ontologias para
fornecer representações semânticas dos dados e
conhecimento em sistemas HC&C.
– Integração de dados: o conhecimento formalmente representado
pode facilitar a integração de dados, especialmente com conjuntos
de dados que podem aumentar e estender os dados dos sistemas
de HC&C.
– Raciocínio Automático: a semântica pode ser usada para
executar uma série de tarefas de raciocínio automatizado,
por exemplo, para automatizar a verificação de
dados ou para gerar feedback automático para o
colaboradores humanos.
Como esta edição especial marca uma década de pesquisa na
intersecção das áreas de pesquisa Web Semântica e Computação
Humana, na próxima seção investigamos em um estudo quantitativo
como a pesquisa neste
área evoluiu ao longo do tempo.
Machine Translated by Google

M. Sabou et ai. / Web Semântica e Computação Humana 293

Fig. 1. Principais etapas do Estudo de Mapeamento Sistemático e seus resultados em números de papel.

3. Insights sobre uma década de pesquisa

Proporcionar uma visão mais ampla da interação entre as áreas

de pesquisa da Web Semântica por um

lado, e Computação Humana de outro, realizamos uma análise

bibliográfica de pesquisas publicadas
na última década (2008-2018).
Abordamos quatro grandes bibliotecas digitais: ACM Digital Library
(ACM), Scopus, Science Direct (SciDir)
e ISI Web of Science (WebScie). A literatura
A pesquisa foi baseada em uma metodologia inspirada nos Estudos
Sistemáticos da Literatura, que são amplamente adotados
Fig. 2. Sobreposição de conjuntos de papéis relevantes coletados de quatro bibliotecas
em ciências sociais e em engenharia de software [24].
digitais.
Mais precisamente, seguimos uma variante desse método,
nomeadamente um Estudo de Mapeamento Sistemático [23], que é computação humana, humano no circuito. A pesquisa
mais adequado nos esforços para abordar consulta tomou o seguinte formato:
questões de pesquisa, como mapeamento (a evolução de)
tópicos de uma área de pesquisa. Como nosso estudo não é um (“web semântica” OU ontolog* OU “dados vinculados” OU

levantamento aprofundado, focamos apenas nas primeiras etapas de “base de conhecimento” OU “gráfico de conhecimento”) E

o método de Estudo de Mapeamento Sistemático relacionado com (crowdsource* OU “computação humana” OU

encontrar e selecionar artigos relevantes. A conclusão humano no circuito)

As etapas da metodologia focam na coleta detalhada de dados, mas

não foram executadas por estarem além
representado na Fig. 1 e incluiu as seguintes etapas:
o escopo deste estudo.
Nosso objetivo foi complementar o manifesto de Sara sua no el.
(2015), fornecendo insights quantitativos sobre
como os temas de pesquisa previstos pelo manifesto
realmente evoluiu. Portanto, nossas questões de pesquisa são
relacionados ao volume, evolução e principais linhas de pesquisa
abordadas pela comunidade na última década.
Assim, criamos uma consulta de pesquisa que identificava todos os
artigos para os quais o título ou o resumo (ou ambos) continham uma
combinação ou termos de
as duas áreas de pesquisa. Como palavras-chave representativas para
a área de pesquisa da Web Semântica que escolhemos: semântica
Nossa metodologia para coletar documentos relevantes é
1. A busca baseada em palavras-chave nas quatro bibliotecas
digitais retornou um total de 1.208 artigos, distribuídos nas
principais bibliotecas digitais conforme mostrado
na Fig. 1.
2. Seleção de papel. Filtramos manualmente cada conjunto de
resultados e determinamos se os papéis devolvidos eram
relevantes para nossa pesquisa, julgando
seu título, palavras-chave e resumo. A seleção
foi realizado por dois pesquisadores para reduzir o viés.
Isso resultou em 488 artigos relevantes.
3. Mesclagem de conjuntos de resultados. Os conjuntos de resultados individuais

web, ontolog*, dados vinculados, base de conhecimento, gráfico de da Etapa 2 foram mescladas para remover duplicatas e resultar
conhecimento. Termos para HC&C incluídos: crowdsourcing*, em 294 artigos. A Figura 2 representa
Machine Translated by Google

294 M. Sabou et ai. / Web Semântica e Computação Humana

(a) números de papel (b) tipos de papel

Fig. 3. Evolução da pesquisa ao longo do tempo em termos de (a) números de artigos publicados em bibliotecas digitais e (b) tipos de artigos.

um diagrama de Venn com a interseção de 3.2. Análise da comunidade

conjuntos de papel devolvidos pelas quatro bibliotecas digitais.
Scopus teve a melhor cobertura da área de pesquisa Um efeito colateral interessante de nossa metodologia de realizar
de interesse, mas todas as outras bibliotecas contribuíram com
uma pesquisa ampla, é que temos a possibilidade de investigar
papéis que não foram encontrados com Scopus ou qualquer outro
também as principais comunidades de pesquisa
biblioteca. Este resultado mostra que a busca em vários
que publicam pesquisas combinando Web Semântica e
bibliotecas digitais se justifica para obter um alto recall
HC&C. Consideramos as seguintes comunidades:
da literatura pertinente.
4. Classificação do papel. Várias classificações – Bio para locais relacionados à bioinformática e medicina
etapas seguidas, cada uma com foco na classificação de sistemas de informação.
papéis de acordo com diferentes critérios, como (1) a – CS para ciência da computação e (gestão) em
tipo de papel (papel de oficina, papel de conferência, locais de sistemas de formação.
Diário); (2) a comunidade de pesquisa onde o
– Eng para locais relacionados à engenharia de software
artigo foi publicado (ver detalhes na Seção 3.2)
e engenharia de dados.
bem como (3) o tema de pesquisa abordado pelo
– HCI para interação homem-computador e
papel em termos dos cenários definidos por [40] –
locais de computação.
ver detalhes na Seção 3.3.
– PNL para locais relacionados a linguagem natural pro
processamento e processamento de texto.
3.1. Evolução ao longo do tempo
– SW para locais da Web Semântica.
– WWW para locais de pesquisa na World Wide Web.
A Figura 3(a) mostra o número de artigos publicados
por anos e por biblioteca digital, bem como a fusão
A Figura 4 mostra um amplo espectro de comunidades de
dados (“Todos”). De acordo com os dados combinados, um pico de
pesquisa que publicam a pesquisa de interesse. De fato,
essa pesquisa foi alcançada em 2015, enquanto Web Of Science e
30% de todos os artigos que recuperamos foram publicados em
ACM mostram esse pico para 2016. Lá
locais da Web Semântica. Os locais da Web Semântica representam
é um declínio em 2017, mas isso ainda pode ser devido a atrasos
o berço para o início desta linha de pesquisa e
na indexação dos eventos de 2017.
substituir o principal local de publicação até 2014–2015, após
A Figura 3(b), por outro lado, mostra o número
que esta pesquisa parece se espalhar para outras comunidades, em
de diferentes tipos de papel por ano. Além de confirmar
geral locais de informática, bem como
o pico em termos de volumes de papel em 2015 e 2016,
esta figura fornece uma visão adicional sobre como o como campos mais especializados, como bioinformática, PNL

comunidade está deixando de publicar ideias iniciais em ou engenharia de dados e software. Curiosamente, esta linha de

trabalhos de workshops e conferências para a publicação pesquisa está fracamente representada em locais relacionados a
pesquisa madura em artigos de periódicos em 2017 e 2018. computação humana e interação homem-computador.
Isso aponta para o campo de pesquisa em processo de Apenas 2,7% dos trabalhos de nossa coleção foram publicados em
tornando-se mais maduro. locais de HCI na última década.
Machine Translated by Google
M. Sabou et ai. / Web Semântica e Computação Humana
Fig. 4. Distribuição de artigos em comunidades de pesquisa.
3.3. Análise de tópicos
Conforme previsto por [40], os trabalhos de pesquisa identificados
se enquadram principalmente em duas categorias: o maior subconjunto de
os artigos (146) mostram o uso de HC&C como solução (partes)
para tarefas típicas da Web Semântica (HC4SW)
enquanto 41 artigos investigam como as técnicas da Web Semântica
podem apoiar algum aspecto dos sistemas HC&C
(SW4HC). Identificamos também uma terceira categoria
de artigos (107), que combinam tanto a Web Semântica
e técnicas de HC&C para apoiar uma terceira tarefa
de uma área de pesquisa ou domínio de aplicação diferente
(HC+SW). A Figura 5 mostra a distribuição dos trabalhos
nestas três grandes categorias de pesquisa, bem como
seus subtópicos, enquanto na próxima seção discutiremos
brevemente cada categoria por vez.
3.3.1. Computação Humana para Web Semântica
(HC4SW)
Um primeiro grupo de artigos investiga como a HC&C
técnicas podem ser usadas para resolver uma variedade de tarefas
relevantes para a Web Semântica. Dentro desta categoria,
Sarasua et al. [40] abordagens diferenciadas que coletam novos
dados por meio de HC&C para construir ontologias
e bases de conhecimento (HC4SW-OntoEng). Nós achamos
um total de 75 artigos nesta categoria, que cobrem
aquisição de conhecimento sensível ao contexto em dispositivos
móveis [8], sistemas sócio-técnicos que suportam comunidades,
como a comunidade Paleoclimática, para desenvolver
e estender uma ontologia de comunidade de forma colaborativa
esforço [16]. Lou et ai. foco na aquisição de crowdsourcing de
estruturas de conhecimento mais complexas,
ou seja, regras de sanção em um caso de uso relacionado ao
Padrão médico da Classificação Internacional de Doenças (CID-11)
[26].
Dezesseis artigos usam multidões para validar e aprimorar
conhecimento existente (HC4SW-Kn.Validation). Por ex
295
Fig. 5. Distribuição dos trabalhos em função do tema principal abordado.
amplo, ul Hassan et al. [45] centram-se na avaliação da qualidade
de Linked Data e propõem um método para selecionar crowd-workers
adequados para esta tarefa. Mortensen
et ai. mostrar como o crowdsourcing pode ser bem-sucedido
usado para verificar ontologias médicas em larga escala, como
SNOMED CT [32].
Observamos o surgimento de uma nova categoria de
15 trabalhos da área de pesquisa em Web Semântica,
onde o crowdsourcing é usado como um meio para apoiar a
avaliação da pesquisa na Web Semântica (HC4SW-Evaluation).
Outras comunidades, como a comunidade de PNL, usam
rotineiramente o crowdsourcing para etapas-chave do processo
científico e principalmente para avaliar os resultados
produzidos por algoritmos recém-desenvolvidos [38]. Algum
exemplos de artigos que usam crowdsourcing para avaliar os
resultados de novas abordagens da Web Semântica
ou algoritmos são os seguintes. Potoniec et ai. propor
um algoritmo que extrai axiomas SubClassOf de
Fontes de dados vinculados e verificar a exatidão das
axiomas extraídos através de crowdsourcing [35]. KliegrGenericName
et ai. avaliar seu algoritmo de digitação de entidade em um conjunto
de dados padrão-ouro de 2.000 entidades alinhadas
com seus tipos correspondentes da DBpedia on tology [25]. Observe
que aqui relatamos apenas artigos
que já deixaram claro em seu resumo que o crowdsourcing é usado
para fins de avaliação, mas esperamos que essa categoria de artigos
seja muito maior, pois
inclui também artigos que não mencionam sua abordagem de
avaliação em seu resumo e, portanto, não foram
recuperados por nossa abordagem de pesquisa baseada em palavras-chave.
Não foi possível categorizar 40 artigos em nenhum desses
três categorias (HC4SW-Outros). Exemplos são obras
sobre tópicos verticais relevantes para uma variedade de cenários
como capturar desacordo com o CrowdTruth
framework [20] ou trabalhos que abrangem tanto a criação de
ontologias quanto a validação de conhecimento, como o uComp
Plugin protegido [48].
Machine Translated by Google
296 M. Sabou et ai. / Web Semântica e Computação Humana
3.3.2. Web Semântica para Computação Humana
(SW4HC)
Embora a pesquisa na Web Semântica beneficie significativamente
da pesquisa em Computação Humana, há também um
tendência de aplicação de técnicas de Web Semântica para
HC&C, conforme feito por 41 artigos em nosso estudo.
Conforme previsto por Sarasua et al. em 2015, primeiramente, 24
artigos relatam os benefícios dos recursos de representação de
conhecimento das tecnologias da Web Semântica (SW4HC-
Know.Repr.). Por exemplo, ontologias de
tarefas permitem uma melhor seleção de participantes em dispositivos móveis
configurações de crowdsourcing [47] e descrições semânticas
de fluxos de trabalho facilitam o crowdsourcing de uma constituição
[27]. Outra linha de trabalho se concentra em descrever
os trabalhadores, seus currículos e habilidades [6,28,41].
Em menor grau encontramos artigos onde ontologias
integração de dados suportados, por exemplo, nos domínios de saúde
[43] e processamento multimídia [7]
(SW4HC-DataIntegr.). O raciocínio automatizado sobre o conhecimento
formalmente representado é aproveitado (SW4HC Reasoning) para
otimizar a coleta de valores ausentes com crowdsourcing [46] ou para
validar o
qualidade dos dados coletados por meio de crowdsourcing [22].
Em alguns artigos, a tecnologia Linked Data permitiu
publicar abertamente dados coletados por meio de crowdsourcing [2]
ou dados de experimentos de crowdsourcing em um
esforço para apoiar a reprodutibilidade da pesquisa [13]. Isto
uso de Linked Data já era previsto pelo Sarasua
et ai. em 2015 [40] e nossa pesquisa bibliográfica encontrou realizações
concretas dessa linha de trabalho.
3.3.3. Combinando Web Semântica e Humano
Computação (SW+HC)
Indo além do manifesto de Sarasua et al. [40], nosso
pesquisa também recuperou um número substancial de artigos em
que as duas áreas de pesquisa foram usadas em combinação
para resolver um problema de outra área de pesquisa ou
para criar soluções mais complexas que abordem cenários de vários
domínios de aplicativos. Os papéis em
esta categoria apresentou o uso combinado dos dois
tecnologias em cenários muito diversos, desde a ciência cidadã até a
segurança, como mostram alguns exemplos representativos que
mencionamos a seguir.
Na área de ciência cidadã é usado um wiki semântico
para coletar anotações fornecidas pela comunidade do gene ze brafish
[42]. Gestão de crise e pós-desastre
recuperação também é um tema abordado com frequência, como
em [29].
Na área de Smart Cities existem iniciativas que
criar coleta baseada em Linked Data de reclamações de cidadãos [12]
ou coletar e integrar dados urbanos para apoiar
urbanismo portuário [36]. O crowdsourcing móvel é o
base em diversos trabalhos que tratam de geo-dados, por
por exemplo, a verificação e extensão de coleções de dados
geográficos, como o conjunto de dados OpenStreetMap [21] ou
habilitação da construção colaborativa de ontologias em projetos
cartográficos de crowdsourcing [3]. Hu et ai. descrever
a combinação dessas duas tecnologias para sistemas baseados em
recomendações que apoiam a saúde pessoal
gestão [19].
Na área do património cultural, o crowdsourcing foi
instrumental na anotação semântica da arte visual
funciona [33,34]. Mesmo na área da segurança existem
exemplos de como essas duas tecnologias podem ser combinadas,
por exemplo, para possibilitar a criação de
regras para detectar software malicioso [10].
3.3.4. Limitações e ameaças à validade
A análise apresentada nesta seção tem o objetivo de
dar uma visão indicativa da evolução da pesquisa. Estamos cientes
das seguintes limitações.
Relacionado ao recall de todos os documentos relevantes (ou seja, o
cobertura do conjunto de dados do estudo) isso pode ser melhorado
ainda mais (1) selecionando mais palavras-chave para nossas consultas;
(2) consultando fontes bibliográficas adicionais ou (3)
adicionando artigos relevantes conhecidos pelos autores, mas que
não foram recuperados por uma série de razões. Por exemplo, pode
haver artigos não indexados pelo digital
bibliotecas; artigos que não mencionam a consulta de pesquisa
palavras-chave em seu título/resumo; ou simplesmente papéis que
foram omitidos durante a seleção do papel.
Também sabemos que a precisão do papel
processo de categorização nos vários tópicos poderia ter
afetado pelo fato de ter sido realizado com base
apenas em resumos em papel. Essa categorização pode ser
mais preciso se os artigos fossem lidos em detalhes, mas este passo
estava fora do escopo de nosso estudo. Na verdade, esta etapa pode
ser realizado para um conjunto menor de artigos de estudo
selecionados para um tópico focado, mas aqui pretendemos capturar
a amplitude da pesquisa, mesmo que com algum custo de
a precisão da categorização.
A categorização dos trabalhos era, por vezes,
dificultada pelo fato de que as distinções entre as categorias de
pesquisa não eram claras. Também, poderíamos
olharam para os papéis de uma perspectiva diferente
do que os cenários definidos por Sarasua et al. [40].
Todos esses aspectos devem ser considerados por quaisquer
estudos de acompanhamento que visem criar
levantamentos de (aspectos selecionados) desta área de pesquisa.
Machine Translated by Google
M. Sabou et ai. / Web Semântica e Computação Humana
4. Documentos de emissão especial
Este número especial atraiu um total de 10 submissões das quais três
artigos [1,9,14] foram aceitos
para publicação, conforme resumido nas próximas seções.
Um quarto artigo está em revisão durante a redação do
esta redação.
4.1. Detectando problemas de qualidade de dados vinculados por meio de
crowdsourcing: um estudo da DBpedia
Este artigo se concentra no problema de verificar a
qualidade de Linked Data, em particular dados do DBpe dia [1]. Como tal,
é ilustrativo do cenário, onde
HC&C é usado para validação e aprimoramento de conhecimento (HC4SW-
Kn.Validation).
Os autores observam que vários dos problemas de qualidade
freqüentes na DBpedia, que não podem ser detectados de forma confiável
automaticamente, podem ser identificados com envolvimento humano. O
estudo se concentra em verificar quatro tipos
de problemas de qualidade frequentes em triplos DBpedia, relacionados
para (1) valores de objeto incorretos em um triplo, (2,3) incorreto
tipos de dados ou tags de idioma e (4) links incorretos.
O artigo investiga três questões principais de pesquisa, referindo-se a
(1) se e em que medida essas
tipos de erro podem ser detectados por multidões; (2) como fazer
multidões com diversos conjuntos de habilidades (por exemplo, especialistas versus leigos)
realizar essas tarefas e (3) quais são os projetos de fluxo de trabalho
ideais que combinam multidões com esses diferentes
conjuntos de habilidades para maximizar a precisão. Para investigar suas
questões de pesquisa, os autores empregam dois
gênero de crowdsourcing diferente: concursos de especialistas sobre o
um lado e o crowdsourcing tradicional de micro-tarefas em
Amazon Mechanical Turk (AMT) por outro. O
O fluxo de trabalho Find-Fix-Verify é usado em ambos os gêneros.
O artigo fornece várias lições interessantes.
Em primeiro lugar, contrastando os resultados baseados em HC com
ferramentas de avaliação de qualidade de última geração, mostra-se que o
a maioria dos erros só pode ser detectada com técnicas de HC. Isso
fornece um bom exemplo de uma tarefa que
atualmente não pode ser automatizado de forma confiável. Em segundo
lugar, as experiências confirmaram que multidões de especialistas e leigos
pode detectar de forma confiável os tipos de erro sob investigação,
cada multidão com seus próprios pontos fortes. Em terceiro lugar, os
experimentos mostram que os fluxos de trabalho combinando e explorando
as sinergias das multidões com aptidões complementares
(ou seja, especialistas versus multidões de leigos) levam a
resultados do que ao usar essas multidões isoladamente.
297
4.2. Usando microtarefas para crowdsource entidade DBpedia
classificação: Um estudo em design de fluxo de trabalho
O artigo aborda o problema de como o ser humano
computação poderia ser usada para suportar a tarefa típica da Web
Semântica de digitação de entidades em bases de conhecimento,
com foco em DBpedia (HC4SW-OntoEng) [9].
Bases de conhecimento como a DBpedia estão se tornando um
importante ativo para cientistas e profissionais, mas sofre de uma série de
falhas que podem ser rastreadas
a informações faltantes ou factualmente erradas.
Os autores investigam como a contribuição de
trabalhadores que operam em plataformas de microtrabalho podem ser
organizados para selecionar o tipo de entidade (por exemplo, empresa, dispositivo,
comida) de uma árvore de classes hierarquicamente organizadas.
Como uma hierarquia do mundo real pode facilmente conter milhares de
classes, existe uma troca fundamental
entre a precisão que poderia ser obtida por sistemas automáticos e o
custo de contratar especialistas.
O artigo contribui com uma análise do projeto principal
dimensão que afetam o design de
fluxos de trabalho que incluem componentes automatizados e de origem
coletiva e relatórios sobre seu desempenho
em termos de precisão (em termos de correção de digitação de entidade)
e custo (em termos de quantidade de
trabalho manual). Os fluxos de trabalho incluem três etapas principais: 1)
uma etapa de previsão, onde uma lista de classes candidatas para
uma determinada entidade é gerada (automaticamente, ou a partir do
multidão); 2) uma etapa de detecção de erro, onde a saída é
verificado manualmente e 3) uma etapa de correção de erros. O
autores se concentram em três tipos de fluxos de trabalho, onde o
as principais variações afetam a etapa de previsão.
Experimentos foram conduzidos em 120 entidades DBpe dia não
tipadas e demonstraram a complexidade intrínseca do problema de
tipagem de entidade. Mesmo quando os humanos estão envolvidos, três
questões principais parecem afetar
a precisão da classificação: 1) a (falta de) especialização específica de
domínio dos trabalhadores da multidão; 2) o desequilibrado
estrutura da hierarquia de tipos; e 3) a ambiguidade
de algumas entidades. Os resultados indicam claramente a necessidade de
investigação adicional, em termos de design de fluxo de trabalho
e estratégias de otimização.
4.3. Um extenso estudo de conteúdo e
Fatores de desempenho relacionados ao crowdsourcing em
anotação de entidade nomeada
Este artigo aborda um importante problema relacionado
ao reconhecimento de entidade nomeada (NER) realizado em
microposts de mídia social barulhentos, por exemplo, tweets (HC4SW
OntoEng) [14]. O pressuposto básico dos autores é
Machine Translated by Google
298 M. Sabou et ai. / Web Semântica e Computação Humana
que alguns tipos de microposts de mídia social são mais
passíveis de crowdsourcing do que outros.
Para provar sua hipótese, os autores estudam
o impacto do conteúdo do micropost na precisão
de anotações humanas. Para isso, foram realizados experimentos
utilizando um jogo com finalidade para NER chamado
Wordsmith, que forneceu trabalhadores da plataforma de crowdsourcing
Crowd Flower. Quatro conjuntos de dados de micropostos foram usados
nestes experimentos (Ritter Cor pus 2010, Finin Corpus 2008, MSM
2013 Corpus e
Wordsmith Corpus 2014), ou seja, dois experimentos por
conjunto de dados avaliando um total de 7665 tweets.
Duas questões de pesquisa e duas hipóteses guiaram
esses experimentos. Por um lado, os autores investigaram qual é o
efeito das características do micropost na
a precisão e a velocidade da anotação da entidade realizada
por trabalhadores de multidão não especializados. Os autores mediram a
número e tipo de entidades reconhecidas, bem como a
comprimento e sentimento do post. Por outro lado,
os autores também investigaram se os trabalhadores da multidão
preferem algumas tarefas NER a outras. Especificamente, eles
mediu o número de anotações ignoradas, a precisão da anotação, o
tempo gasto e a
interação da interface do usuário.
As investigações experimentais confirmaram que características
como comprimento do micropost, número e tipo de
entidades mencionadas são bons indicadores de quão bem
multidões irão realizar NER em posts: posts mais curtos com
menos entidades são mais frequentemente anotadas corretamente do que
posts mais longos com mais entidades, enquanto crowd-workers
melhor desempenho na identificação de entidades do tipo pessoa e
localização em comparação com a identificação de organizações ou
entidades diversas. Este trabalho caracteriza melhor quais postagens
são passíveis de processamento com HC
abre caminho para a construção de NER homem-máquina híbrido
fluxos de trabalho em que cada posto é atribuído ao componente
humano ou da máquina do sistema com base em sua
características.
5. Conclusões
Com base em nossa investigação de uma década de artigos em
intersecção da Web Semântica e Computação Humana, bem como os
artigos desta edição especial,
tirar as seguintes conclusões sobre a evolução deste
área de pesquisa interdisciplinar.
5.1. Tendências gerais
– Um campo em amadurecimento: embora haja alguma evidência de
diminuição do número de artigos publicados em
2016/2017, a maturidade geral do trabalho aumenta à medida
que os tipos de papel passam de artigos de oficina e conferências
para artigos de periódicos.
Prova disso é também o número de 10 trabalhos submetidos a
este número especial.
– Expansão para outras comunidades de pesquisa: os espaços da
Web Semântica foram o berço desta pesquisa, hospedando 30%
de todos os artigos. Nós observamos
no entanto, um número crescente de artigos publicados em locais
de outras comunidades de pesquisa,
especialmente aqueles que se beneficiam da combinação das
abordagens da Web Semântica e da Computação Humana. A
pesquisa é publicada em geral
locais de ciência da computação, bem como em locais de
comunidades especializadas, como PNL, Bioinformática ou
engenharia de dados e software. Surpreendentemente, esta linha
de pesquisa é fracamente representada
em espaços relacionados à Computação Humana e Interação
Humano Computador.
– Uma relação assimétrica entre as duas pesquisas
campos foi identificado, com Computação Humana
pesquisa sendo mais fortemente adotada no
Comunidade da Web Semântica do que o contrário
por aí. De fato, dos artigos de pesquisa coletados, muito mais
artigos investigam o uso de HC
para pesquisa na Web Semântica (HC4SW) do que usar a Web
Semântica para habilitar tarefas de Computação Humana
(SW4HC). Os artigos do SW4HC focaram principalmente em
explorar o uso da semântica para
representação do conhecimento, enquanto o uso desses
tecnologias para apoiar a integração de dados e o raciocínio só
foi abordado de forma limitada. Nós
acredito que este seja um caminho promissor para o futuro
pesquisa. Por exemplo, o trabalho recente de HC com foco
na análise das propriedades da tarefa (por exemplo, complexidade
[49] e clareza [15]) e na recomendação de tarefas [44] poderiam
se beneficiar da adoção de abordagens da Web Semântica para
representação de conhecimento e vinculação de entidades
nomeadas. Também identificamos o trabalho inicial sobre o uso
de Linked Data para publicar
resultados da pesquisa, a fim de apoiar a reprodutibilidade da
pesquisa [2,13,30,31] que esperamos seja
adotado em maior escala pela comunidade.
– O surgimento de um uso combinado da Semântica
Web e Computação Humana. Nossa busca encontrou
um grande número de trabalhos que não necessariamente
usar uma das áreas de pesquisa para apoiar a outra,
mas sim usar essas duas áreas em combinação (ou seja,
como partes do mesmo sistema ou abordagem maior)
para dar suporte a uma tarefa ou aplicativo de outra comunidade
de pesquisa.
Machine Translated by Google
M. Sabou et ai. / Web Semântica e Computação Humana
5.2. Tendências nos jornais desta edição especial
Em linha com a tendência geral da pesquisa, os artigos desta
edição especial abordam o uso da Computação Humana para lidar
com tarefas da Web Semântica
(HC4SW), principalmente dentro do tópico de engenharia de ontologias
[9,14] ou validação de conhecimento [1]. Em termos
dos desafios de pesquisa definidos por Sarasua et al. dentro
seu manifesto de pesquisa [40], os artigos desta edição avançam o
estado do conhecimento sobre os seguintes desafios:
– Projeto de Tarefa e Fluxo de Trabalho: Acosta et. al [1]
experimentar vários fluxos de trabalho que exploram o
aptidões complementares de diferentes públicos aproveitadas
com diversos gêneros de HC (microtarefas e
jogos com um propósito). Em [9] vários fluxos de trabalho
projetos são propostos para combinar humanos e
computação de máquina no contexto de resolver o
problema de digitação de entidade.
– Usando vários gêneros de crowdsourcing. Todos os gêneros HC
têm seus pontos fortes e fracos que
abrir oportunidades para seu uso combinado. Por
exemplo, em [1] vários fluxos de trabalho são descritos
que combinam diversos gêneros de HC (ou seja, gamificação
e crowdsourcing de microtarefas) para alcançar um
melhor desempenho do que abordagens que dependem de um
único gênero. Um exemplo de cenário em que
Os players GWAP são provenientes do CrowdFlower é
fornecido em [14].
– Gerenciar fluxos de trabalho híbridos que combinam técnicas de
computação algorítmica e humana é
também um tema popular. Bu et ai. [9] estudam o desempenho
de vários projetos de fluxo de trabalho que combinam
componentes humanos e de máquinas. O trabalho
apresentado em [14], abre caminho para a criação
fluxos de trabalho máquina-humano na área de NER em
dados de mídia social barulhentos.
5.3. Desafios em aberto e trabalho futuro
Nossa busca revelou um grande número de
trabalhos na interseção da pesquisa em Web Semântica e Computação
Humana, mas sem pesquisas focadas em
esta área. Portanto, esta linha de pesquisa poderia se beneficiar de
uma (série) de levantamentos aprofundados abrangendo, por
exemplo, um dos três ramos de pesquisa identificados
(HC4SW, SW4HC e SW+HC). Um benefício esperado dessas
pesquisas aprofundadas é que elas podem
refinar e estender o conjunto atual de tópicos e cenários
idealizado para esta linha de trabalho por Sarasua et al. [40].
299
Por exemplo, identificamos grupos emergentes de artigos
em torno de tópicos como o uso do HC como suporte para avaliar a
pesquisa da Web Semântica (HC4SW-Evaluation) ou
confiando no Linked Data como uma tecnologia para publicar dados
de pesquisa abertamente.
Na área de uso de Computação Humana para pesquisa na Web
Semântica (HC4SW), existem alguns tópicos de tendência tanto no
corpus geral de artigos que coletamos quanto nos artigos de edição
especial. Por exemplo,
pesquisas sobre design de fluxo de trabalho consideraram fluxos de
trabalho que combinam diferentes gêneros de HC [1,39] também
como fluxos de trabalho híbridos homem-máquina [9,14]. Esta última
tipo de fluxos de trabalho se encaixa com os esforços recentes para
construir sistemas Human-in-the-Loop e ainda levanta várias questões
de pesquisa em aberto como discutido em [9]. Há
também esforços interessantes para explorar novas interfaces para
Aquisição de conhecimento baseada em HC, como chatbots [8]
e com o objetivo de coletar estruturas de conhecimento mais
complexas (por exemplo, regras) [26].
Por último, mas não menos importante, para diminuir a sobrecarga
na adoção e uso de HC em SW, há a necessidade de
ferramentas e interfaces de usuário para Web Semântica comum
tarefas (por exemplo, aprendizado de ontologias, vinculação de entidades) e vice-versa.
versa – ferramentas, idealmente integradas com as principais
plataformas de crowdsourcing, que ajudam os pesquisadores a utilizar
em tologias e anotações semânticas, como parte da definição de
tarefas e projetos de Computação Humana (como
parte da filial SW4HC). Um desses exemplos de
A área de Processamento de Linguagem Natural é o plugin GATE
Crowdsourcing de código aberto [5], que oferece suporte infra-
estrutural para mapeamento de documentos para
unidades de crowdsourcing e de volta automaticamente, bem como
gerando automaticamente crowdsourcing reutilizável em interfaces
para tarefas de classificação e seleção de PNL. Trabalho inicial nessa
direção dentro da Web Semântica
foi feito como parte do plug-in uComp Protégé [48] para dar suporte a
uma série de tarefas de engenharia de ontologia.
Também descobrimos que a adoção da Web Semântica
tecnologias para apoiar sistemas de Computação Humana
é atualmente limitado e está focado no
capacidades de representação do conhecimento dessas tecnologias,
mas fica aquém de explorar
capacidades possibilitadas pela semântica, como dados
integração e raciocínio automatizado.
Concluímos que, embora este número especial informe sobre
avanços importantes em uma série de desafios de pesquisa
fundamentais, há muitos
oportunidades de trabalho futuro no contexto desta área de
investigação em amadurecimento, diversa e multidisciplinar.
Machine Translated by Google
300 M. Sabou et ai. / Web Semântica e Computação Humana
Reconhecimentos
Este trabalho foi parcialmente financiado pela FFG
projeto CitySPIN financiado (projeto número 861213); por
uma subvenção do EPSRC do Reino Unido nº EP/I004327/1; e pelo
Amsterdam Institute for Advanced Metropolitan Solutions, com a
bolsa AMS Social Bot .
Referências
[1] M. Acosta, A. Zaveri, E. Simperl, D. Kontokostas, F. Flöck
e J. Lehmann, Detecting Linked Data Quality Issues
via Crowdsourcing: A DBpedia Study, Semantic Web Journal (2018),
http://www.semantic-web-journal.net/system/files/
swj1293.pdf.
[2] VW Anelli, A. Cali, T. Di Noia, M. Palmonari e A. Ragone,
Expondo o mapa de ruas aberto na nuvem de dados vinculada, em: Tendências em
Sistemas Baseados em Conhecimento Aplicado e Ciência de Dados, H.
Fu jita, M. Ali, A. Selamat, J. Sasaki e M. Kurematsu, eds,
Springer International Publishing, Cham, 2016, pp. 344–355.
doi:10.1007/978-3-319-42007-3_29.
[3] A. Ballatore e P. Mooney, Conceituando a geografia
mundo: As dimensões da negociação na cartografia crowdsourced, Int.
J. Geogr. Inf. Sci. 29(12) (2015), 2310-2327, ISSN
1365-8816. doi:10.1080/13658816.2015.1076825.
[4] T. Berners-Lee, J. Hendler, O. Lassila et al., A web semântica,
Scientific American 284(5) (2001), 28-37.
[5] K. Bontcheva, I. Roberts, L. Derczynski e D. Rout, The
Plugin de crowdsourcing GATE: Crowdsourcing anotado cor pora
facilitado, em: Proceedings of Demonstrations at the 14th
Conferência do Capítulo Europeu da Associação para
Linguística Computacional (EACL), Associação para Linguística
Computacional, 2014, pp. 97–100.
[6] A. Bozzon, M. Brambilla, S. Ceri, M. Silvestri e G. Vesci,
Escolhendo o público certo: descoberta de especialistas em redes sociais,
em: Proceedings of the 16th International Conference on Extending
Database Technology, EDBT'13, ACM, New York,
NY, EUA, 2013, pp. 637–648. ISBN 978-1-4503-1597-5.
doi:10.1145/2452376.2452451.
[7] A. Bozzon, P. Fraternali, L. Galli e R. Karam, Modelagem
cenários de crowdsourcing em aplicativos de computação humana
socialmente habilitados, Journal on Data Semantics 3(3) (2014), 169–
188, ISSN 1861-2040. doi:10.1007/s13740-013-0032-2.
[8] L. Bradeško, M. Witbrock, J. Starc, Z. Herga, M. Grobelnik
´
e D. Mladenic, Curious cat – mobile, context-aware conversational
crowdsourcing aquisição de conhecimento, ACM Trans.
Inf. Sistema 35(4) (2017), 33-13346, ISSN 1046-8188. doi: 10.
1145/3086686.
[9] Q. Bu, E. Simperl, S. Zerr e Y. Li, Usando microtarefas
para a classificação de entidade de crowdsource DBpedia: Um estudo em
design de fluxo de trabalho, Semantic Web Journal (2018), http://www.
semantic-web-journal.net/system/files/swj1408.pdf.
[10] AC de Marchi, A. Gregio e R. Bonacin, Aprimorando a
criação de regras de detecção de software malicioso através de
ontologias e crowdsourcing, em: 2017 IEEE 26th International
Conferência sobre tecnologias habilitantes: infraestrutura para empresas
colaborativas (WETICE), 2017, pp. 290–295. doi: 10.
1109/WETICE.2017.31.
[11] G. Demartini, DE Difallah, U. Gadiraju e M. Catasta, An
introdução aos sistemas híbridos de informação homem-máquina,
Fundamentos e Tendências em Web Science 7(1) (2017), 1–87.
doi:10.1561/1800000025.
[12] S. Egami, T. Kawamura, K. Kozaki e A. Ohsuga, Construção de dados de
problemas urbanos ligados com relações causais usando
crowdsourcing, em: 2017 6th IIAI International Congress on
Informática Aplicada Avançada (IIAI-AAI), 2017, pp. 814–819.
doi:10.1109/IIAI-AAI.2017.189.
[13] O. Feyisetan, M. Luczak-Roesch, E. Simperl, R. Tinati e
N. Shadbolt, Rumo a NER híbrido: Um estudo de conteúdo
e fatores de desempenho relacionados ao crowdsourcing, em: A Web
Semântica. Últimos Avanços e Novos Domínios, F. Gandon, M. Sabou,
H. Sack, C. d'Amato, P. Cudre-Mauroux
e A. Zimmermann, editores, Springer International Publishing,
Cham, 2015, pp. 525-540. doi:10.1007/978-3-319-18818-8_
32.
[14] O. Feyisetan, E. Simperl, M. Luczak-Roesch, R. Tinati
e N. Shadbolt, um estudo estendido de conteúdo e
Fatores de desempenho relacionados ao crowdsourcing em anotação de
entidade nomeada, Semantic Web Journal (2018), http://www.
semantic-web-journal.net/system/files/swj1535.pdf.
[15] U. Gadiraju, J. Yang e A. Bozzon, Clareza vale a pena
qualidade: Sobre o papel da clareza da tarefa no crowdsourcing de microtarefas,
in: Anais da 28ª Conferência da ACM sobre Hipertexto e
Mídias sociais, HT'17, ACM, Nova York, NY, EUA, 2017, pp. 5–
14. ISBN 978-1-4503-4708-2. doi:10.1145/3078714.3078715.
[16] Y. Gil, D. Garijo, V. Ratnakar, D. Khider, J. Emile-Geay e
N. McKay, Uma abordagem de crowdsourcing controlada para extensões
de ontologia prática e anotações de metadados, em: The Semantic Web
– ISWC 2017 – 16th International Semantic Web
Conferência, Anais, Parte II, Viena, Áustria, 21 de outubro a
25, 2017, 2017, pp. 231-246. doi:10.1007/978-3-319-68204-
4_24.
[17] B. Glimm e H. Stuckenschmidt, 15 anos de web semântica:
Uma pesquisa incompleta, KI-Künstliche Intelligenz 30(2) (2016),
117-130. doi:10.1007/s13218-016-0424-1.
[18] J. Howe, The rise of crowdsourcing, Wired Magazine 14(6)
(2006), http://www.wired.com/wired/archive/14.06/crowds.
html.
[19] H. Hu, A. Elkus e L. Kerschberg, Um sistema de recomendação de saúde
pessoal que incorpora registros pessoais de saúde, modular
ontologias e dados de crowdsourcing, em: 2016 IEEE/ ACM International
Conference on Advances in Social Networks Analysis
e Mineração (ASONAM), 2016, pp. 1027–1033. doi:10.1109/
ASONAM.2016.7752367.
[20] O. Inel, K. Khamkham, T. Cristea, A. Dumitrache, A. Rut jes, J. van der
Ploeg, L. Romaszko, L. Aroyo e R.-J. Goles,
CrowdTruth: Framework de computação homem-máquina para aproveitar
a discordância na coleta de dados anotados, em: The Semantic Web –
ISWC 2014, P. Mika, T. Tudorache, A. Bernstein, C. Welty, C. Knoblock,
D. Vrandecic , P. Groth, N. Noy,
K. Janowicz e C. Goble, editores, Springer International Publishing,
Cham, 2014, pp. 486-504. doi:10.1007/978-3-319-
11915-131.
[21] R. Karam e M. Melchiori, Uma estrutura aprimorada por humanos
para avaliar dados geoespaciais abertos, em: Advances in Conceptual
Modelagem, J. Parsons e D. Chiu, eds, Springer International
Publishing, Cham, 2014, pp. 97–106. doi:10.1007/978-3-319-
14139-8_12.
Machine Translated by Google
M. Sabou et ai. / Web Semântica e Computação Humana
[22] A. Kaufmann, J. Peters-Anders, S. Yurtsever e L. Petronzio,
Validação semântica automatizada de informações locais de crowdsourcing
– o caso da aplicação web “Climate Twins”, em:
Sistemas de Software Ambientais. Fomentando o Compartilhamento de
Informações, J. Hrebicek, G. Schimak, M. Kubasek e AE Rizzoli,
eds, Springer, Berlim Heidelberg, Berlim, Heidelberg, 2013,
págs. 23-30. doi:10.1007/978-3-642-41151-9_3.
[23] BA Kitchenham, D. Budgen e O. Pearl Brereton, Usando estudos de
mapeamento como base para pesquisas adicionais –
um estudo de caso de observador participante, Informação e Software
Tecnologia 53(6) (2011), 638-651. doi:10.1016/j.infsof.2010.
12.011.
[24] BA Kitchenham e S. Charters, Diretrizes para a execução
revisões sistemáticas da literatura em engenharia de software, Relatório
Técnico, Versão 2.3, 2007.
[25] T. Kliegr e O. Zamazal, LHD 2.0: Uma abordagem de mineração de texto
para digitar entidades em grafos de conhecimento, J. Web Sem. 39 (2016),
47-61. doi:10.1016/j.websem.2016.05.001.
[26] Y. Lou, SW Tu, C. Nyulas, T. Tudorache, RJG Chalmers
e MA Musen, Uso de estrutura de ontologia e Bayesian
modelos para auxiliar o crowdsourcing das regras de sanção da CID-11,
J. de Informática Biomédica 68(C) (2017), 20-34, ISSN 1532-
0464. doi:10.1016/j.jbi.2017.02.004.
[27] N. Luz, M. Poblet, N. Silva e P. Novais, Defining human machine micro-task
workflows for Constitution making, in:
Perspectivas e Insights sobre Decisão e Negociação de Grupo,
B. Kami'nski, GE Kersten e T. Szapiro, eds, Springer International
Publishing, Cham, 2015, pp. 333–344. doi:10.1007/
978-3-319-19515-5-26.
[28] KE Maarry, W.-T. Balke, H. Cho, S.-W. Hwang e Y. Baba,
Modelo baseado em ontologia de habilidade para garantia de qualidade em
crowdsourcing, em: Sistemas de banco de dados para aplicações avançadas, W.-
S. Han, ML Lee, A. Muliantara, NA Sanjaya, B. Thalheim
e S. Zhou, eds, Springer, Berlim Heidelberg, Berlim, Heidelberg, 2014, pp.
376–387. doi:10.1007/978-3-662-43984-5-29.
[29] O. Mejri, S. Menoni, K. Matias e N. Aminoltaheri, Crise em formação para
apoiar o ordenamento do território na recuperação pós-desastre,
International Journal of Disaster Risk Reduction 22 (2017),
46-61, ISSN 2212-4209. doi:10.1016/j.ijdrr.2017.02.007.
[30] S. Mesbah, A. Bozzon, C. Lofi e G.-J. Houben, De
escrevendo pipelines de processamento de dados em publicações científicas
para injeção de big data, em: Anais do 1º Workshop
on Scholarly Web Mining, SWM'17, ACM, Nova York, NY,
EUA, 2017, pp. 1–8. ISBN 978-1-4503-5240-6. doi:10.1145/
3057148.3057149.
[31] S. Mesbah, K. Fragkeskos, C. Lofi, A. Bozzon e G.-
J. Houben, Anotação semântica de pipelines de processamento de dados
em publicações científicas, em: The Semantic Web, E. Blomqvist,
D. Maynard, A. Gangemi, R. Hoekstra, P. Hitzler e O. Hartig, eds, Springer
International Publishing, Cham, 2017,
pp. 321-336. ISBN 978-3-319-58068-5. doi:10.1007/978-3-
319-58068-5_20.
[32] JM Mortensen, EP Minty, M. Januszyk, TE Sweeney,
AL Rector, NF Noy e MA Musen, Usando a sabedoria
das multidões para encontrar erros críticos em ontologias biomédicas:
Um estudo do SNOMED CT, JAMIA 22(3) (2015), 640-648.
doi:10.1136/amiajnl-2014-002901.
[33] J. Oosterman, A. Nottamkandath, C. Dijkshoorn, A. Bozzon, G.-J. Houben e
L. Aroyo, Crowdsourcing Knowledge Intensive Tasks in Cultural Heritage,
em: Proceedings of the 2014
Conferência ACM sobre Web Science, WebSci'14, ACM, Novo
301
York, NY, EUA, 2014, pp. 267–268. ISBN 978-1-4503-2622-
3. doi:10.1145/2615569.2615644.
[34] J. Oosterman, J. Yang, A. Bozzon, L. Aroyo e G.-J. Houben,
Sobre o impacto da extração e agregação de conhecimento na
anotação crowdsourced de obras de arte visuais, Computer Net works 90
(2015), 133–149, ISSN 1389-1286. doi:10.1016/j.
comnet.2015.07.008.
[35] J. Potoniec, P. Jakubowski e A. Lawrynowicz, Swift vinculado
minerador de dados, Web Semant. 46(C) (2017), 31-50, ISSN 1570-
8268. doi:10.1016/j.websem.2017.08.001.
[36] A. Psylidis, A. Bozzon, S. Bocconi e CT Bolivar, Uma plataforma para
análise urbana e integração de dados semânticos na cidade
planejamento, em: Projetos Arquitetônicos Assistidos por Computador Futuros:
Novas tecnologias e o futuro do ambiente construído:
16ª Conferência Internacional, CAAD Futures 2015, Selecionado
Papers, São Paulo, Brasil, 8–10 de julho de 2015, G. Celani, D. Sperling
e J. Franco, eds, Springer, 2015, pp. 21–36, ISBN 978-
3-662-47385-6. doi:10.1007/978-3-662-47386-3_2.
[37] AJ Quinn e BB Bederson, Computação humana: Uma pesquisa e taxonomia
de um campo crescente, em: Proceedings of the
Conferência SIGCHI sobre Fatores Humanos em Sistemas Computacionais,
CHI'11, ACM, Nova York, NY, EUA, 2011, pp. 1403–1412.
ISBN 978-1-4503-0228-9. doi: 10.1145/1978942.1979148.
[38] M. Sabou, K. Bontcheva e A. Scharl, Oportunidades de pesquisa em
crowdsourcing: Lições de processamento de linguagem natural, em: Anais
da 12ª Conferência Internacional
em Gestão do Conhecimento e Tecnologias do Conhecimento, I KNOW'12,
ACM, Nova York, NY, EUA, 2012. ISBN 978-1-
4503-1242-4. doi:10.1145/2362456.2362479.
[39] M. Sabou, A. Scharl e M. Föls, Crowdsourced knowledge
aquisição: Para fluxos de trabalho de gênero híbrido, Int. J. Semant.
WebInf. Sistema 9(3) (2013), 14-41, ISSN 1552-6283. doi: 10.
4018/ijswis.2013070102.
[40] C. Sarasua, E. Simperl, N. Noy, A. Bernstein e
JM Leimeister, Crowdsourcing e a web semântica:
Um manifesto de pesquisa, Computação Humana 2(1) (2015), 3–17.
doi:10.15346/hc.v2i1.2.
[41] C. Sarasua e M. Thimm, Crowd work CV: Recognition for
micro trabalho, em: Informática Social, LM Aiello e D. Mc Farland, eds,
Springer International Publishing, Cham, 2015,
págs. 429-437. doi:10.1007/978-3-319-15168-7_52.
[42] M. Singh, D. Bhartiya, J. Maini, M. Sharma, AR Singh,
S. Kadarkaraisamy, R. Rana, A. Sabharwal, S. Nanda, A. Ra machandran,
A. Mittal, S. Kapoor, P. Sehgal, Z. Asad,
K. Kaushik, SK Vellarikkal, D. Jagga, M. Muthuswami,
RK Chauhan, E. Leonard, R. Priyadarshini, M. Halimani,
S. Malhotra, A. Patowary, H. Vishwakarma, PR Joshi,
V. Bhardwaj, A. Bhaumik, B. Bhatt, A. Jha, A. Kumar, P. Bu dakoti, MK
Lalwani, R. Meli, S. Jalali, K. Joshi, K. Pal,
H. Dhiman, SV Laddha, V. Jadhav, N. Singh, V. Pandey,
C. Sachidanandan, SC Ekker, EW Klee, V. Scaria e
S. Sivasubbu, The zebrafish GenomeWiki: A crowdsourcing
abordagem para conectar a cauda longa para anotação do gene do peixe-zebra,
em: Banco de dados: The Journal of Biological Databases and Curation
2014, 2014. doi:10.1093/database/bau011.
[43] M. Sohn, S. Jeong, J. Kim e HJ Lee, Crowdsourced health care knowledge
creation using patient's health experience ontology, Soft. Computação
21(18) (2017), 5207-5221. doi: 10.
1007/s00500-017-2529-3.
Machine Translated by Google
302 M. Sabou et ai. / Web Semântica e Computação Humana
[44] Z. Sun, J. Yang, J. Zhang e A. Bozzon, Explorando as dimensões
verticais e horizontais da hierarquia de recursos para recomendação
efetiva, em: Trigésima Primeira Conferência AAAI sobre Inteligência
Artificial, 2017.
[45] U. ul Hassan, A. Zaveri, E. Marx, E. Curry e J. Lehmann,
ACRyLIQ: Aproveitando a DBpedia para crowdsourcing adaptativo
em avaliação de qualidade de dados vinculados, em: Engenharia do
Conhecimento e Gestão do Conhecimento, E. Blomqvist, P. Ciancarini,
F. Poggi e F. Vitali, editores, Springer International Publishing,
Cham, 2016, pp. 681-696. ISBN 978-3-319-49004-5. doi: 10.
1007/978-3-319-49004-5_44.
[46] H.-Z. Wang, Z.-X. Qi, R.-X. Shi, J.-Z. Li e H. Gao, COS SET+: imputação
de valor ausente de crowdsourcing otimizada por
base de conhecimento, Journal of Computer Science and Technology
32(5) (2017), 845-857. doi:10.1007/s11390-017-1768-1.
[47] J. Wang, Y. Wang, L. Wang e Y. He, GP-seletor: Um genérico
estrutura de seleção de participantes para sistemas de crowdsourcing
móvel, World Wide Web, (2017), ISSN 1573-1413. doi:10.1007/
s11280-017-0480-y.
[48] G. Wohlgenannt, M. Sabou e F. Hanika, Crowd-based on tology
engineering with the uComp Protégé plugin, Semantic
Web 7(4) (2016), 379–398. doi:10.3233/SW-150181.
[49] J. Yang, J. Redi, G. Demartini e A. Bozzon, tarefa de modelagem
complexidade em crowdsourcing, em: Quarta Conferência AAAI sobre
Computação Humana e Crowdsourcing, 2016.