Machine Translated by Google
Organizações Flash: trabalho complexo de crowdsourcing
Estruturando multidões como organizações
Melissa A. Valentine, Daniela Retelny,
Alexandra To, Negar Rahmati, Tulsee Doshi, Michael S. Bernstein
Universidade de
Stanford flashorgs@cs.stanford.edu
RESUMO Este
artigo apresenta organizações flash: multidões estruturadas como organizações
para atingir objetivos complexos e abertos.
Os fluxos de trabalho de microtarefas, as estruturas de crowdsourcing
dominantes atualmente, permitem apenas objetivos tão simples e
modulares que seu caminho pode ser totalmente predefinido.
Apresentamos um sistema que organiza os trabalhadores coletivos
em estruturas representadas computacionalmente inspiradas naquelas
usadas nas organizações – funções, equipes e hierarquias – que
apoiam a coordenação emergente e adaptativa em direção a objetivos
abertos. Nosso sistema introduz duas contribuições técnicas: 1)
codificar a divisão do trabalho da multidão em papéis desindividualizados,
da mesma forma que equipes de cinema ou equipes de resposta a
desastres usam papéis para apoiar a coordenação entre trabalhadores
sob demanda que nunca trabalharam juntos antes; e 2) reconfigurar
essas estruturas através de um modelo inspirado no controle de
versões, permitindo a adaptação contínua do trabalho e a divisão do
trabalho. Relatamos uma implantação na qual organizações flash
realizaram com sucesso objetivos abertos e complexos, anteriormente
fora do alcance do crowdsourcing, incluindo design de produtos,
desenvolvimento de software e produção de jogos. Esta pesquisa
demonstra organizações em rede digital que se reúnem e se remontam
de maneira flexível a partir de uma força de trabalho on-line distribuída
globalmente para realizar trabalhos complexos.
Palavras-chave de classificação ACM
H.5.3. Interfaces de Informação e Apresentação (por exemplo, HCI): Interfaces
de Grupo e Organização
Palavras-chave do autor
Crowdsourcing; trabalho coletivo especializado; organizações flash
INTRODUÇÃO O
crowdsourcing mobiliza uma enorme força de trabalho online em coletivos de
escala sem precedentes. A abordagem dominante para crowdsourcing é o fluxo
de trabalho de microtarefas, que permite contribuições em escala modularizando
e pré-especificando todos
A permissão para fazer cópias digitais ou impressas de todo ou parte deste trabalho para uso pessoal ou em
sala de aula é concedida gratuitamente, desde que as cópias não sejam feitas ou distribuídas com fins
lucrativos ou vantagens comerciais e que as cópias contenham este aviso e a citação completa na primeira
página . Os direitos autorais de componentes deste trabalho pertencentes a terceiros que não o(s) autor(es)
devem ser respeitados. Abstraindo com crédito é permitido. Para copiar de outra forma, ou republicar, para
postar em servidores ou para redistribuir em listas, é necessária permissão prévia específica e/ou pagamento
de uma taxa. Solicite permissões de Permissions@acm.org.
CHI 2017, 06 a 11 de maio de 2017, Denver, CO, EUA Os
direitos autorais pertencem ao(s) proprietário(s)/autor(es). Direitos de publicação licenciados para ACM.
ACM 978-1-4503-4655-9/17/05...$15,00 DOI: http://
dx.doi.org/10.1145/3025453.3025811
Desenvolvimento Android
Criação de conteúdo
Design gráfico: verso do cartão
Design gráfico: frente do cartão
aiuqrareiH
Design gráfico: logotipo
Design gráfico: embalagem
Maquetes de alta fidelidade
Teste de usuário
Teste do usuário: foto
oãditluM
Teste do usuário: vídeo
Transcrição de vídeo
Desenvolvimento de sites
= 1 hora
oaphmnoeid
Lt
Figura 1: Organizações Flash são multidões estruturadas computacionalmente
como organizações. Eles permitem a contratação automática de trabalhadores
especializados em multidões em estruturas de funções e a reconfiguração
contínua dessas estruturas para direcionar as atividades da multidão em direção a objetivos compl
ações [7, 55]. Ao reunir especialistas [71] ou amadores [6], os fluxos
de trabalho de microtarefa produziram um sucesso notável em controle
robótico [48], agrupamento de dados [12], etiqueta de galáxia [54] e
outros objetivos que podem ser pré-especificados de forma semelhante. .
No entanto, objetivos abertos e complexos, por exemplo , invenção,
produção e engenharia [42], permanecem em grande parte fora de
alcance. Objetivos abertos e complexos não são facilmente
adaptados a fluxos de trabalho de microtarefas porque é difícil
articular, modularizar e pré-especificar todas as ações possíveis
necessárias para alcançá-los [72, 81]. Se o crowdsourcing
permanecer confinado apenas a objectivos tão previsíveis que
possam ser totalmente predefinidos através de fluxos de trabalho, a
aplicabilidade, âmbito e valor do crowdsourcing a longo prazo serão severamente
Neste artigo, exploramos uma abordagem alternativa de crowdsourcing
que pode atingir objetivos muito mais abertos e complexos: multidões
estruturadas como organizações. Nós nos inspiramos nas organizações
modernas porque elas regularmente ou recrutam grandes grupos na
busca de objetivos complexos e abertos , sejam de curto prazo, como
resposta a desastres, ou de longo prazo, como voos espaciais [8, 9,
64]. As organizações alcançam esta complexidade através de um
conjunto de estruturas formais – papéis, equipes e hierarquias – que
codificam responsabilidades, interdependências e fluxo de informações
sem necessariamente pré-especificar todas as ações [15, 84].
Machine Translated by Google

Combinamos estruturas organizacionais com computacionais pesquisar literatura e conectar seu design às lições de
técnicas de crowdsourcing para criar organizações flash: trabalho distribuído e produção entre pares (Tabela 1).
organizações rapidamente montadas e reconfiguráveis compostas
de crowdworkers online (Figura 1). Instanciamos essa abordagem em uma Fluxos de trabalho de crowdsourcing
plataforma de crowdsourcing que reúne computacionalmente grandes grupos Crowdsourcing é o processo de fazer uma chamada aberta para contribuições
de trabalhadores especializados em crowdsourcing e direciona seus para um grande grupo de pessoas online [7, 37]. Nisso
esforços para atingir objetivos complexos, como design de produtos, artigo, nos concentramos especialmente no trabalho coletivo [42] (por exemplo, Amazon
desenvolvimento de software e produção de jogos. Mechanical Turk, Upwork), em que os contribuintes são pagos
seus esforços. As técnicas atuais de trabalho coletivo são projetadas para
Apresentamos duas contribuições técnicas que abordam os desafios
tarefas decomponíveis que são coordenadas por fluxos de trabalho e
centrais na estruturação de multidões como organizações. O
algoritmos [55]. Essas técnicas permitem o recrutamento por chamada aberta
primeiro problema: as organizações normalmente assumem especificidade de ativos,
em grande escala [68] e alcançaram sucesso em metas modularizáveis, como
a capacidade dos membros da organização desenvolverem padrões de colaboração
edição de texto [6], transcrição em tempo real [47] e robótica [48]. Os fluxos de
eficazes trabalhando juntos ao longo do tempo [84]. Claramente
trabalho podem ser otimizados
multidões, com trabalhadores rapidamente reunidos sob demanda em
em tempo de execução entre um conjunto predefinido de atividades [16]. Alguns
plataformas como Upwork (www.upwork.com), não ofereça ativo
permitir uma coordenação colaborativa e descentralizada em vez de
especificidade. Portanto, nosso sistema codifica a divisão do trabalho em um
instruções passo a passo [46, 87]. Esta área de pesquisa fez
hierarquia de papéis desindividualizada, inspirada em equipes de cinema [2]
progresso recente na obtenção de soluções significativamente mais complexas e
e equipes de resposta a desastres [8], permitindo que os trabalhadores
objetivos interdependentes [43], como agregação de conhecimento [30],
coordenem usando seu conhecimento das funções em vez de seus
escrita [43, 62, 79], ideação [85, 86], agrupamento [12] e
conhecimento um do outro.
programação [11, 50].
O segundo problema: as estruturas organizacionais precisam ser continuamente
Um grande desafio para alcançar objetivos complexos tem sido que
reconfiguradas para que a organização possa se adaptar conforme necessário.
fluxos de trabalho de microtarefas enfrentam dificuldades quando a multidão precisa definir
o trabalho progride, por exemplo, alterando funções ou adicionando
novos comportamentos à medida que o trabalho avança [43, 44]. Se os trabalhadores da multidão
equipes [9, 64, 84]. No entanto, coordenar muitas reconfigurações de
não podem receber planos com antecedência, eles devem formar tal ação
trabalhadores em paralelo pode ser um desafio. Então, nosso sistema
próprios planos [51]. Contudo, os trabalhadores nem sempre têm
permite a reconfiguração através de um modelo inspirado na versão
o contexto necessário para o autor corrigir novos comportamentos [12, 82],
controle: os trabalhadores replicam (ramificam) o atual resultando em mudanças inconsistentes ou ilógicas que ficam aquém
estrutura e, em seguida, propor mudanças (solicitações pull) para aqueles
o resultado pretendido [44].
subir na cadeia hierárquica para revisão, incluindo a adição de novos
tarefas ou funções, alterações nos requisitos da tarefa e revisões de Em vez disso, trabalhos recentes procuraram alcançar objectivos complexos,
a própria hierarquia organizacional. passando de trabalhadores microtarefas para trabalhadores especializados.
Esses sistemas agora suportam prototipagem de interface de usuário [71],
Permitir novas formas de organização poderia ter um impacto dramático: as organizações
resposta a perguntas e depuração para engenheiros de software [11, 22, 50],
tornaram-se tão influentes como a espinha dorsal
gerenciamento de trabalhadores [28, 45], tarefas de escrita remota [62] e
das economias modernas que Weber argumentou que elas eram as mais
treinamento de habilidades [78]. Por exemplo, as equipes flash demonstraram que
importante fenômeno social do século XX [83].
fluxos de trabalho especializados podem atingir objetivos muito mais complexos do que
As organizações Flash promovem um futuro onde as organizações estão
ser realizado usando fluxos de trabalho de microtarefas [71]. Nós pilotamos
não estão mais ancorados nos modelos trabalhistas tradicionais da era da Revolução
estudo atual usando a abordagem de equipes flash, mas eles mantiveram
Industrial, mas são, em vez disso, montados e remontados de maneira fluida.
falhando em metas complexas e abertas porque essas metas
provenientes de mercados de trabalho globalmente interligados. Essas propriedades
não poderia ser totalmente decomposto a priori. Percebemos aquele flash
poderia eventualmente permitir que as organizações se adaptassem em maior velocidade
as equipes ainda dependiam de fluxos de trabalho imutáveis, semelhantes a uma montagem
do que hoje e criar protótipos de novas ideias muito mais rapidamente.
linha. Eles sempre usaram a mesma sequência pré-especificada de
No restante do artigo, examinamos os fundamentos para esta tarefas, funções e dependências.
trabalhar e descrever organizações flash e seu sistema em infraestrutura. Após
Em vez de estruturar multidões como linhas de montagem, as organizações flash estruturam
esta revisão, apresentamos uma avaliação
multidões como organizações. Esta perspectiva
de três organizações flash e demonstrar que nosso sistema implica grandes diferenças de design em relação às equipes flash. Primeiro, os trabalhadores
permite que multidões, pela primeira vez, trabalhem de forma iterativa e
já não dependem de um fluxo de trabalho para saber o que fazer; em vez de,
adaptativa para alcançar objetivos complexos e abertos. Os três
uma hierarquia centralizada permite processos mais flexíveis e desindividualizados
organizações usaram nosso sistema para se envolver em comportamentos
coordenação sem pré-especificar o comportamento de todos os trabalhadores.
coletivos complexos, como formar novas equipes rapidamente quando
Em segundo lugar, as equipes flash estão restritas a tarefas, funções e funções fixas.
surgiram mudanças não planejadas, treinando especialistas sob demanda em áreas
dependências, enquanto as organizações flash introduzem um pull
como a política de privacidade médica quando o mercado de multidões
modelo de solicitação que lhes permite reconfigurar completamente qualquer
não poderia fornecer a experiência e permitir que os trabalhadores sugerissem
estrutura organizacional, permitindo uma adaptação aberta que
mudanças de baixo para cima no trabalho e na organização.
as equipes flash não conseguem alcançar. Terceiro, enquanto as equipes flash contratam
toda a equipe de uma vez no início, as organizações flash'
TRABALHO RELATADO adaptação significa que a estrutura de papéis muda ao longo do
Nesta seção, motivamos organizações flash através de um projeto, exigindo contratação e integração sob demanda. Levado
integração do crowdsourcing e design organizacional juntas, essas possibilidades permitem que as organizações flash escalem
Machine Translated by Google
Estruturas de Coordenação
Produção entre pares Repositórios compartilhados (wikis, código)
Crowdsourcing Fluxos de trabalho de microtarefas computacionais
Organizações tradicionais Funções, equipes, hierarquia
Organizações Flash Funções reconfiguráveis computacionalmente,
equipes, hierarquia
Tabela 1: Infraestrutura de coordenação e fonte de mão de obra na produção peer-to-peer, crowdsourcing e organizações tradicionais e flash.
para tamanhos muito maiores do que as equipes flash e para realizar mais
objetivos complexos e abertos. Assim, embora os fluxos de trabalho predefinidos
das equipes flash permitam automação e otimização, o flash
as organizações permitem uma adaptação aberta.
Design organizacional e trabalho distribuído
As organizações flash baseiam-se e ampliam os princípios da teoria
organizacional. A pesquisa em design organizacional teoriza como
um conjunto de estruturas organizacionais personalizadas permite a
coordenação [52]. Essas estruturas estabelecem (1) papéis que codificam o
responsabilidades de trabalho de atores individuais [41], (2) agrupamentos de
indivíduos (como equipes) que apoiam a resolução de problemas locais
e trabalho interdependente [13, 29] e (3) hierarquias que apoiam a
agregação de informações e ampla comunicação
de decisões centralizadas [15, 88]. As organizações Flash representam
computacionalmente essas estruturas, o que permite que sejam
visualizados e editados, e os utiliza para orientar o trabalho e contratar
trabalhadores. Alguns projetos organizacionais (por exemplo, holacracia) são
começando a incorporar computacionalmente estruturas organizacionais,
mas as organizações flash são as primeiras organizações centralizadas
que existem inteiramente online, sem complemento offline. A teoria
organizacional também descreve como empregados e empregadores
normalmente são combinados através da rede do funcionário [23],
levando em média três semanas para uma organização contratar [17].
Organizações Flash utilizam convites abertos para mercados de trabalho online
recrutar trabalhadores interessados sob demanda, o que difere drasticamente das
organizações tradicionais e exige diferentes
escolhas de design e mecanismos de coordenação.
A pesquisa em design organizacional também fornece informações importantes
em equipes virtuais e distribuídas. Muitos dos recursos proporcionados pelo
trabalho colocado, como a troca de informações [65]
e contexto compartilhado [14], são difíceis de replicar em ambientes distribuídos
e ambientes on-line. Desafios surgem devido ao idioma
e barreiras culturais [63, 34], fusos horários incompatíveis [66, 69],
e incentivos desalinhados [26, 67]. As organizações Flash devem
design para essas questões, especialmente porque os trabalhadores
não ter conhecido antes. Projetamos nosso sistema usando as melhores práticas
para coordenação virtual, como trabalho fracamente acoplado
estruturas [35, 65], consciência situacional [20, 27], estado atual
visualização [10, 57] e ferramentas de comunicação ricas [65].
Produção entre pares
As organizações Flash também se relacionam com a produção entre pares [3]. Par
produção produziu sucessos notáveis na Wikipedia e
em software livre e de código aberto. Uma das principais diferenças
entre organizações flash e produção peer é se
a concepção de ideias, os direitos de decisão e a execução de tarefas são
centralizados ou descentralizados. A centralização, por exemplo através de uma
hierarquia de liderança, apoia um trabalho fortemente integrado [15, 88];
a descentralização, como no software wiki, suporta de forma mais flexível
Fonte de mão de obra Resultados de exemplo
Chamada aberta para voluntários Wikipédia, Debian Linux [3]
Chamada aberta para mercados de crowdsourcing ImageNet [19], GalaxyZoo [54]
pagos ou voluntários
Funcionários Comando de Incidente [8], Xerox [15]
Chamada aberta para mercados de crowdsourcing Relatório EMS, história verdadeira, portal de
pagos planejamento de workshop premiado
trabalho acoplado. A produção entre pares tende a ser descentralizada,
que oferece muitos benefícios, mas não suporta facilmente a integração entre
módulos [4, 33], limitando a complexidade do
trabalho resultante [3]. As organizações flash, por outro lado, utilizam estruturas
centralizadas para alcançar planejamento e coordenação integrados , mesmo em
diversas disciplinas. Além disso, tocando
nos mercados de trabalho on-line, as organizações flash superam
as lutas da produção para atrair colaboradores voluntários [31, 32,
56, 76]. Em troca desses benefícios, as organizações flash
enfrentar os custos adicionais de negociação de contratos, motivação
aglomeração [18] e pagamento de mão de obra.
ORGANIZAÇÕES FLASH
Nesta seção, apresentamos organizações flash e nosso
sistema , Foundry, que as habilita. Sorteio de organizações em Flash
juntos 1) a estrutura e as técnicas de coordenação das organizações
tradicionais para permitir um trabalho aberto e complexo,
e 2) a escala e as habilidades de gerenciamento computacional de
crowdsourcing. Descrevemos dois problemas centrais para o projeto de
organizações flash e nossas soluções para eles:
especificidade abordada por meio de estruturas de papéis computacionais,
e adaptação de estrutura abordada através do controle de versão de
estruturas organizacionais. Promulgámos estas contribuições em
Foundry, uma plataforma web que permite criar, preencher,
e adaptação das estruturas organizacionais (Figura 2).
Estruturas organizacionais computacionais
Organizações Flash codificam estruturas computacionais inspiradas
pelas organizações. No entanto, a premissa das organizações tradicionais
suas estruturas organizacionais na especificidade dos ativos [84], o
valor que vem de pessoas trabalhando juntas ao longo do tempo. À medida que a
especificidade estabelecida leva em conta que os trabalhadores se tornam cada vez mais
em sincronia com colegas de equipe ao longo do tempo e melhorando suas habilidades
coordenar e resolver problemas juntos. Claramente multidões,
com participantes temporários reunidos sob demanda por meio de
chamadas, não oferecem especificidade de ativos.
Para abordar a especificidade dos ativos, baseamo-nos em pesquisas sobre
organizações temporárias, como equipes de resposta a desastres e equipes de cinema.
tripulações. Estas organizações temporárias coordenam com sucesso
mesmo sem especificidade de ativos [2, 8], confiando fortemente na função
estruturas, que são cargos baseados em atividades que podem ser assumidos
por qualquer pessoa com o treinamento necessário [2, 80]. Exemplo
as estruturas de papéis para uma equipe de filmagem incluem o diretor e o diretor principal;
exemplos de funções para uma equipe de resposta a desastres incluem equipe de ataque
líder e bombeiro. Estruturas de funções codificam responsabilidades
e interdependências; operadores de lança e garras sabem como
coordenar em virtude de suas funções.
Assim, projetamos organizações flash em torno de
estruturas de papéis. Cada papel representa uma posição para uma multidão
Machine Translated by Google
Linha do tempo
Contratação sob demanda
Figura 2: O Foundry oferece suporte à criação de organizações flash. A linha do tempo do Foundry (canto superior esquerdo) exibe todas as funções e tarefas atuais. O modal de tarefa
(canto superior direito) exibe os requisitos e metadados da tarefa e permite que o líder contrate um novo trabalhador, se necessário. Ao contratar para uma nova função (canto inferior esquerdo),
A fundição notifica os trabalhadores qualificados; aqueles que respondem entram em uma fila de contratação. Quando contratados, são orientados ao propósito da organização e
tarefas upstream e downstream (canto inferior direito).
trabalhador na organização e especifica o conhecimento necessário para
preencher o cargo (por exemplo, editor de áudio, programador AngularJS ). As
funções permitem a contratação automática on-line
mercado de trabalho, como Upwork. As estruturas de funções das organizações
Flash permitem a contratação aberta, esclarecem o que os trabalhadores devem
fazer e especificam com quem devem se comunicar.
Uma organização flash coordena essas funções organizando
em uma hierarquia, que codifica autoridade e decisões
direitos [83]. As hierarquias permitem que as organizações flash tomem
ação com propósito centralizado e coordenado, assim como um diretor tem autoridade
executiva em um set de filmagem. Hierarquia significa
que as organizações flash podem ser formalmente representadas como uma árvore
de estruturas de papéis aninhados. A estrutura de papéis codifica interdependências,
e o aninhamento codifica hierarquia e decisões.
direitos. Nós folha são funções que representam trabalhadores, que podem
ser aninhados em equipes. As equipes podem opcionalmente ser lideradas por uma equipe
liderar. Por exemplo, uma equipe pode incluir um conjunto de trabalhadores com
experiência em design de interface, aninhada sob um UI Design Lead.
No topo da árvore está o líder da organização.
A hierarquia da organização flash (Figura 1 no topo) determina
as ações que cada trabalhador pode realizar. O objetivo é que a informação
chegue ao líder central para que as decisões possam ser tomadas.
ser feito com consciência do estado de toda a organização.
Quando um trabalhador envia uma tarefa no sistema, a hierarquia
um nível acima é alertado e, em seguida, analisa e aceita
ou devolve-o com feedback para revisão. O líder tem plena
direitos formais de decisão ou delega direitos aos líderes de equipe.
Detalhes da tarefa
Integração
Para criar uma hierarquia baseada em funções no Foundry, os usuários adicionam funções
(por exemplo, “Designer de interface do usuário”) e vincular a função a pelo menos
uma tag de habilidade listada em Upwork. A Foundry utiliza essas palavras-chave
para postar posições automaticamente para os especialistas relevantes
no mercado Upwork. Por exemplo, uma função de engenheiro web pode
especificar a tag “node.js” do Upwork e a tag Foundry
consulta Upwork para trabalhadores que correspondam. Os líderes então
iniciar o processo de contratação sob demanda da Foundry para preencher a função.
Depois que uma função é criada, podem ser atribuídas tarefas a ela, a unidade básica de
trabalho em Fundição (Figura 2). As tarefas de fundição são parametrizadas
por duração desejada, descrição, entradas necessárias de outros
tarefas, resultados necessários para outras tarefas e o indivíduo diretamente
responsável por garantir que a tarefa seja concluída [71]. A
a linha do tempo da tarefa visualiza o sequenciamento. Os trabalhadores podem iniciar, pausar,
e conclua tarefas usando a interface do Foundry . Para cada
função, Foundry destaca suas próximas tarefas e mostra o
tempo restante para quaisquer tarefas ativas. Quando um trabalhador apresenta uma
tarefa, eles carregam o arquivo para o Foundry e respondem a perguntas
de documentação para registrar decisões ou outras informações para o
registro organizacional. Foundry visualiza a hierarquia de papéis
organizando tarefas em linhas por equipe (Figura 1).
Por fim, o Foundry baseia-se nas melhores práticas do CSCW para organizações
virtuais. Uma interface de linha do tempo apoia a consciência compartilhada de
progresso; chat de texto e vídeo, indicadores de disponibilidade (presente,
offline, inativo) e coordenação de suporte à integração do Slack (Figura 2).
Foundry publica automaticamente as principais notificações
como tarefas iniciadas ou concluídas e solicitações pull emitidas.
Machine Translated by Google
branch 'adicionar tarefa'
ramo 'mestre'
branch 'extensão de solicitação'
Figura 3: Os trabalhadores podem ramificar as estruturas organizacionais para criar uma cópia editável que retenha um link para a ramificação master. O membro
atuais, fazer as edições desejadas e, em seguida, emitir uma solicitação pull então edita as estruturas organizacionais para indicar as mudanças desejadas, e o
para revisão. Este mecanismo permite que a organização se adapte continuamente. Foundry destaca uma diferença das mudanças em relação à organização original.
Estruturas organizacionais reconfiguráveis Em contraste
com os esforços de crowdsourcing que utilizam fluxos de trabalho, as organizações
flash são projetadas para se adaptarem ao longo do processo de trabalho . Para
permitir esta adaptação, as estruturas organizacionais devem ser modificadas à medida
que surgem novas oportunidades ou desafios. Por exemplo, quando uma equipe de
filmagem se depara com um clima inesperado, ela muda a cena que está filmando, ativa
rapidamente novas partes da organização ou redistribui especialistas para preencher as
funções necessárias [2]. Da mesma forma, quando uma equipe de resposta a desastres
encontra materiais inesperados no local de um incêndio, uma equipe de combate a
incêndios deve rapidamente se reconfigurar para montar uma resposta a materiais
perigosos [8]. Da mesma forma, as organizações Flash devem ser capazes de se
adaptar às condições em mudança, reconfigurando as suas estruturas.
No entanto, para que a adaptação seja viável, as organizações flash necessitam de
permitir que trabalhadores distribuídos por toda a organização atualizem as estruturas
organizacionais em tempo real. Os membros de uma equipe de engenharia, por
exemplo, podem ajustar as entregas ao mesmo tempo que um líder de garantia de
qualidade altera as dependências das tarefas. Isto cria pressão para uma adaptação
rápida, mas as organizações flash também não devem cambalear sem um propósito
centralizado em reação a cada nova adaptação. Uma estrutura organizacional única,
compartilhada e com vários autores (por exemplo, Google Docs) seria reativa, mas
suscetível a mudanças descoordenadas; estruturas distribuídas garantem consistência,
mas exigem um esforço significativo para se recombinarem. Da mesma forma, uma
estrutura organizacional gravável globalmente (por exemplo, um wiki) permite que
mudanças venham de qualquer trabalhador, mas pode causar caos organizacional se
os trabalhadores discordarem e se envolverem em guerras de edição [48]; uma estrutura
gravável localmente, acessível apenas ao líder, centraliza o controle, mas silencia boas
ideias dos níveis mais baixos da hierarquia. O ideal é que as organizações Flash exijam
uma abordagem que permita que os funcionários explorem as alterações rapidamente
em uma área restrita e, em seguida, peçam às pessoas na hierarquia para revisá-las e
mesclá-las rapidamente.
As organizações Flash permitem a reconfiguração por meio de uma técnica inspirada
no controle de versão, permitindo que os trabalhadores ramifiquem, mesclem e emitam
solicitações pull para as estruturas organizacionais que definem a organização (Figura
3). Existem muitos tipos de controle de versão, por exemplo distribuído (git) versus
centralizado (Subversion) e alterações enviadas diretamente (git e Subversion) ou por
meio de um processo de revisão (solicitações pull do GitHub e versão Sub com arquivos
de patch). Escolhemos nosso modelo com base nos requisitos de design das
organizações flash. Há apenas uma instância de cada organização flash, portanto um
modelo descentralizado com múltiplas cópias é desnecessário. No entanto, para
coordenar as mudanças, as organizações flash exigem um modelo que suporte revisão
e fusão automática. Então, em alto nível, as organizações flash
permitir que um contribuidor ramifique (copie) o estado atual da organização e edite-o
enquanto o sistema rastreia as diferenças do mestre (original) e, em seguida, mescle
quaisquer alterações quando a filial estiver pronta por meio de uma solicitação pull onde
outros membros da equipe revisam as alterações e decidir aceitá-los ou rejeitá-los.
A Foundry adapta esse modelo para implementar tanto mudanças organizacionais de
cima para baixo quanto mudanças de baixo para cima impulsionadas pelos trabalhadores.
Qualquer membro de uma organização flash pode ramificar a organização no Foundry
Dentro da filial, o trabalhador pode editar qualquer estrutura organizacional, incluindo
funções, equipes e detalhes de tarefas. Quando desejado, o membro extrai do master
para mesclar automaticamente as alterações que ocorreram no master desde que eles
se ramificaram. Para adaptações menores (por exemplo, acréscimo de tempo), o
Foundry também fornece um formulário para enviar uma solicitação pull simples,
preenchendo informações para tipos comuns de adaptação.
Quando estiver pronto, o membro da organização envia as alterações propostas na filial
por meio de uma solicitação pull para revisão um nível acima na hierarquia de funções.
As solicitações pull criam alertas automaticamente por meio de uma integração com o
Slack. Os alertas aparecem em um canal Slack compartilhado em toda a organização,
que é visível e pesquisável por todos os membros. O solicitante, o revisor e outros
membros podem discutir as alterações propostas no canal do Slack. Dessa forma, a
visualização das estruturas organizacionais e as solicitações pull do Foundry funcionam
como objetos de fronteira que as pessoas usam para negociar e desenvolver uma
compreensão compartilhada de planos futuros.
Em última análise, o revisor decide se aceita e mescla a
solicitação pull de volta à organização mestre. O Foundry então
mescla automaticamente as alterações de volta no branch
master e emite um alerta no Slack. Se houver conflitos entre o
branch master e o branch do membro (por exemplo, o membro
editou uma tarefa cuja tarefa foi excluída no branch master), os
conflitos serão devolvidos ao revisor para resolução.
Assim como no controle de versão de software, a implementação dessa abordagem
requer a fusão da filial e das estruturas organizacionais principais. O controle de versão
típico opera usando uma mesclagem de três vias em texto não estruturado (por exemplo,
código de programa) [60]. As mesclagens de três vias exigem o rastreamento do
histórico de cada versão, para que o algoritmo possa identificar um ancestral comum do
mestre e da ramificação para realizar a mesclagem. Assim, o Foundry mantém o
histórico de ancestralidade das estruturas organizacionais: como no código-fonte, o pai
é a versão da estrutura organizacional que foi ramificada ou editada. Entretanto,
mesclagens de três vias exigem diferenças, e a maioria das diferenças são projetadas
para texto em vez de objetos estruturados hierarquicamente como as estruturas
organizacionais do Foundry . Portanto, usamos um algoritmo diff projetado para objetos
estruturados (por exemplo, arrays) e objetos hierárquicos (por exemplo, JSON, que o
Foundry usa) [73]. Com esta infraestrutura, o algoritmo de mesclagem de três vias pode
retornar inserções, exclusões e edições, que o Foundry gerencia automaticamente, bem
como quaisquer conflitos, que o Foundry retorna ao usuário para resolver. Seguindo
esse processo de ramificação e fusão, a Foundry contrata os trabalhadores recém-
requisitados e notifica os membros sobre as mudanças.
Machine Translated by Google
Contratação sob demanda de trabalhadores especializados em multidão
O Foundry preenche as estruturas organizacionais usando contratação
automatizada e sob demanda (Figura 2). A contratação sob demanda permite
que organizações flash contratem especialistas relevantes de especialistas
mercados de crowdsourcing, como o Upwork, em cerca de
quinze minutos, em média. Foundry permite contratação sob demanda Método
através de painéis de trabalhadores que foram pré-avaliados através de uma tarefa
de qualificação baseada em habilidades. Esses painéis são um conjunto de retenção de
trabalhadores de alta qualidade [5]. Exemplos de painéis de fundição incluem
Desenvolvimento de aplicativos Android, design gráfico, testes de qualidade como garantia
e animação de vídeo.
Quando uma nova função é adicionada à estrutura organizacional,
A fundição contrata enviando um e-mail para todos os trabalhadores do painel relevante
para notificá-los de que uma posição está imediatamente disponível em um
ordem de chegada. Os funcionários clicam em um link no e-mail
para indicar interesse, entrando na fila de contratação da Foundry . O primeiro
trabalhador qualificado que chegar recebe o primeiro lugar na fila, e
tem dez minutos para ler os detalhes e depois escolhe se deseja
aceitar. Assim que um trabalhador aceita, ele entra na Fundição e começa
trabalhando imediatamente. Em algumas situações, no entanto, um líder
quer maior controle nas contratações. Nestes casos, podem realizar uma
“contratação calorosa”, inspecionando todos os membros do painel,
entrevistar e, em seguida, fazer uma oferta a um indivíduo específico.
Formamos painéis publicando qualificações baseadas em habilidades
tarefas [40, 61] para cada painel. Trabalhadores upwork concluídos
uma tarefa de 1 a 3 horas (por exemplo, desenvolvimento simples para Android, design
de logotipo , controle de qualidade em um site existente) para se inscrever no painel. Deles
as submissões foram revisadas por um revisor especialista, como um
especialista em domínio altamente avaliado em Upwork. Se a submissão do
trabalhador fosse de qualidade suficientemente elevada, o trabalhador era adicionado
para o painel. Imaginamos que, à medida que os sistemas de reputação em
plataformas como Upwork melhoram [24, 36], o papel do painel
eventualmente poderia ser jogado pela própria plataforma.
Chegar ao meio de uma organização totalmente funcional exige que os
trabalhadores aprendam rapidamente as suas responsabilidades específicas.
e interdependências e objetivos organizacionais. A Foundry contrata novos
trabalhadores, orientando-os sobre suas responsabilidades e sua posição na
organização por meio de um
passo a passo guiado (Figura 2 painel 4). Fundição então liga
informações relevantes, tarefas futuras e a descrição do
primeira tarefa do trabalhador. Este processo leva menos de cinco minutos.
AVALIAÇÃO
As organizações flash permitem que multidões montem
esforços coordenados em direção a objetivos complexos e abertos?
Nesta seção, exploramos esta questão relatando resultados
a partir de uma implantação de sistema em que três organizações flash perseguiram
objetivos que permaneciam desafiadores para multidões: design de produto aberto,
desenvolvimento de software e design de jogos.
Esses projetos representam objetivos mais abertos e complexos
do que sucessos anteriores, crowdsourcing de prototipagem de
interface [71], depuração de código [11, 50] e ideação [1]. Nosso estudo
estratégia de avaliação [59] é inspirada em trabalhos anteriores em crowd
sourcing, que também demonstrou prova de conceito
objetivos por meio de sistemas operando em tarefas reais (por exemplo, [6, 43, 49]).
Porque a tese deste artigo é uma afirmação de existência - aquele flash
organizações podem coordenar e se adaptar para completar a abertura
objetivos complexos e finalizados - em vez de um comparativo “melhor
do que”, optamos por uma implantação de estudo de campo para estabelecer
se as organizações flash são de fato capazes de tarefas complexas
funcionam e, em caso afirmativo, como o conseguem.
Recrutamos três líderes de fora da nossa equipe de pesquisa para
administrar organizações flash. Procuramos líderes que tivessem
objetivos complexos a serem perseguidos e que representavam diferentes
conhecimentos. Nenhum dos líderes era especialista em trabalho coletivo ou
Trabalho. Fornecemos a cada líder um orçamento, Fundição,
e um prazo de seis semanas para atingir seu objetivo. Líderes mantidos
propriedade de todos os produtos criados e propriedade intelectual.
As três organizações resultantes abrangeram software, produto,
e design de jogos. A primeira organização, EMS Trauma Re port, projetada e
liderada por um estudante de medicina, aproveitou a multidão
para criar um protótipo de aplicativo móvel e web Android
para técnicos de emergência médica (EMTs) relatarem trauma
ferimentos de uma ambulância a caminho do hospital. A segunda organização,
True Story, projetada e liderada por uma equipe de
criadores de jogos de cartas com financiamento coletivo, usaram a multidão para projetar,
fabricar e testar um jogo de cartas com narrativa e um
aplicativo móvel que acompanha. A terceira organização,
Portal de Planejamento de Workshop Empresarial, projetado e liderado por um
membro de um laboratório de tecnologia da empresa de consultoria de software
Accenture, aproveitou a multidão para criar um portal corporativo na web para
administrar workshops de clientes.
Todas as decisões foram tomadas pelos líderes organizacionais, incluindo a
criação e execução de funções, equipes e tarefas.
Os líderes poderiam usar o Foundry para delegar decisões aos líderes da equipe
e trabalhadores. Suas estruturas organizacionais personalizadas foram
preenchido automaticamente com diversos trabalhadores coletivos, incluindo
designers gráficos, poetas e programadores. Tabela A7
(apêndice) relata os painéis acessíveis aos líderes, e
o número de candidatos em cada processo de contratação de painel. Quando
necessário, ajudamos os líderes no uso do Foundry, mas não
tomar quaisquer decisões organizacionais em seu nome.
Durante a implantação, rastreamos as estruturas organizacionais que cada líder
desenvolveu, os especialistas que eles contrataram e
o tempo decorrido na contratação e o número e tipo
de adaptações organizacionais. Realizamos entrevistas com
47 participantes, entre líderes, líderes de equipe e trabalhadores . Também
recrutamos três revisores neutros para avaliar o
qualidade de cada entrega. Esses revisores eram especialistas em
os respectivos domínios de produto. Eles julgaram se o final
as entregas atingiram a meta pretendida e foram pelo menos médias
qualidade em comparação com produtos com escopo semelhante.
RESULTADOS
Todos os três líderes criaram e lideraram uma organização para completar
seus objetivos dentro de seis semanas, convocando trabalhadores sob demanda em
quatorze minutos em média. Cada organização com sucesso
completou sua meta (Figura 4) para a satisfação do líder
e recebeu uma classificação de qualidade aceitável pelos três especialistas
revisores. As organizações compreendiam coletivamente 93 multidões
trabalhadores, incluindo 22 líderes de equipe e 24 equipes (Figura 5).
Esses trabalhadores completaram 639 tarefas em 3.261 horas-homem
do tempo de trabalho. Ao todo, as organizações escreveram 52 mil linhas
Machine Translated by Google

Figura 4: Três organizações flash desenvolveram com sucesso: (topo) um aplicativo para tablet e um portal web para equipes de emergência médica; (meio)
arte, conteúdo e um aplicativo de suporte para um jogo de cartas narrativo; e (parte inferior) um portal corporativo de TI para planejamento de workshops de consultoria.

de código de software, incluindo dois aplicativos móveis e três e interface do usuário. Esses grupos trabalharam juntos em recursos como o
aplicativos web full-stack, e criou dois baralhos ilustrados de 80 fluxo de interação para casos de trauma de baixa acuidade. As solicitações
cartas. A tarefa média nas organizações durou 3,05 horas, e o pull apresentam novas tarefas e membros da equipe.
tempo médio de trabalho simultâneo diário foi de 14,1 horas para
Nesse ponto, muitos membros da equipe Android e de front-end notaram
uma média de cinco trabalhadores. Apresentamos primeiro uma
que não poderiam fazer o que precisavam sem um back-end. O líder do
análise de caso da adaptação e contratação envolvida em cada EMS contratou três desenvolvedores back-end sob demanda em 17, 27 e
organização flash e depois apresentamos medidas quantitativas dessas atividades.
60 minutos, respectivamente.
EMS Trauma Report A Depois de um dia, a hierarquia da equipe foi reconfigurada para tornar um
trabalhador particularmente qualificado o líder da equipe.
organização EMS Trauma Report desenvolveu um aplicativo Android para
técnicos de emergência médica (técnicos) usarem um tablet habilitado para No final deste período, um protótipo inicial foi produzido. O líder do EMS
toque de uma ambulância para enviar relatórios antecipados durante o
criou uma equipe de testes de usuários para supervisionar o feedback dos
trajeto para o hospital. O aplicativo permitiu que os técnicos inserissem usuários. Ele levou o protótipo para usuários locais e enviou seus
rapidamente informações vitais, como dados demográficos, mecanismo de comentários para essa equipe. O feedback incluiu a adição de um fluxo de
lesão, se o paciente está intubado, frequência cardíaca e pressão arterial, trabalho alternativo de alta acuidade. O líder do EMS esboçou wireframes
localização do trauma e uma fotografia. Os dados foram então carregados para o design revisado, que os líderes da equipe usaram para criar
em um site seguro do hospital, exibindo uma lista filtrável de visão geral e solicitações pull para 15 tarefas adicionais para cobrir simulações de alta
detalhes de todos os casos de trauma recebidos, bem como uma localização fidelidade, engenharia, testes e depuração.
GPS da ambulância com atualização automática.
Durante esse mesmo período, o líder do EMS questionou-se sobre a
conformidade com os regulamentos federais da Lei de Portabilidade de
O líder do EMS começou contratando uma desenvolvedora Android e Seguros de Saúde e Responsabilidade de Contas (HIPAA). Ele queria
pedindo-lhe que elaborasse um plano para a organização. Ela contratou contratar alguém para supervisionar a conformidade com a HIPAA, mas a
uma equipe de design de interface de usuário, e os dois líderes da equipe Upwork não tinha trabalhadores com esse conhecimento. Ele contratou um
decidiram contratar mais dois desenvolvedores, contratando cada um sob engenheiro de segurança da Web no Egito para se treinar na política da
demanda em cerca de 8 minutos. Juntos, eles iteraram na construção de HIPAA e o conectou com o responsável pela conformidade da universidade local.
protótipos dos esboços do líder. Em seguida, o líder do Android, que se
tornou o líder de fato da organização, criou uma equipe de engenharia de O líder do EMS criou uma equipe de marketing sob demanda para criar
front-end, contratando dois desenvolvedores para construir o aplicativo cliente materiais para apresentar o aplicativo a financiadores e usuários. Enquanto
Machine Translated by Google
Portal de oficina empresarial Relatório EMS
Portal de oficina empresarial
Relatório EMS
Figura 5: Estruturas organizacionais finais (parte superior) e cronogramas concluídos (parte inferior) para as três organizações flash. As cores
indicam diferentes funções e tarefas correspondentes (detalhes no Apêndice). As estruturas variavam de hierarquias planas a aninhadas e incluíam
24 equipes e 639 tarefas em 3.261 horas de trabalho.
Ao criar materiais de marketing, um funcionário propôs substituir a página
de contratação por uma página de visão geral dos recursos. A equipe
concordou e ele usou o Foundry para criar solicitações pull para adicionar
tarefas para a criação da nova página.
True Story A
organização True Story (TS) produziu um jogo de cartas para contar histórias, incluindo
um baralho de cartas. Cada carta do jogo final (http://truestorytime.org/game/) é um aviso
para os jogadores contarem uma história de suas vidas, por exemplo “Território
Desconhecido” ou “Fake It Till You Make It”. A organização desenvolveu um estilo artístico
para os baralhos de cartas e um pequeno poema em cada carta que corresponde ao
prompt (por exemplo, “Esmagamento”: olhares sutis, pulso acelerado / Quanto tempo durar
o foco / Entre a zona de amizade e a zona de diversão). Também foi feito um aplicativo
Android para uso no jogo para registrar histórias à medida que são contadas.
Os líderes da ST usaram inicialmente a contratação sob demanda para contratar
rapidamente uma equipe de 12 poetas para escrever um pequeno poema e imprimir em cada cartão.
membros da equipe sob demanda em uma média de 16 minutos. O líder da equipe de
Eles então perceberam que queriam um tom integrado em todos os poemas e contrataram
um novo poeta para revisar os poemas e criar um conjunto integrado. A contratação sob
demanda permitiu que os 160 cartões fossem criados rapidamente e proporcionou uma
gama de ideias criativas.
Os líderes do TS também dividiram o design e a fabricação dos cartões propriamente ditos.
Eles contrataram equipes diferentes para projetar o verso e a frente dos cartões, a
embalagem dos cartões e o logotipo do jogo. Os líderes do TS decidiram então testar seu
jogo. Eles contrataram um líder de testes sob demanda, que contratou testadores para
organizar seus amigos para noites de jogos e registrar os procedimentos. Ela enviou
baralhos de cartas de teste para os testadores e sintetizou seus resultados para os líderes
do TS.
À medida que o prazo se aproximava, os líderes do TS decidiram criar um aplicativo móvel
e um site que pudesse registrar as histórias contadas no jogo. Para atingir esse objetivo
em uma semana, os líderes de TS, líderes de equipe e trabalhadores enviaram mais de 50
alterações de pull request para adicionar uma série de novas funções e tarefas. A criação
de um aplicativo móvel exigiu a contratação de uma equipe totalmente nova com Android
História verdadeira
História verdadeira
experiência de desenvolvimento — um conjunto de competências que não se sobrepõem
à organização existente e à experiência dos líderes. Os líderes do TS contrataram um líder
de equipe que criou funções e atribuiu tarefas para projetar, testar e produzir o aplicativo
móvel e o site.
Portal de planejamento de workshop
empresarial A organização Enterprise Workshop Planning Portal (ENT)
projetou e projetou um aplicativo da web para administrar workshops de
clientes. A organização começou com requisitos vagos e, por meio de
iteração, desenvolveu uma especificação na qual os organizadores da
oficina inserem informações sobre os clientes da oficina. Os
organizadores da oficina usam o sistema para criar um cronograma
para a sessão e monitorar o progresso por meio de um painel. A
organização otorrinolaringológica teve que se coordenar com os
funcionários da Accenture para manter a consistência da marca e compreender as nec
O líder ENT começou entrevistando e contratando os líderes da equipe de design e back-
end em 30 minutos e 11 horas, respectivamente. Cada líder de equipe contratou três
back-end teve dificuldade para fazer um plano, então o líder ENT reconfigurou a hierarquia,
pedindo-lhe para continuar a codificar, mas pedindo a outro membro da equipe para liderar
a equipe. Mais tarde, o líder ENT não gostou dos modelos criados por um membro da
equipe de design, mas apreciou sua experiência em liderança, então usou o Foundry para
mover aquele UI Designer para uma função de líder de equipe e atribuir suas tarefas
restantes de design a três outros UI Designers que havia entregado simulações de maior
qualidade.
Equipes de garantia de qualidade e testes de usuários foram contratadas sob demanda à
medida que o projeto se aproximava da conclusão. Os especialistas em QA foram
contratados em média 18 minutos cada. Enquanto esperavam que os desenvolvedores
terminassem de implementar os recursos para teste, o líder da equipe usou o Foundry para
iniciar solicitações pull que prepararam todos os casos de teste de garantia de qualidade
para serem concluídos e padronizaram seus relatórios.
O líder otorrinolaringologista pediu feedback aos usuários de sua organização, o que levou
a que os requisitos fossem redesenhados,
Machine Translated by Google
Mediana Puxar Equipe de Líderes
tempo de contratação solicitações de pistas
Relatório EMS 13min40s 335 7,2% 92,8% 0,0%
História Verdadeira 12min30s 113 21,2% 47,8% 31,0%
Empresa 15min13s 118 66,9% 17,9% 15,3%
Tabela 2: Contratações automatizadas e reconfigurações organizacionais.
atrasando o projeto. Os trabalhadores emitiram uma série de solicitações pull
para ajustar o escopo do projeto e as metas de implementação. Construir
definir o design de interação desejado, a equipe de front-end mudou
de HTML simples para AngularJS, levando a uma série de pull
solicitações de engenharia front-end. O líder otorrinolaringologista então sentiu
a equipe de desenvolvimento não tinha pessoal suficiente para atingir a meta
ele tinha em mente. Ele usou o Foundry para contratar automaticamente três
mais desenvolvedores front-end e três desenvolvedores back-end. Dias depois, um
dos desenvolvedores do AngularJS tiveram uma emergência familiar. O
equipe precisava de mais experiência em AngularJS, então ele usou o Foundry para
solicite desenvolvedores front e back-end que conheçam AngularJS.
Neste ponto, o líder sentiu-se em risco de perder o orçamento e
agendar metas, então todas as equipes revisaram os planos de trabalho usando pull
solicitações para definir o escopo de um resultado menos ambicioso.
Resultados: Reconfigurando estruturas organizacionais
Cada organização adaptou-se continuamente às condições em mudança, acrescentando
pessoas, tarefas, equipes e tempo, e revisando agrupamentos, hierarquia e requisitos
de tarefas. Essas adaptações sob demanda, que incluíram 113 alterações de pull
request
em True Story, 118 em Enterprise e 335 em EMS Report
(Tabela 2), resultou em 566 alterações de pull request. Eles vieram
de líderes (9,4%), líderes de equipe (68,2%) e membros da equipe
(22,4%). A adaptação foi contínua ao longo de
cada organização, com uma mediana de quatro mudanças por dia por
organização. As mudanças ocorreram de cima para baixo, de acordo com a opinião dos líderes
directivas e da base para o topo por iniciativa dos trabalhadores.
As adaptações de cima para baixo permitiram um realinhamento rápido sempre que
o líder precisava reagir a novas informações ou inesperadas
opinião. A Tabela 3 resume exemplos, incluindo a adição
novas funções e reconfigurar hierarquias existentes. Essas adaptações de cima para
baixo lembram mais os modelos tradicionais de crowdsourcing conduzidos pelo
solicitante. As organizações flash também permitiram que os trabalhadores coletivos
iniciassem reconfigurações de baixo para cima.
Os exemplos na Tabela 3 incluem a adição de tarefas que não foram
previsto para revisar o conteúdo de uma página da web.
As adaptações das organizações Flash tiveram problemas. Para
um, acompanhando as adaptações no Foundry à medida que as mudanças se tornavam
mais refinado (por exemplo, correções de bugs) era menos útil para os trabalhadores,
que achavam pouca necessidade de atualizar a lista de tarefas e, em vez disso,
engajados em equipes em tempo real para identificar, reivindicar e
corrigir bugs. Esta dinâmica sugere que o Foundry poderia integrar-se com outros
serviços para atender às necessidades de planejamento. Um segundo
questão: alguns trabalhadores sentiram que a capacidade de adaptação ocorreu à
custa de um planeamento cuidadoso; eles desejavam que os líderes engajados
em um processo de planejamento mais extenso, com menos e menores
adaptações por toda parte. Este feedback pode ser usado para inspirar
pesquisa que hibridiza planejamento e adaptação.
Resultados: contratação sob demanda
Setenta e cinco trabalhadores foram contratados automaticamente em cada
organização (Tabela A1 no Apêndice). Os líderes usaram isso
processo de contratação sob demanda para preencher novas estruturas organizacionais
Trabalhadores
Mudança de baixo para cima: adicionar novas Relatório de Trauma EMS
tarefas Um dos profissionais de marketing percebeu que a página de contratação do aplicativo seria
melhor como uma visão geral dos recursos. Outros trabalhadores concordaram, então ele criou quatro
pull requests adicionando tarefas para redesenhar a página e seu conteúdo.
Mudança de baixo para cima: adicionar novas tarefas Enterprise Workshop Portal
À medida que as equipes de engenharia completavam seus marcos, a equipe de garantia de
qualidade tomou a iniciativa de criar solicitações pull com tarefas que
coordenar o processo de testes da próxima equipe de engenharia.
Mudança de cima para baixo: reconfigurar hierarquia Relatório de trauma EMS
Um engenheiro de back-end demonstrou iniciativa e habilidade específicas. O líder do EMS
reconfigurou seu papel na hierarquia da equipe, tornando-o o líder da equipe.
Mudança de cima para baixo: adicione nova função True Story
Os líderes do True Story obtiveram o conteúdo do cartão de uma equipe de poetas. Sobre
revisão, eles decidiram criar uma nova função na equipe para integrar conteúdo.
Tabela 3: As organizações flash usaram pull requests de cima para baixo por líderes
diretivas e solicitações ascendentes por iniciativa dos trabalhadores.
Contratação de uma equipe de poetas True Story
Os líderes de True Story contrataram uma equipe de doze poetas sob demanda. Eles escreveram
conteúdo criativo para as cartas de jogo.
Consulta HIPAA sob demanda O líder do Relatório de Trauma EMS
EMS contratou um engenheiro de segurança da web no Cairo para treinar
leis de privacidade americanas HIPAA e aconselhar a equipe.
Expansão rápida da equipe Enterprise Workshop Portal
O líder ENT expandiu a capacidade de engenharia com a contratação de quatro novos front-end
e engenheiros de back-end sob demanda em apenas 7 minutos cada.
Tabela 4: As organizações flash contratadas sob demanda para criar rapidamente novos
perícia.
em uma mediana de 13,7 minutos. Em contraste, contratações quentes (manuais)
demorou muito mais, em média 15 horas. Esses processos de contratação
desdobrar-se em escalas significativamente diferentes: contratações automatizadas em
em média 14 minutos, contratações quentes em média 15 horas e
pipelines de contratação de organizações tradicionais em 14 a 25 dias [17].
As organizações usaram a contratação sob demanda para contratar rapidamente
pessoas com os conhecimentos necessários e para obter ideias diversas. Os
exemplos estão resumidos na Tabela 4, incluindo a equipe de 12 poetas
contratado sob demanda para criar conteúdo para o jogo TS, e o
engenheiro contratado para treinar nas leis de privacidade americanas.
Embora as organizações flash pudessem, em teoria, recrutar novos públicos
trabalhadores para cada nova tarefa, as organizações, na prática, credenciaram
membros ao longo do tempo. Líderes aproveitaram a contratação da Foundry
funcionalidade para recontratar membros para novas tarefas. A
recontratação minimizou a integração necessária e significou que a organização
membros ocupavam vários papéis diferentes na organização
estrutura em diferentes momentos. A contratação sob demanda gerou outros desafios.
Houve algo um tanto imprevisível
adequação das habilidades dos especialistas em multidão contratados. Sinais de reputação
confiáveis continuam sendo um problema para os mercados de trabalho online [36, 70]. Futuro
a investigação pode ter como objetivo melhorar os sistemas de reputação das
plataformas coletivas e, em particular, identificar profissionais com competências semelhantes.
estilos ou habilidades em um domínio.
DISCUSSÃO
Tal como muitas outras estruturas sociais, a natureza do trabalho está a ser
remodelado pela internet, computação e algoritmos. Entre
setores tão diversos como entrada de dados (Amazon Mechanical Turk),
design e programação (Upwork) e transporte (Uber),
responsabilidades que costumavam ser domínio dos gerentes humanos
estão se tornando o domínio dos sistemas computacionais. A data
esses sistemas se concentraram em sistemas distribuídos e independentes
Machine Translated by Google
trabalho [7]. Neste artigo, imaginamos um futuro em que os sistemas
computacionais orquestrarão organizações flash que
alcançar objetivos complexos e abertos que exigem conhecimentos especificidade e contam com anos de experiência, por exemplo, familiaridade com a
diversos . Apresentamos uma implantação em campo do nosso sistema no qual enorme base de código do Google, podem se beneficiar de mais
organizações flash contrataram automaticamente especialistas da multidão
em estruturas organizacionais baseadas em funções e reconfigurou o
estruturas à medida que o trabalho avançava.
As organizações Flash avançam na pesquisa de crowdsourcing introduzindo
estruturas organizacionais como uma nova abordagem para coordenar
trabalhadores on-line reunidos por meio de convocação aberta. Esse
abordagem adapta as possibilidades de coordenação das organizações
para sistemas computacionais e multidões. Ao fazer isso, flash
organizações abrem um conjunto de metas antes fora do alcance
crowdsourcing.
Reciprocamente, as organizações flash também avançam na pesquisa sobre
design organizacional de três maneiras principais. Primeiro, as organizações
flash baseiam-se nos princípios da coordenação baseada em funções que
permitem organizações temporárias, mas representam o primeiro exemplo
de um sistema computacional que codifica e reconfigura esses
estruturas de papéis. Pesquisas futuras podem explorar as dinâmicas sociais
e comportamentais introduzidas por esta abordagem. Em segundo lugar, flash
organizações reúnem conhecimentos especializados quase instantaneamente, em vez
do que reconfigurar grupos fixos de funcionários como os tradicionais
organizações. Esta propriedade significa que essas organizações temporárias
podem reunir participantes de forma fluida a partir de trabalho on-line.
mercados, uma capacidade nova em comparação com organizações
tradicionais . Mas introduz um compromisso entre contratação rápida e
familiaridade dos trabalhadores entre si e com o contexto organizacional.
Pesquisas futuras podem explorar esse trade-off, e
desenvolver abordagens para apoiar a familiaridade [75] e ajudar
com contexto relevante. Terceiro, porque as organizações flash registram
todas as atividades organizacionais, eles oferecem uma oportunidade sem precedentes
para conduzir ciência de dados em estruturas organizacionais e
processos. As estruturas organizacionais são um modo de coordenação
poderoso por si só, mas juntamente com
dados sobre tarefas, funções, hierarquias e fluxos de trabalho personalizados,
eles oferecem uma ferramenta poderosa que pode inaugurar uma era de flexibilidade
colaboração em rede.
As organizações Flash promovem um futuro de trabalho que é cada vez mais
mediado por computação e algoritmos. Como novo tal
técnicas são desenvolvidas, é necessária uma conversa contínua sobre os
resultados sociais desejados [25, 77]. Se o ecossistema sociotécnico não for
projetado cuidadosamente, as organizações flash
(como outras mudanças trabalhistas ao longo da história) podem reduzir os salários
e impor condições de trabalho rígidas [39, 58]. Em vez disso, nós
espero que as organizações flash ofereçam trabalhadores coletivos, que
atualmente são predominantemente funcionários que trabalham por peça, a
oportunidade de participar de projetos de longo prazo e mais gratificantes. Mais
em termos gerais, as organizações flash imaginam um mundo que permite
recrutar trabalhadores para seguir carreiras de longo prazo [42], incluindo
crescimento de competências [78], acesso a coletivos de trabalho [74] e garantias de
rendimento estável.
Limitações
As organizações Flash podem não ser apropriadas para todos os tipos de
objetivo, e mais pesquisas são necessárias para explorar este espaço de design
e seus pontos de falha. Por exemplo, porque as organizações flash
são ágeis, provavelmente serão uma boa opção para o estágio inicial
organizações ou organizações que desejam criar protótipos de novos
esforços em nível de projeto. No entanto, esforços que exigem altos recursos
formatos tradicionais. Existem oportunidades híbridas: grande estável
as organizações poderiam ver seus próprios funcionários como uma multidão,
envolver os trabalhadores em projetos primários e, ao mesmo tempo, rotacioná-los para
projetos secundários sob demanda para permitir que equipes secundárias
crescer rapidamente, se necessário.
Existem outras compensações e limitações: as organizações flash alcançam
uma reserva de mão-de-obra mundial, mas deve, portanto, enfrentar diferenças culturais
e de fuso horário [34, 66, 69]; organizações flash
permitir que quase estranhos se coordenem de forma eficaz através de funções,
mas estranhos são menos eficazes que equipes familiares [38]; multidão
a contratação de plataformas pode ser barulhenta devido à reputação superinflacionada
sistemas [24, 36]. Nenhuma forma organizacional é perfeita para todos
situações [52], e organizações flash são mais adequadas para
situações em que essas compensações importam menos. Projetos futuros
irá iterar sobre essas questões.
Escolhemos uma implantação em campo como nossa estratégia de avaliação, que
nos permitiu demonstrar a viabilidade, os pontos fortes e as limitações da
abordagem. As implantações de estudos de campo são menos capazes
para isolar mecanismos causais específicos do que um campo randomizado
experimentar um contrafactual correspondente. No entanto, eles são
um ajuste forte quando o fenômeno é incipiente [21], e eles
fornecem um método forte para relatos descritivos “densos” [53],
incluindo pontos fortes e limitações.
CONCLUSÃO
Através de organizações flash, imaginamos um mundo em que qualquer pessoa com
conexão à Internet possa montar uma organização
de um mercado de trabalho online e depois liderar essa organização
em busca de objetivos complexos e abertos. Engenharia tal
futuro permitiria que uma força de trabalho coletiva reunisse com flexibilidade
e remontar-se em coletivos que rivalizam com as organizações
modernas em termos de prevalência, impacto e realizações. Na direção
neste futuro, as organizações flash contribuem: (1) métodos para
estruturando computacionalmente multidões como organizações, com
funções, equipes e hierarquias; (2) infraestrutura de sistema para criar , contratar e
orientar organizações flash; (3) baseado em funções
coordenação para permitir que os trabalhadores de multidão coordenem através do conhecimento
limite das posições uns dos outros; (4) um modelo de controle de versão
para reconfigurar as estruturas das organizações flash para adaptar o
organização; e (5) uma implantação demonstrando que estes
técnicas permitem que multidões alcancem objetivos abertos.
AGRADECIMENTOS
Os autores agradecem a Kartik Sawhney, Jare Fagbemi, Michael
Kim, Maxine Fonua, Corey Garff, Matthew Kim e Jay Pa tel por seus esforços
neste projeto. Agradecimentos adicionais a Stu
Card, Aniket Kittur, Tom Malone, Pamela Hinds, Sharad Goel,
Clark Barrett e Anita Woolley pelos comentários sobre os primeiros rascunhos.
Este trabalho foi apoiado pela Fundação Nacional de Ciência
(prêmio IIS-1351131), Accenture Technology Labs, Microsoft
FUSE Labs, a Stanford Cyber Initiative, o Instituto Stanford para Pesquisa
em Ciências Sociais e um Stanford
Bolsa de Pós-Graduação Interdisciplinar.
Machine Translated by Google
REFERÊNCIAS
1. Ricardo Matsumura Araujo. 2013. 99designs: Uma Análise
da Competição Criativa em Design Crowdsourced. Nos
Anais da Primeira Conferência AAAI sobre Computação Humana
e Crowdsourcing. 17–24.
2. Beth A. Bechky. 2006. Gaffers, Gofers e Grips:
Coordenação baseada em funções em organizações temporárias.
Ciência da Organização 17, 1 (2006), 3–21.
DOI: http://dx.doi.org/10.1287/orsc.1050.0149
3. Yochai Benkler. 2002. Coase's Penguin, ou Linux e The Nature of
the Firm. Yale Law Journal (2002), 369–446.
4. Yochai Benkler. 2013. Produção e Cooperação entre Pares.
No Manual de Economia da Internet. 1–29.
5. Michael S. Bernstein, Joel Brandt, Robert C. Miller e David R.
Karger. 2011. Multidões em dois segundos: habilitando
interfaces alimentadas por multidões em tempo real.
Nos Anais do 24º Simpósio Anual ACM sobre Software e
Tecnologia de Interface de Usuário. ACM, Nova York, NY, 33–
42. DOI: http://dx.doi.org/10.1145/2047196.2047201
6. Michael S. Bernstein, Greg Little, Robert C. Miller,
Björn Hartmann, Mark S. Ackerman, David R. Karger, David
Crowell e Katrina Panovich. 2010. Soylent: um processador de
texto com uma multidão dentro. Nos Anais do 23º Simpósio Anual
ACM sobre Software e Tecnologia de Interface de Usuário
(UIST '10). ACM, Nova York, NY, EUA, 313–322. DOI: http://
dx.doi.org/
10.1145/1866029.1866078
7. Jeffrey P. Bigham, Michael S. Bernstein e Eytan Adar.
2015. Interação Humano-Computador e Inteligência Coletiva.
No Manual de Inteligência Coletiva. Imprensa do MIT , 57–84.
8. Gregory A. Bigley e Karlene H. Roberts. 2001. O
sistema de comando de incidentes: Organização de alta confiabilidade
para ambientes de tarefas complexas e voláteis. Academy of
Management Journal 44, 6 (2001), 1281–1299. DOI: http://
dx.doi.org/10.2307/3069401
9. Shona L. Brown e Kathleen M. Eisenhardt. 1997. A arte da
mudança contínua: vinculando a teoria da complexidade
e a evolução no ritmo do tempo em organizações
em constante mudança. Ciência Administrativa Trimestral
42, 1 (1997), 1–34. DOI: http://dx.doi.org/10.2307/2393807
10. John M. Carroll, Dennis C. Neale, Philip L. Isenhour, Mary Beth
Rosson e D. Scott McCrickard. 2003.
Notificação e conscientização: Sincronizando atividades colaborativas
orientadas a tarefas. Jornal Internacional de Estudos de
Computação Humana 58, 5 (2003), 605–632. DOI: http://
dx.doi.org/10.1016/S1071-5819(03)00024-7
11. Yan Chen, Steve Oney e Walter S. Lasecki. 2016.
Rumo ao fornecimento de suporte especializado sob
demanda para desenvolvedores de software. Nos Anais da
Conferência CHI 2016 sobre Fatores Humanos em Sistemas
Computacionais (CHI '16). ACM, Nova York, NY, EUA, 3192–
3203. DOI: http://dx.doi.org/10.1145/2858036.2858512
12. Lydia B. Chilton, Greg Little, Darren Edge, Daniel S.
Solda e James A. Landay. 2013. Cascade: Criação
de taxonomia de crowdsourcing. Nos Anais da Conferência
SIGCHI sobre Fatores Humanos em Sistemas Computacionais.
Nova York, NY, EUA, 1999–2008. DOI: http://dx.doi.org/
10.1145/2470654.2466265
13.Susan G. Cohen. 1997. O que faz as equipes funcionarem: pesquisa
de eficácia do grupo, desde o chão de fábrica até a suíte
executiva. Journal of Management 23, 3 (6 1997), 239–290. DOI:
http://dx.doi.org/
10.1177/014920639702300303
14.Catherine Durnell Cramton. 2001. O Mútuo
Problema do conhecimento e suas consequências para a
colaboração dispersa. Ciência da Organização 12, 3 (6 2001),
346–371. DOI:
http://dx.doi.org/10.1287/orsc.12.3.346.10098
15. Richard Daft. 2015. Teoria e Design Organizacional.
Cengage Aprendizagem.
16. Peng Dai, Mausam e Daniel S. Weld. 2010.
Controle teórico de decisão de crowdsourcing
Fluxos de trabalho. Nos Anais da Vigésima Quarta Conferência
AAAI sobre Inteligência Artificial (AAAI-10). 1168–1174.
17. Steven J. Davis, R. Jason Faberman e John C.
Haltiwanger. 2013. O comportamento de vagas e
contratações em nível de estabelecimento. The
Quarterly Journal of Economics 128, 2 (5
2013), 581–622. DOI: http://dx.doi.org/10.1093/qje/qjt002
18. Edward L. Deci, Richard Koestner e Richard M. Ryan.
1999. Uma revisão meta-analítica de experimentos que examinam
os efeitos das recompensas extrínsecas na motivação intrínseca.
Boletim Psicológico 125, 6 (1999), 627–668. DOI: http://
dx.doi.org/10.1037/0033-2909.125.6.627
19. Jia Deng Jia Deng, Wei Dong Wei Dong, R. Socher, Li-Jia Li,
Kai Li e Li Fei-Fei. 2009. ImageNet: Um banco de dados de
imagens hierárquicas em grande escala. Em 2009, Conferência
IEEE sobre Visão Computacional e Reconhecimento de padrões.
2–9. DOI: http://dx.doi.org/10.1109/CVPR.2009.5206848
20. Paul Dourish e Victoria Bellotti. 1992. Conscientização e Coordenação
em Espaços de Trabalho Compartilhados. Nos Anais da
Conferência ACM de 1992 sobre Trabalho Cooperativo
Apoiado por Computador. ACM, Nova York, NY, EUA, 107–114.
DOI: http://dx.doi.org/10.1145/143457.143468
21. Amy C. Edmondson, Harvard Business School e Stacy E.
Mcmanus. 2007. Ajuste metodológico em pesquisas
de campo gerencial. Revisão da Academia de Gestão 32, 4
(2007), 1155–1179. DOI: http://dx.doi.org/
10.5465/AMR.2007.26586086
22. Ethan Fast e Michael S. Bernstein. 2016. Meta:
Permitindo que linguagens de programação aprendam com a
multidão. Nos Anais do 29º Simpósio Anual ACM sobre
Software e Tecnologia de Interface de Usuário (UIST '16). ACM,
Nova York, NY, EUA. DOI: http://dx.doi.org/
10.1145/2984511.2984532
Machine Translated by Google
23. Roberto M. Fernández e Nancy Weinberg. 1997.
Peneiração e classificação: contatos pessoais e contratação
em banco de varejo. Revisão Sociológica Americana 62, 6 (1997),
883–902.
24. Gaikwad SS, Morina D, Ginzberg, C Mullings, Goyal,
Gamage, C, Diemert, Burton, Zhou, Whiting, Ziulkoski,
Ballav, Gilbee, Niranga, SS, Sehgal, J, 24; Kristianto, J Regino,
N Chhibber , D Majeti, S Sharma, K Mananova, D Dhakal, W
Dai, V Purynova, S Sandeep, V Chandrakanthan, T Sarma,
S Matin, A Nassar, R Nistala, A Stolzoff, K Milland, V Mathur,
R Vaish e MS Bernstein. 2016. Boomerang: Recuperando as
consequências do feedback de reputação em plataformas de
crowdsourcing. Nos Anais do 29º Simpósio Anual ACM sobre
Software e Tecnologia de Interface de Usuário (UIST '16). ACM,
Nova York, NY, EUA. DOI: http://dx.doi.org/10.1145/2984511.2984542
25. Mary L. Gray, Siddharth Suri, Syed Shoaib Ali e Deepti
Kulkarni. 2016. A multidão é uma rede colaborativa. Nos
Anais da 19ª Conferência ACM sobre Trabalho Cooperativo
Apoiado por Computador e Computação Social (CSCW
'16). ACM, Nova York, NY, EUA, 134–147. DOI: http://
dx.doi.org/
10.1145/2818048.2819942
26. Jonathan Grudin. 1994. Groupware e dinâmica social: oito
desafios para desenvolvedores. Comum. ACM 37, 1
(1994), 92–105. DOI:
http://dx.doi.org/10.1145/175222.175230
27. Carl Gutwin e Saul Greenberg. 2002. Uma estrutura descritiva
de reconhecimento do espaço de trabalho para
groupware em tempo real. Trabalho Cooperativo Apoiado por
Computador 11, 3-4 (2002),
411–446. DOI: http://dx.doi.org/10.1023/A:1021271517844
28. Daniel Haas, Jason Ansel, Lydia Gu e Adam Marcus.
2015. Argonaut: Crowdsourcing de macrotarefa para
processamento de dados complexos . Em
Anais do Fundo VLDB, Vol. 8. 1642–
1653. DOI: http://dx.doi.org/10.14778/2824032.2824062
29. J.Richard Hackman. 1987. O Desenho de Equipes de Trabalho.
No Manual de Comportamento Organizacional, Jay W. Lorsch
(Ed.). Prentice Hall, Englewood Cliffs, Nova Jersey.
30. Nathan Hahn, Joseph Chang, Ji Eun Kim e Aniket Kittur. 2016.
O acelerador do conhecimento: pensamento geral em
pequenos pedaços. Nos Anais da Conferência CHI 2016 sobre
Fatores Humanos em Sistemas Computacionais (CHI '16).
ACM, Nova York, NY, EUA, 2258–2270. DOI: http://dx.doi.org/
10.1145/2858036.2858364
31. Kieran Healy e Alan Schussman. 2003. A ecologia do
desenvolvimento de software de código aberto.
Manuscrito não publicado, 29 de janeiro (2003), 2003.
32. Benjamim Mako Hill. 2013. Ensaios sobre voluntariado
mobilização na produção entre pares. Ph.D. Dissertação.
Instituto de Tecnologia de Massachusetts.
33. Benjamin Mako Hill e Andrés Monroy-Hernandez.
2013. O custo da colaboração para código e arte:
evidências de uma comunidade de remixagem. Nos Anais da
Conferência de 2013 sobre Trabalho Cooperativo
Apoiado por Computador. ACM, Nova York, NY, EUA,
1035–1045. DOI:
http://dx.doi.org/10.1145/2441776.2441893
34. Pamela Hinds, Lei Liu e Joachim Lyon. 2011. Colocando
o Global no Trabalho Global: Uma Lente Intercultural
sobre a Prática de Colaboração Transnacional. Anais da
Academia de Administração 5, 1 (6 2011), 135–188.
DOI: http://dx.doi.org/10.1080/19416520.2011.586108
35. Pamela J. Hinds e Cathleen McGrath. 2006. Estruturas
que Funciona: Estrutura Social, Estrutura de Trabalho
e Facilidade de Coordenação em Equipes Distribuídas
Geograficamente Pamela. Nos Anais da conferência do 20º
aniversário de 2006 sobre trabalho cooperativo apoiado por
computador (CSCW '06). ACM, Nova York, NY, EUA, 343–352.
DOI: http://dx.doi.org/10.1145/1180875.1180928
36. John J. Horton, Leonard N. Stern e Joseph M. Golden.
2015. Inflação de reputação: evidências de um mercado de
trabalho online. (2015).
37. Jeff Howe. 2008. Crowdsourcing: Como o poder da multidão está
impulsionando o futuro dos negócios. Século.
38. Robert S. Huckman, Bradley R. Staats e David M.
Upton. 2009. Familiaridade da equipe, experiência de função
e desempenho: evidências de serviços de software indianos.
Ciência de Gestão 55, 1 (2009), 85–100. DOI: http://
dx.doi.org/10.1287/mnsc.1080.0921
39. Lilly C. Irani e M. Six Silberman. 2013. Turkopticon: Interrompendo
a invisibilidade do trabalhador no Amazon Mechanical Turk.
Nos Anais da Conferência SIGCHI sobre Fatores Humanos
em Sistemas Computacionais. ACM, Nova York, NY, EUA, 611–
620. DOI: http://dx.doi.org/
10.1145/2470654.2470742
40. Stéphane Kasriel e Jacob Morgan. Contrate Fast & Build Things:
Como recrutar e gerenciar uma equipe de engenheiros
distribuídos de primeira linha.
41. Daniel Katz e Robert Kahn. 1978. O Social
Psicologia das Organizações. John Wiley & Sons, Nova York.
42. Aniket Kittur, Jeffrey V. Nickerson, Michael S. Bernstein, Elizabeth
M. Gerber, Aaron Shaw, John Zimmerman, Matthew Lease e
John J. Horton. 2013. O futuro do trabalho coletivo. Nos Anais
da Conferência de 2013 sobre Trabalho Cooperativo Apoiado
por Computador (CSCW '13).
ACM, Nova York, NY, EUA, 1301–1318. DOI: http://
dx.doi.org/10.1145/2441776.2441923
43. Aniket Kittur, Boris Smus, Susheel Khamkar e
Robert E. Kraut. 2011. CrowdForge: Trabalho
complexo de crowdsourcing. Nos Anais do 24º Simpósio
Anual ACM sobre Software e Tecnologia de Interface
de Usuário (UIST '11). ACM, Nova York, NY,
EUA. DOI: http://dx.doi.org/10.1145/2047196.2047202
Machine Translated by Google
44. Anand Kulkarni, Matthew Can e Björn Hartmann. 2012a. Fluxos
de trabalho de crowdsourcing colaborativo com turkomatic. Nos
Anais da Conferência ACM 2012 sobre Trabalho Cooperativo
Apoiado por Computador (CSCW '12).
ACM, Nova York, NY, EUA, 1003–1012. DOI:
http://dx.doi.org/10.1145/2145204.2145354
45. Anand Kulkarni, Philipp Gutheim, Prayag Narula, David Rolnitzky,
Tapan S. Parikh e Björn Hartmann. 2012b.
MobileWorks: Projetando para Qualidade em uma Arquitetura
de Crowdsourcing Gerenciada. Revista IEEE Internet Computing
16, 5 (2012), 28. DOI: http://dx.doi.org/
10.1109/MIC.2012.72
46. Walter S. Lasecki, Juho Kim, Nick Rafter, Onkur Sen, Jeffrey P.
Bigham e Michael S. Bernstein. 2015.
Aparição: interfaces de usuário de crowdsourcing que ganham vida conforme você as
desenha. Nos Anais da 33ª Conferência Anual da ACM sobre Fatores Humanos em
Sistemas Computacionais. ACM, Nova York, NY, EUA. DOI: http://dx.doi.org/
10.1145/2702123.2702565
47. Walter S. Lasecki, Christopher Miller, Adam Sadilek,
Andrew Abumoussa, Donato Borrello, Raja Kushalnagar e Jeffrey
P. Bigham. 2012. Legendagem em tempo real por grupos de
não especialistas. Nos Anais do 25º Simpósio Anual ACM sobre
Software e Tecnologia de Interface de Usuário (UIST '15).
ACM, Nova York, NY, EUA. DOI: http://dx.doi.org/
10.1145/2380116.2380122
48. Walter S. Lasecki, Kyle I. Murray, Samuel White,
Robert C. Miller e Jeffrey P. Bigham. 2011. Controle de multidões
em tempo real de interfaces existentes. Nos Anais do 24º Simpósio
Anual ACM sobre Software e Tecnologia de Interface de Usuário
(UIST '11). ACM, Nova York, NY, EUA.
DOI: http://dx.doi.org/10.1145/2047196.2047200
49. Walter S. Lasecki, Rachel Wesley, Jeffrey Nichols,
Anand Kulkarni, James F. Allen e Jeffrey P. Bigham.
2013. Refrão: um assistente de conversação movido
pela multidão. Nos Anais do 26º Simpósio Anual ACM
sobre Software e Tecnologia de Interface de Usuário (UIST
'13). ACM, Nova York, NY, EUA. DOI: http://
dx.doi.org/10.1145/2501988.2502057
50. Thomas D. LaToza, W. Ben Towne, Christian M. Adriano e Andre
van der Hoek. 2014. Programação de microtarefas: construindo
software com uma multidão. Nos Anais do 27º Simpósio Anual
ACM sobre Software e Tecnologia de Interface de Usuário (UIST
'14). ACM, Nova York, NY, EUA, 43–54. DOI: http://dx.doi.org/
10.1145/2642918.2647349
51. Edith Law e Haoqi Zhang. 2011. Rumo ao planejamento
colaborativo em larga escala: respondendo a consultas
de pesquisa de alto nível usando computação humana. Na
Conferência AAAI sobre Inteligência Artificial.
1210–1215. DOI: http://dx.doi.org/10.1007/s00247-004-1242-4
52. Paul R. Lawrence e Jay W. Lorsch. 1967.
Diferenciação e Integração em Organizações Complexas.
Ciência Administrativa Trimestral 12, 1 (1967), 1–47.
DOI: http://dx.doi.org/10.2307/2391211
53. Yvonna S. Lincoln e Egon G. Guba. 1985. Investigação naturalística.
Vol. 75. Sábio.
54. Chris J. Lintott, Kevin Schawinski, Anſe Slosar, Kate Land,
Steven Bamford, Daniel Thomas, M Jordan Raddick, Robert
C. Nichol, Alex Szalay, Dan Andreescu, Phil Murray e Jan
Vandenberg. 2008. Galaxy Zoo: morfologias derivadas da
inspeção visual de galáxias do Sloan Digital Sky Survey âŸE.
ÿ
Avisos mensais da
Royal Astronomical Society 389, 3 (9 2008), 1179–1189.
DOI: http://dx.doi.org/
10.1111/j.1365-2966.2008.13689.x
55. Greg Little, Lydia B. Chilton, Max Goldman e
Robert C. Miller. 2010. TurKit: Algoritmos de Computação
Humana no Mechanical Turk. Nos Anais do 23º Simpósio Anual
ACM sobre Software e Tecnologia de Interface de Usuário
(UIST '10). ACM, Nova York, NY, EUA, 57. DOI: http://dx.doi.org/
10.1145/1866029.1866040
56. Kurt Luther, Kelly Caine, Kevin Ziegler e Amy
Bruckman. 2010. Por que funciona (quando funciona): fatores de
sucesso na colaboração criativa online. Nos Anais da 16ª
Conferência Internacional ACM sobre Apoio ao Trabalho em
Grupo (GROUP '10). ACM, Nova York, NY, EUA.
DOI: http://dx.doi.org/10.1145/1880071.1880073
57. Thomas W. Malone e Kevin Crowston. 1994. O
estudo interdisciplinar de coordenação. Computação.
Pesquisas 26, 1 (1994), 87–
119. DOI: http://dx.doi.org/10.1145/174666.174668
58. David Martin, Benjamin V. Hanrahan, Jacki O'Neill e Neha Gupta.
2014. Sendo um Turker. Nos Anais da 17ª Conferência ACM sobre
Trabalho Cooperativo Apoiado por Computador e
Computação Social (CSCW '14).
ACM, Nova York, NY, EUA, 224–235. DOI: http://
dx.doi.org/10.1145/2531602.2531663
59. Joseph E. McGrath. 1994. Metodologia é importante: fazendo
pesquisa. Estratégias de Pesquisa 2000 (1994), 152–169.
DOI: http://dx.doi.org/10.1177/1075547004273025
60. Tom Mens. 2002. Uma pesquisa de última geração sobre software
fundindo. Transações IEEE em Engenharia de Software
28, 5 (2002), 449–462.
DOI: http://dx.doi.org/10.1109/TSE.2002.1000449
61. Tanushree Mitra, CJ Hutto e Eric Gilbert. 2015.
Comparando estratégias centradas em pessoas e processos
para obtenção de dados de qualidade no Amazon Mechanical
Turk. Em Anais da Conferência ACM CHI'15 sobre Fatores
Humanos em Sistemas de Computação (CHI '15), Vol. 1.
1345–1354. DOI:
http://dx.doi.org/10.1145/2702123.2702553
62. Michael Nebeling, Alexandra To, Anhong Guo, Adrian A. de Freitas,
Jaime Teevan, Steven P. Dow e Jeffrey P.
Bigham. 2016. WearWrite: escrita assistida por multidão em
smartwatches. Nos Anais da Conferência CHI 2016
sobre Fatores Humanos em Sistemas Computacionais (CHI
'16). 3834–3846. DOI: http://
dx.doi.org/10.1145/2858036.2858169
Machine Translated by Google
63. Tsedal B. Neeley, Pamela J. Hinds e Catherine D.
Cramton. 2012. A turbulência (des)oculta da linguagem na
colaboração global. Dinâmica Organizacional 41, 3 (2012),
236–244. DOI: http://
dx.doi.org/10.1016/j.orgdyn.2012.03.008
64. Gerardo A. Okhuysen e Beth A. Bechky. 2009.
Coordenação nas Organizações: Uma Perspectiva
Integrativa. Anais da Academia de Administração 3, 1
(1 2009), 463–502.
DOI: http://dx.doi.org/10.1080/19416520903047533
65. Gary Olson e Judith Olson. 2000. Distância é importante.
Interação Humano-Computador 15, 2 (2000), 139–178.
DOI: http://dx.doi.org/10.1207/S15327051HCI1523{_}4
66. Judith S. Olson e Gary M. Olson. 2014. Como fazer o trabalho
a distância funcionar. Interações 21 (2014), 28–35. DOI: http://
dx.doi.org/10.1145/2567788
67. Wanda J. Orlikowski. 2000. Usando tecnologia e constituindo
estruturas: uma lente prática para estudar tecnologia em
organizações. Ciência da Organização 11, 4 (2000), 404–428.
68. Galen Pickard, Wei Pan, Iyad Rahwan, Manuel Cebrian, Riley
Crane, Anmol Madan e Alex Pentland. 2011.
Mobilização social urgente. Ciência 334, 6055 (2011), 509–
512.
69. Katharina Reinecke, Minh Khoa Nguyen, Abraham
Bernstein, Michael Näf e Krzysztof Z. Gajos. 2013.
Doodle Around the World: O comportamento de agendamento
on-line reflete diferenças culturais na percepção do tempo e
na tomada de decisões em grupo. Nos Anais da Conferência
de 2013 sobre Trabalho Cooperativo Apoiado por Computador
(CSCW '13). ACM, Nova York, NY, EUA, 45–54. http://
doi.acm.org/10.1145/2441776.2441784
70. Paul Resnick, Ko Kuwabara, Richard Zeckhauser e Eric
Friedman. 2000. Sistemas de reputação. Comum.
ACM 43, 12 (2000), 45–48. DOI:
http://dx.doi.org/10.1145/355112.355122
71. Daniela Retelny, Sebastien Robaszkiewicz, Alexandra To, Walter
S. Lasecki, Jay Patel, Negar Rahmati, Tulsee Doshi, Melissa
Valentine e Michael S. Bernstein.
2014. Crowdsourcing especializado com equipes Flash.
Nos Anais do 27º Simpósio Anual ACM sobre Software e
Tecnologia de Interface de Usuário (UIST '14). ACM, Nova
York, NY, EUA. DOI: http://
dx.doi.org/10.1145/2642918.2647409
72. Horst WJ Rittel e Melvin M. Webber. 1973.
Dilemas em uma Teoria Geral do Planejamento.
Ciências Políticas 4, 2 (1973), 155–169.
DOI: http://dx.doi.org/10.1007/BF01405730
73. Philip J. Roberts. 2017. Sem Json-delta: um par diff/patch para
estruturas de dados serializadas json. (2017).
74. Niloufar Salehi, Lilly C. Irani, Michael S. Bernstein, Ali Alkhatib,
Eva Ogbe, Kristy Milland e Clickhappier.
2015. Somos Dínamo: Superando a paralisação e o atrito
na ação coletiva para trabalhadores coletivos. Nos Anais da
Conferência SIGCHI sobre Humanos
Fatores em Sistemas de Computação (CHI '15). ACM, Nova
York, NY, EUA, 1621–1630. DOI: http://
dx.doi.org/10.1145/2702123.2702508
75. Niloufar Salehi, Andrew McCabe, Melissa Valentine e Michael S.
Bernstein. 2017. Huddler: convocando equipes de multidão
estáveis e familiares, apesar da disponibilidade
imprevisível. Nos Anais da 20ª Conferência ACM sobre Trabalho
Cooperativo Apoiado por Computador e Computação Social
(CSCW '17). ACM, Nova York, NY, EUA.
DOI: http://dx.doi.org/10.1145/2998181.2998300
76. Charles M. Schweik e Robert C. English. 2012.
Sucesso na Internet: um estudo sobre recursos comuns de software de
código aberto. Imprensa do MIT.
77. Bem Shneiderman. 2008. Ciência 2.0. Ciência 319, 5868 (2008),
1349–1350.
78. Ryo Suzuki, Niloufar Salehi, Michelle S. Lam, John C.
Marroquin e Michael S. Bernstein. 2016. Atelier:
Reaproveitando tarefas de crowdsourcing de
especialistas como microestágios. Nos Anais da Conferência
CHI 2016 sobre Fatores Humanos em Sistemas
Computacionais (CHI '16). ACM, Nova York, NY,
EUA. DOI: http://dx.doi.org/10.1145/2858036.2858121
79. Jaime Teevan, Shamsi T. Iqbal e Curtis Von Veh. 2016.
Apoiando a escrita colaborativa com microtarefas. Nos
Anais da Conferência CHI 2016 sobre Fatores Humanos
em Sistemas Computacionais (CHI '16). ACM, Nova York,
NY, EUA. DOI: http://
dx.doi.org/10.1145/2858036.2858108
80. Melissa A. Valentine e Amy C. Edmondson. 2015.
Andaimes de equipe: como as estruturas de mesonível permitem
a coordenação baseada em funções em grupos temporários.
Ciência da Organização 26, 2 (2015), 405–
422. DOI: http://dx.doi.org/10.1287/orsc.2014.0947
81. Andrew H. Van de Ven, Andre L. Delbecq e Richard Koenig.
1976. Determinantes dos Modos de Coordenação dentro
das Organizações. Revisão Sociológica Americana 41, 2 (1976),
322. DOI: http://dx.doi.org/10.2307/2094477
82. Vasilis Verroios e Michael S. Bernstein. 2014. Árvores de Contexto:
Crowdsourcing Compreensão Global a partir de Visões Locais.
Na Segunda Conferência AAAI sobre Computação
Humana e Crowdsourcing (HCOMP '14). Imprensa AAAI, 210–
219.
83. Max Weber, Alexander Morell Henderson e Talcott Parsons.
1947. A teoria da organização social e econômica.
Imprensa da Universidade de Oxford.
84. Oliver E. Williamson. 1979. Economia dos custos de transação: a
governança das relações contratuais. Jornal de Direito e
Economia 22, 2 (1979), 233–261.
[PubMed] 85. Lixiu Yu, Aniket Kittur e Robert E. Kraut. 2016a.
Geração Distribuída de Ideias Analógicas com Múltiplas
Restrições Lixiu. Nos Anais da 19ª Conferência ACM sobre
Trabalho Cooperativo Apoiado por Computador e Computação
Social (CSCW '16). ACM, Nova York, NY, EUA, 1236–1245.
DOI: http://dx.doi.org/
10.1145/2556288.2557371
Machine Translated by Google
86. Lixiu Yu, Aniket Kittur e Robert E. Kraut. 2016b.
Incentivar o pensamento "fora da caixa" na inovação
coletiva por meio da identificação de domínios de
especialização. Nos Anais da 19ª Conferência
ACM sobre Trabalho Cooperativo Apoiado por
Computador e Computação Social (CSCW '16). ACM,
Nova York, NY,
EUA, 1214–1222. DOI: http://dx.doi.org/10.1145/2818048.2820025
87. Haoqi Zhang, Edith Law, Robert C Miller, Krzysztof Z Gajos,
David C Parkes e Eric Horvitz. 2012. Humano
Tarefas de computação com restrições globais.
Nos Anais da Conferência SIGCHI sobre Fatores
Humanos em Sistemas Computacionais (CHI '12).
ACM, Nova York, NY, EUA, 217–
226. DOI: http://dx.doi.org/10.1145/2207676.2207708
88. Yue Maggie Zhou. 2013. Projetando para Complexidade:
Usando Divisões e Hierarquia para Gerenciar Tarefas
Complexas. Ciência da Organização 24, 2 (2013), 339–355.
DOI: http://dx.doi.org/10.1287/orsc.1120.0744