Motricidade

2011, vol. 7, n. 1, pp. 69-84

FTCD/CIDESD ISSN 1646107X

Sistema de avaliao tctica no Futebol (FUT-SAT): Desenvolvimento e validao preliminar

System of tactical assessment in Soccer (FUT-SAT): Development and preliminary validation
I.T. Costa, J. Garganta, P.J. Greco, I. Mesquita, J. Maia
RESUMO objectivo do presente artigo apresentar os procedimentos utilizados no desenvolvimento e estabelecimento da validade de um sistema de avaliao tctica no Futebol, assim como destacar as vantagens deste sistema em relao a outros instrumentos de avaliao do comportamento tctico disponveis na literatura. Estes procedimentos tomaram em considerao as cinco perspectivas de noo de validade que valorizam os mtodos heursticos e os comportamentos desempenhados em jogo. Desta forma, o processo de validao focou-se em quatro pontos: i) grau de aceitabilidade e razoabilidade do teste de campo entre os jogadores; ii) anlise e avaliao de peritos em relao aos contedos do instrumento de observao; iii) anlise e avaliao dos treinadores em relao ao desempenho dos jogadores no teste de campo; e iv) fiabilidade das observaes dos avaliadores. Os resultados mostraram valores superiores a .63 para a correlao entre as avaliaes dos treinadores e do sistema. Os jogadores que realizaram o teste de campo concordaram com as suas demandas fsicas e configuraes espaciais e normativas. Todos os peritos aprovaram as categorias e as variveis contidas no sistema. As fiabilidades intra e inter-avaliadores apresentaram valores superiores a .79. Como tal, plausvel concluir que as medidas utilizadas no sistema so vlidas para o contexto do Futebol e as suas observaes so fiveis para a avaliao do comportamento tctico dos jogadores de Futebol. Palavras-chave: validao, futebol, tctica, avaliao, princpios tcticos ABSTRACT The purpose of this paper was to report the development and preliminary validation of tactical assessment system in Soccer and highlight its advantages. The validation process followed five perspectives of the concept of validity that consider the value of heuristic methods and the importance of the description of behavior performed in playing situations. Thus, the process of validation was focused on four points: i) acceptability and reasonableness of the test perceived by players; ii) analysis of content of assessment tool through a panel of experts; iii) potential of the assessment tool to discriminate the quality of the performance of players; iv) observation reliability. The results displayed values higher than 0.63 for correlation between the evaluations of coaches and the system. It shows the potential of this system to distinguish the performances of players based on the evaluations of coaches. The players who performed the field test agreed with its physical demands and spatial and normative configurations. All experts endorsed the categories and variables of this system. The reliabilities showed values higher than 0.79 for intra and inter-observers. Therefore, it is possible to conclude that the system is valid and reliable for the assessment of the tactical behavior of soccer players. Keywords: validation, soccer, tactics, evaluation, tactical principles

Submetido: 11.12.2009 | Aceite: 30.06.2010

Financiamento. Com o apoio do Programa AlBan Programa de bolsas de alto nvel da Unio Europeia para Amrica Latina, Bolsa n E07D400279BR. Israel Teoldo da Costa. Departamento de Educao Fsica, Universidade Federal de Viosa, Viosa, Minas Gerais, Brasil. Jlio Garganta, Isabel Mesquita e Jos Maia. Faculdade de Desporto da Universidade do Porto, Porto; Centro de Investigao, Formao, Inovao e Interveno em Desporto, CIFI 2D, Portugal. Pablo Juan Greco. Universidade Federal de Minas Gerais, UFMG, Belo Horizonte, MG-Brasil. Endereo para correspondncia: Israel Teoldo da Costa, Universidade Federal de Viosa (UFV), Departamento de Educao Fsica, Av. PH Rolfs, S/N - Campus Universitrio, CEP 36570-000, Viosa - Minas Gerais, Brasil. E-mail: israelteoldocosta@gmail.com

70 | I.T. Costa, J. Garganta, P.J. Greco, I. Mesquita, J. Maia

A organizao inerente ao jogo de Futebol justifica que as capacidades tcticas e os processos cognitivos subjacentes tomada de deciso sejam considerados requisitos essenciais para o desempenho dos jogadores (McPherson, 1994). A essencialidade desses requisitos torna-se mais evidente ao considerar trs aspectos especficos do jogo de Futebol: i) a maioria das aces ocorre sem que os jogadores estejam em contacto directo com a bola; ii) jogadores com limitado domnio das habilidades tcnicas podem jogar Futebol se tiverem um nvel razovel de compreenso tctica (Oslin, Mitchell, & Griffin, 1998); iii) parco conhecimento tctico pode comprometer a execuo eficiente e/ou eficaz das habilidades tcnicas (Teodorescu, 1984). No que refere ao processo de ensino e treino da capacidade tctica, os princpios tcticos fundamentais do jogo de Futebol possuem elevada importncia por proporcionar aos jogadores a possibilidade de conseguirem solues eficazes para as movimentaes em campo. Colectivamente, a forma e a dinmica das interaces desses princpios e as suas aplicaes no contexto de jogo, operacionalizam e caracterizam o modelo de jogo de cada equipa. No que se refere organizao das sesses de treino, professores e treinadores tm tentado desenvolver esses princpios e as competncias tcticas dos jogadores atravs da alterao da estrutura formal e funcional do jogo (Holt, Strean, & Bengoechea, 2002). Segundo Lee e Ward (2009), essas alteraes so eficazes porque permitem manipular a complexidade do jogo, de acordo com o conhecimento tctico e o nvel de desempenho dos praticantes. Tais constataes parecem revelar importantes motivos para que a avaliao do desempenho dos jogadores seja baseada em uma proposta tctica que confira destaque s movimentaes dos jogadores e ao respectivo posicionamento no campo, consoante as configuraes da partida. Entretanto, os mtodos e instrumentos disponveis na literatura que permitem descrever aspectos tcticos do jogo esto centrados: i) na descrio e quantificao de eventos de jogos (Ferreira, Paoli, & Costa, 2008); ii) na descrio e avaliao de comportamentos especficos do jogador (Memmert, 2002; Suzuki & Nishijima, 2004); iii) na quantificao e descrio da interaco dos jogadores ou dos sistemas de jogo (Frencken & Lemmink, 2009; Shestakov, Kosilova, Zasenko, & Averkin, 2007; Tenga, Kanstad, Ronglan, & Bahr, 2009); e iv) na juno de indicadores multifactoriais do jogo para a construo de ndices de desempenho (Grhaigne, Mahut, & Fernandez, 2001; Oslin et al., 1998). Apesar desta variedade de focos de anlise dos aspectos tcticos e tambm do desempenho desportivo, h uma corrente de pesquisadores que tm afirmado que os instrumentos disponveis na literatura possuem limitaes no que refere descrio e quantificao dos indicadores tcticos que expressam o desempenho no Futebol (Olsen & Larsen, 1997). Alm disso, Grhaigne e Godbout (1998) salientam a necessidade de desenvolvimento de instrumentos que permitam estabelecer uma conexo entre os contedos ministrados no processo de ensino e treino e os comportamentos desempenhados pelos jogadores no jogo de Futebol. O presente artigo tem por objectivo explicitar os procedimentos utilizados no desenvolvimento e estabelecimento da validade de um sistema de avaliao tctica no Futebol, assim como, destacar as vantagens deste sistema em relao a outros instrumentos de avaliao do comportamento tctico disponveis na literatura. Para tal, a estrutura de apresentao dos resultados presente neste artigo seguir o modelo adoptado em outros trs estudos que tambm tiveram como objectivo apresentar o processo de validao dos seus instrumentos de avaliao de comportamento dos jogadores (Blomqvist, Luhtanen, Laakso, & Keskinen, 2000; Oslin et al., 1998; Prudente, Garganta, & Anguera, 2004). A adopo por esta estrutura de apresentao dos resultados justifica-se pelo

Sistema de avaliao tctica no Futebol | 71 seu carter elucidativo e didtico de descrio dos resultados conforme cada procedimento utilizado para desenvolver e estabelecer a validade do Sistema de Avaliao Tctica no Futebol (FUT-SAT). Desenvolvimento e Validao do Sistema de Avaliao Tctica no Futebol Os procedimentos utilizados para desenvolver o FUT-SAT, assim como para estabelecer a sua validade, foram concebidos com base em procedimentos conhecidos na literatura (Cronbach, 1988; Hopkins, 2008). Estes procedimentos tomaram em considerao as cinco perspectivas da noo de validade descrita por Cronbach (1988), sobretudo o valor dos mtodos heursticos e a importncia da descrio dos comportamentos a serem avaliados, pelo instrumento de observao que se pretende construir. No que diz respeito ao processo de validao do sistema, os procedimentos realizados concentraram-se: 1) Validade facial: grau de aceitabilidade e razoabilidade do teste de campo entre os avaliados; 2) Validade de contedo: anlise e avaliao de peritos em relao aos contedos do instrumento de observao, com o objectivo de assegurar que as variveis includas no instrumento correspondiam aos aspectos fundamentais do jogo na sua totalidade e que as suas categorias eram exaustivas e mutuamente exclusivas; 3) Validade de constructo: anlise e avaliao de treinadores em relao ao desempenho dos jogadores no teste de campo, com o intuito de verificar o potencial para discriminar a qualidade do desempenho dos jogadores atravs dos ndices de performance utilizados no sistema, em correspondncia com as categorizaes apresentadas pelos treinadores; e 4) Fiabilidade das observaes: consistncia/estabilidade temporal das observaes de avaliadores, com o propsito de verificar o entendimento que tm em relao as variveis utilizadas no instrumento de observao, as suas capacidades em evitar os trs erros tpicos do processo de avaliao de imagens (operacional, observacional e compreenso) e a preciso de reproduo da medida ao longo do tempo. Os dois pontos seguintes desse trabalho contm a descrio detalhada dos procedimentos que foram realizados para o desenvolvimento e a validao do FUT-SAT. O primeiro aborda aspectos relativos estrutura conceptual, composio e ao protocolo de operacionalizao. O segundo centra-se na descrio dos procedimentos utilizados para estabelecer a validade do sistema e na apresentao dos resultados obtidos. Desenvolvimento do Sistema de Avaliao Tctica no Futebol Estrutura Conceptual do Sistema O FUT-SAT foi construdo com o intuito de propiciar aos treinadores, professores e investigadores um meio de aceder, com maior especificidade e objectividade, s informaes que reflectem comportamentos tcticos desempenhados pelos jogadores em situaes de jogo. A sua estrutura conceptual est alicerada nos princpios tcticos fundamentais do Futebol, sendo para a fase ofensiva: penetrao, cobertura ofensiva, mobilidade, espao e unidade ofensiva; e para a fase defensiva: conteno, cobertura defensiva, equilbrio, concentrao e unidade defensiva (Costa, Garganta, Greco, & Mesquita, 2009c; Worthington, 1974). Estes princpios foram eleitos por representarem os aspectos centrais do processo de ensino e treino da capacidade tctica. Alm disso, esse conjunto de princpios possui medidas objectivas da movimentao dos jogadores consoante a gesto do espao de jogo por eles realizada. A presena destes princpios na estrutura central do FUT-SAT ajuda a compreender a organizao tctica do jogo, uma vez que a dinmica das suas interaces e aplicaes operacionaliza e caracteriza tanto o modelo, quanto o nvel de jogo das equipas. Adicionalmente, a utilizao de espaos modificados para a avaliao do comportamento tctico corresponde s

72 | I.T. Costa, J. Garganta, P.J. Greco, I. Mesquita, J. Maia

necessidades do ensino e do treino, uma vez que muitos treinadores utilizam modificaes na estrutura dos seus exerccios de jogo, sejam elas para facilitar o fluxo ou para induzir a ocorrncia de aces relacionadas com as capacidades tcticas (Holt et al., 2002). O recurso configurao numrica GR + 3 vs. 3 + GR (guarda-redes + 3 jogadores vs. 3 jogadores + guarda-redes) decorre do entendimento de que esta estrutura garante a ocorrncia de todos os princpios tcticos inerentes ao jogo formal. Essa configurao permite, em termos ofensivos, passar de uma escolha binria a uma escolha mltipla e preserva a noo de jogo sem bola, uma vez que rene o portador da bola e dois recebedores potenciais. Do ponto de vista defensivo, rene um defensor directo ao portador da bola (1 defensor) para realizar a conteno e dois defensores (2 e 3), relativamente mais afastados do portador da bola, para concretizarem eventuais coberturas, dobras e compensaes, respeitando os outros princpios tcticos defensivos (Garganta & Grhaigne, 1999). Devido a tais caractersticas, esse sistema permite avanar em termos de medidas objectivas da movimentao dos jogadores no campo de jogo, o que vem sendo salientado pela literatura como uma limitao para a construo de instrumentos fiveis de avaliao do desempenho de jogadores (Olsen & Larsen, 1997). A considerao dos princpios tcticos como aspectos nucleares da avaliao tambm apresenta vantagens na avaliao contextualizada e longitudinal dos jogadores, durante todo o processo de formao, uma vez que so considerados todos os princpios ministrados durante esse processo (Grhaigne & Godbout, 1998). Outra vantagem do sistema diz respeito flexibilidade de utilizao das suas categorias e variveis, dado que podem ser utilizadas consoante os objectivos do treinador ou pesquisador. Esse sistema responde ainda necessidade de avaliar aspectos tcticos especficos do jogo de Futebol, que at ento no haviam sido contemplados nos instrumentos existentes na literatura (Grhaigne et al., 2001; Memmert, 2002; Oslin et al., 1998), e permite aferir as dinmicas estabelecidas pelos jogadores, com e sem bola, durante o jogo, considerando a presena e a qualidade de interaco do adversrio (Tenga et al., 2009). Estrutura e Funo do Sistema Variveis e Categorias O FUT-SAT composto por duas macrocategorias, sete categorias e 76 variveis que esto organizadas em funo dos tipos de informaes tratadas pelo sistema (ver Figura 1). A Macro-Categoria Observao comporta trs categorias e 24 variveis. Nesta, a categoria Princpios Tcticos possui dez variveis, a categoria Localizao da Aco no Campo de Jogo quatro variveis e a categoria Resultado da Aco tem dez variveis. A Macro-Categoria Produto possui quatro categorias e 52 variveis. Nesta, todas as quatro categorias ndice de Performance Tctica (IPT), Aces Tcticas, Percentual de Erros e Localizao da Aco Relativa aos Princpios (LARP) possuem as mesmas treze variveis. A MacroCategoria Produto recebe essa denominao devido s suas variveis estarem dependentes das informaes oriundas das variveis que compem a Macro-Categoria Observao. Instrumento de Observao O instrumento de observao integrado nessa concepo sistmica de avaliao permite analisar, avaliar e classificar as aces tcticas desempenhadas pelos jogadores com e sem bola em funo das variveis contidas nas categorias Princpios Tcticos, Localizao da Aco no Campo de Jogo e Resultado da Aco. As variveis destas trs categorias foram inicialmente concebidas atravs de consulta literatura (Castelo, 1996; Memmert & Harvey, 2008; Oslin et al., 1998; Teodorescu, 1984; Worthington, 1974). O objectivo foi identificar os princpios tcticos, a localizao e os resultados das aces que deveriam ser

Sistema de avaliao tctica no Futebol | 73

Figura 1. Organizao estrutural das variveis do Sistema de Observao, Anlise e Avaliao do Desempenho Tctico no Futebol

considerados na avaliao do desempenho tctico do jogador. Aps esse procedimento procedeu-se formulao das definies e categorizao de cada uma dessas variveis. O Quadro 1 mostra as categorias, sub-categorias, variveis e definies utilizadas no instrumento de observao. As aces tcticas que representam cada princpio foram identificadas, tendo como critrio a possibilidade de observ-las em jogo a partir da movimentao dos jogadores (James, Mellalieu, & Hollely, 2002). O procedimento de identificao foi semelhante ao anterior, ou seja, a partir de consultas s referncias literrias sobre o assunto. Atravs

desse procedimento foi possvel referenciar as aces tcticas, estabelecer as referncias espaciais e identificar os indicadores de performance na realizao de cada um dos princpios (Hughes & Bartlett, 2002). As referncias espaciais, as aces tcticas e os indicadores de performance podem ser consultados em um recente trabalho publicado sobre a concepo e desenvolvimento do instrumento de observao (Costa, Garganta, Greco, & Mesquita, 2009a). As referncias espaciais baseiam-se nos conceitos de campograma, epicentro de jogo, linha da bola e centro de jogo (ver Figura 2).

74 | I.T. Costa, J. Garganta, P.J. Greco, I. Mesquita, J. Maia

Quadro 1 Categorias, sub-categorias, variveis e definies utilizadas no Instrumento de Observao Categorias Sub-categorias Variveis
Penetrao Cobertura Ofensiva Ofensivo Mobilidade Espao Unidade Ofensiva Conteno Cobertura Defensiva Defensivo Equilbrio Concentrao Unidade Defensiva Meio Campo Ofensivo Aces Tcticas Ofensivas Aces Tcticas Defensivas Aces Tcticas Ofensivas Aces Tcticas Defensivas Realizar finalizao baliza Continuar com a posse de bola Ofensiva Sofrer falta, ganhar lateral ou canto Cometer falta, ceder lateral ou canto Resultado da Aco Perder a posse de bola Recuperar a posse de bola Sofrer falta, ganhar lateral ou canto Cometer falta, ceder lateral ou canto Continuar sem a posse de bola Sofrer finalizao baliza

Definies
Reduo da distncia entre o portador da bola e a baliza ou a linha de fundo adversria. Oferecimento de apoios ofensivos ao portador da bola. Criao de instabilidade na organizao defensiva adversria. Utilizao e ampliao do espao de jogo efectivo em largura e profundidade. Movimentao de avano ou apoio ofensivo do(s) jogador(es) que compe(m) a(s) ltima(s) linha (s) transversais da equipa. Realizao de oposio ao portador da bola. Oferecimento de apoios defensivos ao jogador de conteno. Estabilidade ou superioridade numrica nas relaes de oposio. Aumento de proteco defensiva na zona de maior risco baliza. Reduo do espao de jogo efectivo da equipa adversria. Realizao de aces tcticas ofensivas no meio campo ofensivo. Realizao de aces tcticas defensivas no meio campo ofensivo. Realizao de aces tcticas ofensivas no meio campo defensivo. Realizao de aces tcticas defensivas no meio campo defensivo. Quando um jogador consegue chutar a bola em direco baliza adversria e: (a) gol; (b) o goleiro realiza uma defesa; (c) a bola toca em uma das traves ou no travesso. Quando os jogadores da equipa realizam passes positivos (permitindo a manuteno da posse de bola). Quando o jogo interrompido (falta, canto ou lateral) mas a posse de bola CONTINUA a ser da equipa que estava atacando. Quando o jogo interrompido (falta, canto ou lateral) e MUDA a posse de bola. Passa a ser da equipa que estava defendendo. Quando a posse de bola passa a ser da outra equipa (estava defendendo). Quando a equipa consegue recuperar a posse de bola. Quando o jogo interrompido (falta, canto ou lateral) e MUDA a posse de bola. Passa a ser da equipa que estava defendendo. Quando o jogo interrompido (falta, canto ou lateral) mas a posse de bola CONTINUA a ser da equipa que estava atacando. Quando a equipa no consegue recuperar a posse de bola. Quando a equipa sofre uma finalizao no prprio gol e: (a) gol; (b) o goleiro realiza uma defesa; (c) a bola toca em uma das traves ou no travesso.

Princpios Tcticos

Localizao da aco no Campo de Jogo

Meio Campo Defensivo

Defensiva

Sistema de avaliao tctica no Futebol | 75

Figura 2. Referncias espaciais utilizadas no Teste GR + 3 vs 3 + GR Notas: 1) O campograma refere-se s linhas imaginrias consideradas em relao ao campo de jogo que permitem dividi-lo em 12 zonas, trs corredores e quatro sectores; 2) O epicentro de jogo o local onde a bola se encontra num instante t; 3) A linha da bola marcada transversalmente ao campo de jogo a partir do epicentro; 4) O centro de jogo um crculo virtual com cinco metros de raio a partir do epicentro de jogo e que, em funo da linha da bola, pode ser divido em metade mais ofensiva e metade menos ofensiva.

Caracterizao do Teste de Campo O teste de campo desse sistema denominado de Teste GR + 3 vs 3 + GR, sendo aplicado durante 4 minutos em um campo de 36 metros de comprimento por 27 metros de largura (ver Figura 3). As dimenses desse teste foram calculadas com base nas medidas de campo de Futebol permitidos pela International Football Association Board e no clculo de rcio de utilizao do espao de jogo pelos jogadores de linha. A quantidade de tempo foi estabelecida atravs de um estudo piloto, no qual se verificou que quatro minutos, comparativamente com o tempo de durao at oito minutos, seriam suficientes para que todos os jogadores realizassem aces relacionadas com todos os princpios tcticos avaliados pelo instrumento de observao (Costa, Garganta, Greco, & Mesquita, 2009b).

Para a realizao do teste, os praticantes so divididos aleatoriamente em duas equipas de trs jogadores cada, com coletes numerados de 1 a 6. Cada equipa possui coletes de cor diferentes, sendo numerados de 1 a 3 para uma cor e de 4 a 6 para outra, com objectivo de facilitar a identificao dos jogadores no vdeo. Durante a aplicao solicitado que os jogadores joguem de acordo com as regras oficiais do jogo, com excepo da regra do fora de jogo. As imagens so gravadas por uma cmara de vdeo colocada em diagonal em relao s linhas de fundo e lateral (ver Figura 3). Protocolo de Operacionalizao O protocolo de operacionalizao do FUTSAT composto por trs procedimentos, que podem ser realizados de forma simples (por um s indivduo) ou privilegiando a dupla-

76 | I.T. Costa, J. Garganta, P.J. Greco, I. Mesquita, J. Maia

O segundo procedimento refere-se avaliao, classificao e registo das aces tcticas. Para realizar essas trs aces o avaliador baseia-se no instrumento de observao e tem o auxlio dos softwares Soccer Analyser e Utilius VS. O primeiro, construdo especificamente para o FUT-SAT, permite inserir as referncias espaciais do teste no vdeo e possibilita a avaliao rigorosa do posicionamento e da movimentao dos jogadores no campo de jogo. O segundo destina-se ao registo e arquivo das aces observadas. O terceiro procedimento refere-se ao clculo das variveis contidas nas categorias ndice de Performance Tctica (IPT), Aces Tcticas, Percentual de Erros e Localizao da Aco Relativa aos Princpios (LARP). Para automatizar esse procedimento foi construda uma planilha ad hoc no programa Excel for Windows (ver Figura 4). Essa planilha permite, a partir da insero dos registos feitos no segundo procedimento, realizar automaticamente o clculo das variveis dessas quatro categorias.

Figura 3. Representao da estrutura fsica do Teste GR + 3 vs 3 + GR

entrada de dados. O primeiro consiste em analisar as aces realizadas pelo jogador durante a partida, sendo que a unidade de anlise a posse de bola. Esta considerada quando um jogador respeita, pelo menos, um dos seguintes pressupostos: a) realiza pelo menos trs contactos consecutivos com a bola; b) executa um passe positivo (permite a equipa manter a posse de bola); ou c) realiza um remate (Garganta, 1997).

Figura 4. Planilha Excel ad hoc que permite realizar automaticamente clculos das variveis contidas na Macro-Categoria Produto

Sistema de avaliao tctica no Futebol | 77

Destas categorias, a IPT caracteriza-se pelas suas variveis serem de cunho composto. Os IPTs das variveis so calculados com base no critrio de realizao do princpio tctico, por parte do jogador, e nas trs categorias de variveis que compem a Macro-Categoria Observao. A partir daqui, calculam-se os IPTs de jogo, da fase ofensiva, da fase defensiva e de cada princpio. Os valores de ponderao das variveis utilizadas nos clculos dos IPTs esto expostos no Quadro 2 e as suas combinaes fornecem valores que variam de zero a cem pontos. Estes valores foram obtidos a partir da consulta aos peritos e da importncia das variveis tcticas analisadas, tomando em considerao a lgica do jogo de Futebol e as sugestes apresentadas por Memmert e Harvey (2008). A equao utilizada para o clculo do IPT : ndice de Performance Tctica (IPT) = aces tcticas(RP QR LA RA) / nmero de aces tcticas

Estabelecimento da Validade do Sistema de Avaliao Tctica no Futebol Avaliao dos Jogadores Com o objectivo de analisar o interesse dos jogadores para a participao no Teste GR + 3 vs 3 + GR, foram realizadas quatro perguntas aps a sua aplicao. Esse procedimento tem sido considerado fundamental para averiguao da aceitabilidade e adequao do teste quanto s suas demandas fsicas e configuraes espaciais e normativas (Anastasi, 1988). Segundo esta autora, a percepo de relevncia do teste facilita a participao efectiva dos praticantes e influencia a qualidade dos dados recolhidos, uma vez que os avaliados estaro empenhados em demonstrar o repertrio completo de habilidades. As quatro perguntas foram feitas aos 440 jogadores que realizaram o teste, sendo 144 da categoria Sub-11, 224 da categoria Sub-13, 36 da categoria Sub-15 e 36 da categoria Sub-17, tomando em considerao o nvel de compreenso de todos os participantes. Todos

Quadro 2 Componentes e valores considerados para o clculo do ndice de Performance Tctica Componentes 1) Realizao do Princpio (RP) Fez No fez 2) Qualidade de Realizao do Princpio (QR) Bem sucedido Mal sucedido 3) Localizao da Aco no Campo de Jogo (LA) - Meio Campo Ofensivo Aces Tcticas Ofensivas Aces Tcticas Defensivas 4) Resultado da Aco (RA) - Ofensiva Realizar finalizao baliza Continuar com a posse de bola Sofrer falta, ganhar lateral ou canto Cometer falta, ceder lateral ou canto Perder a posse de bola Valores 1 0 10 5 - Meio Campo Defensivo Aces Tcticas Defensivas Aces Tcticas Ofensivas - Defensiva Recuperar a posse de bola Sofrer falta, ganhar lateral ou canto Cometer falta, ceder lateral ou canto Continuar sem a posse de bola Sofrer finalizao baliza Valores

2 1

2 1

5 4 3 2 1

5 4 3 2 1

78 | I.T. Costa, J. Garganta, P.J. Greco, I. Mesquita, J. Maia

Tabela 1 Valores de aceitabilidade dos jogadores para a realizao do Teste GR+3 vs 3+GR Questes* Categorias Sim Sub-11 Sub-13 Sub-15 Sub-17 Total 144 224 36 36 440 Q.1 No 0 0 0 0 0 Sim 16 54 12 12 94 Q.2 No 128 170 24 24 346 Sim 0 0 0 0 0 Q.3 No 144 224 36 36 440 Sim 144 224 36 36 440 Q.4 No 0 0 0 0 0

* As questes efectuadas foram as seguintes: Q1. Gostou de fazer o teste? Q2. Sentiu-se cansado durante o teste? Q3. O cansao impediu-o de jogar bem? Q4. Se solicitado, voc gostaria de realizar o teste novamente?

os jogadores que realizaram o teste disputavam campeonatos regionais pelos seus clubes em suas respectivas categorias. Observa-se nos resultados apresentados na Tabela 1 que os jogadores mostraram estar interessados em realizar o Teste GR + 3 vs 3 + GR (Q1+Q4) e que o cansao no foi um factor que os comprometeram a jogar bem (Q3); apesar de alguns (21.36%) o terem sentido durante o teste (Q2). Anlise de Peritos O contedo do FUT-SAT foi avaliado por um painel de sete peritos. A sua seleco foi baseada em quatro critrios vinculados experincia prtica e acadmica no Futebol. Para cumprir esses requisitos os peritos deveriam ter trabalhado em comisses tcnicas nas categorias de base e em equipas profissionais. Adicionalmente, deveriam possuir curso de treinadores, mnimo nvel II, e ter grau acadmico na rea do Desporto com enfoque no Futebol. Ao cumprir esses critrios o painel ficou composto por cinco mestres e dois doutores em Cincias do Desporto, sendo que todos j haviam pertencido a equipas tcnicas que treinaram equipas profissionais em competies nacionais, Taa UEFA, Liga dos Campees Europeus ou eliminatrias para o Campeonato do Mundo de Seleces. Foi solicitado a este painel de peritos a sua posio sobre a pertinncia das variveis e indicadores que compem o instrumento de observao do sistema, considerando a sua

representatividade em relao aos aspectos fundamentais do jogo. Os peritos, individualmente, analisaram o contedo das categorias Princpios Tcticos, Localizao da Aco no Campo de Jogo e Resultado da Aco, em funo dos seguintes aspectos: a) a importncia e a definio das variveis; b) a ponderao das variveis e das categorias para a performance tctica; c) as referncias espaciais utilizadas nas definies dos princpios tcticos; e d) as aces tcticas e os seus indicadores de performance. Todos os contedos que suscitaram dvidas de natureza semntica foram reformulados e apresentados novamente aos peritos (pessoalmente ou via e-mail) at se obter um consenso. Somente aps a anlise dos aspectos mencionados no pargrafo anterior e a aprovao unnime que a varivel foi incorporada no sistema. Avaliao de Treinadores Com intuito de verificar a potencialidade de distino de desempenhos de jogadores por parte do FUT-SAT foi solicitado a trs treinadores das equipas de Futebol que valorizassem a performance tctica dos seus jogadores com uma pontuao de zero a cem. Para tal foi repassado aos treinadores vdeos gravados do Teste GR + 3 vs 3 + GR realizado com os seus jogadores. Cada treinador avaliou 48 prestaes desportivas dos jogadores de sua equipa em trs momentos. No primeiro momento foi

Sistema de avaliao tctica no Futebol | 79 somente solicitado aos treinadores para assistirem e registarem as notas do desempenho tctico dos seus jogadores no jogo. No segundo momento solicitou-se aos treinadores que avaliassem o desempenho dos seus jogadores, consoante os princpios tcticos fundamentais do jogo de Futebol. Para facilitar o entendimento dos conceitos dos princpios foi realizada uma explicao detalhada dos mesmos, com apresentao de cenas de jogo que correspondiam a cada um dos princpios e ainda a disponibilizao de material de consulta que continha as respectivas descries. No terceiro momento, solicitou-se aos treinadores que observassem e avaliassem um jogador de cada vez. Estas recomendaes foram feitas no sentido de aproximar as formas de anlise dos treinadores ao segundo procedimento do Protocolo de Operacionalizao, de forma a reduzir as interferncias da utilizao de diferentes metodologias de anlise sobre as notas concedidas pelos treinadores e calculadas pelo sistema. Entre cada momento de avaliao dos treinadores foi respeitado um intervalo de trs semanas para minimizar problemas de familiaridade com a tarefa (Robinson & ODonoghue, 2007). As notas registadas pelos treinadores e as obtidas no clculo do ndice de performance tctica do FUT-SAT foram categorizadas em trs nveis por meio de percentis: elevado, intermdio e baixo. Esse procedimento foi realizado com o objectivo de ponderar e situar dentro de cada grupo (grupo de avaliaes feitas pelo treinador e grupo de avaliaes realizadas pelo sistema) o desempenho avaliado de acordo com os critrios utilizados na avaliao. A partir dessa categorizao foi verificada a associao entre os valores fornecidos pelos treinadores e os obtidos no FUT-SAT (ver Tabela 2). Recorreu-se ao teste do Qui-quadrado (), com um nvel de significncia de p < .05, para verificar a associao entre as frequncias totais obtidas nas avaliaes realizadas pelo sistema e pelos treinadores (ver Tabela 3). A estatstica Gamma foi utilizada para averiguar a correlao entre estas duas avaliaes.

Tabela 2 Associao entre as avaliaes dos treinadores e os valores dos ndices de performance tctica obtidos no Sistema de Avaliao Tctica no Futebol nas trs categorias avaliadas Avaliaes 1 Avaliao Categorias Elevado Intermdio Baixo Total Elevado Intermdio Baixo Total Elevado Intermdio Baixo Total Treinador 1 n 11 8 13 32 11 11 13 35 14 11 13 38 % 68.8 50.0 81.3 66.7 68.8 68.8 81.3 72.9 87.5 68.8 81.3 79.2 Treinador 2 n 8 8 11 27 11 8 13 32 13 10 13 36 % 50.0 50.0 68.8 56.3 68.8 50.0 81.3 66.7 81.3 62.5 81.3 75.0 Treinador 3 n 11 11 11 33 10 13 13 36 12 13 13 38 % 68.8 68.8 68.8 68.8 62.5 81.3 81.3 75.0 75.0 81.3 81.3 79.2

2 Avaliao

3 Avaliao

80 | I.T. Costa, J. Garganta, P.J. Greco, I. Mesquita, J. Maia

Tabela 3 Nmero e percentual do total de associaes, significncia, ndice de correlao e erro padro entre as avaliaes dos treinadores e os valores dos ndices de performance tctica obtidos no Sistema de Avaliao Tctica no Futebol
Avaliaes 1 2 3 Treinador 1 n 32 35 38 % 66.7 72.9 79.2 p <. 001 < .001 < .001 Gamma EP .89 .79 .96 .05 .11 .03 n 27 32 36 % 56.3 66.7 75.0 Treinador 2 p = .001 < .001 < .001 Gamma EP .55 .89 .94 .15 .05 .03 n 33 36 38 % 68.8 75.0 79.2 Treinador 3 p < .001 < .001 < .001 Gamma EP .66 .63 .77 .14 .15 .11

Nota: EP - Erro Padro

Atravs do nmero e do percentual de associao mostrados na Tabela 2 verifica-se maior congruncia entre as notas dos treinadores e os valores do ndice de performance tctica do FUT-SAT em funo da progresso das avaliaes, significando que quanto mais especficas e criteriosas foram as avaliaes dos treinadores, em considerao aos princpios tcticos de jogo, melhores resultados foram obtidos nas associaes. Os dados da Tabela 3 corroboram os da Tabela 2, indicando aumentos progressivos dos valores de correlao entre as classificaes das avaliaes dos treinadores e do FUT-SAT. Destes resultados, torna-se plausvel atestar que o FUT-SAT permitiu distinguir desempenhos dos jogadores em trs nveis, tomando em considerao a avaliaes de profissionais que se encontram no processo de ensino e treino. Fiabilidade das Observaes dos Avaliadores Para efeitos de aferio da fiabilidade intra e inter-avaliadores foram reavaliadas 5074 aces tcticas de um total de 37065, representando 13.69% da amostra, percentual acima do valor de referncia (10%) apontado pela literatura (Tabachnick & Fidell, 2001). A preciso das medidas do FUT-SAT foi verificada em todas as categorias que compem a Macro-Categoria Observao e tambm nos Indicadores de Performance, devido composio dos ndices de performance tctica. Seis avaliadores, sem experincia prvia em anlise de jogo e escolhidos aleatoriamente, foram treinados durante um perodo de 120

dias. O objectivo deste treino foi aferir o respectivo entendimento e compreenso destes avaliadores acerca das variveis que integram o instrumento de observao (para obter mais informaes sobre o processo de treino e os valores de fiabilidade das observaes dos avaliadores obtidos durante o mesmo, consultar estudo de Costa et al., 2009a). A constituio do grupo em seis avaliadores partiu do interesse em investigar se o aumento no nmero de avaliadores, por ventura, de baixa experincia/vivncia com o Futebol comprometia a avaliao e a reproduo das anlises ao longo do tempo. As sesses para determinar a fiabilidade foram realizadas com intervalo de trs semanas para minimizar a familiaridade com a tarefa (Robinson & ODonoghue, 2007). Os resultados da fiabilidade intra e interavaliadores apresentados na Tabela 4 mostram que o treino realizado pelos avaliadores foi capaz de propiciar as condies necessrias para que todos obtivessem valores acima de .79, reflectindo substancial entendimento e compreenso das variveis que compem o instrumento de observao (Landis & Koch, 1977). DISCUSSO O objectivo do presente trabalho consistiu em explicitar os procedimentos utilizados no desenvolvimento e estabelecimento da validade de um sistema de avaliao tctica no Futebol, assim como, destacar as vantagens deste sistema em relao a outros instrumentos de avaliao do comportamento tctico

Sistema de avaliao tctica no Futebol | 81

Tabela 4 Valores de consistncia da objectividade da avaliao Kappa (Erro Padro) Intra-Avaliador Menor Valor Princpios Tcticos Indicadores de Performance Localizao da Aco no Campo de Jogo Resultado da Aco .85 (.02) .79 (.03) .92 (.01) .86 (.02) Maior Valor .97 (.01) .96 (.01) .98 (.01) .99 (.01) Inter-Avaliadores Menor Valor .82 (.04) .79 (.03) .87 (.04) .86 (.04) Maior Valor .99 (.01) .98 (.01) .99 (.01) .99 (.01)

disponveis na literatura. Esse sistema pretende providenciar uma ferramenta vlida para o contexto do Futebol, a partir da qual pesquisadores e treinadores o possam utilizar para conhecer a prestao desportiva dos jogadores durante o processo de ensino e treino (Rowe & Mahar, 2006). Os procedimentos utilizados para desenvolver o FUT-SAT, assim como para estabelecer a sua validade, foram suportados por recomendaes presentes na literatura (Cronbach, 1988; Hopkins, 2008), para alm de corresponderem a passos utilizados em outros estudos que evidenciaram robustez na validao e na preciso das medidas dos seus instrumentos (Gilbert, Trudel, Gaumond, & Larocque, 1999; Grhaigne, Godbout, & Bouthier, 1997; Oslin et al., 1998). Considerado por alguns pesquisadores como sendo um dos pontos cruciais do processo de validao, os procedimentos de identificao, construo e definio dos comportamentos observveis foram realizados tomando em considerao a importncia do comportamento do jogador sobre a organizao colectiva da equipa (Oslin et al., 1998). Alm disso, procurou-se atender s sugestes apresentadas em alguns estudos (French & Thomas, 1987; Oslin et al., 1998) que apontam para a necessidade de se avaliar diferentes nveis de jogo (Memmert & Harvey, 2008), bem como para a importncia de avaliar as aces realizadas pelos jogadores sem a posse de bola (Oslin et al., 1998). As descries objectivas dos comportamentos e das variveis presentes no FUT-

SAT permitiram obter elevados ndices de correlao entre as observaes realizadas pelos avaliadores. Aliado a esta evidncia, a quantidade de treino recebida pelos avaliadores, a fixao da imagem e a preciso de avaliao do posicionamento e das distncias dos jogadores, facilitadas pela utilizao do software Soccer Analyser, tambm contriburam para que os resultados de correlao fossem substanciais (James et al., 2002; Tenga et al., 2009). Para alm dos resultados da preciso das observaes dos avaliadores, a capacidade de distino dos desempenhos dos jogadores obteve elevados nveis de correlao entre as avaliaes realizadas pelos treinadores e os resultados obtidos pelo FUT-SAT. Esses dois passos, relacionados avaliao de contedo e de fiabilidade das observaes dos avaliadores, tm sido comummente utilizados em estudos que visam determinar a validade de um instrumento na avaliao de comportamentos tcticos em situaes modificadas ou de jogo (Gilbert et al., 1999; Grhaigne et al., 2001; Memmert, 2002; Oslin et al., 1998). A possibilidade da avaliao do desempenho dos jogadores, com e sem bola, em contexto de ensino e treino do Futebol, sustentada numa ferramenta fivel e robusta, confere ao FUT-SAT um valor pedaggico acrescido, uma vez que faculta e facilita a avaliao da prestao desportiva de acordo com os objectivos pr-estabelecidos, sem a imposio de recorrer exaustividade, quanto a utilizao de todas as categorias, para computar o ndice de performance tctica.

82 | I.T. Costa, J. Garganta, P.J. Greco, I. Mesquita, J. Maia

Acresce a essas potencialidades, a facilidade de aplicao do teste de campo e a sua aceitao por parte dos jogadores, porquanto a sua aplicao no requer a utilizao de numeroso nem sofisticado equipamento e o seu protocolo de aplicao confere-lhe a possibilidade de ser ministrado como uma actividade integrada no treino, o que atesta o seu pendor ecolgico. Outro aspecto favorvel do sistema diz respeito quantidade e qualidade da informao fornecida sobre a avaliao dos comportamentos dos jogadores. Mormente, os treinadores e pesquisadores podem ter conhecimento da prestao desportiva do jogador atravs das informaes quantitativas e pontuais fornecidas atravs dos ndices de Performance Tctica; ou, caso pretendam, podem dispor da possibilidade de aceder a informaes mais detalhadas e qualitativas dos comportamentos dos jogadores, atravs das categorias Aces Tcticas, Percentual de Erros, Localizao da Aco Relativa aos Princpios, Princpios Tcticos, Localizao da Aco no Campo de Jogo e Resultado da Aco. A avaliao da interaco dos jogadores, que j havia sido contemplada em outros instrumentos de avaliao da capacidade tctica (Grhaigne et al., 2001; Memmert, 2002; Oslin et al., 1998), outra mais-valia do FUT-SAT. Entretanto, a possibilidade de se avaliar a qualidade de interaco do oponente em situaes semelhantes s condies reais de jogo fornece uma representao mais precisa da capacidade do jogador no contexto de jogo, disponibilizando indicadores fiveis do desempenho do jogador (Oslin et al., 1998). CONCLUSES O FUT-SAT apresenta avanos na concepo de instrumentos de anlise do comportamento tctico no Futebol no que refere ao contedo, abrangncia e funcionalidade. Em relao ao seu contedo sobressaem os aspectos relacionados: 1) com os comportamentos dos jogadores no campo de jogo; 2) com a interaco dos jogadores; 3) com a avaliao focalizada nas movimentaes dos jogadores no campo de jogo; e 4) com a avaliao da eficincia e da eficcia das movimentaes. No que diz respeito sua abrangncia se destaca: 1) a ampliao do foco de anlise para alm da zona onde se encontra a bola; 2) o agrupamento das variveis ser transversais a diversos modelos de jogo; 3) a incorporao de variveis que podem ser utilizadas para avaliar jogadores de diferentes faixas etrias e nveis de prtica; 4) a conexo com os contedos ministrados no treino; 5) a descrio e avaliao dos comportamentos apresentados em jogo; e 6) a admisso de variveis que reflectem o desempenho em jogo ou em situaes prximas. No que compreende funcionalidade do instrumento ressaltam as possibilidades de: 1) conceber sistemas de categorias que permitem a sua utilizao em situao de jogo ou treino (in vivo) e tambm em laboratrio (in vitro) para anlise e avaliao do desempenho e 2) reduzir a quantidade de dados a serem repassados s comisses tcnicas, sem perda de qualidade das informaes. Os resultados referentes avaliao dos jogadores, dos peritos, dos treinadores e de fiabilidade das observaes dos avaliadores sugerem que as medidas utilizadas no FUTSAT so vlidas para o contexto do Futebol e que as suas observaes so fiveis para a avaliao do comportamento tctico dos jogadores de Futebol em situaes de jogo, ministradas no processo de ensino e treino do Futebol, ao longo da formao desportiva. Para futuros estudos sugere-se que os pesquisadores ampliem o processo de validao do FUT-SAT a outros contextos/condies. REFERNCIAS
Anastasi, A. (1988). Psychological testing (6 ed.). New York: Macmillan. Blomqvist, M. T., Luhtanen, P., Laakso, L., & Keskinen, E. (2000). Validation of a videobased game-understanding test procedure in badminton. Journal of Teaching in Physical Education, 19(3), 325-337.

Sistema de avaliao tctica no Futebol | 83

Castelo, J. (1996). Futebol: A organizao do jogo. Lisboa: FMH Edies. Costa, I., Garganta, J., Greco, P., & Mesquita, I. (2009a). Avaliao do desempenho ttico no futebol: Concepo e desenvolvimento da grelha de observao do teste GR3-3GR. Revista Mineira de Educao Fsica, 17(2), 65-84. Costa, I. T., Garganta, J., Greco, P. J., & Mesquita, I. (2009b). Influncia de tipo de piso, dimenso das balizas e tempo de jogo na aplicao do teste de GR3-3GR em futebol. Lecturas: Educacin Fsica y Deportes, 14(136). Consultado em 10 de Outubro de 2009, a partir de http://www.efdeportes.com/efd136/aplicacaodo-teste-de-gr3-3gr-em-futebol.htm. Costa, I. T., Garganta, J., Greco, P. J., & Mesquita, I. (2009c). Princpios tticos do jogo de futebol: Conceitos e aplicao. Revista Motriz, 15(3), 657-668. Cronbach, L. J. (1988). Five perspectives on validity argument. In H. Wainer & H. I. Braun (Eds.), Test validity (pp. 3-17). New Jersey: Lawrence Erlbaum Associates, Inc. Ferreira, R. B., Paoli, P. B., & Costa, F. R. (2008). Proposta de 'scout' ttico para o futebol. Lecturas: Educacin Fsica y Deportes, 12(118). Consultado em 2 de Fevereiro de 2009, a partir de http://www.efdeportes.com/efd118/scouttatico-para-o-futebol.htm. French, K., & Thomas, J. (1987). The relation of knowledge development to childrens basketball performance. Journal of Sport Psychology, 9, 15-32. Frencken, W. G., & Lemmink, K. A. (2009). Team kinematics of small-sided soccer games. In T. Reilly & F. Korkusuz (Eds.), Science and football VI - Proceedings on the Sixth World Congress of Science and Football (pp. 167-172). London: Routledge. Garganta, J. (1997). Modelao tctica do jogo de futebol: Estudo da organizao da fase ofensiva em equipas de alto rendimento. Tese de Doutoramento, Faculdade de Cincias do Desporto e de Educao Fsica da Universidade do Porto, Portugal. Garganta, J., & Grhaigne, J. F. (1999). Abordagem sistmica do jogo de futebol: Moda ou necessidade. Revista Movimento, 5(10), 40-50. Gilbert, W., Trudel, P., Gaumond, S., & Larocque, L. (1999). Development and application of an instrument to analyse pedagogical content interventions of ice hockey coaches. SOSOL: Sociology of Sport Online, 2(2). Consultado em 15 de Julho de 2008, a partir de http://physed.otago.ac.nz/sosol/v2i2/v2i2a2.ht m. Grhaigne, J. F., & Godbout, P. (1998). Formative assessment in team sports in a tactical approach context. Journal of Physical Education, Recreation & Dance, 69(1), 46-51. Grhaigne, J. F., Godbout, P., & Bouthier, D. (1997). Performance assessment in team sports. Journal of Teaching in Physical Education, 16(4), 500-516. Grhaigne, J. F., Mahut, B., & Fernandez, A. (2001). Qualitative observation tools to analyze soccer. International Journal of Performance Analysis in Sport, 1(1), 52-61. Holt, N. L., Strean, W. B., & Bengoechea, E. G. (2002). Expanding the teaching games for understanding model: New avenues for future research and practice. Journal of Teaching in Physical Education, 21, 162-176. Hopkins, W. G. (2008). A new view of statistics. Consultado em 25 de Abril de 2009, a partir de http://www.sportsci.org/resource/stats/index. html. Hughes, M. D., & Bartlett, R. M. (2002). The use of performance indicators in performance analysis. Journal of Sports Sciences, 20(10), 739754. James, N., Mellalieu, S. D., & Hollely, C. (2002). Analysis of strategies in soccer as a function of European and domestic competition. International Journal of Performance Analysis in Sport, 2(1), 83-105. Landis, J. R., & Koch, G. C. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 1089-1091. Lee, M., & Ward, P. (2009). Generalization of tactics in tag rugby from practice to games in middle school physical education. Physical Education & Sport Pedagogy, 14(2), 189-207. McPherson, S. (1994). The development of sport expertise: Mapping the tactical domain. Quest, 46(2), 223-240. Memmert, D. (2002). Diagnostik taktischer leistungskompnenten: Spieltestsituationen und konzeptorientierte expertenratings. Tese de Doutorado, Universidade Heidelberg, Alemanha. Memmert, D., & Harvey, S. (2008). The game performance assessment instrument (GPAI): Some concerns and solutions for further

84 | I.T. Costa, J. Garganta, P.J. Greco, I. Mesquita, J. Maia

development. Journal of Teaching in Physical Education, 27(2), 220-240. Olsen, E., & Larsen, O. (1997). Use of match analysis by coaches. In T. Reilly, J. Bangsbo, & M. Hughes (Eds.), Science and football III (pp. 209-220). London: E & FN Spon. Oslin, J. L., Mitchell, S. A., & Griffin, L. L. (1998). The game performance assessment instrument (GPAI): Development and preliminary validation. Journal of Teaching in Physical Education, 17(2), 231-243. Prudente, J., Garganta, J., & Anguera, M. (2004). Desenho e validao de um sistema de observao no Andebol. Revista Portuguesa de Cincias do Desporto, 4(3), 49-65. Robinson, G., & ODonoghue, P. G. (2007). A weighted kappa statistic for reliability testing in performance analysis of sport. International Journal of Performance Analysis in Sport, 7(1), 1219. Rowe, D., & Mahar, M. (2006). Validity. In T. Wood & W. Zhu (Eds.), Measurement theory and practice in kinesiology (pp. 9-26). Champaing, IL: Human Kinetics. Shestakov, M. P., Kosilova, N. M., Zasenko, N. A., & Averkin, A. N. (2007). A formal description of a spatial situation in soccer. Research Yearbook, 13(1), 51-55. Suzuki, K., & Nishijima, T. (2004). Validity of a soccer defending skill scale (SDSS) using game performances. International Journal of Sport and Health Science, 2, 34-49. Tabachnick, B., & Fidell, L. (2001). Using multivariate statistics (5 ed.). New York: Harper & Row Publishers. Tenga, A., Kanstad, D., Ronglan, L. T., & Bahr, R. (2009). Developing a new method for team match performance analysis in professional soccer and testing its reliability. International Journal of Performance Analysis of Sport, 9, 8-25. Teodorescu, L. (1984). Problemas de teoria e metodologia nos jogos desportivos. Lisboa: Livros Horizontes. Worthington, E. (1974). Learning & teaching soccer skills. California: Hal Leighton Printing Company.

quando

Todo o contedo da revista Motricidade est licenciado sob a Creative Commons, excepto especificado em contrrio e nos contedos retirados de outras fontes bibliogrficas.