Integrating assessment as, for, and of learning in a large-scale exam preparation course

Mengintegrasikan assessment as, for, and of learning dalam pembelajaran untuk persiapan
ujian berskala besar

INTRODUCTION

The history of language testing and assessment is marked with four periods of major
paradigm shift (Pada sejarah pengujian dan penilaian bahasa terdapat empat periode
pergeseran paradigma utama)
1. The first period, known as the psychometrics era (the 1950s), was characterized by an
emphasis on the objective measurement of language proficiency using standardized
multiple-choice tests. This period grew out of language testing experts’ concerns for
reliability, validity, practicality, and accountability. Research publications in language
testing and assessment refer to this period as traditional assessment (Huang, 2012;
Singh, Abdul Samad, Hussin, & Sulaiman, 2015), summative assessment, and assessment
of learning (AoL) (Earl, 2013; Lee & Coniam, 2013). The psychometrics era is often
criticized for being indirect, decontextualized, product-oriented, and one-shot with no
clear mechanisms for offering constructive feedback.
Periode pertama, yang dikenal sebagai era psikometri (1950-an), ditandai dengan
penekanan pada pengukuran objektif dari efisiensi bahasa dengan menggunakan tes
pilihan ganda standar. Periode ini berkembang dari kekhawatiran para ahli pengujian
bahasa untuk reliabilitas, validitas, kepraktisan, dan akuntabilitas. Publikasi penelitian
dalam pengujian dan penilaian bahasa mengacu pada periode ini sebagai penilaian
tradisional (Huang, 2012; Singh, Abdul Samad, Hussin, & Sulaiman, 2015), penilaian
sumatif, dan penilaian pembelajaran (AoL) (Earl, 2013; Lee & Coniam , 2013). Era
psikometri sering dikritik karena tidak langsung, dekontekstual, berorientasi pada
produk, dan satu tindakan tanpa mekanisme yang jelas untuk membangun umpan balik.

2. Subsequently, alternative assessment, also called formative assessment and assessment

for learning (AfL) (Dann, 2014; Earl, 2013; Lam, 2013a) came into vogue in the mid-
1980s as a pendulum reaction to the psychometrics period. Conferences, journals,
reflections, self/peer assessment, and portfolios were the major alternatives in
assessment introduced in this era.
Selanjutnya, penilaian alternatif, yang juga disebut penilaian formatif dan assessment for
learning (AfL) (Dann, 2014; Earl, 2013; Lam, 2013a) mulai populer pada pertengahan
1980an sebagai reaksi terhadap periode psikometri. Konferensi, jurnal, refleksi, self/peer
assessment, dan portofolio merupakan alternatif utama dalam penilaian yang
diperkenalkan di era ini.

3. Next, dynamic assessment was developed at about the turn of the century based on the
sociocultural theory of language learning. Though dynamic assessment is considered to
be a form of alternative assessment by some experts (e.g., Douglas, 2010), it is
distinguished from alternative assessment in that its major premise is building the
unknown from the known through expert/knower mediation. Therefore, in dynamic
 assessment the distinction between teaching and assessment is blurred (Poehner &
Lantolf, 2005).
Selanjutnya, penilaian dinamis dikembangkan sekitar pergantian abad berdasarkan
sociocultural theory of language learning. Meskipun penilaian dinamis dianggap sebagai
bentuk penilaian alternatif oleh beberapa ahli (misalnya, Douglas, 2010), hal ini
dibedakan dengan penilaian alternatif karena premis utamanya adalah membangun hal
yang tidak diketahui dari pakar yang dikenal. Oleh karena itu, dalam penilaian dinamis
perbedaan antara pengajaran dan penilaian menjadi hampir sama (Poehner & Lantolf,
2005).

4. The integration of teaching and learning coupled with the importance assigned to self in
psychology gave way to the idea of assessment as learning (AaL) (Dann, 2014; Earl,
2013; Lam, 2015). Finally, with the advent of computer technology and the ensuing
developments in corpus linguistics, especially learner corpora tailored to language
testing and assessment purposes (Callies & Götz, 2015; Park, 2014), the field is about to
witness a fundamental turn although these new resources have to stand the test of
empirical investigations (Sadeghi & Rahmati Kelahsarayi, 2016).
Integrasi pengajaran dan pembelajaran ditambah dengan pentingnya peran diri dalam
psikologi memberi jalan pada gagasan assessment as learning (AaL) (Dann, 2014; Earl,
2013; Lam, 2015). Akhirnya, dengan munculnya dan berkembangnya teknologi
komputer dalam corpus linguistics, terutama learner corpora yang disesuaikan dengan
tujuan pengujian dan penilaian bahasa (Callies & Götz, 2015; Park, 2014), hal ini akan
menjadi saksi perubahan mendasar walaupun saat ini sumber daya have to stand the test
of empirical investigations (Sadeghi & Rahmati Kelahsarayi, 2016).
Prinsip AoL, AfL, dan AAL
Approach Time Purpose Means Key Component Assessor(s)
AoL After instruction; end of Summative reports; Tests and Grades; scores (skor) Teacher; school
the program/course certification (Summative examinations (Tes internal/external
(Setelah instruksi dan reports; sertifikasi) dan ujian) examination bodies
program berakhir) (Guru; badan
pemeriksaan internal /
eksternal sekolah)
AfL Iterative; spread Formative opinions; Portfolios, journals, Feedback for both Teacher (Guru)
throughout a identification of students conferences, learners and
program/course strengths and weaknesses interviews, projects teachers (Umpan
(Iteratif; tersebar di (Formative opinions; (Portofolio, jurnal, balik untuk pelajar
seluruh program) identifikasi kekuatan dan konferensi, dan guru)
kelemahan siswa) wawancara, proyek)
AaL Teaching and Formative; enhancing Different means Self-assessment; Self/learner and
assessment integrated learners agency and including the ones self-evaluation; self teacher (Siswa dan
(Pengajaran dan meta-cognitive ability used in AfL (Cara reflection; guru)
penilaian terpadu) (Formative; yang berbeda assessment
meningkatkan termasuk yang criteria sharing;
kompetensi peserta didik digunakan di AfL) mediation
dan kemampuan meta-
kognitif)
Conceptual framework (Kerangka Konseptual)
Though ome experts (Earl, 2013; Lam, 2015; Lee, 2016, 2017) believe that AaL is a
subset of AfL, a number of key characteristics distinguish the two approaches.
Meskipun beberapa ahli percaya bahwa AaL adalah subset dari AfL, sejumlah
karakteristik kunci membedakan keduanya.
1. Lee (2016, 2017) states that AaL principles draw on a number of theoretical
perspectives, including theories of motivation, autonomy, metacognition, and self-
regulation.
Lee (2016, 2017) menyatakan bahwa prinsip-prinsip AaL mengacu pada sejumlah
perspektif teoretis, termasuk teori motivasi, otonomi, metakognisi, dan pengaturan
diri.
2. Another defining feature of AaL is the significant role played by self/learner in the
assessment process leading to a proliferation of combinations of self and assessment-
relevant concepts including, self-assessment, self-evaluation, and self-reflection. Self-
assessment is defined as a learning-oriented process through which learners judge
the quality of their work and change/revise it accordingly (Lam, 2015) whereas self-
evaluation involves students in assigning a grade/mark to their own work (Andrade
& Du, 2007). Self-reflection, on the other hand, is a more global process (Lam, 2015)
in which learners reflect on their achievement (Andrade & Du, 2007) in terms of
what they have learned throughout a course/program. Although these terms are often
used interchangeably, self-assessment is the concept which is, by far, most commonly
associated with AaL (Dann, 2002, 2014)
Fitur lain yang menentukan dari AaL yaitu peran penting dimainkan oleh peserta
didik dalam proses penilaian yang mengarah pada pengembangan kombinasi konsep
diri dan penilaian-relevan termasuk penilaian diri, evaluasi diri, dan refleksi diri.
Penilaian diri didefinisikan sebagai proses yang berorientasi pada pembelajaran
peserta didik menilai kualitas pekerjaan mereka dan mengubah / merevisinya sesuai
(Lam, 2015) sedangkan evaluasi diri melibatkan siswa di Indonesia dalam
menetapkan nilai / tandai untuk pekerjaan mereka sendiri (Andrade & Du, 2007).
Refleksi diri, di sisi lain, adalah proses yang lebih global (Lam, 2015) di mana
peserta didik merefleksikan pencapaian mereka (Andrade & Du, 2007) dalam hal apa
yang telah mereka pelajari sepanjang kursus / program. Meskipun istilah ini sering
digunakan secara bergantian, penilaian diri sendiri adalah konsep yang paling sering
terjadi terkait dengan AaL (Dann, 2002, 2014).
3. Sharing quality criteria with students serves as a further distinguishing principle of
AaL. It differentiates systematic self-assessment in AaL from fragmented and
informal self-assessment in AfL (Leach, 2012) in which learners are normally asked
to select, often without set criteria, and present their most representative work (Lam,
2013c; Lam & Lee, 2010)
Berbagi kriteria kualitas dengan siswa berfungsi sebagai prinsip pembeda dari AaL.
Saya mengetahui penilaian diri secara sistematis di AaL daripada penilaian diri yang
fragmented dan informal di AfL (Leach, 2012) di mana peserta didik biasanya
diminta untuk memilih, seringkali tanpa kriteria yang ditetapkan, dan menyajikan
karya mereka yang paling representatif (Lam, 2013c; Lam & Lee, 2010)
4. Distinctive characteristic of AaL is its positive influence on students’ meta-cognitive
development (Lam, 2015; Lee, 2016, 2017). This is accomplished, according to Lee
(2016, 2017), through students asking themselves meta-cognitive questions like what
I am doing, how I am doing that, and what/where I should do/go next. This is unlike
AfL in which information regarding different stages of learning is provided by
teachers rather than being obtained in a process of meta-cognitive engagement.
Karakter khas AaL adalah adanya pengaruh positif pada perkembangan meta-kognitif
siswa (Lam, 2015; Lee, 2016, 2017). Hal ini dilakukan, menurut Lee (2016, 2017),
melalui siswa yang mengajukan pertanyaan meta-kognitif kepada dirinya sendiri
seperti apa yang saya lakukan, bagaimana saya melakukan itu, dan apa / dimana saya
harus melakukan / langkah selanjutnya. Hal ini tidak seperti AfL dimana informasi
mengenai tahap pembelajaran yang berbeda disediakan oleh guru dan bukan
diperoleh dalam proses keterlibatan meta-kognitif.

AaL implementation tensions and resolution strategies

Most AaL studies have raised concerns over the reliability of student assessment
compared to teacher assessment (Matsuno, 2009). Moreover, students’ reluctance to
self-assess and their preference to be assessed by experts have been identified as major
challenges in AaL implementation. Lee (2016), also, identifies large class sizes,
dominant traditional assessment paradigms, and learners’ low linguistic proficiency as
the main impediments to AaL implementation. To resolve the issue, Lee (2016, 2017)
proposes that the four main strategies teachers can adopt in this regard include (1)
helping learners identify learning goals and success criteria, (2) set personal learning
goals, (3) engage in peer assessment, (4) and develop ownership of their writing by
asking metacognitive questions and conducting self-monitoring.
Sebagian besar studi AaL telah mengemukakan kekhawatiran akan keandalan
penilaian siswa dibandingkan dengan penilaian guru (Matsuno, 2009). Selain itu,
keengganan siswa untuk menilai sendiri dan preferensi mereka terhadap apa yang dinilai
telah diidentifikasi sebagai tantangan utama dalam implementasi AaL. Lee (2016), juga
mengidentifikasi ukuran kelas besar, paradigma penilaian tradisional yang dominan, dan
learners’ low linguistic proficiency sebagai hambatan utama penerapan AaL. Untuk
mengatasi masalah ini, Lee (2016, 2017) mengusulkan bahwa empat strategi utama yang
dapat diadopsi guru dalam yaitu (1) mencakup membantu peserta didik mengidentifikasi
sasaran pembelajaran dan kriteria keberhasilan (2) menetapkan tujuan pembelajaran
pribadi (3) melakukan penilaian sejawat, dan (4) mengembangkan kepemilikan tulisan
mereka oleh mengajukan pertanyaan metakognitif dan melakukan pemantauan diri.

As early as 2003, Earl pointed out the values of AoL, AfL, and AaL and called for the
integration of all these approaches in a right balance. Furthermore, Carless (2011)
argues that the integration of AfL and AaL in an AoL context can be more beneficial. Lee
(2016),also, assumes “AoL and AfL/AaL can co-exist” . However, in view of the above
tensions, assessment experts have been widely divided over the idea of AaL, AfL, and
AoL integration. Taras (2005), Harlen (2006), and Lam and Lee (2010), for instance,
believe that when AoL and AfL are used together, students mostly focus on the
summative grades and overlook the formative benefits of AfL. William and Thompson
(2008), also, doubt that the concurrent use of assessment approaches can culminate in
the adequate fulfillment of their specific purposes. Some other experts such as Harlen
(2005) have cautiously called for maintaining the distinction between the two
approaches while planning for making use of the same evidence for both AoL and AfL
purposes. ]
Pada awal tahun 2003, Earl menunjukkan nilai AoL, AfL, dan AaL dan menyerukan agar
integrasi semua pendekatan ini berada dalam keseimbangan yang tepat. Selanjutnya,
Carless (2011) berpendapat bahwa integrasi AfL dan AaL dalam konteks AoL bisa lebih
bermanfaat. Lee (2016), juga, mengasumsikan "AoL dan AfL / AaL bisa hidup
berdampingan". Namun, mengingat beberapa pendapat tersebut, pakar penilaian telah
banyak terbagi atas gagasan integrasi AaL, AfL, dan AoL. Taras (2005), Harlen (2006),
dan Lam dan Lee (2010), misalnya, percaya bahwa ketika AoL dan AfL digunakan
bersamaan, kebanyakan siswa berfokus pada nilai sumatif dan mengabaikan manfaat
formatif AfL. William dan Thompson (2008), juga, meragukan bahwa penggunaan
pendekatan penilaian bersamaan dapat berujung pada pemenuhan yang memadai untuk
tujuan spesifik mereka. Beberapa ahli lain seperti Harlen (2005) secara hati-hati
menyerukan untuk mempertahankan perbedaan antara kedua pendekatan tersebut
sementara merencanakan untuk menggunakan bukti yang sama untuk tujuan AoL dan
AfL.

LITERATURE REVIEW
1. Lam (2008) conducted a study in which he not only integrated the four language
skills into one portfolio project but also used a combination of assessment
approaches. He asked his students to read four literary texts, write essays on what
they had read, and keep portfolios of their works. Finally, they engaged in a panel
discussion on all tasks. They, subsequently, selected their best work, assigned a
grade to that work, and justified their grades. They were, then, provided with a
summative course grade by their teachers. Despite enjoying a creative design, the
study lacked important details on the number of participants, the assessment
criteria/rubrics according to which students graded their performances,and the pros
and cons of concurrent use of students’ grades (AaL) and teacher grade (AoL).
Lam (2008) melakukan studi di mana dia tidak hanya mengintegrasikan empat
kemampuan bahasa ke dalam satu proyek portofolio namun juga menggunakan
kombinasi pendekatan penilaian. Dia meminta murid-muridnya untuk membaca
empat teks sastra, menulis esai tentang apa yang telah mereka baca, dan menyimpan
portofolio karya mereka. Akhirnya, mereka terlibat dalam diskusi tentang semua
tugas. Mereka kemudian memilih karya terbaik mereka, memberi nilai pada
pekerjaan itu, dan membenarkan nilai mereka. Mereka kemudian diberi kelas sumatif
oleh guru mereka. Meskipun menikmati desain yang kreatif, penelitian ini tidak
memiliki rincian penting mengenai jumlah peserta, kriteria penilaian / rubrik
penilaian dimana siswa menilai kinerja mereka, dan pro dan kontra penggunaan kelas
dengan siswa secara bersamaan (AaL) dan kelas guru (AoL ).
2. Lee and Coniam (2013) attempted to identify factors that could facilitate or inhibit
the implementation of AfL in a predominantly AoL context and investigated the
impact of this innovation on learners’ motivation. The analysis of the data collected
from two teachers and 167 secondary school students in Hong Kong showed that
teachers’ enthusiasm, commitment, and professional knowledge/skills about the
principles of AfL facilitated its implementation. On the other hand, students’ focus on
summative scores,their lack of engagement with teacher feedback, time constraint,
and school policy were the most important challenges to AfL implementation.
Students’ interviews, however, revealed that they felt positive toward the new change,
and their pre-/post-test performance also suggested an improvement in their writing
ability. The study proposed that successful implementation of AfL in an AoL context
requires an enhanced understanding of AfL principles by teachers and necessary
modifications in school policies to accommodate innovations.
Lee dan Coniam (2013) mencoba untuk mengidentifikasi faktor-faktor yang dapat
memfasilitasi atau menghambat penerapan AfL dalam konteks AoL yang didominasi
dan menyelidiki dampak inovasi ini terhadap motivasi peserta didik. Analisis data
yang dikumpulkan dari dua guru dan 167 siswa sekolah menengah di Hong Kong
menunjukkan bahwa antusiasme guru, komitmen, dan pengetahuan / keterampilan
profesional mengenai asas-asas AfL memfasilitasi pelaksanaannya. Di sisi lain, fokus
siswa pada nilai sumum, kurangnya keterlibatan mereka dengan umpan balik guru,
batasan waktu, dan kebijakan sekolah merupakan tantangan yang paling penting
dalam penerapan AfL. Wawancara siswa, bagaimanapun, mengungkapkan bahwa
mereka merasa positif terhadap perubahan baru, dan kinerja pra-/ post-test mereka
juga menyarankan peningkatan kemampuan menulis mereka. Studi ini mengusulkan
agar implementasi AfL yang berhasil dalam konteks AoL memerlukan pemahaman
yang lebih baik tentang prinsip-prinsip AfL oleh guru dan modifikasi yang
diperlukan dalam kebijakan sekolah untuk mengakomodasi inovasi.

The present study is an empirical investigation which aims to fill a number of gaps in
the relevant research. The main objective is to propose an AaL, AfL, and AoL integrated
assessment model which hopefully provides a better understanding of the issues
surrounding an integrated approach to assessment. Particularly, the study examines the
degree to which the potential benefits of integrated assessment and AaL implementation
in terms of enhanced writing ability, meta-cognitive awareness, and learner autonomy
are practically realized. Moreover, the current research investigates the validity of
arguments regarding the likely tensions brought about by the integration of assessment
approaches, in general, and the implementation of AaL, in particular. To these ends,
AaL, AfL, and AoL were integrated in a large-scale exam preparation course designed to
teach learners the required knowledge/skills for successful completion of the writing
component of Cambridge English
Penelitian ini merupakan penelitian empiris yang bertujuan untuk mengisi sejumlah
kesenjangan dalam penelitian yang relevan. Tujuan utamanya adalah untuk mengusulkan
model penilaian terpadu AaL, AfL, dan AoL yang diharapkan dapat memberikan
pemahaman yang lebih baik mengenai isu seputar pendekatan penilaian yang terpadu.
Khususnya, penelitian ini meneliti sejauh mana manfaat potensial dari penilaian terpadu
dan penerapan AaL dalam hal kemampuan menulis yang ditingkatkan, kesadaran meta-
kognitif, dan learner autonomy are practically realized. Selain itu, penelitian ini
menyelidiki validitas argumen mengenai kemungkinan ketegangan yang disebabkan oleh
integrasi pendekatan penilaian, secara umum, dan penerapan AaL, khususnya. Untuk
tujuan ini, AaL, AfL, dan AoL diintegrasikan dalam kursus persiapan ujian berskala
besar yang dirancang untuk mengajarkan kepada pelajar pengetahuan / keterampilan
yang dibutuhkan agar berhasil menyelesaikan komponen tulisan Cambridge Inggris.