Analisis soal dilakukan untuk mengetahui berfungsi tidaknya sebuah soal.

Analisis pada
umumnya dilakukan melalui dua cara, yaitu analisis kualitatif (qualitative control) dan analisis
kuantitatif (quantitative control). Analisis kualitatif sering pula dinamakan sebagai validitas logis
(logical validity) yang dilakukan sebelum soal digunakan. Gunanya untuk melihat berfungsi
tidaknya sebuah soal. Analisis soal secara kuantitatif sering pula dinamakan sebagai validitas
empiris (empirical validity) yang dilakukan untuk melihat lebih berfungsi tidaknya sebuah soal
setelah soal itu diujicobakan kepada sampel yang representatif.
Salah satu tujuan dilakukannya analisis adalah untuk meningkatkan kualitas soal, yaitu apakah
suatu soal (1) dapat diterima karena telah didukung oleh data statistic yang memadai, (2)
diperbaiki, karena terbukti terdapat beberapa kelemahan, atau bahkan (3) tidak digunakan sama
sekali karena terbukti secara empiris tidak berfungsi sama sekali.
Analisis Kualitatif. Yaitu berupa penelaahan yang dimaksudkan untuk menganalisis soal
ditinjau dari segi teknis, isi, dan editorial. Analisis secara teknis dimaksudkan sebagai
penelaahan soal berdasarkan prinsip-prinsip pengukuran dan format penulisan soal. Analisis
secara isi dimaksudkan sebagai penelaahan khusus yang berkaitan dengan kelayakan
pengetahuan yang ditanyakan. Analisis secara editorial dimaksudkan sebagai penelaahan yang
khususnya berkaitan dengan keseluruhan format dan keajegan editorial dari soal yang satu ke
soal yang lainnya.
Analisis kualitatif lainnya dapat juga dikategorikan dari segi materi, konstruksi, dan bahasa.
Analisis materi dimaksudkan sebagai penelaahan yang berkaitan dengan substansi keilmuan
yang ditanyakan dalam soal serta tingkat kemampuan yang sesuai dengan soal. Analisis
konstruksi dimaksudkan sebagai penelaahan yang umumnya berkaitan dengan teknik penulisan
soal. Analisis bahasa dimaksudkan sebagai penelaahan soal yang berkaitan dengan penggunaan
bahasa Indonesia yang baik dan benar menurut EYD.
Analisis Kuantitatif. Digunakan untuk mengetahui sejauh mana soal dapat membedakan antara
peserta tes yang kemampuannya tinggi dalam hal yang didefinisikan oleh kriteria dengan peserta
tes yang kemampuannya rendah (melalui analisis statistik).
Analisis soal secara kuantitatif menekankan pada analisis karakteristik internal tes melalui data
yang diperoleh secara empiris. Karakteristik internal secara kuantitatif dimaksudkan meliputi
parameter soal tingkat kesukaran, daya pembeda, dan reliabilitas. Khusus soal-soal pilihan
ganda, dua tambahan parameter yaitu dilihat dari peluang untuk menebak atau menjawab soal
dengan benar dan berfungsi tidaknya pilihan jawaban, yaitu penyebaran semua alternatif jawaban
dari subyek-subyek yang dites.
Tingkat Kesukaran. Ada beberapa alasan untuk menyatakan tingkat kesukaran soal. Bisa saja
tingkat kesukaran soal ditentukan oleh kedalaman soal, kompleksitas, atau hal-hal lain yang
berkaitan dengan kemampuan yang diukur oleh soal. Namun demikian, ketika kita mengkaji
lebih mendalam terhadap tingkat kesukaran soal, akan sulit menentukan mengapa sebuah soal
lebih sukar dibandingkan dengan soal yang lain.
Secara umum, menurut teori klasik, tingkat kesukaran dapat dinyatakan melalui beberapa cara
diantaranya (1) proporsi menjawab benar, (2) skala kesukaran linear, (3) indeks Davis, dan (4)
skala bivariat. Proporsi jawaban benar (p), yaitu jumlah peserta tes yang menjawab benar pada
butir soal yang dianalisis dibandingkan dengan jumlah peserta tes seluruhnya merupakan tingkat
kesukaran yang paling umum digunakan.
Intinya, bermutu atau tidaknya butir-butir item tes hasil belajar pertama-tama dapat diketahui
dari derajat kesukaran atau taraf kesukaran yang dimiliki oleh masing-masing butir item tersebut.
Butir-butir item tes hasil belajar dapat dinyatakan sebagai butir-butir item yang baik, apabila
butir-butir item tersebut tidak terlalu sukar dan tidak pula terlalu mudah dengan kata lain derajat
kesukaran item itu adalah sedang atau cukup. Angka yang dapat memberikan petunjuk mengenai
tingkat kesulitan item itu dikenal dengan istilah difficulty index (angka indeks kesukaran item),
yang dalam dunia evaluasi hasil belajar umumnya dilambangkan dengan huruf P, yaitu singkatan
dari kata proportion (proporsi = proporsa).
Kategori Tingkat Kesukaran
Nilai p Kategori
P < 0.3 Sukar
0.3 ≤ p ≤ 0.7 Sedang
P > 0.7 Mudah
 Tindak Lanjut Hasil Analisis
Interpretasi Item Tindak Lanjut
Sukar 1.        butir item dibuang atau didrop dan tidak
dikeluarkan lagi dalam tes-tes hasil belajar yang
akan datang
2.        diteliti ulang, dilacak, dan ditelusuri sehingga
dapat diketahui faktor yang menyebabkan butir item
 yang bersangkutan sulit dijawab oleh testee, apakah
kalimat soalnya kurang jelas, apakah petunjuk cara
mengerjakan soalnya sulit dipahami, ataukah dalam
soal tersebut terdapat istilah-istilah yang tidak jelas,
dsb. Setelah dilakukan perbaikan, butir-butir item
tersebut dikeluarkan lagi dalam tes hasil belajar yang
akan datang.
3.        butir-butir yang terlalu sulit dapat digunakan
kembali dalam tes (terutama tes seleksi) yang
sifatnya sangat ketat.
Butir item ini dapat dikeluarkan lagi dalam tes-tes hasil
Sedang
belajar pada waktu-waktu yang akan datang
1.        butir item dibuang atau didrop dan tidak
dikeluarkan lagi dalam tes-tes hasil belajar yang
akan datang
2.        diteliti ulang, dilacak, dan ditelusuri sehingga
dapat diketahui faktor yang menyebabkan butir item
yang bersangkutan sulit dijawab oleh testee, apakah
kalimat soalnya kurang jelas, apakah petunjuk cara
Mudah mengerjakan solnya sulit dipahami, ataukah dalam
soal tersebut terdapat istilah-istilah yang tidak jelas,
dsb. Setelah dilakukan perbaikan, butir-butir item
tersebut dikeluarkan lagi dalam tes hasil belajar yang
akan datang.
3.        butir-butir yang terlalu sulit dapat digunakan
kembali dalam tes (terutama tes seleksi) yang
sifatnya longgar.
Daya Pembeda. Salah satu tujuan analisis kuantitatif soal adalah untuk menentukan dapat
tidaknya suatu soal membedakan kelompok dalam aspek yang diukur sesuai dengan perbedaan
yang ada dalam kelompok itu. Indeks yang digunakan dalam membedakan antara peserta tes
yang berkemampuan rendah adalah indeks daya pembeda                           (item discrimination).
Indeks daya pembeda soal-soal yang ditetapkan dari selisih proporsi yang menjawab dari
masing-masing kelompok. Indeks ini menunjukkan kesesuaian antara fungsi soal dengan fungsi
tes secara keseluruhan. Dengan demikian validitas soal ini sama dengan daya pembeda soal yaitu
daya dalam membedakan antara peserta tes yang berkemampuan tinggi dengan peserta tes yang
berkemampuan rendah.
Angka yang menunjukkan besarnya daya pembeda berkisar antara           -1 sampai dengan +1.
Tanda negatif menunjukkan bahwa peserta tes yang kemampuannya rendah dapat menjawab
benar sedangkan peserta tes yang kemampuannya tinggi menjawab salah. Dengan demikian soal
indeks daya pembedanya negatif menunjukkan terbaliknya kualitas peserta.
Indeks diskriminasi item umumnya diberi lambang dengan huruf D (singkatan dari
discriminatory power).
Indeks     Dsikriminasi
Klasifikasi Interpretasi
Item (D)
Butir item yang bersangkutan daya
pembedanya lemah sekali (jelek),
< 0,20 Poor
dianggap tidak memiliki daya
pembeda yang baik
Butir item yang bersangkutan telah
0,20 – 0,40 Satisfactory memiliki daya pembeda yang cukup
(sedang)
Butir item yang bersangkutan telah
0,40 – 0,70 Good
memiliki daya pembeda yang baik
Butir item yang bersangkutan  telah
0,70 – 1,00 Excellent memiliki daya pembeda yang baik
sekali
Butir item yang bersangkutan daya
Bertanda negatif (-) - pembedanya negative sekali (jelek
sekali)
Fungsi Distraktor. Pada saat membicarakan tes objektif bentuk multiple choice item tersebut
untuk setiap butir item yang dikeluarkan dalam tes hasil belajar telah dilengkapi dengan beberapa
kemungkinan jawab, atau yang sering dikenal dengan istilah option atau alternatif.
Option atau alternatif itu jumlahnya berkisar antara 3 sampai dengan 5 buah, dan dari
kemungkinan-kemungkinan jawaban yang terpasang pada setiap butir item itu, salah satu
diantaranya adalah merupakan jawaban betul (kunci jawaban), sedangkan sisanya adalah
merupakan jawaban salah. Jawaban-jawaban salah itulah yang biasa dikenal dengan istilah
distractor (pengecoh).
Menganalisis fungsi distraktor sering dikenal dengan istilah lain, yaitu : menganalisis pola
penyebaran jawaban item. Adapun yang dimaksud dengan pola penyebaran jawaban item adalah
suatu pola yang dapat menggambarkan bagaimana testee menentukan pilihan jawabnya terhadap
kemungkinan-kemungkinan jawab yang telah dipasangkan pada setiap butir item.
Suatu kemungkinan dapat terjadi, yaitu bahwa dari keseluruhan alternatif yang dipasang pada
butir item tertentu, sama sekali tidak dipilih oleh testee. Dengan kata lain, testee menyatakan
“blangko”. Pernyataan blangko ini sering dikenal dengan istilah omiet dan biasa diberi lambang
dengan huruf O.
Distraktor dinyatakan telah dapat menjalankan fungsinya dengan baik apabila distraktor tersebut
sekurang-kurangnya sudah dipilih oleh 5 % dari seluruh peserta tes.
Sebagai tindak lanjut atas hasil penganalisaan terhadap fungsi distraktor tersebut maka distraktor
yang sudah dapat menjalankan fungsinya dengan baik dapat dipakai lagi pada tes-tes yang akan
datang, sedangkan distraktor yang belum dapat berfungsi dengan baik sebaiknya diperbaiki atau
diganti dengan distraktor yang lain.
Reliabilitas. Keajegan dan ketidakajegan skor tes merupakan fokus  dari pengkajian tentang
reliabilitas. Berikut adalah faktor yang mempengaruhi perolehan skor peserta didik (Thorndike)
yang berakibat pada ketidakajegan terhadap skor.
 Faktor yang Mempengaruhi Reliabilitas Skor
Karakteristik umum yang permanen peserta tes
a.       kemampuan yang dimiliki peserta didik dalam menghadapi tes
1 b.      kemampuan umum dan teknik yang digunakan ketika mengambil
tes
c.       kemampuan umum untuk memahami petunjuk tes
2 Karakteristik khusus yang permanent peserta tes
a.       kemampuan peserta didik yang berkaitan dengan atribut yang
diukur dalam sebuah tes
b.      pengetahuan dan kemampuan khusus yang berkaitan dengan soal
c.       keajegan respon peserta didik terhadap pilihan jawaban (misalnya
mereka cenderung memberi jawaban A dari 4 alternatif yang
 disediakan atau cenderung memilih B dari soal benar salah yang
disajikan)
Khusus yang berkaitan dengan soal
a.       pengetahuan khusus yang berkaitan dengan fakta atau konsep
khusus
b.      pengetahuan dan kemampuan khusus yang berkaitan dengan soal
Karakteristik umum yang temporer seperti :
a.       kesehatan
b.      kelelahan
c.       motivasi
3 d.      gangguan emosi
e.       kemampuan umum dan teknik yang digunakan ketika mengambil
tes
f.        pemahaman mekanisme tes
g.       faktor panas, cahaya, ventilasi, dan lain sebagainya
Karakteristik khusus yang temporer seperti :
Khusus yang berkaitan dengan tes secara keseluruhan
a.       pemahaman terhadap petunjuk tes
b.      trik atau teknik-teknik mengatasi tes
c.       pengalaman/latihan menghadapi tes terlebih lagi dalam tes
4
psikomotor
d.      kebiasaan menghadapi sebuah tes
Khusus yang berkaitan dengan soal
a.       fluktuasi ingatan yang dimiliki peserta didik
b.      hal-hal yang berkaitan dengan perhatian dan keakuratan
Faktor penyelenggaraan
a.       waktu, bebas dari gangguan, dan petunjuk yang jelas
5
b.      pengawasan
c.       penskoran
Faktor yang tidak pernah diperhitungkan
6 a.       keberuntungan karena faktor menebak
b.      mengingat soal yang telah dilihatnya