Değerlendirme III

Cevap kağıdı tasarımımızı yaptık. Öğrenciler sınavlarını oldu ve şimdi sıra değerlendirmeye geldi. Cevap kağıtlarını tarattık ve kaydettik. Kayıtlı kağıtları OMR programı vasıtasıyla okuttuk. OMR programı kendi seçimimize göre sonuçları bir txt veya access dosyasına kaydetti. Şimdi sıra sonuçları işlemeye geldi. Bunun için yeniden kendi yazdığım programa dönmem gerekiyor.

Değerlendirme II

Hal böyle olunca optik okuyucu ve optik okuyucu formu benim için uygun bir çözüm değildi. Araştırmalara devam edince evdeki normal flatbed tarayıcı dediğimiz tarayıcılarla beraber kullanabileceğimiz OMR (Optical Mark Reading) denen programlar olduğunu gördüm. Evde nasılsa tarayıcı vardı iş programa kalmıştı-yan tarafta görülen tarayıcı ODB (Otomatik Döküman Besleyicili). 6-7 sene önce dünyada şimdikine göre daha az o tip programlar yazılıyordu ve içlerinden en kullanışlı olan formpuro adlı bir programdı.
Detaylara daha sonra gireceğim ama kısaca şöyle özetliyeyim tarayıcıya tarattıracağınız kağıdın tasarımı bu programla tasarlayabiliyorsunuz ve buda optik okuyucu formu yerine sıradan A4 fotokopi kağıdını kullanmama imkan verdi. Ne optik okuyucuya ne de dışardan form bastırma zorunluluğu kalmayınca hem maliyet önemli bir şekilde düştü, hem de değerlendirilecek kağıdı benim tasarlayabilme imkanım önüme yeni fırsatlar açtı.

Değerlendirme I

Değerlendirme kısmı temel noktalardan birisi. Burada vereceğimiz stratejik kararlar bundan sonraki işlerimizi ve bize çıkacak maliyeti belirleyecek.

Temelde bilgisayarlı değerlendirme denince akla ilk gelen çözüm optik okuyucu ve ona uygun tasarımda basılmış optik okuyucu formu. Bu çalışmayı yaptığım yıllarda optik okuyucunun maliyeti 4 ile 5 bin Amerikan Doları civarındaydı ve optik okuyucu formunun 10000 adeti bugünün bin lirası o zamanın bir milyar Türk Lirası idi. Elbette bu maliyetler benim gibi her hangi bir finansman desteği olmadan araştırma yapmak zorunda olanların sadece maaşı ile karşılayamayacağı kadar büyük paraydı. Bu yazıya uygun resim ararken gördüm ki şimdilerde nisbeten daha ucuz.

Ölçme - Çoktan Seçmeli Sınav Hazırlama

Evet, o kadar uğraştıktan sonra ortaya bir şeyler çıkmaya başladı diyebiliriz. Şimdi sıra veri tabanımızdan yapacağımız sınava uygun sorular seçmeye geldi. Aşamaları teker teker açıklayalım:

Test İlk Hazırlık Bölümü

Müfredat Seçin: Daha önce amaca uygun hazırlanmış müfredatı seçiyoruz.
Sonrasında sınav türü seçiyoruz. Bu programı yazdığım yıllarda 2. vize de olduğu için o da seçeneklerin içinde var.
Eğitim Dönemi Seçin: Bu bölümde hangi eğitim yılında isek onu seçiyoruz. Daha sonraki yıllarda yapılacak analizler için gerekli bir bölüm. Burada yeni bir eğitim bölümü açmak için "Öğrenci İşleri" bölümünde ilgili eğitim yılı ve dönemi açılmak zorunda.
Geçerli Üds Soru Tipi: Sosyal, Sağlık veya Fen Bilimlerine göre daha önceden sınıflandırılmış soru tiplerinden seçmek için burada gerekli seçeneği aktif hale getiriyoruz.
Toplam Soru Sayısı: Sınavda çıkacak toplam soru sayısı.
Sınav Grup Sayısı:Hazırlayacağınız formata göre kaç grup sınav oluşturmak istiyorsanız onun sayısı.
Sınava Girecek Sınıflar:"Öğrenci İşleri Bölümün"de açtığınız sınıflardan hangilerinde seçtiğiniz müfredat uygulanıyorsa otomatik olarak bu bölümde yazıyor.

2. Aşama

Sınava Dahil Olacak Soru Tipleri: Soru bankasında kayıtlı soru tiplerinden sınava dahil olacakları teker teker seçiyoruz.
Sınav Kağıdındaki Grup Sırası: Seçtiğimiz soru tipininin sınav kağıdında hangi sırada olacağına karar verdiğimiz yer.
Soru Grup Toplam Sayısı: Seçtiğimiz Soru Tipinden toplam kaç soru olacağını yazdığımız yer.
Soru Grubunun Toplam Puanı: Seçilen Soru Tipindeki Soru Grubunun toplam puanı.
Bu sayılara karar verdikten sonra aşağıdaki veriler otomatik hesaplanmakta. Ekle düğmesine tıklanınca sol altta gözüken "Soru Sayı ve Zorluk Dereceleri" bölümüne her biri ayrı bölüm şeklinde otomatik ekleniyor.
Seçilen Konulara Ait Müsait Soru Sayıları: Bu bölümü bu programa son vermek durumunda kaldığımda henüz bitirmemiştim. Amacım veri tabanında seçilen soru tipi ile ilgili kaç tane kolay, orta ve zor seviyede müsait soru olduğunu görmekti.
Aynı veya Farklı Sorulardan Üret: İşaretlenen seçeneğe göre Sınav Gruplarının aynı sorulardan fakat sıralamaları değiştirilmiş şekilde hazırlamasına veya tamamen farklı sorulardan oluşturulmasına karar verilen yer.

Soru Sayı ve Zorluk Dereceleri:

Soru Tipi: 2. Aşamada seçtiğimiz soru tipi.Otomatik eklenir.
G.T Puanı: Soru Tipi Grubunun Toplam Puanı.Otomatik eklenir.
Zorluk: Daha önce bahsettiğim, sağlık bir ölçüm yapan sınavlarda gerekli bölüm. Soru Bankamıza kayıt yaparken yaptığımız sınıflandırmaya göre seçim yapılır. Otomatik eklenir.
Soru Sayısı: Bu Kısımda karar vermek zorunda olduğumz tek bölüm burasıdır. Kolay, orta ve zor seviyedeki soruların Soru Tipine göre dağılımını burada yapmak zorundayız.
Alt Puan: Burada öğrencinin her bir zorluk seviyesinde kaç puan alabileceğini görebiliriz. Otomatik doldurulur.

Konuları Seç: Sağ altta görülen müfredattan sınava dahil olacak konuları seçebiliriz. Böylece Seçilen soru tipinde yine seçilen konuların ölçüldüğü soruları sınava ekleyebiliriz.

Sınavı Hazırla: Yukarda bahsettiğim bütün maddelere karar verdikten sonra bu düğmeye tıkladığımızda istenlere uygun sınavlar hazırlanır ve word formatında baskıya hazır hale gelir.


Buradan bu şekilde hazırlanmış bir sınav örneği görebilirsiniz.
Sınav kağıdının formatı doğru düzgün olmasına rağmen gugıl dökümanlara yüklediğimde görünen format maalesef aynı değil. Neyse en azından okuyucuya bir fikir veriyor.

Müfredata Uygun Soru Bankası Oluşturma

Soru Bankası ölçmenin güvenilirliği konusunda önemli bir bölüm. Ne kadar doğru sınıflandırılırsa o kadar geriye yönelik analiz sırasında belirleyici olur. Hal böyle olunca yandaki resimde görülen detaylara ihtiyaç duyulur. Burada soruların kendisi kadar seçeneklerin çeldiriciliği de önemlidir. İtiraf etmeliyimki, kaliteli çeldiricileri olan soruları hazırlamak hakikaten sağlam bir alt yapı ve güncel gözleme ihtiyaç duymaktadır. Ki bu başlı başına ayrı bir uğraş konusudur. Bu sebeple Soru bankasını oluşturuken, özel soru tipleri hariç, önceki yıllarda ölçülmüş soruları kullanmak o zaman ve hala benim ihtiyaçlarıma göre izlenecek en doğru yöntemdir.
Ekrandaki detaylara gelince:
Müfredat: Ana müfredat veya ihtiyaca göre oluşturulmuş alt müfredat
Soru Tipi: KPDS ve ÜDS sınavlarında kullanılan ve artık günümüzde neredeyse bütün çoktan seçmeli sınavlarda kullanılan soru tipleri. Vocabulary, Conjunctions, Dialogue Completion ,vb ..
Kaynak: Sorunun alıntılandığı kaynak.
Seviye: Adil bir sınav hazırlamak için olmazsa olmaz sınıflandırma. İyi hazırlanmış bir sınavda seviyeye göre orta seviyedeki öğrenci 100 lük değerlendirme yöntemine göre 50 ve üstü, iyi seviyedeki öğrenci 70 ve üstü alacak şekilde soruların zorluk derecesi homojen bir şekilde dağıtılmalıdır. Soruların zorluk derecesini sınıflandırarak ölçmenin daha sağlıklı olması sağlanabilir. Sorunun zorluk derecesi kavramına daha sonra döneceğim.Elbette iyileştirme ve adil olma çabasında en iyisi henüz bulunmuş değildir.
ÜDS Soru Tipi: Fen, Sosyal, Sağlıkbilimleri ve her üçünde de kullanılabilecek genel alanlar.
Toplam Kayıtlı Soru: Veri tabanında kayıtlı olan soru sayısı. Ekranda görülen sayı 4786. Bu rakam aynı zamanda o kadar soru sınıflandırlmış da demek.
Kayıt No: Sorunun veri tabanındaki kayıt numarası. Bu sayı eşsizdir ve sorunun farklı ölçümlerde takibi açısından kolaylık sağlamaktadır.
Konu Ara: 3800 madde arasında neyin nerede olduğunu bulmak bazen çan sıkıcı ve vakit kaybettirici olabilir, buradan arayarak konu sınıflandırması daha kolay olmaktadır.
Beceri: Ölçtüğü beceri.
Seçilen Konu Başlıkları: Burası da anahtar bölümlerden birisidir. Konu bir veya daha fazla olabilir. Sınav hazırlarken en az "Seviye" kadar bize yardımcı olacaktır.
Ekranda soru metni ile seçeneklerin olduğu bölüm kendisini açıklıyor. Sağ altta bulunan "Soru Metnini Buraya Yapıştır" kısmı soru kaydı sırasında büyük kolaylık sağlamaktadır. Herhangi bir pdf veya word belgesinden soru seçenekleriyle beraber koplyalanıp oraya yapıştırıldığında, soru gövdesi ve seçenekler otomatik olarak gerekli bölümlere ayrılır.
Biraz abartıp veri tabanını ağ ortamında çalışacak şekilde tasarlayıp yazılımı ona göre düzenledim. Bu sayede örneğin bir bilgisayardan "Müfredat" düzenlenirken bir başka bigisayardan "Soru Bankasına" soru girebilir bir başka bilgisayardan daha sonra göreceğiniz özellikler kullanılabilir. Buna gerek yoktu aslında, sonuçta sadece benim kullandığım bir program ama yapabileceğimi görüp bilmek de zarar vermiyor.

Alt Müfredatları Oluşturma

Ana Müfredat bir kez oluşturulunca Alt Müfredatları oluşturmak çok kolay. Yandaki resimdede görülebildiği gibi Ana Müfredattan sürükleyip Alt Müfredat hanesine bırakıyorsunuz. Ana Müfredatta olmayan bir maddeye ihtiyaç duyulduğunda hemen ekleyip Alt Müfredata sürükleyip bırakılabilir.

Genel Müfredat Oluşturulması

Bahsi geçen 2002-2005 yılları arasında verdiğim İngilizce derslerinin çeşitliliği ve sık sık sınav yapma zorunluluğundan dolayı bir ana müfredat yapma ihtiyacı doğdu. Örneğin Mühendislik fakültesinde vermek zorunda olduğum "İngilizce Çeviri ve Anlama" dersleri ve Sağlık Yükek Okulunda vermekte olduğum KPDS ve ÜDS sınavlarına yönelik İleri İngilizce I-II-III dersleri farklı konuları içeren derslerdi. Müfredattaki konu çeşitliliği ve sık sık sınav yapma ihtiyacından dolayı bir ana müfredat oluşturup daha sonra ihtiyaca göre alt müfredatlar oluşturmaya karar verdim. Bu sayede hem konuları kontrol altına alabilecek hem de hedefe varma konusunda daha verimli adımlar atabilecektim.
Üstte görülen resimde Ana Müfredat'ı görebilirsiniz. Ana müfredat, o zamanki gramer ağırlıklı sisteme göre yaklaşık 16 ana başlık altında 3800 alt maddeden oluştu. Bu şu demekti İngilizce Gramerinde ,belki sonradan eklenebileceğini göz önünde bulundurursak, aşağı yukarı 3900-4000 madde vardı. Bunların 3800'nü bir veritabanına depolayıp sınıflandırarak bir ana müfredat oluşturmuştum.

Ölçme ve Değerlendirmede Bilgisayar ve Bileşenlerinin Kullanımı

Ölçme ve değerlendirme sağlıklı bir eğitim politikasının en önemli bölümlerinden birisidir. Maalesef değerlendirmenin çok vakit alması ve verilerin çokluğu öğretim elemanının sonuç üstünde istatiksel bir çalışma yaparak sene içerisindeki müfredatında iyileştirme yapmasına çok yardımcı olmamaktadır. 2002- 2005 yıllarında verdiğim dersler sırasında bahsettiğim sıkıntıya yönelik çözüm uğraşıları bundan sonraki bazı yazılarımın konusu olacaktır.