Kurumlar her türlü faaliyet ve kurumsal yapıya ait verilerini anında veya daha sonra irdeleyebilmek için toplamak durumundadır. Belleklerdeki sonsuz verilere güvenmek yerine seçilmiş bir dizi verinin, mümkün ise Kurumsal Analiz/Araştırma Birimi eliyle, doğru etiketlenerek depolanması, hem yıldan yıla değişimleri izlemek hem de yeri geldiğinde kurum hakkında bilgi verebilmek için gerekir (Yıllık Perf Göstergeleri, Ornek).

 

Ülkemizde performans göstergeleri denince akla stratejik planda kullanılan göstergeler gelmektedir. Bunlar stratejik planda öngörülen hedeflere ulaşma başarısını ölçen sayısal değerlerdir. Stratejik plan dönemi için ve ilgili planda öngörülen hedefler için anlamlıdır. Akademik yaşamın bir dizi standartlarla düzenlendiği düşünülürse, stratejik planın bir yorumu, üniversitenin mevcut bazı standartlarını yükseltici adımların planlaması, yerine getirilmesidir; yani bazı standartların “upgrade” edilmesidir. Geri kalan standartlar geçerlidir ve rutin olarak kalite güvencesinin konusu olarak akademik yaşamı şekillendirmeye devam eder. Dolayısıyla stratejik plandan kaynaklanan performans göstergeleri, o beş yıl için gündeme alınan “upgrade” edilecek standartlara ait olmaktadır, tüm standartlara değil.

 

Yıllık performans göstergelerinin bir kısmı nicel/ sayısal, diğerleri nitel/ sayısal olmayan ve gözleme dayanan tanımlamalar şeklindedir. Genelde girdi (input) ve çıktı (output) ile ilgili göstergeler sayısal olmakta, süreç (process) ve kazanımlara (outcome) ait göstergeler niteliği, yetkinliği ve etkiyi değerlendirmektedir. Üniversiteler göstergelerini saptarken girdi, süreç, çıktı ve kazanımları dengeli bir biçimde kapsamaya özen göstermelidir^[1].

 

Üniversiteler karmaşık sistemlerdir, karmaşık/ gelişmiş yöntemler, modeller kullanılarak yönetilmelidir. Sayısal göstergeler ( girdi, çıktı) kullanımı kolay, ancak karmaşık sistemi tanımlaması zayıf araçlar olmaktadır (mezun sayısı, örneğin, performans hakkında bir bilgi verir, ama mezunun kalitesi, yetkinlikleri, kendine ve topluma sağlayacağı yararlar hakkında hiçbir şey anlatmaz). Sayısalın yanında kaliteyi, değeri ve etkiyi tanımlayacak daha karmaşık kazanım göstergelerine ihtiyaç bulunmaktadır. Üniversitenin nasıl çalıştığı yanında, ne ürettiğine, ürettiğinde ne kadar başarılı olduğuna odaklanılmalıdır. Bir başka örnek “erişilebilir ders bilgi paketi oranı”göstergesi olabilir; bilgi paketlerinin yanlış veya eksik olması durumunda bu gösterge yanıltıcı bilgi aktaracaktır. Özellikle bu gibi göstergelerin karşılaştırmalı olarak kullanılması veya akreditasyon gibi yargı içeren değerlendirmelerde kullanılması gerçekleri perdeliyebilir. Unutulmamalı ki kurumlar kısa zamanda kuralları çıkarlarına uygun çarpıtmaya eğilimli olmaktadır. Doğru/ yanlış demeden tüm ders bilgi paketlerini erişilebilir kılmak böyle bir yol olabilir. Bu nedenle girdi göstergelerini süreç ve kazanım göstergeleri ile desteklemek; kalite güvencesi süreç ve mekanizmalarını birbirini tamamlayacak/ destekleyecek şekilde kullanmak gerekmektedir.

 

Tipik girdi göstergeleri,

• Öğrenci kabul verileri (giriş puanları, doluluk oranları,uluslararası öğrenci sayıları, lisans/ yüksek lisans/ doktora öğrenci sayıları, kadın-erkek oranları,…),
• Personel sayıları (öğretim üyesi, öğretim elemanı, idari personel,…),
• Destek hizmetleri (bilişim hizmetleri, kütüphane verileri, rehberlik ve psikolojik danışmanlık hizmeti,…);

 

Tipik çıktı göstergeleri,

• Öğrenci ilerleme, mezun olma verileri,
• Kurumdan ayrılma sayıları,
• Mezuniyet oranları,
• İşe yerleşme oranları;

 

Tipik kazanım göstergeleri,

• Mezun memnuniyeti (genel, eğitim, alana ait olmayan (generic) beceriler itibarıyla),
• Paydaş memnuniyeti,
• İşveren memnuniyeti,
• Öğrenme kazanımları,
• Mezun yetkinlikleri;

Tipik süreç göstergeleri,

• Öğrenme-öğretme destek fonları,
• Ölçme-değerlendirme politikaları,
• Atama ve yükseltme kriterleri,
• Öğretmede başarı/ mükemmellik ödülleri,
• Akademik personel yıllık performans ödülleri/ primleri,
• Mesleki gelişim hizmetleri (öğretme- öğrenme merkezleri),
• Öğretim elemanlarının eğitim-araştırma-topluma hizmet etkinliklerine ayırdıkları zamanların dengesi

olmaktadır. Girdi ve çıktı göstergeleri bir sayı ile ifade edilirken, süreç ve kazanım göstergeleri ilgili göstergenin uygulanma ayrıntıları, katkıları, etkilerinin kısa (bir paragraf) anlatımı şeklinde olmalıdır. Konu ile ilgili hazır bir metnin paylaşılması asla değildir (örneğin mevzuattaki “öğrenme-öğretme destek fonları” ile ilgili bir bilgilendirme metni veya karar metni değil, bu fonların geçmiş yıl içinde kullanımının katkılarını, etkisini değerlendiren bir özet kastedilmektedir. Veya “genel mezun memnuniyetinden” anlaşılması gereken, anket formu veya anket sayısal sonuçları değil, ondan öğrenilen dersin/ sonucun/ katkının özetlenmesidir).

 

 

Temel etkinlikler arasında  eğitim-öğretim göstergeleri en fazla süreç ve kazanımları dikkate alması gereken, sayısal olmadığı için ifade etmesi de, takip etmesi de en zor olanıdır. Bu nedenle daha ayrıntılı ele alınmalıdır. Eğitim-öğretim uygulamalarındaki dört anahtar boyutun göstergeler yoluyla kapsanması önerilir[1]:

1. Öğrenme iklimi: öğrenmeye verilen kurumsal önem, öncelik ve bunun tüm paydaşlarda karşılık bulması; farkındalık; öğrenme- öğretme etkinliklerinin geliştirilmesi, yenilikci yöntemlerin benimsenmesi alanında heves ve heyecan olması; memnuniyet, aidiyet düzeylerinin yüksek olması
2. Çeşitlilik: öğrencilerin farklı geçmişlerine, yapılarına, becerilerine, öğrenme yaklaşımlarına ve gelişme tercihlerine uyumlu, esnek öğrenme programları, yöntemleri, akademik çeşitlilik sağlanması
3. Ölçme ve değerlendirme: Ölçme bir yerde, öğrenmeyi uyarmaktadır. Sadece öğrenci başarısını ölçmek için değil, öğrenme kalitesinin yükselmesi ve öğrenme sürecinin etkili olması için de etkili, adil, güvenilir bir ölçme- değerlendirme sistemi gerekmektedir. Özellikle kazanımları saptamaya yönelik ölçüt temelli ölçme-değerlendirme yöntemlerinin uygulanmasını sahiplenen kurumsal dikkat/ ilgi izlenmelidir.
4. Öğrenen ve öğretenin bağlılığı (engagement): öğrencinin öğrenme sürecine katılımı, kendini vermesi, sahiplenmesi, öğrenme toplulukları/ akran çalışma grupları kurmaları, geliştirmeleri, etkin kullanmaları; öğretim elemanlarının öğretme sürecinin öğrenmeyi tetiklemesine sahip çıkmaları.

 

 

Yıllık Performans Göstergeleri izlenerek kurumun gidişatı, içteki güçlü ve zayıf alanları, dış tehdit ve fırsatlara olası tepkiler, göreceli avantajlar irdelenir. Reaktif davranmak yerine proaktif olmanın yolları düşünülür, kararlaştırılır. Aşağıdaki konular kapsanabilir (bu liste bir reçete değil, gerektiğinde başvurulacak, adapte edilebilecek kaynaktır). Altı çizili olanlar sayısal olmayan süreç veya kazanım göstergeleridir; bir paragraf değerlendirme içermelidir. Daha kapsamlı performans göstergeleri arayanlar için Chalmers^[2] ve Leiber ^[3] önerilir :

 

1. Öğrenci kabul verileri, merkezi sınav başarısı, kabul/ başvuru oranları, kayıt/ kabul oranları[4]
2. Öğrenci sayıları, programlar, birimler ve toplam olarak[5]
3. Öğrenci nüfusunun profili (sosyal köken, bitirdiği lise türü, kadın-erkek oranı, doğal çekim alanı dışındaki oran,..),
4. Öğrenci ilerlemesi, performansı, birinci yıl sonunda devam eden öğrenci oranı, dil hazırlık başarısı, mezuniyet ve ayrılma sayıları ve oranları, ortalama mezuniyet süreleri[6],
5. Öğrenci hareketliliği[7],
6. Verilen dersler, sayısal bilgiler, başarı durumları[8],
7. Öğrencinin eğitim-öğretim sürecine katılımı, kendini vermesi, sahiplenmesi (student engagement)[i],
8. Öğrenme kazanımları[ii],
9. Programlara yönelik öğrenci memnuniyeti (program, ders, öğretim elemanı, öğrenci iş yükleri, akademik danışmanlık, öğrenci temsilciliği, hizmetlere yönelik memnuniyet vb geri bildirim süreçleri)[iii],
10. Mevcut öğrenme kaynakları ve öğrenciye verilen destekler (burs, yurt, mentor hizmeti, öğrenci konseyi hizmetleri, öğrenci toplulukları hizmeti, ..),
11. Ders yükleri (öğrenci toplam kredi, toplam ders sayısı, haftalık yüzyüze ders saati; öğretim elemanı haftalık ders yükü)
12. Ölçme-değerlendirme politikaları[iv],
13. Eğitimde çeşitliliğin izlenmesi[v],
14. Öğrenci merkezli eğitim-öğretim[vi]
15. Mezun profili tanımlamasına uyum, mezun yetkinlikleri[vii]
16. Mezun memnuniyeti (genel, eğitim, alana ait olmayan (generic) beceriler itibarıyla),
17. Mezunların kariyer yolları, istihdam edilebilirlik (iş bulma istatistikleri, işin alınan eğitime uygunluğu, ücretin tatminkarlık seviyesi, bir sonraki eğitimin değerlendirilmesi, iş veren memnuniyeti, büyük başarıların takibi),
18. Mezuniyet aşamasında yabancı dil yetkinliği,
19. Öğretim elemanının eğitim-öğretime bağlılığı, sahiplenmesi/ kaliteli öğretim (teacher engagement)[viii],
20. Öğrenme-öğretme destek fonları,
21. Öğretmede başarı/ mükemmellik ödülleri,
22. Araştırma etkinlikleri, çıktılar (yayın, patent,vb.), projeler, ödüller
23. Tam zamanlı araştırmacı sayısı, yetkinlikleri
24. Aktif araştırma yapan öğretim elemanları oranları
25. Öğretim üyesi/elemanı başına düşen üniversite içi araştırma fonu
26. Öğretim üyesi/elemanı başına düşen üniversite dışı araştırma fonu
27. Doktora programlarının verileri,
28. Ortak programlar, ortak araştırma birimlerinin verileri,
29. Topluma hizmet etkinlikleri genel tablosu,
30. Sürekli eğitim etkinlikleri[9],
31. Teknoloji transferi ve yenilikçilik etkinlikleri[10],
32. Sosyal sorumluluk projeleri[11],
33. Öğrenci-öğretim elemanı-idari personel sayıları, oranları[12],
34. İnsan kaynakları değişimleri, akademik personelin iş değiştirme hızı[13],
35. Çalışan (IK) gelişimleri
36. Akademik yaşamı destekleyen hizmetler (bilişim, kütüphane, sağlık, güvenlik, temizlik,…)
37. Öğretim elemanı-idari personel hareketliliği,
38. Atama ve yükseltme kriterleri,
39. Akademik personel yıllık performans ödülleri/ primleri,
40. Mesleki gelişim hizmetleri (öğretme- öğrenme merkezleri),
41. Öğretim elemanlarının eğitim-araştırma-topluma hizmet etkinliklerine ayırdıkları zamanların dengesi
42. Altyapı değişiklikleri,
43. Hedef odaklı yönetim anlayışı,
44. Karar mekanizmalarının kompozisyonu,
45. Öğrencilerin kararlara katılımı,
46. Finans kaynaklarının çeşitliliği,
47. Bütçe kaynaklarının paylaşılma mekanizması
48. Gelir kaynakları, kalemleri ve değişimleri, bütçe ve kullanımı verileri,
49. Dış paydaş iletişim platformlarının verileri,
50. Paydaş memnuniyeti,
51. Uluslararasılaşma verileri,
52. Misyon ifadesi[ix]
53. Kurum gelişme verileri, kurum itibarı,
54. Kurumun dünya geneli ile ilişkileri.

 

Eğilimlerin (trend) değerlendirilmesi, rakiplerle karşılaştırma, en yüksek/ en düşük/ ortalama değerlerinin, aşırılıkların (outliers) analizi işlemlerinin birkaç yıl takibi sonucunda bu göstergelerden kurum için en önemlileri Temel Performans Göstergeleri, TPG (Key Performance Indicators, KPI) olarak tanımlanır. Bu göstergeler orta ve uzun vadeli üst seviyedeki planlamalarda, kurumun kendini tanıtma süreçlerinde, kurumsal karşılaştırma (benchmarking) işlemlerinde sürekli göz önünde tutulur. Stratejilerin seçimi, başarısı, sürekliliği, revizyonu hep bu TPG’ler yoluyla değerlendirilecektir.

 

 

 

[1] Denise Chalmers, “Teaching and Learning Quality Indicators in Australian Universities”, IMHE Conference, 2008, Paris

[2] Denise Chalmers, “Indicators of University Teaching and Learning Quality” Australian Learning and Teaching Council report, April 2008

[3] Theodor Leiber, “A general theory of learning and teaching and a related comprehensive set of performance indicators for higher education institutions” Quality In Higher Education 2019, Vol. 25, No. 1, 76–97. Ayrıca: SQELT projesi sonuçları için bakınız https://ec.europa.eu/programmes/erasmus-plus/projects/eplus-project-details/#project/b8a93e06-2000-4a82-9fac-90b3bcacadec ; Search | Erasmus+ (europa.eu) 

[4] Yıllık Perf Göstergeleri, Ornek s.2-4

[5] Yıllık Perf Göstergeleri, Ornek s.1

[6] Yıllık Perf Göstergeleri, Ornek s.8-10

[7] Yıllık Perf Göstergeleri, Ornek s.4-5

[8] Yıllık Perf Göstergeleri, Ornek s.5-8

[9] Bakınız: Avrupa Komisyonu, E3M projesi, final set of continuing education indicators, 18 adet

[10] Bakınız: Avrupa Komisyonu, E3M projesi, final set of technology transfer and innovation indicators, 20 adet

[11] Bakınız: Avrupa Komisyonu, E3M projesi, final set of social engagement indicators, 16 adet

[12] Yıllık Perf Göstergeleri, Ornek s.15-17

[13] Yıllık Perf Göstergeleri, Ornek s.17

[i]  Öğrencinin eğitim-öğretim sürecine katılımı, kendini vermesi, sahiplenmesi (student engagement), yani derse dikkat etmesi, soru sorması, sorulan sorulara cevap üretmesi, tartışmalara katılması, eğitime ait tüm uygulamalara aktif katılması ve eğitim deneyimlerini zenginleştirmesi beklenir. Bunun ne kadar başarıldığını kurum takip etmek durumundadır. Katılım uygun öğrenci anketleriyle (NSSE tipi) değerlendirilebilir. Ulusal düzeyde böyle bir anket olmadığı için kurum özelinde hazırlanması gerekecektir. Bunun dışında sınıfta katılımın izlenmesi, katılıma not/ puan verilmesi, vaka temelli öğrenme sürecinde küçük grup katılımının izlenmesi, mülakat, gözlem, öğrencilerin kendi deneyimlerini aktardıkları, kendi katılımlarını değerlendirdikleri rapor hazırlamaları, öğrenme toplulukları/ akran çalışma grupları kurmaları, geliştirmeleri, etkin kullanmalarının takibi gibi yöntemler denenebilir. Öğrenme süreciyle ilgili bilgi amaçlanır, öğrencilerin ne öğrendiğin ölçümü yapılmaz.  Bu denemelerin sonuçları, kuruma söyledikleri (gelişmeye açık alanlar), ortak çıkarsamalar, bunların yorumlanması kurum sorumluluğu olarak ele alınmalıdır.

[ii] Öğrenme kazanımlarının aktarılmasındaki başarının değerlendirilmesi için kurum bir metod geliştirmelidir. Aşağıdaki saptamaların kullanılması düşünülebilir:

Ders kazanımları

Son bir yıl süresince: Ders kazanımlarının izlenme tasarımı/ planı vardır ve  …  adresinde ilan edilmiştir (doğru oranı, yüzde olarak verilir).

Son bir yıl süresince: Ders kazanımları izlenmiş ve kontrol etme/ önlem alma adımları gerçekleştirilmiştir; kanıtlar … adresinde sunulmuştur (programların gerçekleştirme ortalaması ve aralığı, yüzde olarak verilir).

Son bir yıl süresince: Her ders için ders kazanımlarının sağlanma düzeyi (1-5 en iyi) saptanmıştır ve  … adresinde ilan edilmiştir; programlar itibarı ile bunların ortalaması (X/5.0), aralığı (.. -..) dır.

Şu anda: Gelişmeye yakın hususlar ….  dır.

Şu anda: En zayıf hususlar ……..  dır.

Program çıktıları

Son bir yıl süresince: Program çıktılarının izlenme tasarımı/ planı vardır ve  … adresinde ilan edilmiştir (doğru oranı, yüzde olarak verilir).

Son bir yıl süresince: Programların çıktıları izlenmiş ve kontrol etme/ önlem alma adımları gerçekleştirilmiştir; kanıtlar … adresinde sunulmuştur (programların gerçekleştirme ortalaması ve aralığı, yüzde olarak verilir).

Son bir yıl süresince: Her program için program çıktılarının sağlanma düzeyi (1-5 en iyi) saptanmıştır ve  … adresinde ilan edilmiştir; bunların ortalaması (X/5.0), aralığı (.. -..) dır.

Şu anda: Gelişmeye yakın hususlar ….  dır.

Şu anda: En zayıf hususlar ……..  dır.

[iii]  Bu memnuniyet alanlarının her biri ayrı anket, gözlem, izleme konusudur. Memnuniyet düzeylerinin anlamlı değerlendirilmesi, yıllar içinde değişimin izlenmesi için, önlem almaya götürecek sağlıklı, güvenilir bilgi üretilmesi (her bir sorusu farklı bir yönü sorgulayan anketlerin ortalamasını almak gibi işlemsel ama anlamsız davranıştan kaçınarak) kurumsal tarza bağlıdır. Memnuniyet alanlarının sahipleri bu bilgileri derleyerek kurumun kendini geliştirme ve hesap verme iddialarına uygun hale getirmesi beklenir. Akademik danışmanlık anketleri, örneğin, bölüm kurullarında değerlendirildikten sonra, fakülte kurullarında ve takiben akademik işlerden sorumlu RY öncülüğünde, genel durumu, zayıf ve güçlü yönlerini, bir sonraki yıl için beklenen gelişmeleri, vb hususları değerlendiren bir formata dönüştürülebilir.

[iv] Etkili, adil, güvenilir ve süreklilik içeren (çok kere sunulan) ölçme- değerlendirme yöntemlerinin kurumda algılanması, sahiplenilmesi, yaygınlığı değerlendirilmek durumundadır. Özellikle kazanımları saptamaya yönelik olarak ölçüt temelli ölçme-değerlendirme yöntemlerinin uygulanması, başarısı izlenmelidir. İzlemede kullanılacak performans göstergesi kurum özelliklerine göre tasarlanmalıdır. Örneğin, ölçme- değerlendirme yöntemleri bölüm kurullarında değerlendirildikten sonra, fakülte kurullarında ve takiben akademik işlerden sorumlu RY öncülüğünde irdelenerek, genel durumu, zayıf ve güçlü yönlerini, bir sonraki yıl için beklenen gelişmeleri içeren bir metin oluşturulabilir.

[v] Öğrencilerin farklı geçmişlerine, yapılarına, becerilerine, öğrenme yaklaşımlarına ve gelişme tercihlerine uyumlu, esnek öğrenme programları, yöntemleri bulunmasına; akademik çeşitlilik sağlanmasına yönelik etkinliklerin değerlendirilmesi bu konuda yıllar içinde ilerleme kaydetmenin önkoşulu olmaktadır. Üniversiteye girişte, örneğin, üniversite veya fakülteye öğrenci kabul ederek onların 1-2 yıllık deneyimden sonra mesleklerini/ anadallarını seçmelerine izin vermek veya müfredata yan dal imkanı koymak ve bu esnekliğin ne derece etkili olduğunu takip etmek düşünülebilir.

[vi] Öğrenci merkezlilik tanımı, öğrencinin kendi eğitim sürecinde daha aktif rol alarak, seçimlerini yapmak, yaptığı seçimlerin kazanımlarını bilmek, fikirlerini paylaşmak- öğrenme sorumluluğunu daha fazla üstlenmek, konuları öğrenmekte karakterine uygun yöntemleri seçmek, akranları ile öğrenme sürecini yönlendirmek, sadece bilgi aktarımı değil derin öğrenme ve anlamayı hedeflemek, karşılıklı saygıya dayanan öğreten- öğrenen ilişkisi geliştirmek olarak kabul edilmektedir. ‘Ne kadar öğrenci merkezli’ sorgusu kurumun çeşitli politika ve hedeflerinde gizlidir. Bunların bütününü dikkate alan ve gerçekleşen uygulamalara yansımalarını değerlendiren bir gösterge tanımlamak kurumun görevi olmaktadır.

[vii] Mezun yetkinlikleri, alanı ile ilgili mesleki beceriler ve alana ait olmayan (generic) becerilerin bütünüdür. Kurum her iki grup beceriler itibarı ile genel bir gözlem yapabilmeli, bu gözlemi dayandıracağı temelleri net olarak ifade edebilmelidir. Gözlemin sağlıklı, inandırıcı ve kalıcı olması kanıtlara, bunların yorumuna bağlı olacaktır. Misyon ifadesinde kulağa hoş gelen sorgulayıcı, araştırıcı, yenilikçi öğrenci yetiştirme iddialarının, örneğin, mezunların yetkinlikleri ile ne kadar uyumlu olduğu ortaya konmak durumundadır. Türkçe eğitim yapan üniversitelerde bile B1 düzeyinde yabancı dil yetkinliği iddiası öncelikle (TYYÇ taahhüdü olması nedeniyle) kanıtlanmalıdır.

[viii] Öğretim elemanı etkinliği, öğretme sürecinde ve önceki hazırlık aşamasında ne kadar aktif, ilgili ve etkili, kendini vererek çalıştığı, ders verdiği konuda bilimsel çalışmalar yapması, öğretmeye ne kadar zaman ayırdığı, sınıf zamanını ders anlatma-grup çalışması- öğrenci sunumu- deneysel etkinlik- alan çalışmalarına nasıl paylaştırdığı gibi bileşenleri içerir. Öğrenci geri bildirimi, meslekdaş geri bildirimi ve yönetici gözlemi vasıtasıyla izlenebilir.

[ix] Misyon, kurumun var oluş nedenini, amacını ve mükemmelliği algılama tarzını belirten bir ‘kamuoyuna deklarasyon’dur. Dolayısı ile kurumlar misyon doğrultusundaki gelişmelerinden sorumludur ve bu gelişmeyi sistematik olarak izlemekle yükümlüdür.