21 Eylül 2011 tarihinde yayınlanan 2011 URAP Türk Üniversite Sıralamaları üzerine aynı hafta içinde yazmış olduğum yazı aşağıda. 2012 URAP sıralamasının Ekim 2012’de yayınlanmasını bekliyorum. Umuyorum aşağıda bahsettiğim metodolojik sorunlar 2012 sıralamasında çözümlenir, ve daha sağlıklı bir sıralama ortaya çıkar.
“2011 ODTÜ URAP Türk üniversite sıralamaları geçtiğimiz hafta sonu açıklandı. Bu sıralamayı çok önemli buluyorum ve ilk yapıldığından bu yana destekliyorum. Bu konuda benim de geçmişte yaptığım çalışmalar mevcut. Geçen sene ODTÜ’de yapılan uluslararası kongreye Türkiye’den tek davetli konuşmacı olarak katıldım ve URAP ekibi ile birkaç değişik ortamda bir araya gelerek bilgi ve görüş alışverişi fırsatı buldum.
Öncelikle bu sıralamada ciddi bazı sorunlar olduğuna dikkat çekmek istiyorum. URAP ekibi veri toplama konusunda çok titiz davranıyor ve sonuçları gayet şeffaf bir şekilde kamuoyu ile paylaşıyor. Fakat metodolojilerinde bir sorun var: yeni kurulan üniversiteler sonuçları ciddi boyutlarda etkiliyorlar. Aşağıda ayrıntılarıyla açıklayacağım bu sorun hep vardı, ama bu seneki çalışmada çok daha net bir şekilde ortaya çıktı. URAP ekibine durumu bildirdim ve bu konuda gelecek yıllarda bir önlem almalarını bekliyorum. Bu yılki sonuçlara bakarken de çok dikkatli olmak gerekiyor.
Sıralamada kullanılan 9 kriterden birisi ‘öğretim üyesi başına düşen yıllık endeksli makale sayısı’. Bu oran tüm Türkiye için 2010 yılında 0,65 olarak gerçekleşti. URAP çalışmasında oranı en yüksek üniversiteye 100 puan veriliyor ve diğerlerinin puanları buna oranlı olarak belirleniyor. Bu uygulama uluslararası kabul görmüş bir uygulama olmakla birlikte yeni açılan bir üniversite bu uygulamanın altını üstüne getirebilmektedir. Örneğin, 2008 yılında açılmış olan Şırnak Üniversitesi’nde, 2009 yılında sadece bir öğretim üyesi bulunmakta idi ve bu öğretim üyesinin 2010 yılındaki yayın sayısı 17 olarak gerçekleşti. Tek hocalı Şırnak Üniversitesi bu kriterden 100 puan aldı. Fakat esas sorun bu değil. Bu nedenle ölçek sıkışmaya uğradı çünkü diğer bütün üniversitelerin performansı bu gerçek ötesi yüksek standart ile karşılaştırıldı. Bunun sonucu olarak, 2010 yılında hoca başına iki makale üretmiş olan bir üniversite (ki bu uluslararası standartlara göre önemli bir başarıdır) 100 üzerinden sadece 54 puan alabildi. Türkiye ortalamasını ancak tutturan başka bir üniversite ise 50 puan aldı. Yani dünya çapında bir performansa (yılda iki makale/hoca) 54 puan verilirken, ülke ortalaması performansına (yılda 0,67 makale/hoca) 50 puan verildi. Halbuki bu farkın çok daha yüksek olması gerekir. Özetle, bu kriterin sıralamadaki belirleyici gücü büyük ölçüde azaltılmış oldu. Yayın oranı yüksek üniversiteler sıralamada yukarı çıkma fırsatından yararlanamadılar.
Maalesef aynı sorun diğer kriterlerin puanlamasında da kendini gösterdi. Örneğin, öğretim üyesi başına düşen toplam bilimsel doküman sayısında bu sefer 3 hocalı Tunceli Üniversitesi 19,33 doküman ile başı çekiyor. Bu kriterde 7,75 doküman ile ODTÜ ancak 64 puan alabiliyor, öte yandan ülke ortalaması olan 3,2 doküman ile 50 puana erişilebiliyor. Tahmin edilebileceği gibi, yeni açılan okullar, diğer kriterlerde de buna benzer anomalilere yol açabilirler. Örneğin bir üniversitenin açıldığı sene almış olduğu hocaların ilk sene yapmış oldukları yayınlar, aslında önemli ölçüde o üniversiteye gelmeden önce yapılmış olan çalışmalara dayanır. Bu yayınlar, eğer iyi dergilerde basılırsa yüksek sayıda atıf alabilirler fakat bu atıfların yeni açılan üniversiteye atfedilmesi de bir sorundur. Hoca sayısının az olduğu durumlarda bu ciddi bir sapmaya yol açabilir. Bir örnek daha vermek gerekirse, yeni açılan bir üniversitenin ilk sene program başına 3 öğretim üyesi alma zorunluluğu vardır. Bu üniversitenin program kontenjanları düşük tutulmuş işe, ilk sene için anormal yüksek bir hoca/öğrenci oranı ortaya çıkabilir.
Bütün bu sorunları ortadan kaldırmanın yolu bellidir: yeni açılan üniversiteleri belirli bir kriteri sağlayana kadar sıralamaya almamak. Örneğin, bu yılki URAP çalışmasında 2006-2010 yılı arasında yapılan yayınlara alınan atıfların kullanıldığı göz önüne alınır ise, 2006’dan sonra kurulmuş olan üniversitelerin bu çalışmaya dahil edilmemesi makul bir çözüm olarak ortaya çıkabilir. Başka bir kriter de üniversitedeki öğretim üyesi sayısı olabilir. Örneğin, öğretim üyesi sayısı 30’un altındaki üniversiteler sıralama dışı tutulabilir.
Bu tür bir çözüme gidilmemiş olması çalışmanın güvenilirliğini ciddi olarak sarsmaktadır. Tahmin edilebileceği gibi yeni kurulan üniversiteler bu çalışmada ciddi sıralama kazanımı veya kaybı yaşayabilmektedir. Örneğin, 2008 yılında kurulan Ardahan Üniversitesi geçen seneki sıralamada 2000’den sonra kurulan üniversiteler arasında 6. sırada iken bu sene 43. sıraya gerilemiştir. Tabii ki Ardahan Üniversitesi bir sene içinde gerçek anlamda bu kadar gerileme kaydetmemiştir. Bu iki sıralama rakamı da güvenilir değildir. Bu üniversitenin sıralamadaki gerçek konumu en erken 5 sene sonra belirlenebilir. 2008’de kurulan bir üniversite, 2009 yılının hoca ve 2010 yılının yayın rakamları ile yapılan bir karşılaştırmaya dahil edilmemelidir.
Özel konumu nedeniyle çok az sayıda öğrencisi ve çok fazla sayıda öğretim üyesi olan GATA’nın çalışmaya şu anda kullanılan metodoloji ile dahil edilmesi hoca başına düşen öğrenci kriterinde yukarıda bahsettiğim türden bir sıkışmaya neden olmaktadır. GATA’da bir hocaya sadece 1,8 öğrenci düşmektedir. Ülke çapında bu oran 33 iken, 1,8’i ölçeği belirleyen standart olarak almak, sonuçları ciddi olarak etkilemektedir. Yani yukarıda detaylandırdığım sıkışma sorunu sadece yeni kurulan üniversitelerden kaynaklanmamaktadır; özel konumda–yeni kurulmuş olmak da özel bir konumdur–olan bütün üniversiteler için geçerlidir. Bu üniversiteleri çalışmaya dahil etmek istiyorsak, diğer bir alternatif de normalizasyon için özel konumda olan üniversiteler yerine, ikinci veya üçüncü sıradaki üniversitenin istatistiklerini normalizasyon standardı olarak kullanmak olabilir.
Kanımca çalışmadaki tek sorun bu değil; ama en net ve düzeltmesi en kolay sorun bu. Bitirmeden önce, gözlemlediğim ikinci bir sorunu da özetlemek istiyorum. Puanlar ve genel sıralama belirlendikten sonra, farklı gruplardaki üniversiteler kendi aralarında sıralanmaktadır. Eğer vakıf üniversitelerini kendi aralarında sıralayacak isek, devlet üniversitelerinin de dahil edildiği bir puanlama sisteminden alınan puanlara göre sıralamak yerine, puanlamayı sadece vakıf üniversitelerini göz önüne alarak yeniden yapmak daha makul olabilir. Kanımca vakıf üniversiteleri arasında en yüksek makale/hoca oranını, atıf sayısı/hoca ve hoca/öğrenci oranını tutturan üniversitelerin “bu ligde” 100 puan almaları gereklidir. Aynı “kendi sınıfı içinde değerlendirme” argümanı, tıp fakültesi olan ve olmayan üniversite sıralamaları için ve 2000’den önce/sonra kurulan üniversite sıralamaları için de geçerlidir.
Yukarıda bahsettiğim nispeten teknik sorunların ötesinde, üniversite sıralamalarının belki de en büyük zayıflığı yeterince etraflı olmamalarıdır. Maalesef sıralamalar için nispeten kolayca ölçülebilecek kriterler kullanılıyor. Fakat yayın sayısı, atıf sayısı, doktora öğrencisi sayısı gibi kriterler üniversitenin topluma gerçek katkısını bütünüyle değerlendirmede yetersiz kalıyorlar. Bu tür kriterler mutlaka önemli, fakat bunların yanında ölçül(e)meyen başka önemli kriterler de bulunuyor. Eğitimci gözüyle baktığımızda önemli olan birçok kriter maalesef ölçüm sorunları nedeniyle sıralamalara pek dahil edilemiyor. Örneğin sınıflardaki ortalama öğrenci sayısı, dersi veren öğretim üyesinin deneyimi ve almış olduğu eğitimin kalitesi, eğitimde kullanılan teknolojiler, pedagojik yaklaşım, grup projeleri, stajlar, yurt dışı deneyim olanakları gibi konular özellikle üniversite seçmeye çalışan lisans öğrenci adayını yakından ilgilendirirken, üniversite sıralamalarına dâhil edil(e)miyor. Bunların yanında, üniversitelerin topluma katkısını daha sağlıklı değerlendirmeye yarayacak birçok faktör de (örneğin patent sayısı, üniversiteden çıkan şirketlerin sayısı, cirosu ve yarattığı istihdam, üniversitenin topluma ekonomik etkisi, verilen halka açık eğitimler, STK’lar ile işbirlikleri, dergi editörlükleri, düzenlenen kongreler, danışmanlık hizmetleri) maalesef sıralamalara kolayca dâhil edilemiyor. Dolayısıyla üniversite sıralamalarını değerlendirirken dikkatli olmak ve bu sıralamalara hak ettiklerinden daha fazla önem atfetmemek gerekiyor.”
Prof. Dr. Erhan Erkut, Rektör
Özyeğin Üniversitesi