Kodlayıcılar Arası Uyum

Kodlayıcılar arası uyum, bir ölçümün kimin yaptığından bağımsız olup olmadığını sorar. Açık uçlu yanıtların temalara ayrılması, görüşme kayıtlarının kategorilere yerleştirilmesi ya da bir ürün görselinin ölçütlere göre puanlanması gibi işlerde karar insan yargısıyla verilir ve aynı malzemeye iki kişinin aynı kodu vermesi kendiliğinden beklenemez. Yüzde uyum burada yanıltıcıdır, çünkü iki kişi rastgele kod atasa bile belirli bir orana ulaşılır; kappa katsayıları şansla açıklanabilen bu payı düşerek geriye kalan uyumu bildirir. Sayısal puanlamada ise soru kategori eşleşmesinden çok puanların aynı düzende seyretmesidir ve bunu sınıf içi korelasyon ölçer. YouReply Nicel Analiz bu üç ölçüyü aynı yöntemde toplar. Tam olarak iki kodlayıcı bulunduğunda Cohen kappa, ona ait tek yönlü p değeri ve iki kodlayıcının kararlarını karşılaştıran bir uyum tablosu hesaplanır; üç ve daha çok kodlayıcıda Fleiss kappa devreye girer. Sınıf içi korelasyon sayısal veride hesaplanır ve tek ölçüm ile ortalama ölçüm olmak üzere iki değer hâlinde döner. Ölçü seçimi parametredir ve varsayılan olarak hepsi istenir; bu durumda kodlayıcı sayısına uymayan bir ölçü sessizce atlanır, hata verilmez. Kappa değerleri Landis ve Koch bantlarıyla, sınıf içi korelasyon Koo ve Li bantlarıyla etiketlenir.

• Açık uçlu yanıtları temalara ayıran iki kodlayıcı aynı kararları veriyor mu?
• Üç uzmanın görüşme bölümlerine verdiği kategori kodları arasında şanstan arta kalan uyum ne kadar?
• Aynı sunumları puanlayan değerlendiricilerin verdiği sayısal notlar birbirinin yerine geçebilir mi?
• Kodlama kılavuzunu güncelledikten sonra kodlayıcılar arası uyum yükseldi mi?

• Bir ölçüm insan yargısıyla üretildiğinde ve ölçümün kodlayıcıdan bağımsızlığının gösterilmesi gerektiğinde.
• Nitel malzemenin kategorilere ayrılmasında, kodlama kılavuzunun yeterince açık olduğunun kanıtlanması istendiğinde.
• En az iki kodlayıcı aynı birimlerin tümünü ya da ortak bir alt kümesini bağımsız olarak kodladığında.
• Yüzde uyum bildirmek yetersiz görüldüğünde; özellikle kategorilerden biri baskın olduğunda şans düzeltmesi zorunlu hâle gelir.

• Kodlayıcı sütunları: her kodlayıcı için bir sütun ve her satırda o kodlayıcının aynı birime verdiği kod. En az iki sütun gerekir.
• Satırlar kodlanan birimlerdir: bir açık uçlu yanıt, bir görüşme bölümü ya da bir görsel. Birim sıralaması bütün sütunlarda aynı olmalıdır.
• Kategorik kodlar için kappa, sayısal puanlamalar için sınıf içi korelasyon uygundur; aynı sütun kümesinde ikisi birlikte istenebilir.
• Kod etiketleri sütunlar arasında birebir aynı yazılmalıdır; aynı kategorinin iki sütunda farklı yazımı uyumsuzluk olarak sayılır.

Kodlayıcıların bağımsız çalışması

Her kodlayıcı kararını ötekinin kodunu görmeden vermelidir. Birlikte oturup tartışarak kodlanmış malzemede uyum yapay biçimde yükselir ve katsayı ölçümün güvenilirliğini değil uzlaşma sürecini yansıtır.

Kategori kümesinin sabit olması

Kappa, bütün kodlayıcıların aynı kategori listesinden seçim yaptığı varsayımıyla hesaplanır. Bir kodlayıcı listede olmayan bir kod kullandığında ya da kategorileri kendince birleştirdiğinde karşılaştırma tabanı kayar.

Kategorilerin dengeli dağılması

Kodlayıcılar birimlerin neredeyse tümünü aynı kategoriye yerleştirdiğinde kappa beklenmedik biçimde düşer, çünkü şans uyumu çok yüksek hesaplanır. Bu, kappa paradoksu olarak bilinir: yüzde uyum yüzde doksanın üzerindeyken kappa orta düzeyde kalabilir.

Kategoriler arasında ağırlık ayrımı gözetilmemesi

Ağırlıksız kappa bütün uyumsuzlukları eşit sayar. Sıralı kategorilerde bu bir sorundur: komşu iki basamak arasındaki ayrım ile en uçtaki iki basamak arasındaki ayrım aynı ağırlıkla cezalandırılır.

Sınıf içi korelasyonun biçim seçimi

Sınıf içi korelasyonun alan yazında birbirinden ayrışan birkaç biçimi vardır: kodlayıcıların rastgele mi seçildiği, tutarlılığın mı kesin uyumun mu ölçüldüğü ve sonucun tek kodlayıcıya mı ortalamaya mı dayandığı bu biçimleri belirler.

• Kodlayıcıların bağımsız çalışması: Kodlamanın bağımsız yapıldığı denetlenemez; motor yalnız sütunlardaki kodları görür ve nasıl üretildiklerini bilemez. Bu bütünüyle araştırma sürecine ilişkin bir sorumluluktur.
• Kategori kümesinin sabit olması: Kod etiketleri sütunlar arasında karşılaştırılır ama yazım farkları uyarılmaz: aynı kategorinin iki sütunda farklı yazılması sessizce uyumsuzluk sayılır. Etiketleri Veri sekmesinde gözden geçirip birebir aynı hâle getirmeniz gerekir.
• Kategorilerin dengeli dağılması: Kategori dağılımının dengesi değerlendirilmez ve paradoks durumu için uyarı üretilmez. İki kodlayıcıda dönen uyum tablosu bu durumu görmenin en pratik yolu: kararların köşegenin tek bir hücresinde yığıldığını orada görürsünüz.
• Kategoriler arasında ağırlık ayrımı gözetilmemesi: Yalnız ağırlıksız kappa hesaplanır; sıralı kategoriler için doğrusal ya da karesel ağırlıklandırma seçeneği bulunmaz. Kodlarınız sıralıysa katsayı uyumu olduğundan düşük gösterir ve bunu sınırlama olarak bildirmeniz gerekir.
• Sınıf içi korelasyonun biçim seçimi: Motor sınıf içi korelasyonun tek bir biçimini hesaplar ve biçim seçimi sunulmaz; yalnız tek ölçüm ile ortalama ölçüm değerleri ayrı ayrı verilir. Yayında belirli bir ICC biçimi isteniyorsa bunu panel dışında hesaplamanız gerekir.

1. 1Kodlama verinizi her kodlayıcı bir sütun, her kodlanan birim bir satır olacak biçimde düzenleyip panele yükleyin.
2. 2Veri sekmesinde kod etiketlerini karşılaştırın: aynı kategorinin bütün sütunlarda birebir aynı yazıldığından emin olun, büyük harf ve boşluk farkları dahil.
3. 3Değişken sekmesinde kodlayıcı sütunlarının ölçüm düzeyini belirleyin; kategorik kodlar adsal, sayısal puanlamalar ölçek olarak işaretlenir.
4. 4Analiz sekmesinde Güvenilirlik kategorisinden yöntemi seçin ve parametre formunda kodlayıcı sütunlarını işaretleyin.
5. 5Ölçü seçeneğini varsayılan hâliyle bırakabilirsiniz; bu durumda kodlayıcı sayınıza uyan ölçüler hesaplanır, uymayanlar sessizce atlanır ve çıktıda görünmez.
6. 6Analizi çalıştırın. İki kodlayıcıda uyum tablosunu okumadan katsayıyı yorumlamayın: uyumsuzlukların hangi kategori çiftinde yığıldığı kodlama kılavuzunun nerede belirsiz kaldığını söyler. Bu yöntemde grafik üretilmez; tabloları Excel olarak indirebilirsiniz.

Cohen kappa

Tam olarak iki kodlayıcı bulunduğunda hesaplanır ve şans uyumundan arındırılmış uyumu verir. Kodlayıcı sayısı ikiden çoksa bu ölçü hesaplanmaz ve çıktıda görünmez.

Cohen kappa için tek yönlü p değeri

Uyumun sıfırdan, yani şans düzeyinden yukarı ayrıştığına ilişkin anlamlılık değeri. Bu sınama uyumun yeterli olduğunu göstermez, yalnız şanstan fazla olduğunu gösterir.

Uyum tablosu

İki kodlayıcının kararlarını karşı karşıya getiren çapraz tablo. Köşegendeki hücreler anlaşılan kararları, dışındakiler uyumsuzlukları taşır ve hangi kategori çiftinin karıştığı buradan okunur.

Fleiss kappa

Üç ve daha çok kodlayıcı bulunduğunda hesaplanan çoklu uyum katsayısı. Kodlayıcı çiftleri ayrı ayrı verilmez, bütün kodlayıcılar için tek bir değer döner.

Sınıf içi korelasyon

Sayısal kodlamalarda hesaplanır ve puanların kodlayıcılar arasında ne ölçüde aynı düzende seyrettiğini verir. Tek ölçüm değeri bir kodlayıcının puanına, ortalama ölçüm değeri kodlayıcı ortalamasına güvenilebilirliği anlatır.

Kappa için yorum etiketi

Landis ve Koch bantlarına göre konulan etiket: 0,21 altı önemsiz, 0,41 altı zayıf, 0,61 altı orta, 0,81 altı önemli, üzeri neredeyse kusursuz uyum. Bantlar alan yazındaki gelenektir, kesin sınırlar değildir.

Sınıf içi korelasyon için yorum etiketi

Koo ve Li bantlarına göre konulan etiket: 0,5 altı zayıf, 0,75 altı orta, 0,9 altı iyi, üzeri mükemmel güvenilirlik. Tek ölçüm ile ortalama ölçüm değerleri farklı bantlara düşebilir.

Hesaplanan ölçüler

Hangi ölçülerin döndüğü kodlayıcı sayısına ve verinin türüne bağlıdır. Varsayılan ayarda uymayan bir ölçü hata vermeden atlanır, bu yüzden beklediğiniz bir katsayıyı görmüyorsanız kodlayıcı sayınızı ve veri türünü gözden geçirmeniz gerekir.

Kappa

Kappa, şansla açıklanabilen uyum payı düşüldükten sonra kalan uyumdur ve bir etki büyüklüğü gibi doğrudan okunur. Sıfır şans düzeyinde uyum, bir kusursuz uyum demektir; olumsuz değerler kodlayıcıların şanstan daha kötü anlaştığını, yani genellikle kılavuzun ters anlaşıldığını gösterir. Yayın ölçütü olarak yaygın beklenti 0,60 üzeridir, yerleşmiş kodlama kılavuzlarında 0,80 istenir. Bantların dağılımlara duyarlı olduğunu unutmayın: dengesiz bir kategori dağılımında aynı uyum düzeyi daha düşük bir kappa üretir.

Sınıf içi korelasyon

Puan değişkenliğinin ne kadarının kodlanan birimler arasındaki gerçek ayrımdan, ne kadarının kodlayıcı farkından geldiğini özetler. Tek ölçüm değeri tek bir kodlayıcının puanına dayanmanın güvenilirliğini, ortalama ölçüm değeri kodlayıcı ortalamasını kullanmanın güvenilirliğini verir ve ikincisi her zaman birincisinden büyüktür. Hangisini bildireceğinizi araştırma tasarımınız belirler: son veri kümesinde tek kodlayıcının puanı kullanılacaksa tek ölçüm değeri, ortalama kullanılacaksa ortalama ölçüm değeri geçerli ölçüdür.

Ne kappa ne sınıf içi korelasyon için aralık döndürülür; çıktıda nokta tahminler, yorum etiketleri ve iki kodlayıcı durumunda kappanın tek yönlü p değeri bulunur. Bu eksiklik küçük kodlama kümelerinde belirgin biçimde önemlidir: elli birim üzerinden hesaplanan bir kappa geniş bir belirsizlikle gelir ve 0,61 eşiğinin hangi yanında durduğu örnekleme bağlı olarak değişebilir. Yayınların çoğu kappa ve sınıf içi korelasyon için yüzde 95 aralık istediğinden, bu değerleri panel dışında hesaplamanız gerekir. P değerinin aralığın yerine geçmediğini de vurgulamak gerekir: o sınama yalnız uyumun şans düzeyinin üstünde olduğunu söyler, uyumun kabul edilebilir düzeyde olduğunu söylemez.

Aşağıdaki sayılar temsili bir örnektir; gerçek bir araştırmanın ya da gerçek bir kullanıcının verisi değildir.

Araştırma sorusu

Temsili bir nitel araştırmada, açık uçlu yanıtları beş temaya ayıran iki kodlayıcı arasındaki uyum kodlama kılavuzunu kullanmaya yetecek düzeyde mi?

Değişkenler

Kodlayıcı 1: birinci araştırmacının her yanıta verdiği tema kodu · Kodlayıcı 2: ikinci araştırmacının aynı yanıtlara verdiği tema kodu · Birim: bağımsız olarak kodlanmış 240 açık uçlu yanıt

Örnek sonuç

Cohen kappa 0,68 (tek yönlü p < 0,001, yorum etiketi: önemli uyum), gözlenen yüzde uyum 76. Uyum tablosunda uyumsuzlukların 34'ü 240 birimin tamamına dağılmış, bunların 21'i 'hizmet hızı' ile 'personel tutumu' temaları arasında yığılmış. Kodlayıcı sayısı iki olduğu için Fleiss kappa hesaplanmadı; kodlar kategorik olduğu için sınıf içi korelasyon da döndürülmedi.

Yorum

Kappa 0,68 ile Landis ve Koch bantlarında önemli uyum aralığında ve yaygın yayın ölçütü olan 0,60 sınırının üzerinde, dolayısıyla kodlama kılavuzu kullanılabilir durumda. Gözlenen yüzde uyumun 76 olması ile kappanın 0,68 çıkması arasındaki açıklık şans düzeltmesinin ne kadar pay aldığını gösteriyor ve yalnız yüzdeye bakmanın neden yetmediğini anlatıyor. Daha öğretici olan uyum tablosu: uyumsuzlukların üçte ikisi yalnız iki tema arasında toplanmış, yani sorun kılavuzun bütününde değil bu iki temanın sınırında. Pratik adım, o iki temanın tanımını ayırt edici ölçütlerle keskinleştirmek ve tartışmalı yanıtları yeniden kodlamaktır. Katsayı için aralık döndürülmediği için 240 birimlik bu kestirimin 0,61 eşiğinden ne kadar uzakta güvenle durduğu bilinemez.

Araştırma sorusu: Üç kodlayıcı aynı yanıtları aynı kategorilere yerleştiriyor mu ve üç kodlayıcıda uyum Fleiss kappa ile mi ölçülüyor?

Değerlendirici sütunları

kodlayici_1,kodlayici_2,kodlayici_3

Hesaplama künyesi: scipy 1.18.0 · statsmodels 0.14.6 · scikit-learn 1.9.0 · numpy 2.5.1 · pandas 3.0.5 · semopy 2.3.11 · 89fc29a · Veri tohumu: 20260914

İki kodlayıcı arasındaki uyum önemli düzeydeydi (Cohen kappa = 0,68, p < 0,001; gözlenen uyum yüzde 76; 240 birim), uyumsuzlukların çoğu iki komşu tema arasında toplandı.

APA düzenine yakın örnek cümle; sayılar temsilidir.

• Kappa ve sınıf içi korelasyon için güven aralığı döndürülmez; küçük kodlama kümelerinde katsayının hangi eşiğin yanında durduğu belirsiz kalır.
• Yalnız ağırlıksız kappa hesaplanır, bu yüzden sıralı kategorilerde komşu basamak uyumsuzlukları en uçtaki uyumsuzluklarla aynı ağırlıkta cezalandırılır.
• Sınıf içi korelasyonun tek bir biçimi hesaplanır ve biçim seçimi sunulmadığı için belirli bir ICC biçimi isteyen yayın ölçütleri panel içinde karşılanamaz.
• Kappa kategori dağılımına duyarlıdır: baskın bir kategori varken yüksek yüzde uyuma düşük bir kappa eşlik edebilir ve bu durum için uyarı üretilmez.
• Üç ve daha çok kodlayıcıda yalnız tek bir Fleiss değeri döner; hangi kodlayıcı çiftinin ayrıştığı görülemez ve kodlayıcı başına uyum bildirilmez.
• Varsayılan ayarda uymayan bir ölçü sessizce atlandığı için beklenen bir katsayının yokluğu hata iletisiyle değil ancak çıktının gözden geçirilmesiyle anlaşılır.

• Cronbach AlfaNeden: Kodlayıcılar sayısal puan veriyorsa ve her biri bir ölçüm kaynağı olarak düşünülebiliyorsa; madde başına çıkarma tablosu zayıf kodlayıcıyı da gösterir.
• İki Yarı GüvenilirliğiNeden: Güvenilirlik sorusu kişiler arasında değil aynı ölçeğin madde öbekleri arasındaysa.
• Ki-Kare Bağımsızlık TestiNeden: Soru uyumun derecesi değil iki kodlayıcının kategori dağılımlarının birbirinden ayrışıp ayrışmadığıysa.
• Spearman Sıra KorelasyonuNeden: Kodlayıcılar sıralı puanlar veriyorsa ve aranan şey kesin uyum değil puanların aynı sırayı izlemesiyse.

• Cronbach Alfa
• İki Yarı Güvenilirliği
• Ki-Kare Bağımsızlık Testi

Yüzde uyum yerine neden kappa kullanmam gerekiyor?

Yüzde uyum şansla elde edilen anlaşmayı uyum olarak sayar ve bu pay sandığınızdan büyüktür. İki kategorili bir kodlamada iki kişi tamamen rastgele karar verse bile birimlerin yaklaşık yarısında aynı kodu verirler, dolayısıyla yüzde 50 dolayındaki bir uyum hiçbir şey kanıtlamaz. Kappa bu payı hesaplayıp düşer; geriye kalan değer şans düzeyinin üstündeki uyumu verir. Ayrım özellikle kategori dağılımı dengesizken büyür: birimlerin yüzde doksanı aynı kategoriye düşüyorsa yüksek yüzde uyum neredeyse kaçınılmazdır ve yalnız onu bildirmek okuru yanıltır. Pratik öneri ikisini birlikte vermektir, çünkü yüzde uyum kappanın büyüklüğünü bağlama oturtur ve kappa paradoksu durumunda okur ne olduğunu görebilir.

Kappam düşük ama yüzde uyumum yüksek, bu nasıl olur?

Bu kappa paradoksudur ve neredeyse her zaman dengesiz kategori dağılımından gelir. Kodlayıcılarınız birimlerin büyük bölümünü aynı kategoriye yerleştirmişse şans uyumu çok yüksek hesaplanır ve kappa, gözlenen uyumun yüksekliğine karşın küçük kalır. Ne yapacağınız soruya bağlıdır. Seyrek kategoriler kuramsal olarak yakınsa birleştirmek dağılımı dengeleyebilir. Seyrek kategori araştırmanın merkezindeyse kappayı düşük bildirmek ama uyum tablosunu da vererek durumu açıklamak doğru yoldur; okur hücre sayılarını görünce katsayının neden küçük olduğunu anlar. Kodlanan birim sayısını artırmak da seyrek kategoride daha kararlı bir kestirim sağlar.

Kappa ile sınıf içi korelasyon arasında hangisini kullanmalıyım?

Ayrım kodun ne olduğuna bakar. Kodlayıcılar birbirinin yerine geçmeyen kategorilerden birini seçiyorsa, yani kodlar arasında büyüklük ilişkisi yoksa kappa doğru ölçüdür. Kodlayıcılar sayısal bir puan veriyorsa, örneğin bir sunumu on üzerinden not veriyorsa, aranan şey kesin eşleşme değil puanların birlikte hareketidir ve bunu sınıf içi korelasyon ölçer. Arada kalan durum sıralı kategorilerdir: beş basamaklı bir şiddet derecesi hem kategori hem sıra taşır. Bu durumda alan yazının önerisi ağırlıklı kappadır, ama panelde yalnız ağırlıksız kappa bulunur ve o komşu basamak uyumsuzluklarını gereğinden ağır cezalandırır. Böyle bir veride her iki ölçüyü de isteyip sonuçları birlikte değerlendirmek ve ağırlıklandırma eksikliğini sınırlama olarak yazmak en sağlıklı yoldur.

Kaç birimi çift kodlamam gerekir?

Bütün malzemeyi iki kodlayıcıya kodlatmak en güçlü kanıtı verir, ama büyük veri kümelerinde pahalıdır ve yaygın uygulama bir alt kümeyi çift kodlamaktır. Alan yazında sıkça anılan ölçüt birimlerin yüzde on ile yüzde yirmisi arasıdır, alt sınır olarak da elli birim dolayında bir sayı önerilir; daha küçük kümelerde kappa öylesine oynak olur ki bildirilen değer yanıltıcı hâle gelir. Alt küme seçiminin rastgele olması ve kodlanan malzemenin bütününü temsil etmesi gerekir: yalnız kolay yanıtları çift kodlamak uyumu yapay biçimde yükseltir. Panel aralık döndürmediği için kestirimin kesinliğini birim sayısından kendiniz kestirmeniz gerekir ve bu, çift kodlanan kümeyi cömert tutmak için ek bir gerekçedir.

• Landis, J. R., & Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data
• Koo, T. K., & Li, M. Y. (2016). A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research
• Agresti, A. (2013). Categorical Data Analysis
• statsmodels inter_rater belgeleri