Aykırı Değer Tespiti

Aykırı değer tespiti, bir sütundaki değerlerin dağılımın geri kalanından ne kadar uzakta durduğuna bakar ve belirli bir kuralın sınırını aşanları işaretler. Panel üç kural sunar. Çeyrekler arası açıklık kuralı alt ve üst çeyreği hesaplar, aralarındaki açıklığı seçilen katsayıyla çarpar ve bu sınırların dışındaki değerleri işaretler; ortanca ve çeyreklere dayandığı için uç değerlerin kendisinden etkilenmez. Z puanı kuralı her değeri ortalamadan standart sapma cinsinden uzaklığa çevirir ve mutlak değeri eşiği aşanları işaretler. Düzeltilmiş z puanı kuralı ortalama ve standart sapma yerine ortanca ile ortanca mutlak sapmayı kullanır, bu nedenle birkaç uç gözlemin ölçütü kendi lehine bozmasına izin vermez. Sonuçta her kural için işaretlenen gözlem sayısı, yüzdesi ve sınır değerleri ayrı ayrı yer alır. Bu bir hipotez testi değildir: kurallar bir olasılık hesaplamaz, yalnız sınır koyar ve karar araştırmacıda kalır.

• Gelir ya da süre gibi sürekli değişkenlerimde dağılımın dışına taşan kaç yanıt var?
• Ortalamayı ve standart sapmayı belirgin biçimde kaydıran gözlemler hangi satırlarda?
• Regresyon çıktısındaki beklenmedik katsayının arkasında birkaç uç gözlem olabilir mi?
• Dikkatsiz ya da otomatik doldurulmuş görünen yanıtları ayıklamak için hangi satırlara bakmalıyım?

• Ortalamaya, standart sapmaya ya da en küçük kareler kestirimine dayanan bir analizden önce verinin uç kısmını gözden geçirmek istediğinizde.
• Sütun başına en az 5 gözlem bulunduğunda; daha az gözlemde motor kural uygulamaz ve bunu mesajla bildirir.
• Betimleyici istatistiklerde ortalama ile ortanca arasında açıklanamayan bir uzaklık gördüğünüzde.
• Veri girişi hatası ya da ölçü birimi karışması şüphesi olduğunda; örneğin aylık gelirin yıllık olarak girilmiş olması.
• Aynı koşuda birden çok sürekli sütunu tarayıp hangi sütunun en çok uç gözlem taşıdığını görmek istediğinizde.

• İşaretleme yalnız sayısal sütunlarda yapılır; kategorik ya da metin sütunları seçilemez.
• Bağımlı ve bağımsız değişken ayrımı yoktur; her sütun kendi dağılımı içinde tek tek değerlendirilir.
• Kurallar tek değişkenlidir. İki değişkenin birlikte aldığı olağandışı değerler, her biri kendi sütununda sınır içinde kaldığı sürece işaretlenmez.
• Her satır bir yanıtlayıcıdır ve döndürülen dizinler bu satır numaralarına karşılık gelir.

Değerlerin karşılaştırılabilir olması

Kurallar bütün satırları aynı ölçekte kabul eder. Aynı sütunda farklı birimler karışmışsa, örneğin bir kısım yanıt ay bir kısmı yıl cinsinden girilmişse, işaretlenen değerler aykırılığı değil birim karışıklığını gösterir.

Yayılımın sıfırdan farklı olması

Z puanı standart sapmaya, düzeltilmiş z puanı ortanca mutlak sapmaya bölündüğü için bu değerlerden biri sıfırsa kural tanımsız kalır. Bütün yanıtlayıcıların aynı değeri verdiği bir sütunda işaretlenecek bir uç de yoktur.

Yeterli gözlem sayısı

Çeyrekler ve ortanca mutlak sapma çok az gözlemle kararsızdır. Beş gözlemli bir sütunda sınır değerleri tek bir yanıtın yer değiştirmesiyle belirgin biçimde kayar.

Yaklaşık bakışımlı dağılım varsayımı

Z puanı kuralı ortalama ve standart sapmaya dayandığı için belirgin biçimde çarpık dağılımlarda uzun kuyruğun tamamını olağandışı gibi gösterir. Sağa çarpık bir gelir dağılımında yüksek gelirler aykırı değil, dağılımın kendi biçimidir.

• Değerlerin karşılaştırılabilir olması: Panel bu varsayımı otomatik denetlemez; değerlendirme araştırmacıya aittir.
• Yayılımın sıfırdan farklı olması: Standart sapması sıfır olan sütunda z puanı kuralı, ortanca mutlak sapması sıfır olan sütunda düzeltilmiş z puanı kuralı çalışmaz; bu durumlar sonuç yerine açıklayıcı bir mesaj olarak görünür.
• Yeterli gözlem sayısı: Motor 5 gözlemin altındaki sütuna hiçbir kural uygulamaz ve gözlem sayısının yetersiz olduğunu yazar.
• Yaklaşık bakışımlı dağılım varsayımı: Panel dağılımın çarpıklığını bu yöntemde denetlemez. Çarpıklık ve basıklık değerlerini görmek için normallik testleri ya da betimleyici istatistikleri ayrıca koşmanız gerekir.

1. 1Dosyanızı panele yükleyin ve Veri sekmesindeki tabloda sayısal sütunların doğru okunduğunu doğrulayın.
2. 2Değişken sekmesinde kayıp değer kodlarını kayıp olarak tanımlayın; tanımlanmamış bir 999 kodu her kuralda kaçınılmaz biçimde aykırı değer olarak işaretlenir.
3. 3Analiz sekmesinde yöntem seçiciyi açın, arama kutusuna yöntem adını yazın ya da Dağılım kategorisinden seçin; veri gereksinimleri kutusu hangi sütunların uygun olduğunu gösterir.
4. 4Parametre formunda taranacak sütunları işaretleyin. Kural alanını tümü olarak bırakabilir ya da tek bir kural seçebilirsiniz.
5. 5Gerekirse çeyrekler arası açıklık katsayısını 1,5 dışında bir değere ya da z puanı eşiğini 3 dışında bir değere çekin; düzeltilmiş z puanı eşiği 3,5 olarak sabittir ve değiştirilemez.
6. 6Koşuyu başlatın. Sonuçta her sütun için kural başına sınırlar, işaretlenen gözlem sayısı ve yüzdesi, örnek değerler ve birleşik satır dizinleri açılır kapanır bölümler hâlinde listelenir.
7. 7Tabloları Excel olarak indirip işaretlenen satırları kendi verinizde açın. Bu yöntem için grafik çizilmez; kararı verdikten sonra düzeltme ya da çıkarma işlemini veride kendiniz yaparsınız.

Çeyrekler arası açıklık kuralı sonucu

Alt ve üst çeyrek değerleri, aralarındaki açıklık, hesaplanan alt ve üst sınır ile bu sınırların dışında kalan gözlem sayısı ve yüzdesi.

Z puanı kuralı sonucu

Kullanılan eşik, mutlak z puanı bu eşiği aşan gözlem sayısı ve yüzdesi. Hesap sütunun ortalaması ve standart sapmasıyla yapılır.

Düzeltilmiş z puanı kuralı sonucu

Ortanca ve ortanca mutlak sapmaya dayanan puanın 3,5 sabit eşiğini aşan gözlem sayısı ve yüzdesi.

Örnek işaretli değerler

Kural başına ilk 10 işaretli değer gösterilir. Sayılar tamdır, liste kısaltılmıştır: 40 gözlem işaretlenmişse sayı 40 yazar ama listede 10 değer görünür.

Birleşik satır dizinleri

Herhangi bir kuralın işaretlediği satırların dizinleri, ilk 20 taneyle sınırlı olarak. Bu dizinler kendi veri dosyanızdaki satırları bulmak için kullanılır.

Sütun bazında özet

Taranan her sütun için gözlem sayısı ve kuralların ortak kararı. Kural uygulanamayan sütunlar sonuç yerine gerekçeli bir mesajla listelenir.

İşaretlenen gözlem yüzdesi

Aykırılığın büyüklüğünü değil yaygınlığını anlatır. Çeyrekler arası açıklık kuralı bakışımlı bir dağılımda bile kabaca yüzde 1 civarında gözlem işaretler; yüzde 5'in üzerine çıkan bir oran genellikle dağılımın çarpık olduğunu ya da sütunda birim karışıklığı bulunduğunu gösterir.

Sınırların veri aralığına göre konumu

Alt ve üst sınır ile gözlenen en küçük ve en büyük değer arasındaki uzaklık, işaretli gözlemlerin ne kadar uzakta durduğunu söyler. Üst sınırın hemen ötesinde yoğunlaşan değerler kuyruğun doğal uzantısıdır, sınırın birkaç katı uzakta duran tek bir değer ise veri girişi hatasını düşündürür.

Kurallar arasındaki uyum

Üç kuralın da işaretlediği bir gözlem, yalnız tek kuralın işaretlediğinden daha güçlü bir adaydır. Z puanı kuralının sustuğu ama düzeltilmiş z puanının işaretlediği durumlar, uç gözlemin kendisinin ortalamayı ve standart sapmayı kendi yönüne çektiğine işaret eder.

Bu yöntemde güven aralığı ya da p değeri üretilmez, çünkü uygulanan şey bir hipotez sınaması değil kural tabanlı bir işaretlemedir. Kurallar bir gözlemin olağandışı olma olasılığını hesaplamaz, yalnız önceden belirlenmiş bir sınırın dışında kalıp kalmadığını söyler. Sınırların kendisi de örnekleme göre değişir ve bu değişkenliğe dair bir aralık raporlanmaz. Motor hiçbir satırı silmez, değerini değiştirmez ya da uçları budamaz; işaretlenen gözlemle ne yapılacağına araştırmacı karar verir ve bu kararın gerekçesi yöntem bölümünde yazılır.

Aşağıdaki sayılar temsili bir örnektir; gerçek bir araştırmanın ya da gerçek bir kullanıcının verisi değildir.

Araştırma sorusu

Bir müşteri araştırmasında aylık harcama tutarı sütununda veri girişi hatası ya da olağandışı yanıt var mı? (Temsili örnek, gerçek veri değildir.)

Değişkenler

Aylık harcama tutarı: beyan edilen tutar, 504 eksiksiz yanıt · Kural alanı tümü, çeyrekler arası açıklık katsayısı 1,5, z puanı eşiği 3

Örnek sonuç

Alt çeyrek 420, üst çeyrek 1.180, açıklık 760; alt sınır -720, üst sınır 2.320. Çeyrekler arası açıklık kuralı 21 gözlem işaretledi (yüzde 4,2), hepsi üst sınırın ötesinde. Z puanı kuralı 6 gözlem işaretledi (yüzde 1,2), düzeltilmiş z puanı kuralı 3,5 eşiğiyle 34 gözlem işaretledi (yüzde 6,7). Birleşik listede 38 ayrı satır dizini var, ilk 20'si raporda görünüyor. İlk 10 işaretli değer arasında 2.400, 2.650, 3.100 ve 48.000 bulunuyor.

Yorum

İşaretlenen değerlerin büyük bölümü üst sınırın hemen ötesinde toplanıyor; bu, harcama değişkeninin sağa çarpık olduğunu gösterir ve bu gözlemler dağılımın doğal kuyruğu sayılmalıdır. Ayrı duran tek değer 48.000; üst sınırın yirmi katına yakın bu tutar ya yıllık harcamanın aylık alana girilmesinden ya da ondalık ayırıcının kaçmasından gelmiş olabilir ve ilgili satırın ham verisine bakılarak düzeltilmelidir. Düzeltilmiş z puanının daha çok gözlem işaretlemesi beklenen bir sonuç: ortanca mutlak sapma uç değerlerden etkilenmediği için ölçüt daha sıkı kalmıştır. Buradaki doğru adım bütün işaretli satırları silmek değil, tek tek incelemek ve yalnız hatalı girişi düzeltmektir.

Araştırma sorusu: Gelirde ortalamayı yukarı çeken aykırı değerler var mı?

Çözümlenen sütunlar

gelir

Hesaplama çeşidi

iqr

IQR çarpanı

1.5

Hesaplama künyesi: scipy 1.18.0 · statsmodels 0.14.6 · scikit-learn 1.9.0 · numpy 2.5.1 · pandas 3.0.5 · semopy 2.3.11 · 89fc29a · Veri tohumu: 20260914

Aylık harcama sütununda çeyrekler arası açıklık kuralı 504 gözlemin 21'ini (yüzde 4,2) üst sınırın ötesinde işaretledi; incelendiğinde bunlardan yalnız biri veri girişi hatasıydı ve düzeltildi, kalanlar dağılımın kuyruğu olarak analizde tutuldu.

APA düzenine yakın örnek cümle; sayılar temsilidir.

• Kurallar tek değişkenlidir. Birkaç değişkenin birlikte olağandışı olduğu yanıt örüntüleri, her değişken kendi sınırının içinde kaldığı sürece gözden kaçar.
• İşaretlenmek hatalı olmak anlamına gelmez. Çarpık dağılımların uzun kuyruğu kuralların sınırını aşar, ancak bu değerler evrenin gerçek parçasıdır.
• Kural başına en çok 10 örnek değer ve en çok 20 birleşik satır dizini döner. Sayılar tam olduğu için kaç gözlemin işaretlendiği tamdır, ancak tam listeyi panelden almak mümkün değildir.
• Düzeltilmiş z puanı eşiği 3,5 olarak sabittir; diğer iki kuralın eşiği değiştirilebilirken bu kuralı sıkılaştırmak ya da gevşetmek için parametre yoktur.
• Motor hiçbir satırı silmez ya da değerini değiştirmez. Düzeltme, kırpma ya da çıkarma işlemlerini kendi veri dosyanızda yapmanız gerekir.
• İşaretlemeyi gösteren bir grafik çizilmez; kutu grafiği ya da dağılım grafiği üretilmediği için uçların dağılım içindeki konumu gözle görülemez.

• Betimsel İstatistiklerNeden: Yüzdelikler, en küçük ve en büyük değerle birlikte dağılımın uçlarını kural koymadan görmek yeterliyse.
• Normallik TestleriNeden: Uç değerlerin dağılımın biçimini ne kadar bozduğu sorusu öndeyse; çarpıklık ve basıklıkla birlikte sınama sonucu verir.
• Doğrusal Regresyon (OLS)Neden: Aykırılık tek bir sütunda değil model artıklarında aranıyorsa; kestirilen değerden sapan gözlemler regresyon çıktısından izlenir.

• Betimsel İstatistikler
• Normallik Testleri
• Doğrusal Regresyon (OLS)

İşaretlenen gözlemleri silmeli miyim?

Silmek varsayılan adım değildir. İşaretlenen her değer için önce kaynağına bakmak gerekir: birim karışıklığı, ondalık ayırıcı hatası ya da tanımlanmamış kayıp değer kodu bulursanız düzeltme yapılır. Değer gerçekse ve evrene aitse analizde tutulması doğrudur, çünkü çıkarmak dağılımı yapay biçimde daraltır ve standart hataları olduğundan küçük gösterir. Uç gözlemlerin sonucu ne kadar etkilediğini görmek için analizi bir kez onlarla bir kez onlar olmadan koşup her iki sonucu raporlamak yaygın bir yoldur. Hangi satırın neden çıkarıldığı yöntem bölümünde yazılmalıdır.

Hangi kurala güvenmeliyim?

Üç kuralın duyarlılığı farklıdır. Çeyrekler arası açıklık kuralı ortanca ve çeyreklere dayandığı için uç değerlerden etkilenmez ve yaygın kullanılan varsayılandır. Z puanı kuralı ortalama ve standart sapmayı kullandığı için birkaç büyük uç gözlemin kendi ölçütünü bozmasına izin verir, bu nedenle bazen kendi işaretlemesi gerekeni kaçırır. Düzeltilmiş z puanı bu sorunu ortanca mutlak sapmayla aşar ve genellikle en sıkı ölçüttür. Kural alanını tümü olarak bırakıp üç sonucu yan yana okumak, hangi gözlemlerin her koşulda uç kaldığını görmenin en pratik yoludur.

Yüzde 5'ten fazla gözlem işaretlendi, bu normal mi?

Yüksek bir oran genellikle tek tek gözlemlerin sorunlu olduğunu değil, dağılımın biçiminin kurala uymadığını gösterir. Sağa çarpık değişkenlerde, örneğin gelirde, harcamada ya da süre ölçümlerinde uzun kuyruğun tamamı sınırın dışında kalabilir. Bu durumda kuralı sıkılaştırmak yerine değişkeni logaritmaya çevirip taramayı dönüştürülmüş değerde yapmak ya da aykırılık kavramını bütünüyle bırakıp çarpık dağılıma uygun bir analiz seçmek daha yerinde olur. Oranın yüksekliği ayrıca tanımlanmamış kayıp değer kodlarının da belirtisi olabilir.

İşaretlenen satırların tam listesini nasıl alırım?

Panel kural başına ilk 10 değeri ve birleşik listede ilk 20 satır dizinini döndürür, sayılar ise tamdır. Tam listeye ihtiyacınız varsa sonuçtaki sınır değerlerini kullanıp kendi veri dosyanızda süzme yapabilirsiniz: çeyrekler arası açıklık kuralının alt ve üst sınırı, z puanı eşiği ve sütunun ortalaması ile standart sapması sonuçta yazılıdır, dolayısıyla aynı kural elde ya da elektronik tabloda yeniden uygulanabilir. Dizinler yüklediğiniz dosyadaki satır sırasına karşılık gelir.

• Tukey, J. W. (1977). Exploratory Data Analysis
• Iglewicz, B., & Hoaglin, D. C. (1993). Detection of Outliers
• Field, A. (2018). Discovering Statistics Using IBM SPSS Statistics
• numpy.percentile belgeleri