P-hacking, araştırmacıların veri toplama, analiz etme veya raporlama süreçlerinde yaptıkları esnek seçimler sonucunda, istatistiksel olarak anlamlı görünen sonuçlara ulaşmasıdır. En kısa tanımıyla p-hacking, bir araştırmada p-değerini 0,05’in altına düşürecek analiz yollarını arama pratiğidir. Bu her zaman açık bir sahtekârlık anlamına gelmez; çoğu zaman araştırmacının farkında olmadan yaptığı seçimler, yayın baskısı, kariyer teşvikleri ve “anlamlı sonuç” beklentisiyle birleşerek bilimsel bulguları olduğundan daha güçlü gösterir.
P-hacking, modern bilimin en önemli metodolojik sorunlarından biridir. Çünkü bilimsel araştırmalarda p-değeri uzun yıllar boyunca “bulgu var mı, yok mu?” sorusunun ana eşiği gibi kullanılmıştır. Bir sonuç p < 0,05 ise “istatistiksel olarak anlamlı” kabul edilmiş, p > 0,05 ise çoğu zaman önemsiz veya yayınlanmaya değmez görülmüştür. Bu keskin eşik, araştırmacıları farkında olarak veya olmayarak sonuçları anlamlı gösterecek analiz yollarına yöneltebilir.
Bu yazı, p-hacking kavramını yalnızca istatistiksel bir teknik sorun olarak değil, bilimsel bilgi üretiminin yapısal bir problemi olarak ele alır. Çünkü p-hacking yalnızca p-değerinin yanlış kullanılmasından ibaret değildir. Araştırma fonları, akademik terfi sistemi, yayın kültürü, dergi tercihleri, küçük örneklem büyüklükleri, veri paylaşımı eksikliği, ön kayıt yapılmaması ve negatif sonuçların değersiz görülmesi gibi birçok unsur bu sorunu besler.
P-hacking’i anlamak, yalnızca istatistik bilenler için değil; bilimsel haberleri okuyanlar, sağlık araştırmalarını takip edenler, sosyal bilim bulgularını yorumlayanlar, veriyle karar alan yöneticiler, akademisyenler, öğrenciler, gazeteciler ve politika yapıcılar için de önemlidir. Çünkü p-hacking, bilimsel literatürde gerçek olmayan ilişkilerin gerçekmiş gibi görünmesine, gerçek etkilerin abartılmasına ve kamuoyunun bilime duyduğu güvenin zedelenmesine yol açabilir.
P-Hacking Nedir?
P-hacking, bir araştırmacının veriyi farklı yollarla analiz ederek istatistiksel olarak anlamlı bir sonuç bulmaya çalışmasıdır. Buradaki “p”, istatistikte kullanılan p-değerini ifade eder. “Hacking” ise bu değeri istenen eşiğin altına düşürmek için veri ve analiz üzerinde yapılan esnek seçimleri anlatır.
Basit bir örnekle düşünelim. Bir araştırmacı yeni bir eğitim yönteminin öğrencilerin sınav başarısını artırıp artırmadığını test ediyor olsun. İlk analizde sonuç p = 0,08 çıkar. Bu değer geleneksel 0,05 eşiğinin üstündedir; yani sonuç “istatistiksel olarak anlamlı” kabul edilmez. Araştırmacı daha sonra yalnızca belirli yaş grubundaki öğrencileri analiz eder, sonra bazı uç değerleri çıkarır, sonra farklı bir başarı ölçütü kullanır, sonra cinsiyete göre alt grup analizi yapar. En sonunda bir analizde p = 0,049 bulur ve makalede bu sonucu öne çıkarır. Eğer yapılan tüm diğer analizler raporlanmazsa, okur yalnızca anlamlı sonucu görür ve bulgunun ne kadar seçici bir süreçten geçtiğini bilemez.
İşte p-hacking’in özü budur: Veriden yalnızca en uygun görünen sonucu seçmek ve araştırma sürecindeki diğer yolları görünmez kılmak. Bu durum, bilimsel bulgunun olduğundan daha güçlü, daha kesin veya daha genel geçer görünmesine neden olur.
P-hacking, yalnızca sosyal bilimlerde görülmez. Psikoloji, tıp, ekonomi, beslenme araştırmaları, biyoloji, eğitim bilimleri, nörobilim, işletme, veri bilimi ve hatta bazı mühendislik alanlarında da ortaya çıkabilir. P-değerinin karar eşiği olarak kullanıldığı her yerde p-hacking riski vardır.
P-Değeri Nedir?
P-hacking’i anlamak için önce p-değerini doğru anlamak gerekir. P-değeri, çoğu zaman yanlış biçimde “sonucun tesadüfen ortaya çıkma olasılığı” ya da “hipotezin yanlış olma ihtimali” gibi yorumlanır. Bu yorumlar eksiktir ve çoğu zaman hatalıdır.
Daha doğru bir tanımla p-değeri, belirli bir istatistiksel model ve sıfır hipotezi doğru kabul edildiğinde, elde edilen veriler kadar veya onlardan daha uç sonuçlar gözlenme olasılığıdır. Başka bir deyişle p-değeri, verinin belirli bir varsayım altında ne kadar şaşırtıcı olduğunu gösterir. Fakat p-değeri, araştırma hipotezinin doğru olma olasılığını doğrudan vermez.
Örneğin p = 0,03 bulunduğunda bu, “araştırma hipotezinin yüzde 97 doğru olduğu” anlamına gelmez. “Sonucun yalnızca yüzde 3 ihtimalle şans eseri oluştuğu” anlamına da gelmez. P-değeri, kullanılan model, örneklem, ölçüm yöntemi ve analiz kararları bağlamında yorumlanmalıdır.
Sorun, bilimsel pratikte p-değerinin çoğu zaman bu inceliklerle değil, tek bir eşikle yorumlanmasıdır. P < 0,05 ise bulgu var; p > 0,05 ise bulgu yok. Bu kadar keskin bir ayrım, araştırmacıların dikkatini bilimsel anlamdan çok istatistiksel eşiğe yöneltebilir. P-hacking tam da bu kültürel zeminde güç kazanır.
P-Hacking Nasıl Ortaya Çıkar?
P-hacking genellikle tek bir dramatik kararla ortaya çıkmaz. Daha çok küçük, makul görünen ve tek başına savunulabilir analiz kararlarının birikimiyle oluşur. Araştırmacı, veriyle çalışırken birçok seçenekle karşılaşır. Hangi katılımcılar analize dahil edilecek? Hangi ölçüm ana sonuç sayılacak? Uç değerler çıkarılacak mı? Hangi kontrol değişkenleri modele eklenecek? Alt gruplar incelenecek mi? Veri toplama ne zaman durdurulacak? Hangi istatistiksel test kullanılacak?
Bu seçeneklerin her biri bilimsel olarak meşru olabilir. Sorun, bu kararların veriyi gördükten sonra verilmesi ve yalnızca anlamlı sonuç üreten yolun raporlanmasıdır. Böylece araştırma makalesi, gerçekte çok dallı bir analiz ağının içinden seçilmiş tek bir yol gibi sunulur.
Andrew Gelman ve Eric Loken’ın “çatallanan yollar bahçesi” benzetmesi bu durumu iyi açıklar. Araştırmacı her zaman kötü niyetle veri üzerinde oynamaz. Bazen analiz süreci, veriye bakıldıkça şekillenir. Fakat veriye göre şekillenen analiz, sanki baştan planlanmış gibi raporlandığında, p-değerinin anlamı bozulur.
Bu nedenle p-hacking yalnızca etik bir sorun değil, aynı zamanda istatistiksel bir geçerlilik sorunudur. Çünkü p-değeri, belirli varsayımlar altında anlamlıdır. Eğer araştırmacı çok sayıda analiz yolu denediyse ama yalnızca başarılı olanı raporladıysa, görünen p-değeri gerçek hata olasılığını yansıtmaz.
P-Hacking Her Zaman Bilinçli Bir Hile midir?
Hayır. P-hacking her zaman bilinçli sahtekârlık değildir. Bu ayrım çok önemlidir. Bilimsel sahtekârlık, veri uydurma, veri değiştirme veya bilerek yanlış raporlama gibi açık ihlalleri içerir. P-hacking ise çoğu zaman daha gri bir alanda gerçekleşir.
Bir araştırmacı gerçekten iyi niyetli olabilir. Veride anlamlı bir örüntü olduğunu düşünebilir. İlk analiz sonuç vermediğinde “belki bu etki yalnızca belirli bir grup için geçerlidir” diye düşünebilir. Uç değerleri çıkarmak için mantıklı gerekçeler bulabilir. Farklı modeller deneyerek en uygun analizi aradığını düşünebilir. Fakat bu süreçte yapılan denemeler açıkça raporlanmazsa, sonuç olduğundan daha güvenilir görünür.
Bu nedenle p-hacking’i yalnızca bireysel ahlaksızlık olarak görmek yanlıştır. Elbette kasıtlı p-hacking mümkündür. Bir araştırmacı, anlamlı sonuç bulana kadar analizleri zorlayabilir. Fakat sorunun daha yaygın biçimi, bilimsel kültürün araştırmacıyı anlamlı sonuç üretmeye teşvik etmesidir. Dergiler anlamlı bulguları daha kolay yayımlar. Akademik kariyer yayın sayısına bağlıdır. Fon veren kurumlar net sonuçlar ister. Medya çarpıcı bulguları sever. Böyle bir ortamda p-hacking, bireysel kusurdan çok yapısal bir risk hâline gelir.
Araştırmacı Serbestlik Dereceleri Nedir?
Araştırmacı serbestlik dereceleri, bir çalışmanın tasarım, analiz ve raporlama aşamalarında araştırmacının yapabileceği seçimleri ifade eder. Bu seçimler bilimsel araştırmanın doğal parçasıdır. Ancak bu serbestlikler şeffaf biçimde yönetilmezse p-hacking’e kapı açar.
Örneğin bir araştırmada şu kararların her biri serbestlik derecesidir:
- Örneklem büyüklüğünün ne zaman yeterli sayılacağı
- Veri toplamanın hangi noktada durdurulacağı
- Hangi katılımcıların analiz dışında bırakılacağı
- Hangi değişkenin ana sonuç olarak seçileceği
- Hangi alt grupların ayrıca inceleneceği
- Hangi kontrol değişkenlerinin modele ekleneceği
- Hangi istatistiksel testin kullanılacağı
- Değişkenlerin nasıl dönüştürüleceği
- Eksik verilerin nasıl ele alınacağı
- Uç değerlerin nasıl tanımlanacağı
- Çoklu karşılaştırmalar için düzeltme yapılıp yapılmayacağı
- Hangi sonuçların makalede öne çıkarılacağı
Bu kararların hiçbiri tek başına kötü değildir. Bilimsel araştırma her zaman yorum ve seçim gerektirir. Ancak kararlar veriyi gördükten sonra alınıyor, sonra da sanki baştan belirlenmiş gibi sunuluyorsa, araştırmanın doğrulayıcı gücü zayıflar.
Bu noktada temel ayrım şudur: Keşfedici analiz ile doğrulayıcı analiz aynı şey değildir. Keşfedici analizde veri içinde örüntüler aranır, yeni hipotezler geliştirilir. Bu bilim için değerlidir. Doğrulayıcı analizde ise önceden belirlenmiş hipotezler test edilir. P-hacking, keşfedici bulguların doğrulanmış sonuçlar gibi sunulmasıyla ortaya çıkar.
P-Hacking Türleri Nelerdir?
Veri Toplamayı Anlamlı Sonuç Çıkınca Durdurmak
Bir araştırmacı veri toplamaya başlar, ara ara analiz yapar ve p-değeri 0,05’in altına düştüğünde çalışmayı bitirirse hata olasılığı artar. Buna bazen optional stopping, yani isteğe bağlı durdurma denir. Çünkü her ara analiz, yanlış pozitif bulgu elde etme ihtimalini yükseltir.
Bu durum özellikle küçük örneklemli çalışmalarda tehlikelidir. İlk 30 katılımcıda p = 0,04 çıkabilir, ama 100 katılımcıya ulaşıldığında etki kaybolabilir. Eğer araştırmacı yalnızca ilk anlamlı noktada durursa, sonuç gerçekte kararsız bir dalgalanmanın ürünü olabilir.
Birden Fazla Sonuç Değişkeni Denemek
Bir çalışmada birçok sonuç değişkeni ölçülüyorsa, bunlardan birinin tesadüfen anlamlı çıkma ihtimali artar. Örneğin bir eğitim programı motivasyon, sınav başarısı, dikkat süresi, özgüven, devamsızlık ve sınıf içi katılım gibi birçok değişken üzerinde test edilebilir. Eğer yalnızca anlamlı çıkan değişken raporlanırsa, okur çoklu deneme yapıldığını göremez.
Alt Grup Analizleriyle Anlamlılık Aramak
Bir sonuç genel örneklemde anlamlı çıkmadığında araştırmacı alt gruplara bakabilir. Kadınlar, erkekler, gençler, yaşlılar, yüksek gelir grubu, düşük gelir grubu, belirli şehirler, belirli eğitim düzeyleri gibi birçok alt grup denenebilir. Bunlardan birinde anlamlılık bulunması gerçek bir etkiye işaret edebilir; ancak çok sayıda alt grup denendiğinde tesadüfi anlamlılık ihtimali de yükselir.
Uç Değerleri Seçici Olarak Çıkarmak
Uç değerler bazen ölçüm hatasıdır ve çıkarılmaları gerekir. Fakat hangi değerin uç değer sayılacağı veriyi gördükten sonra belirlenirse, sonuç manipüle edilebilir. Birkaç katılımcıyı çıkarmak p-değerini 0,06’dan 0,04’e indirebilir. Eğer bu karar önceden belirlenmemiş ve açıkça raporlanmamışsa p-hacking riski doğar.
Kontrol Değişkenleriyle Oynamak
Regresyon modellerinde hangi kontrol değişkenlerinin ekleneceği sonuçları değiştirebilir. Yaş, cinsiyet, gelir, eğitim, bölge, önceki başarı, sağlık durumu veya başka değişkenler modele eklendiğinde p-değerleri farklılaşabilir. Araştırmacı birçok model deneyip yalnızca anlamlı sonucu veren modeli raporlarsa, okur sonucun ne kadar seçici olduğunu bilemez.
İstatistiksel Test Seçimini Sonuca Göre Yapmak
Aynı veri için farklı istatistiksel testler kullanılabilir. Parametrik test, parametrik olmayan test, tek yönlü test, iki yönlü test, farklı modelleme yaklaşımı veya farklı dönüşümler farklı p-değerleri üretebilir. Analiz yöntemi önceden belirlenmemişse, araştırmacı istemeden de olsa anlamlı sonucu veren yönteme yönelebilir.
Değişkenleri Farklı Biçimde Kodlamak
Sürekli bir değişken kategorilere ayrılabilir, kategoriler birleştirilebilir, ölçek puanları farklı hesaplanabilir veya bazı maddeler analizden çıkarılabilir. Bu tür kararlar bazen bilimsel olarak gerekçelidir; ancak sonuçları gördükten sonra yapılırsa p-hacking’e dönüşebilir.
Çoklu Karşılaştırmaları Düzeltmemek
Bir araştırmada çok sayıda hipotez test edildiğinde yanlış pozitif bulgu riski artar. Örneğin 20 bağımsız test yapılırsa, hiçbir gerçek etki olmasa bile geleneksel 0,05 eşiği nedeniyle en az bir testin anlamlı çıkma ihtimali dikkate değer biçimde artar. Bu nedenle çoklu karşılaştırmalar için düzeltme yöntemleri gerekir. Bunların yapılmaması p-hacking etkisini güçlendirebilir.
Sınırda P-Değerlerini Anlamlı Gibi Sunmak
P = 0,051 veya p = 0,06 gibi değerler bazen “anlamlılığa yaklaşan”, “marjinal olarak anlamlı” veya “trend düzeyinde” gibi ifadelerle sunulur. Bu tür ifadeler her zaman yanlış değildir; fakat okuru yanıltabilir. Çünkü p-değerinin 0,049 ile 0,051 arasında keskin bir gerçeklik farkı yoktur. Buna rağmen yayın kültürü bu sınırı aşırı anlam yükleyerek yorumlar.
Sadece Anlamlı Sonuçları Raporlamak
P-hacking’in en yaygın biçimlerinden biri, yapılan analizlerin tamamını değil yalnızca anlamlı olanları raporlamaktır. Bu, araştırma makalesini temiz ve ikna edici gösterir; fakat arka plandaki başarısız denemeleri gizler. Böylece literatür, gerçek araştırma sürecinden daha düzenli ve daha etkili görünür.
P-Hacking, HARKing ve Yayın Yanlılığı Arasındaki Fark
P-hacking, HARKing ve yayın yanlılığı birbirine yakın kavramlardır; fakat aynı şey değildir.
P-hacking, analiz sürecinde anlamlı sonuç bulmak için farklı yollar denenmesidir. Burada sorun, araştırmacı esnekliğinin p-değerini yapay biçimde anlamlı göstermesidir.
HARKing, “Hypothesizing After the Results are Known” ifadesinin kısaltmasıdır. Türkçede “sonuçlar bilindikten sonra hipotez kurmak” olarak açıklanabilir. Araştırmacı veride bir ilişki bulur, sonra bunu sanki baştan beklenen hipotezmiş gibi sunar. HARKing, keşfedici bulguların doğrulayıcı bulgu gibi gösterilmesidir.
Yayın yanlılığı, anlamlı, çarpıcı veya pozitif sonuçların yayımlanma olasılığının daha yüksek olmasıdır. Anlamsız veya negatif sonuçlar dosya çekmecesinde kalır. Bu durumda literatür, gerçekte olduğundan daha güçlü etkiler varmış gibi görünür.
Bu üç süreç birbirini besler. Dergiler anlamlı sonuçları tercih ederse araştırmacılar anlamlı sonuç bulmaya çalışır. Anlamlı sonuç bulmak için p-hacking yapılır. Sonuçlar bulunduktan sonra hipotezler geriye dönük olarak düzenlenir. Anlamsız çalışmalar yayımlanmadığı için literatür daha da yanlı hâle gelir.
P-Hacking Neden Bilim İçin Sorundur?
P-hacking’in temel zararı, yanlış pozitif bulguların artmasıdır. Yanlış pozitif, gerçekte var olmayan bir etkinin varmış gibi görünmesidir. Bilimsel literatürde yanlış pozitifler arttığında, araştırmacılar, kurumlar ve kamuoyu güvenilmez bulgulara dayanarak karar verebilir.
Bu durum özellikle tıp ve sağlık alanında ciddi sonuçlar doğurabilir. Etkisiz bir tedavi umut verici görünebilir. Bir beslenme önerisi abartılabilir. Bir risk faktörü gerçekte olduğundan güçlü sunulabilir. Kamu sağlığı politikaları zayıf kanıtlara dayanabilir.
Sosyal bilimlerde de benzer riskler vardır. Eğitim müdahaleleri, işyeri programları, davranışsal ekonomi uygulamaları, psikolojik teknikler veya kamu politikaları, p-hacking sonucu abartılmış bulgulara dayanabilir. Bu durum kaynak israfına, yanlış beklentilere ve bilime duyulan güvenin azalmasına yol açar.
P-hacking ayrıca bilimsel literatürde etki büyüklüklerini şişirebilir. Bir ilişki gerçekten var olsa bile, yalnızca en güçlü görünen sonuçlar yayımlandığında etki olduğundan büyük görünür. Daha sonra yapılan daha büyük ve daha iyi tasarlanmış çalışmalarda etki küçülür veya kaybolur. Bu da “ilk çalışmalar çok etkileyiciydi, sonra neden tekrarlanamadı?” sorusunu doğurur.
P-Hacking ve Replikasyon Krizi
P-hacking, replikasyon kriziyle yakından ilişkilidir. Replikasyon krizi, bilimsel literatürde yayımlanmış bazı bulguların bağımsız araştırmacılar tarafından tekrarlandığında aynı sonucu vermemesi problemidir. Bu kriz özellikle psikoloji, biyomedikal araştırmalar, ekonomi ve bazı sosyal bilim alanlarında yoğun biçimde tartışılmıştır.
Bir çalışma p-hacking sonucunda anlamlı görünüyorsa, aynı analiz esnekliği olmadan tekrarlandığında sonuç çıkmayabilir. İlk çalışma küçük örneklemli, çok analizli ve seçici raporlamaya dayalıysa; replikasyon çalışması daha büyük örneklemli, ön kayıtlı ve şeffaf analiz planlı olduğunda etki ortadan kalkabilir.
Replikasyon krizi bilimin başarısızlığı anlamına gelmez. Tam tersine, bilimin kendi hatalarını tespit etme kapasitesini gösterir. P-hacking tartışmaları sayesinde ön kayıt, açık veri, açık kod, kayıtlı raporlar, daha büyük örneklemler, güç analizi ve şeffaf raporlama gibi uygulamalar güçlenmiştir.
Bu açıdan p-hacking tartışması, bilim karşıtlığı için değil, daha iyi bilim için kullanılmalıdır. Sorun “bilime güvenilmez” demek değildir. Sorun, bilimsel bulguların hangi koşullarda daha güvenilir olduğunu anlamaktır.
P-Hacking Nasıl Tespit Edilir?
P-hacking’i tek bir makaleye bakarak kesin olarak tespit etmek çoğu zaman zordur. Çünkü makalede yalnızca seçilmiş analizler görünür. Araştırmacının kaç farklı analiz denediğini, hangi sonuçları raporlamadığını veya hangi kararları veriyi gördükten sonra aldığını bilmek kolay değildir.
Yine de bazı işaretler p-hacking şüphesini artırabilir:
- Çok sayıda hipotez test edildiği hâlde çoklu karşılaştırma düzeltmesi yapılmaması
- Örneklem büyüklüğünün neden o noktada durdurulduğunun açıklanmaması
- Yalnızca p = 0,049, p = 0,048 gibi sınırda anlamlı sonuçların öne çıkması
- Ana hipotez yerine sonradan ortaya çıkmış gibi görünen alt grup bulgularının vurgulanması
- Uç değer çıkarma kararlarının belirsiz olması
- Birden fazla model arasından yalnızca anlamlı olanın raporlanması
- Ön kayıt bulunmaması veya ön kayıtla makale arasında açıklanmamış farklar olması
- Veri ve kodun paylaşılmaması
- Sonuçların küçük örneklemde büyük etki göstermesi ama teorik gerekçenin zayıf olması
Meta-analiz düzeyinde p-hacking’i incelemek için p-değerlerinin dağılımına bakılabilir. Eğer literatürde p = 0,05’in hemen altında olağan dışı bir yığılma varsa, bu durum p-hacking veya seçici raporlama ihtimalini düşündürebilir. Ancak bu tür analizler de dikkatle yorumlanmalıdır; çünkü p-değeri dağılımı etki büyüklüğü, örneklem büyüklüğü, yayın yanlılığı ve araştırma alanının yapısından etkilenir.
P-Hacking Nasıl Önlenir?
Ön Kayıt Yapmak
Ön kayıt, araştırmanın hipotezlerinin, örneklem planının, ana değişkenlerinin ve analiz yönteminin veri toplanmadan veya analiz edilmeden önce kayda geçirilmesidir. Ön kayıt, araştırmacının daha sonra veriye göre analiz planını değiştirmesini engellemez; fakat değişikliklerin görünür olmasını sağlar.
Ön kayıt, keşfedici analizleri yasaklamaz. Araştırmacı veri içinde yeni örüntüler keşfedebilir. Ancak bu bulguların keşfedici olduğu açıkça belirtilmelidir. Böylece okur, hangi sonuçların önceden planlanmış, hangilerinin sonradan keşfedilmiş olduğunu anlayabilir.
Kayıtlı Raporlar Kullanmak
Kayıtlı rapor, araştırma makalesinin yöntem ve analiz planının sonuçlar bilinmeden önce hakem değerlendirmesine girdiği yayın modelidir. Dergi, araştırma sorusunu ve yöntemi uygun bulursa, sonuçlar anlamlı çıksa da çıkmasa da makaleyi yayımlamayı taahhüt eder.
Bu model, yayın yanlılığını ve p-hacking baskısını azaltır. Çünkü makalenin değeri sonucun p < 0,05 çıkmasına değil, araştırma sorusunun ve yönteminin kalitesine bağlanır.
Açık Veri ve Açık Kod Paylaşmak
Veri ve analiz kodlarının paylaşılması, araştırmanın denetlenebilirliğini artırır. Diğer araştırmacılar sonuçları yeniden üretebilir, farklı analiz kararlarının sonucu nasıl etkilediğini görebilir ve hataları tespit edebilir. Açık veri her zaman mümkün olmayabilir; özellikle kişisel veriler, sağlık bilgileri ve hassas topluluk verileri için etik sınırlamalar vardır. Ancak mümkün olan durumlarda şeffaflık p-hacking riskini azaltır.
Tüm Analizleri Raporlamak
Bir araştırmada yalnızca başarılı analizleri değil, yapılan ana analizlerin tamamını raporlamak gerekir. Ek dosyalar, duyarlılık analizleri, alternatif modeller ve başarısız sonuçlar görünür kılınmalıdır. Bilimsel dürüstlük, yalnızca sonucu değil, sonuca giden yolları da göstermeyi gerektirir.
Etki Büyüklüğüne ve Güven Aralıklarına Bakmak
P-değeri tek başına yeterli değildir. Bir sonuç istatistiksel olarak anlamlı olabilir ama pratikte önemsiz olabilir. Bu nedenle etki büyüklüğü, güven aralığı ve ölçüm kalitesi birlikte değerlendirilmelidir. Güven aralıkları, etkinin belirsizliği hakkında p-değerinden daha zengin bilgi sunar.
Daha Güçlü Araştırma Tasarımları Kullanmak
Küçük örneklemli çalışmalar p-hacking’e daha açıktır. Daha büyük örneklemler, yeterli istatistiksel güç, sağlam ölçüm araçları, iyi tasarlanmış deneyler ve bağımsız replikasyonlar bulguların güvenilirliğini artırır.
Yayın Kültürünü Değiştirmek
P-hacking yalnızca bireysel araştırmacı davranışıyla çözülemez. Dergilerin negatif sonuçları, replikasyon çalışmalarını ve yöntemsel açıdan sağlam ama çarpıcı olmayan bulguları yayımlaması gerekir. Akademik teşvik sistemi, yalnızca yayın sayısını ve anlamlı sonuçları değil, veri paylaşımını, replikasyonu, yöntemsel kaliteyi ve şeffaflığı da ödüllendirmelidir.
P-Hacking ve Veri Bilimi
P-hacking yalnızca klasik akademik araştırma sorunu değildir. Veri bilimi ve yapay zekâ çağında benzer sorunlar farklı biçimlerde ortaya çıkar. Çok büyük veri setleri, çok sayıda değişken, çok sayıda model ve çok sayıda metrik kullanıldığında yanlış örüntü bulma riski artar.
Bir şirket, müşteri davranışını tahmin etmek için yüzlerce değişkeni test edebilir. Bir ekip, onlarca model deneyip yalnızca en iyi sonucu raporlayabilir. Bir analist, farklı segmentlere bakarak etkileyici ama tesadüfi bir ilişki bulabilir. Büyük veri, p-hacking’i ortadan kaldırmaz; bazen daha da kolaylaştırır. Çünkü veri büyüdükçe aranabilecek örüntü sayısı da büyür.
Bu nedenle veri biliminde de eğitim-test ayrımı, çapraz doğrulama, dış doğrulama setleri, model ön kayıtları, analiz günlükleri, açık kod ve tekrarlanabilir iş akışları önemlidir. Sorun yalnızca p-değerinde değildir; sorun, veriden seçici biçimde sonuç çıkarma kültürüdür.
Bir Araştırmayı Okurken P-Hacking Riskini Nasıl Değerlendirmeli?
Bilimsel bir makaleyi veya bilim haberini okurken p-hacking riskini tamamen ortadan kaldırmak mümkün değildir; fakat bazı sorular daha bilinçli okuma sağlar:
- Çalışmanın hipotezleri önceden belirlenmiş mi?
- Ön kayıt var mı?
- Örneklem büyüklüğü nasıl gerekçelendirilmiş?
- Ana sonuç değişkeni net biçimde tanımlanmış mı?
- Çok sayıda analiz yapılmış mı?
- Alt grup sonuçları ana bulgu gibi mi sunuluyor?
- Etki büyüklüğü pratik olarak anlamlı mı?
- Güven aralıkları geniş mi dar mı?
- Veri ve kod paylaşılmış mı?
- Sonuç bağımsız çalışmalarla tekrarlanmış mı?
- Makale yalnızca p-değerine mi dayanıyor?
- Negatif veya anlamsız sonuçlar da raporlanmış mı?
Bu sorular, okuru p-değerinin büyüsünden uzaklaştırır. Bilimsel sonuçlar tek bir sayıyla değil, yöntemsel bütünlükle değerlendirilmelidir.
P-Hacking ve Bilimsel Etik
P-hacking, bilimsel etik açısından önemli bir konudur; fakat etik tartışma yalnızca bireysel suçlama düzeyinde kalmamalıdır. Araştırmacıların dürüst olması gerekir, ancak dürüstlüğü destekleyen kurumlar da gerekir. Şeffaf raporlama standartları, veri paylaşım politikaları, ön kayıt altyapıları, istatistik eğitimi ve sağlıklı yayın kültürü olmadan bireysel iyi niyet yeterli olmayabilir.
Etik açıdan temel ilke şudur: Okur, araştırma sonucunun nasıl elde edildiğini anlayabilmelidir. Hangi analizler yapıldı? Hangi sonuçlar çıkmadı? Hangi kararlar önceden verildi, hangileri veriyi gördükten sonra alındı? Hangi sonuçlar ana hipotezi test ediyor, hangileri yeni hipotez üretiyor? Bu sorulara açık cevap verildiğinde p-hacking riski azalır.
Bilimsel etik, yalnızca yalan söylememek değildir. Belirsizliği dürüstçe göstermek, başarısız sonuçları saklamamak, analiz esnekliğini açıklamak ve bulgunun sınırlarını belirtmek de bilimsel etiğin parçasıdır.
P-Hacking’i Azaltan Modern Açık Bilim Uygulamaları
Son yıllarda p-hacking’e karşı birçok açık bilim uygulaması gelişmiştir. Bunlar bilimi daha yavaş, daha şeffaf ve daha güvenilir hâle getirmeyi amaçlar.
- Ön Kayıt: Hipotez ve analiz planının önceden kaydedilmesi.
- Kayıtlı Raporlar: Makalenin sonuçlar bilinmeden önce yöntem kalitesine göre kabul edilmesi.
- Açık Veri: Etik olarak mümkün olduğunda verilerin paylaşılması.
- Açık Kod: Analizlerin tekrar edilebilir hâle getirilmesi.
- Replikasyon Çalışmaları: Bulguların bağımsız örneklemlerle yeniden test edilmesi.
- Duyarlılık Analizleri: Farklı makul analiz kararlarının sonucu nasıl değiştirdiğinin gösterilmesi.
- Çoklu Karşılaştırma Düzeltmeleri: Birden fazla test yapıldığında hata oranının kontrol edilmesi.
- Etki Büyüklüğü Raporlama: Sonucun yalnızca anlamlı olup olmadığını değil, ne kadar büyük olduğunu göstermek.
- Güven Aralığı Raporlama: Tahminin belirsizliğini görünür kılmak.
- Şeffaf Raporlama Kılavuzları: Araştırma sürecindeki kararların standart biçimde açıklanması.
Bu uygulamalar p-hacking’i tamamen yok etmez; fakat araştırma sürecini daha denetlenebilir hâle getirir. Bilim, hatasız olduğu için değil, hatalarını bulup düzeltebildiği için güçlüdür.
Sık Sorulan Sorular
P-Hacking Ne Demek?
P-hacking, araştırmacının veri toplama, analiz veya raporlama süreçlerinde yaptığı esnek seçimler sonucunda istatistiksel olarak anlamlı görünen sonuçlar elde etmesidir. Genellikle p-değerini 0,05’in altına düşüren analiz yollarının seçilmesiyle ilişkilidir.
P-Hacking Bilimsel Sahtekârlık Mıdır?
Her zaman değil. Kasıtlı yapıldığında etik ihlal olabilir; fakat çoğu zaman araştırmacı esnekliği, yayın baskısı ve bilişsel yanlılıkların birleşimiyle ortaya çıkar. Bu nedenle p-hacking hem etik hem de yapısal bir bilim sorunudur.
P-Değeri Neden Önemlidir?
P-değeri, verinin belirli bir sıfır hipotezi ve istatistiksel model altında ne kadar beklenmedik olduğunu gösterir. Ancak hipotezin doğru olma olasılığını doğrudan vermez. Tek başına bilimsel kanıt ölçütü olarak kullanılmamalıdır.
P < 0,05 Ne Anlama Gelir?
P < 0,05, kullanılan istatistiksel modelde sıfır hipotezi doğru kabul edilirse, elde edilen kadar veya daha uç bir sonucun yüzde 5’ten düşük olasılıkla görüleceği anlamına gelir. Bu, sonucun kesinlikle gerçek olduğu anlamına gelmez.
P-Hacking Nasıl Önlenir?
Ön kayıt, kayıtlı raporlar, açık veri, açık kod, tüm analizlerin raporlanması, etki büyüklüğü ve güven aralıklarının sunulması, çoklu karşılaştırma düzeltmeleri ve replikasyon çalışmaları p-hacking riskini azaltır.
P-Hacking En Çok Hangi Alanlarda Görülür?
P-değerine dayalı hipotez testlerinin yoğun kullanıldığı her alanda görülebilir. Psikoloji, tıp, ekonomi, eğitim, biyoloji, beslenme araştırmaları, sosyal bilimler ve veri bilimi bu riske açıktır.
P-Hacking İle HARKing Arasındaki Fark Nedir?
P-hacking, anlamlı sonuç bulmak için analiz yollarının esnek biçimde denenmesidir. HARKing ise sonuçlar görüldükten sonra hipotezin sanki baştan kurulmuş gibi sunulmasıdır. İkisi birlikte görülebilir ama aynı şey değildir.
Sonuç
P-hacking, modern bilimde görünmez ama etkili bir bilgi bozulması biçimidir. Bir araştırmacı veriyi uydurmadan, sonuçları açıkça değiştirmeden ve doğrudan yalan söylemeden de bilimsel bulguyu olduğundan daha güçlü gösterebilir. Bunun nedeni, araştırma sürecinde çok sayıda makul seçeneğin bulunması ve bu seçeneklerin yalnızca anlamlı sonuç üreten kısmının görünür hâle gelmesidir.
Bu nedenle p-hacking’i yalnızca “istatistiksel hile” diye tanımlamak yetersizdir. P-hacking, p-değerine aşırı anlam yükleyen bilim kültürünün, anlamlı sonuçları ödüllendiren yayın sisteminin, şeffaf olmayan analiz süreçlerinin ve kariyer baskılarının birleşiminden doğar. Sorun bireysel araştırmacılarda olduğu kadar, bilimsel teşvik sistemlerinde de aranmalıdır.
P-hacking’in en önemli zararı, bilimsel literatürde yanlış pozitif bulguların çoğalmasıdır. Bu bulgular daha sonra haberlerde, politika belgelerinde, sağlık önerilerinde, eğitim programlarında veya ticari uygulamalarda kullanılabilir. Böylece küçük bir analiz esnekliği, geniş toplumsal sonuçlar doğurabilir.
Ancak p-hacking tartışması bilime karşı değil, daha iyi bilim içindir. Ön kayıt, kayıtlı raporlar, açık veri, açık kod, replikasyon çalışmaları, etki büyüklüğü raporlama ve şeffaf yöntem standartları, bilimsel bulguların daha güvenilir hâle gelmesini sağlar. Bilim, kusursuz olduğu için değil, kendi kusurlarını görebildiği ve düzeltebildiği için değerlidir.
Sonuç olarak p-hacking bize şu dersi verir: Bilimsel bir bulgunun değeri yalnızca p-değerinin 0,05’in altında olup olmadığıyla ölçülemez. Asıl soru şudur: Bu sonuç nasıl elde edildi, hangi analiz yolları denendi, hangi sonuçlar raporlanmadı, hipotez ne zaman kuruldu ve bulgu bağımsız biçimde tekrarlandı mı? Bu sorular sorulmadan istatistiksel anlamlılık, bilimsel anlamın yerini almaya başlar.
Kaynakça
- Gelman, A., & Loken, E. (2013). The garden of forking paths: Why multiple comparisons can be a problem, even when there is no “fishing expedition” or “p-hacking” and the research hypothesis was posited ahead of time. Columbia University.
- Gelman, A., & Loken, E. (2014). The statistical crisis in science. American Scientist, 102(6), 460-465.
- Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLOS Biology, 13(3), e1002106.
- Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124.
- John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524-532.
- Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600-2606.
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366.
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129-133.
- Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., van Aert, R. C. M., & van Assen, M. A. L. M. (2016). Degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid p-hacking. Frontiers in Psychology, 7, 1832.
- Wagenmakers, E. J., Wetzels, R., Borsboom, D., van der Maas, H. L. J., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632-638.
İlave Okuma Önerileri
- Amrhein, V., Greenland, S., & McShane, B. (2019). Scientists rise up against statistical significance. Nature, 567, 305-307.
- Benjamin, D. J., Berger, J. O., Johannesson, M., Nosek, B. A., Wagenmakers, E. J., Berk, R., Bollen, K. A., Brembs, B., Brown, L., Camerer, C., Cesarini, D., Chambers, C. D., Clyde, M., Cook, T. D., De Boeck, P., Dienes, Z., Dreber, A., Easwaran, K., Efferson, C., Fehr, E., Fidler, F., Field, A. P., Forster, M., George, E. I., Gonzalez, R., Goodman, S., Green, E., Green, D. P., Greenwald, A. G., Hadfield, J. D., Hedges, L. V., Held, L., Hua Ho, T., Hoijtink, H., Hruschka, D. J., Imai, K., Imbens, G., Ioannidis, J. P. A., Jeon, M., Jones, J. H., Kirchler, M., Laibson, D., List, J., Little, R., Lupia, A., Machery, E., Maxwell, S. E., McCarthy, M., Moore, D. A., Morgan, S. L., Munafó, M., Nakagawa, S., Nyhan, B., Parker, T. H., Pericchi, L., Perugini, M., Rouder, J., Rousseau, J., Savalei, V., Schönbrodt, F. D., Sellke, T., Sinclair, B., Tingley, D., Van Zandt, T., Vazire, S., Watts, D. J., Winship, C., Wolpert, R. L., Xie, Y., Young, C., Zinman, J., & Johnson, V. E. (2018). Redefine statistical significance. Nature Human Behaviour, 2, 6-10.
- Chambers, C. D. (2017). The seven deadly sins of psychology: A manifesto for reforming the culture of scientific practice. Princeton University Press.
- Gigerenzer, G. (2004). Mindless statistics. The Journal of Socio-Economics, 33(5), 587-606.
- Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., Simonsohn, U., Wagenmakers, E. J., Ware, J. J., & Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021.
- Nuzzo, R. (2014). Scientific method: Statistical errors. Nature, 506, 150-152.
- Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
- Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534-547.
- Stefan, A. M., Schönbrodt, F. D., Saegert, P., & Wagenmakers, E. J. (2023). Big little lies: A compendium and simulation of p-hacking strategies. Royal Society Open Science, 10(2), 220346.
- Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond “p < 0.05”. The American Statistician, 73(sup1), 1-19.
🗓️ Yayınlanma Tarihi: 28 Haziran 2026
🔄 Son Güncelleme Tarihi: 28 Haziran 2026
🎯 Kimler için: Bu yazı; p-hacking, p-değeri, istatistiksel anlamlılık, replikasyon krizi, açık bilim, araştırma etiği, akademik yayıncılık ve bilimsel yöntem konularıyla ilgilenen okurlar için hazırlanmıştır. Ayrıca akademisyenler, lisansüstü öğrenciler, gazeteciler, veri analistleri, sağlık araştırmacıları, sosyal bilimciler, politika yapıcılar ve bilimsel haberleri daha eleştirel okumak isteyen herkes için temel bir başvuru metni olarak tasarlanmıştır.
İçerik Bilgisi
Invictus Wiki editoryal ekibini temsil eden kolektif bir yazarlık imzasıdır. IW imzasıyla yayımlanan içerikler; çok kaynaklı araştırma, editoryal inceleme ve tarafsızlık ilkeleri doğrultusunda hazırlanır.
