Scrape.do Yan Projeden Günde 500 Milyon İsteğe Nasıl Büyüdü?

Kısa yanıt: Scrape.do, kurucunun serbest projelerde tekrar tekrar yaşadığı web verisi erişimi sorunundan doğdu ve görüşme döneminde günde yaklaşık 500 milyon istek işleyen, 11 kişilik ekibe sahip bir hizmete dönüştü. Ben Batuhan Özyön’le ürünün teknik katmanlarını, müşteri desteğini, büyüme kararlarını ve web scraping’in hukuki sınırlarını konuştum.

Scrape.do kurucusu Batuhan Özyön ile yan proje olarak başlayan bir web veri erişim hizmetinin büyümesini konuştum. Batuhan, görüşme sırasında sistemden günde yaklaşık 500 milyon web isteği geçtiğini, ekibin 11 kişiye ve müşteri sayısının yaklaşık 600 şirkete ulaştığını söyledi.

Bu rakamlar kurucunun söyleşide paylaştığı dönemsel değerlerdir; bağımsız trafik denetimi değildir. Web verisine erişimin hukuki durumu da yalnızca içeriğin herkese açık olmasına bağlı değildir. Kullanım koşulları, kişisel veri, telif, veri tabanı hakları, erişim önlemleri ve hedef ülke mevzuatı ayrıca değerlendirilmelidir.

Söyleşide hangi noktalar öne çıktı?

• Batuhan, 11–12 yaşlarında web sitesi yapmaya başladı; oyunlarda bot geliştirme merakı onu tersine mühendisliğe yöneltti.
• Scrape.do, serbest projelerde yaşadığı veri erişimi sorunları için geliştirdiği iç araçtan doğdu.
• Kurucunun verdiği rakamlara göre sistem günde yaklaşık 500 milyon istek işliyor ve 110 milyon konut tipi IP’den oluşan bir havuza erişiyordu.
• 11 kişilik ekibin yaklaşık yüzde 70’i teknik görevlerde çalışıyordu.
• Yaklaşık 600 küresel şirket müşterinin büyük bölümünün kurumsal segmentte olduğu belirtildi.
• Teknik destek ve müşterinin veri akışı kesildiğinde hızlı müdahale, büyümenin temel farklarından biri olarak anlatıldı.
• İlk büyük müşteri, ürün henüz yan projeyken geldi; tavsiye büyümenin erken kanalı oldu.
• Planlanan ürünler arasında doğrudan proxy hizmeti, uzaktan yönetilen tarayıcı altyapısı ve hazır veri kümeleri vardı.

Batuhan Özyön yazılıma nasıl başladı?

Batuhan Ankara’da büyüdü. İlk basit web sitelerini çocuk yaşta yaptı. Knight Online oynarken otomasyon ve tersine mühendislikle ilgilenmeye başladı:

“Oyunda bir şeyi nasıl otomatik yaparız diye düşünürken bugünkü noktaya geldik. Hâlâ tersine mühendislikle uğraşıyoruz.”

Oyun örneği, teknik merakının başlangıcını anlatıyor; hile veya yetkisiz erişim önerisi değil. Batuhan daha sonra ailesinin işi için otomasyon geliştirdi, bilgisayar mühendisliği okudu ve 2018’de bir girişimde profesyonel yazılım kariyerine başladı.

Freelance ve şirket projelerinde sık sık web verisi topluyordu. Hedef sitelerin teknik önlemleri değiştikçe her projede aynı erişim sorunlarını yeniden çözmek zorunda kaldı. 2019–2020 civarında bu bilgi birikimini iç araca, ardından Scrape.do’ya çevirdi.

Scrape.do ne yapıyor?

Web scraping, web sayfalarındaki verinin yazılımla okunup yapılandırılmasıdır. Fiyat izleme, pazar araştırması, arama sonucu analizi, ürün kataloğu karşılaştırma ve herkese açık kayıtların işlenmesi gibi kullanım alanları vardır.

Scrape.do, geliştiricinin gönderdiği isteği hedef sayfaya iletir, gerekli ağ ve tarayıcı altyapısını yönetir ve yanıtı API üzerinden döndürür. Amaç, müşterinin proxy havuzu, tarayıcı ölçekleme ve sürekli değişen erişim sorunlarını tek başına yönetmemesidir.

Batuhan ürünü şöyle özetliyor:

“Müşterinin bot isteğini alıp hedef site için normal bir web oturumuna yaklaştırıyoruz. Biz yalnızca herkese açık web verisi tarafında hizmet veriyoruz; giriş arkasına geçtiğinde duruyoruz.”

Bu ürün sınırı önemlidir. “Herkese açık” veri de sınırsız kullanım izni anlamına gelmez. Müşteri, veri sorumlusu olarak amacın ve yöntemin hukuka, sitenin koşullarına ve kişilerin haklarına uyduğunu değerlendirmelidir.

Ürün hangi teknik katmanları yönetiyor?

Batuhan’ın görüşmede anlattığı yüksek seviyeli mimari:

• Konut, mobil ve veri merkezi IP kaynakları
• Ülke ve bazı durumlarda daha dar konum seçimi
• Basit HTTP isteği ile tarayıcı gerektiren sayfayı ayırma
• JavaScript çalıştırabilen tarayıcı havuzu
• Çerez, oturum ve sayfa oluşturma seçenekleri
• Hedefteki değişikliklere göre sürekli güncellenen erişim katmanı

Batuhan, görüşme döneminde dünya çapında 110 milyon konut tipi proxy kaynağı bulunduğunu söyledi. Proxy, iki sistem arasındaki ağ trafiğini başka bir bağlantı noktası üzerinden ileten katmandır. VPN’e benzeyen yönü farklı IP veya konumdan çıkış sağlayabilmesidir; protokol ve kullanım modeli aynı değildir.

IP kaynağının “konut tipi” olarak etiketlenmesi etik veya hukuki edinimi otomatik olarak kanıtlamaz. Sağlayıcı seçerken cihaz sahibinin açık rızası, SDK dağıtımı, ücretlendirme, kötüye kullanım kontrolü ve kaynak iptal mekanizması incelenmelidir.

Ölçek ve ekip rakamları neydi?

Batuhan’ın söyleşide paylaştığı tablo:

“Başarı oranı”, her hedefte eksiksiz ve doğru veri anlamına gelmeyebilir. HTTP yanıtı, doğru içerik, güncellik ve hedef işin tamamlanması farklı ölçümlerdir. Ürün değerlendirmesinde başarı tanımı, örneklem ve hedef bazındaki hata oranı ayrıca sorulmalıdır.

Teknik destek scrape.do’nun büyümesine nasıl katkı verdi?

Emre, Scrape.do’nun farklarından birinin destek talebine teknik bir kişinin yanıt vermesi olduğunu belirtti. Veri akışı müşterinin kendi ürününü besliyorsa kesinti, müşteri zincirinde doğrudan soruna dönüşebiliyor.

Batuhan’ın yaklaşımı:

“Kendimizi müşterinin teknik ekibiyle aynı masada görüyoruz. Yalnızca IP kiralamıyoruz; kalan sürece de destek oluyoruz.”

Sık hedeflerde daha önce görülen sorunlar tekrarlandığı için ekip bazı talepleri dakikalar içinde çözebiliyordu. Bu hız bütün sorunlar için garanti değildir; ancak destek bilgisinin ürün ekibine yakın olması, hatanın kök nedenine ulaşmayı kolaylaştırabilir.

scrape.do’nun müşteri yapısı ve kullanım hacmi nasıldı?

Batuhan, müşterilerin yüzde 80’den fazlasını kurumsal olarak tanımladı. Bu segmentte müşteri kaybının çok düşük olduğunu; asıl değişimin aylık kullanım hacminde yaşandığını söyledi.

Bir müşteri bir ay 500 milyon sayfa, sonraki ay 100 milyon veya bir milyar sayfa işleyebiliyor. Altyapının yalnızca yüksek zirveyi değil, bu dalgalanmayı maliyet açısından da yönetmesi gerekiyor.

Kurucunun müşteri kaybı oranları sözlü açıklamadır. “Kurumsalda sıfır kayıp” gibi mutlak ifade, dönem, kohort ve gelir tanımı olmadan genel ölçüt olarak kullanılmamalıdır.

İlk müşteri yan projeyi nasıl şirkete çevirdi?

Scrape.do başlangıçta Batuhan’ın kendi projelerinde kullandığı araçtı. Çevresindeki geliştiriciler aracı öğrendikçe tavsiye yoluyla büyük bir şirket denemek istedi.

“Bir hafta içinde deneyip satın aldılar. Gelen hacim, daha önce yaptığım toplam scraping işinin iki veya üç katıydı. Şaşırdım.”

Bu müşteri, üründeki hataları yüksek gerçek kullanımda gösterdi ve pazar konumlandırmasını hızlandırdı. İlk günden anlamlı aylık gelir oluştu. Batuhan evlilik döneminde işinden ayrılıp ürüne tam zamanlı geçti.

İlk iki yıl büyük ölçüde tek kurucu olarak çalıştı. Dışarıdan 10–20 kişilik ekip izlenimi verecek kadar kapsamı tek başına yönetmeye çalıştı; hizmet kalitesi ve tavsiye kademeli büyüme getirdi. Batuhan aylık büyümeyi bazı dönemlerde yüzde 3–5 olarak hatırlıyor.

Bu hikâyedeki “şans”, büyük ilk müşteriye denk gelmekti. Kalıcı büyüme ise o müşterinin iş yükünü kaldırmak, geri bildirimi ürüne çevirmek ve destek güvenini korumaktan geldi.

Web scraping yasal mı?

Söyleşide herkese açık verinin toplanmasının otomatik olarak yasal olduğu yönünde geniş bir ifade geçiyor. Pratikte cevap bağlama göre değişir.

Değerlendirilmesi gereken başlıklar:

• Sitenin kullanım koşulları ve sözleşme ilişkisi
• Kişisel veri ve profil oluşturma kuralları
• Telif ve veri tabanı hakları
• Teknik erişim önlemlerini aşmaya ilişkin yasalar
• Robots yönergeleri ile sitenin açık tercihleri
• Toplama sıklığının hizmete yükü
• Verinin yeniden satışı veya farklı amaçta kullanımı
• Hedef ve müşterinin bulunduğu ülke

Giriş arkasındaki veriye yetkisiz erişim, kimlik doğrulama önlemini aşma veya başkasının hesabını kullanma ayrı ve daha yüksek riskli alanlardır. Hukuki yorum için ilgili bölgede uzman görüşü alınmalıdır.

Açık web ile giriş arkasındaki webin sınırı nerede?

LinkedIn örneği üzerinden platformların bazı bilgileri giriş arkasına taşıması konuşuldu. Scrape.do’nun beyan ettiği sınır, herkese açık sayfalarda çalışmak ve giriş gerektiren veriyi ürün kapsamında sunmamak.

Batuhan, kapalı alanlarda bireysel aktörlerin cihaz çiftliği, sahte hesap veya kapalı gruplarda veri satışı gibi gri ve kötüye kullanıma açık yöntemlere yöneldiğini söyledi. Bu yöntemler hukuki, etik ve güvenlik riski taşır; bu yazı bunların uygulanmasını önermiyor.

Kullandığı benzetme:

“Maymuncuk satıyoruz. Çilingir kullanırsa ev sahibine hizmet eder; hırsız kullanırsa evi soyar.”

Araç sağlayıcısının kötüye kullanım politikası, müşteri doğrulama, oran sınırı, ihbar süreci ve şüpheli kullanım engeli bu nedenle önemlidir.

Yapay zekâ ajanları web erişimini nasıl değiştirebilir?

Yapay zekâ ajanı bir sayfayı okuyup form doldurabilir, ürün karşılaştırabilir veya sipariş akışı yürütebilir. Site bu otomasyonu destekliyorsa standart arayüz ve API’ler yeterli olabilir. Site bot trafiğini istemiyorsa, dil modeli tek başına teknik erişim sorununu çözmez.

Batuhan, tarayıcı ajanı geliştiren ekiplerin yalnızca model yeteneğine güvenemeyeceğini; tarayıcı uyumluluğu, oturum, ağ, hata yönetimi ve site değişikliklerinin ayrı mühendislik gerektirdiğini vurguladı.

Öte yandan şirketler ajanlar için resmî API veya izinli protokoller açabilir. Ticari olarak sipariş almak isteyen site, iyi tanımlanmış ajan erişimini destekleyebilir. Hassas veya lisanslı veri sağlayan site ise daha sıkı kimlik ve kota isteyebilir.

Bu iki yönün birlikte gelişmesi olası:

1. İzinli işlemler için yapılandırılmış API ve ajan protokolleri
2. Genel web içeriğini okumak için tarayıcı ve veri erişim altyapısı

Bot trafiği ve sunucu maliyeti yayıncıları nasıl etkiliyor?

Söyleşide OpenAI botlarının bazı sitelerde Google’dan daha yüksek istek hacmi ürettiğine ilişkin, Batuhan’ın da doğruluğundan emin olmadığını belirttiği bir sayı konuşuldu. Bağımsız ölçüm olmadan bu oranı genellememek gerekir.

Yayıncılar tarayıcıları robots.txt, güvenlik duvarı, oran sınırı ve sağlayıcı ayarlarıyla yönetebilir. Bazı şirketler kaynak tüketimi nedeniyle botları kapatırken bazıları arama veya yapay zekâ ürünlerinden yönlendirme almak için izin verebilir.

İyi tarayıcı:

• Açık bir user agent ve iletişim bilgisi kullanır.
• Robots ve hizmet koşullarını değerlendirir.
• Oran sınırına uyar.
• Önbellek kullanır ve aynı içeriği gereksiz tekrar istemez.
• Hata veya Retry-After yanıtında geri çekilir.
• Hizmetin normal kullanıcılarını etkilemez.

Reklam sahtekârlığı tartışmasından hangi ders çıkar?

Görüşmede bot tespiti ve reklam tıklama sahtekârlığı da konuşuldu. Tarayıcı geçmişi, oturum ve davranış örüntüsü gibi sinyallerin bot değerlendirmesinde kullanılabileceği anlatıldı. Bu, reklam sistemini atlatma yöntemi olarak okunmamalıdır.

Sahte tıklama üretmek, rakibin bütçesini tüketmek veya geçerli kullanıcı gibi görünmek hileli faaliyettir. Reklamveren şüpheli trafik gördüğünde sağlayıcının geçersiz trafik raporlarını, sunucu kayıtlarını, coğrafi dağılımı ve dönüşüm kalitesini birlikte incelemelidir.

Görüşmede geçen “trafiğin yüzde 30’u sahte” iddiası kaynağı ve kapsamı belirtilmeden paylaşılmıştır. Bunu bütün dijital reklam pazarı için doğrulanmış oran olarak kullanmıyoruz.

Scrape.do hangi yeni ürünleri planlıyordu?

Görüşme döneminde ekip API hizmetinin yanına dört veya beş ürün üzerinde çalışıyordu:

• Doğrudan proxy hizmeti
• Ajan veya otomasyon aracının bağlanabileceği yönetilen tarayıcı ağı
• Önceden toplanmış veri kümeleri
• Belirli yüksek değerli müşteri ihtiyaçlarına özel veri ürünleri

Batuhan, standart tarayıcıyla yapılan işin basit HTTP isteğine göre 10–20 kat maliyetli olabildiğini söyledi. Hedef, tarayıcıyı yalnızca gerektiğinde kullanıp müşteriye daha istikrarlı maliyet sunmaktı.

İlk sürümlerin mevcut müşterilerle denenmesi planlanıyordu. Bu, ürün-pazar uyumu açısından mantıklı: Ekibin sorunu ve veri hacmini bildiği kullanıcılarla daha hızlı doğrulama yapılabilir.

Bu büyüme hikâyesinden hangi yedi ders alınabilir?

1. Kendi tekrar eden probleminiz ürün fikri olabilir. Scrape.do, kurucunun her projede yeniden çözdüğü sorundan çıktı.
2. İlk büyük müşteri ürün test laboratuvarıdır. Yüksek hacim, varsayımları erken kırdı.
3. Teknik ürünün desteği üründen ayrı değildir. Müşteri veri akışını emanet ediyorsa müdahale kalitesi satın alma nedenidir.
4. Tavsiye güvenle büyür. İlk büyümede reklamdan çok hizmet kalitesi ve çevre etkili oldu.
5. Başarı ölçütünü açık tanımlayın. HTTP 200, doğru veri ve müşteri işinin tamamlanması aynı şey değildir.
6. Ürün sınırını yazılı tutun. Herkese açık veri, giriş arkası veri ve izinli API farklı risk taşır.
7. Yapay zekâ altyapı mühendisliğinin yerini almaz. Ajan arayüzü değiştirir; ağ, tarayıcı, güvenlik ve hata yönetimi devam eder.

Batuhan’ın söyleşisi, teknik derinliğin küçük ekiple küresel B2B hizmete dönüşebileceğini gösteriyor. Aynı zamanda web verisi işinde güven, hukuk ve kötüye kullanım kontrolünün performans kadar önemli olduğunu hatırlatıyor.

YouTube dökümünün ilk İngilizce sürümü TranscribeTube ile hazırlanmıştır.

Web scraping API seçeneklerini karşılaştırıyorsanız ScrapingAPI.ai kaynağına da bakabilirsiniz. Hizmeti kullanmadan önce güncel özellikleri, veri kaynağını ve kullanım koşullarını doğrulayın.

Web verisi ve ajanlar konusunda sırada ne okuyabilirsiniz?

• Araç kullanan karar döngülerini yapay zekâ ajanları rehberimde inceleyin.
• Web verisiyle üretilen analizlerin sınırlarını Google algoritma sızıntısı rehberimde okuyun.
• Web içeriğini daha temiz işlemek için URL’den Markdown’a dönüşüm rehberime geçin.