Yazar adı: Bilal Latif Özdemir

Merhaba, Python ile Web Scraping yazı serimizin 2. bölümündeyiz. İlk bölümde basit örnekler ile tek web sayfası içerisindeki tablo verilerinin nasıl kayıt altına alınabileceğine değinmiştik. İlk yazıyı gözden kaçırdıysanız bir göz atabilirsiniz: Python ile Web Scraping: Temeller Bu bölümde ise her e-ticaret sitesinde gördüğümüz üzere sayfalar boyunca listelenmiş ürünler ve bu ürünlerin detay bilgilerine ulaşmaya çalışacağız ve bu bilgileri toplu bir şekilde veri seti olarak toplayacağız. Örneğimizi görsel ile işlemek daha sağlıklı olacaktır. Her e-ticaret sitesinde karşılaştığımız üzere mesela telefonlar kategorisine girdiğimizde sayfalar boyunca telefonların listelendiğini görüyoruz. Her bir ürünün (telefon, bilgisayar vb) bilgilerini detaylı görmek için tıkladığımızda ise ürün bilgileri karşımıza sıralanıyor. Burada her bir telefonun bilgilerini kayıt altına almak istediğimizi varsayarsak; üstteki şemada her sayfada 9 ürün olduğu ve telefon kategorisinin 7 sayfa devam ettiği bu durumda 7 * 9 = 63 telefonun bilgilerinden oluşan veri seti oluşturabiliriz. Bu veri setini ödevlerimizde, projelerimizde veya analizlerimizde kullanmamız mümkün olacaktır. Böyle bir uygulama detaylı bir ön çalışma gerektiriyor. 63 telefonun da ürün sayfasına gidip tek tek içeriklere ulaşmak bir çözüm gibi durabilir fakat 63 ürünün linklerine ulaşmaya zaman ayırmak efektif değil. Kaldı ki 3000 telefon listeleniyorsa web sayfa boyunca 3000 linke tek tek ulaşmak mümkün olmayacaktır. Bunun için madde madde izlememiz gereken yol şu şekilde: Öncelikle ürün listesi sayfalarının linklerine ulaşmalıyız. İlk sayfanın linkini biz vereceğiz fakat sonraki sayfaların da linklerine sayfa içerisinden ulaşabilmeliyiz. Altta yer alan 1-2-3-4… şeklinde sıradaki sayfaya geçiş butonları sonraki sayfaların url’lerini saklıyor. Sayfada listelenen her ürünün “ürün detayı sayfası” linkine ulaşmamız gerekiyor. Her sayfanın url’i listeli sayfada gizlidir. Ardından ürün detaylarının toplanması gerekmektedir. Her bir ürünü bir tablonun tek 1 satırı olarak özellikleri ile birlikte kaydetmeliyiz. Bir örnek üzerinde senaryo ve adımların gereklilikleri çok daha iyi anlaşılacaktır. Uygulama aşamasında önceden hazırlamış olduğumuz https://bilative.github.io/sisterslab/page_1.html web sayfası üzerinden çalışmamızı yürüteceğiz. Uygulamaya başlamadan önce sayfayı bir incelemelisiniz. Linkte listelenen ürünler bulunuyor ve ürünlere tıkladığımızda detay sayfalarına ulaşabiliyoruz, aynı zamanda sonraki sayfalara geçiş yapabiliyor ve o sayfalarda listelenen ürünleri de inceleyebiliyor, detay bilgilerine ulaşabiliyoruz. Çalışmada kullanılacak tüm kodlara ise GitHub linkinden ulaşabilirsiniz.     İlk sayfa linkinde tarayıcıda “sayfa kaynağını görüntüle” seçeneği ile html içeriğini görüntülediğimizde sonraki sayfaların linklerinin listelendiği kısmı bulabiliriz. Bu html taglarını ve classlarını incelediğimizde beautiful soup ile alınacak web içeriğinin “a” tagında ve “class = pagination__content” şeklinde filtrelenmesi gerektiğini fark ediyoruz. Yani burada listelenen sayfa linklerine ulaşmak için gerekli olan python kodumuz şöyle olacak. Başarılı bir şekilde sayfa linklerine ulaşabildik. Şimdi de her bir sayfadaki listelenen ürünlerin linklerine ihtiyacımız var. Ürün sayfaları linklerinin ise “class = urun-adi” özelliğine sahip a tagları içerisinde olduğunu görebiliyoruz. Aslında önceki işlemlerin tekrarı sayılabilir bu aşama, sadece bu sefer 1 “get_soup” işlemi yapmayacağız, her 5 web sayfasına da ayrı ayrı get_soup ile içeriklerine ulaşma adımını yapacağız. Bu işlemler sırasında yine ürün linklerini bir liste içerisinde biriktireceğiz. Buraya kadar 2 parça halinde: İlk olarak tüm sayfaların url’lerine ulaştık. Ve sayfalar içerisinde listelenen ürünlerin linklerini kayıt altına aldık. Sadece başlangıç sayfası url’ini dışarıdan programımıza bildirip 5 farklı sayfa ve 20 ürünün linkine ulaştık. Böyle bakınca dışarıdan müdehalemiz sadece başlangıç noktasını belirlerken oldu. 300 web sayfası olsaydı teorik olarak 300 * 4 = 1200 ürün linkine dışardan müdehalesiz ulaşmış olacaktık. Şimdi sırada elimizde linkleri bulunan bu 20 ürün özelliklerini alıp bir dataframede toplamak var. Bir ön inceleme sonrası tüm ürünlerin aynı özelliklerinin listelendiği (Ürün Adı, Rengi, Dayanıklılığı…) fakat aldıkları değerlerin değişkenlik gösterdiği fark ediliyor. Bu da aslında tablolarda tuttuğumuz yapılandırılmış veri örneği. Ürün sayfalarının html taglarını incelediğimizde değişken isimlerinin “th” etiketlerinde tutulduğunu ve alınan değerlerin ise “td” etkiketlerinde yer aldığını görebiliyoruz. (Bütün html tag incelemelerine “öğeyi denetle seçeneği” ile ulaşabiliriz.) Bu şekilde doğru kolon isimlerini barındıran boş bir dataframe oluşturmuş oluyoruz (shape = 0 x 10). Sırasıyla bütün ürün sayfalarını gezip/kazıyıp td etiketlerinde yer alan değişken değerleri ile dataframe satırlarını doldurmak kalıyor geriye. Hemen her web sayfada üzerine biraz çalışma ile benzer uygulamalar yapılabilir. Buradaki bölümde basit bir örnek ile çoklu sayfalar ve geçişlerde nasıl web kazıma yöntemini efektif kullanabileceğimize değindik. Bu örnekler için kullanılan web sayfaları herhangi bir site değil de kendi oluşturduğum tasarımlar üzerinden anlatma sebebim ise olabildiğince basit ve standard bir örnek ortaya koyabilmekti. Web scraping’de derinleştikçe dikkat etmeniz gereken bazı konulara değinmek gerekirse: Web scraping’e direkt girişmeden önce hedef web sitelerinde ön çalışmalar yapmak gerekmektedir. Her farklı web site farklı bileşenlerden oluşmakta ve farklı isimlendirmeler ile özellik atamalarını yapmaktadır. Her bir tekil sayfaya istek atmadan önce veya sonra 0.5 sn civarı bir bekleme (time.sleep(0.5)) bırakmak site kaynaklarını yormanızı önleyecektir. Aksi halde çok seri bir şekilde attığınız istekler site tarafından bir saldırı olarak algılanabilir ve siteye erişiminiz engellenebilir. Çoğu web sayfadaki datalar standarttan çok uzak ve kirlidir. Mesela bir ürün bilgisi 1000GB, biri 1T, bir diğeri ise 1TB olarak girilmiş olabiliyor bilgiler, Web sayfalarda sonraki sayfa linkleri her zaman sıralı bir şekilde verilmez, farklı yaklaşımlar sergilenmesi gerekir. Farklı senaryolar farklı zorluklarla yüzleşmenizi sağlayacaktır. Takıldığınız bir yer olduğunda veya zorlu bir görevle karşılaştığınızda iletişime geçmekten çekinmeyin. Sonraki yazımızda web scraping görevini bir twitter botu ile birleştireceğiz, görüşmek üzere.

Merhaba, Gün içinde birçok web sitede geziyoruz. Bu mecralardaki fotoğraf, tweet, yazı, fiyat gibi kayıtların aynı zamanda “veri” olduğunun pekala farkındayız. Bu verinin farkı ise bir veritabında, excelde veya csv dosyasında değil de bir web sitede ürün olarak karşımıza çıkıyor olması. Peki oluyor ya arada, bu sitelerdeki verilere ihtiyacımız olursa ne yapacağız? Kimi web siteler ücretli veya ücretsiz verileri API’lar ile kullanıma açabiliyor, kimisi tabloları indirme bağlantısı paylaşıyor; peki ya bunları sağlamıyorlarsa bu verileri nasıl alabiliriz? Yöntem basit, tek tek bütün satırları kağıt kalem ile kaydedebiliriz veya bir Excel tablosu açıp her gördüğümüz değeri tek tek Excel’e yazabiliriz ama efektif bir yöntem değil bu. Burada imdadımıza Web Scraping yetişiyor, bu yöntemle verileri tek tek kaydetme işlemini otomatize edebiliyoruz. Bu yazı serimizde Web Scraping ve kullanım alanları üzerinde duracağız. Yol haritamız şöyle: Web Scraping temelleri, E-ticaret sitelerinden otomatize scraping, Web Scraping kullanarak Twitter botu oluşturma. Web Scraping Web Scraping web sitelerinde sunulan içerikleri programlama dilleri yardımı ile alma yöntemidir. İşlem aslında tek tek siteleri tıklamamız ve gördüklerimizi kağıt kalem ile kaydetmemize eşdeğer bir süreç, sadece programlama dilleri saatler sürebilecek bu süreci saniyeler içerisinde gerçekleştirmemizi sağlıyor. Sitelerden sadece site yöneticilerinin kullanıcılara sundukları bilgileri (html, xml vb. formatta) alıyor olduğumuz için aslında yaptığımızda yanlış bir şey yok. Fakat içeriği kullanım amacınıza göre ilgili site yönetiminden izinler almanız gerekli olabilir. Eğer ki verileri çektiğiniz sitenin kazanç kaynağı ürünlerin fiyatlarını sunmak ise (ürün satmaktan farklı bu bahsettiğim), kullanıcıları bu sitelerdeki verileri görmek ve paylaşmak için ücret ödüyor ise bu sitelerden izinsiz veri çekme işlemleri hukuki yönden sıkıntılar çıkartacaktır. Bir web sayfasında mouse ile sağ tıklayıp “sayfa kaynağını görüntüle” dediğimizde karşımıza çıkan yazılar, karakterler aslında bizim gördüğümüz web sayfasının bütün detaylarının belirlendiği kısım. Web Scraping işleminde aslında o kısımda yer alan html taglarını ayrıştırarak odaklandığımız verileri aradan çekip çıkarıyoruz. Web Scraping örneklerimiz için çok çok basit düzeyde html bilgisi gerekiyor. Ben bu sürece “html okumak” diyorum, html’i yazabilmemize gerek yok Web Scraping için basit düzeyde okuyabilmemiz yeterli. Bu yazı serimizde çok basit düzeyde scraping işlemlerini göreceğiz ve bunun için Python – Beautiful Soup kütüphanesini kullanacağız. Seride kullanacak olduğumuz web sitelerini ise örneklerin nokta atışı ve daha anlaşılır olmasını amacıyla kendi oluşturduğum web sayfaları üzerinden ilerleyeceğiz. Bu yazıda kullanacak olduğumuz web sayfamız: https://bilative.github.io/sisterslab/web_scraping Uygulama Öncelikle daha önce kullanmadıysanız import öncesi beautifulsoup ve request paketlerinin pip installation işlemlerini yapmanız gerekecektir. Bu süreçte: İlk olarak bir web sitesine get request (istek) atıp bir kez sayfa içeriğini (html olarak) görüntülüyoruz. Bu işlem tarayıcıda sağ tıklayıp “sayfa kaynağını görüntüle” dediğimizde gördüğümüz tüm içeriği almamızı sağlıyor. Ve daha sonra bu html kodlarınını -elde etmek istediğimiz bulunduğu alanın bilgilerine göre- filtreleyerek gerekli bilgiyi aradan sıyırıp alıyoruz. İstek atma ve içeriği alma kısmında “request” paketinden yararlanıyor ve bu html kodlarının düzeltilmesi ve tag’ler olarak ayrıştırılması kısmında da Beautiful Soup paketinden yararlanıyoruz. Burada bahsettiğimiz gibi sayfa içerisindeki tüm html içeriği soup içerisine kaydedildi. Tablo Verilerini Kazımak Tablo verilerini kazımadan önce işimizi kolaylaştıracak bir işlem olarak web sayfasında “sayfa kaynağını görüntüle” işlemini yapıp “Ctrl + F” kombinasyonu ile tablo elemanlarını aramakta fayda var. Bu şekilde direkt kazımak istediğimiz bölümün taglerine ve class bilgilerine ulaşabiliriz. Örnek olarak bu alanda Ctrl + F sonrası “Icimizdeki Seytan” kelimesini arayalım. Direkt olarak gittiğimiz satırda “td” etiketinde “col9” class’ının belirlendiğini görebiliyoruz, ve tüm kitap isimleri “col9” class’ı ile tanımlanmış. Html td etiketi satırları gözelerini belirtir. Buradan aldığımız bilgiler doğrultusunda Beautiful Soup’a arama işlemimizin sınırlarını söyleyebiliyoruz. Bu şekilde tablonun tüm elemanlarına ulaşmak, filtrelemek ve bunları dataframe’e çevirmek bize kalmış. Örnek web sayfası üzerindeki daha detaylı örnekleri buradaki github reposundan görüntüleyebilirsiniz. E-Ticaret Verilerini Kazımak Ürün hakkında özet bilgileri barındıran ürün kutucuklarını tüm e-ticaret sitelerinde görebiliyoruz. Bu kutulara tıklayınca ürünlerin detaylı sayfasına ulaşabiliyoruz. Web sayfaları gezinirken direkt olarak göremesek de o kutucukta yazan bilgiler ile birlikte ürünün sayfasının linki ve satıcısının profil linki de o kutucuğa gömülü ve hatta oradaki küçük görselin de bilgisi de o kutucukta yer alıyor. Tıklayınca bizi yönlendiriyorsa o bilgi orada bir yerde olmalı, değil mi? Kaynak kodlarının olduğu kısma geldiğimizde mesela “Bilal Manavcilik” linkine ulaşmak istediğimizi varsayalım. Bunu aradığımızda “a” etiketi içerisinde yer aldığını, bir url barındırdığını ve “urun-satici” div’i içerisinde yer aldığını görüyoruz. O zaman bu şekilde bir filtreleme” işlemi yaparak bu bilgiyi ayrıştırmak da mümkün. Tüm ürün satıcılarının isimlerine ve profil url’lerine ulaşmak için ise şöyle bir yol izlememiz gerekiyor. Tabii ki de tekil olarak verileri almak pek bir şey sunmuyor bizlere, ürünlerin bilgileri ile dataframe oluşturma için de şöyle bir yol izleyebiliriz: Bu yazımızda çok basit düzeyde örnekler ile Python ile Web Scraping konusuna giriş yaptık. Değindiğimiz örnekler Web Scraping konusunda ilerledikçe en fazla kullanma ihtiyacı hissedeceğimiz 2 konuydu. İlk başlarda html bilgisi olmayanlara belki süreç karmaşık görünüyor olabilir fakat adaptasyon çok hızlı olacaktır ve kısa sürede html bilgisi de kazanmayı sağlayacaktır bu uğraş. Web Scraping gerçekten çok keyifli bir konu olmakla birlikte bazı püf noktalara da dikkat etmek gerekiyor. Serimizin sonraki adımlarında daha da derinleşerek bu alanda farklı kullanım örnekleri sunacağız. Bir sonraki yazıda görüşmek üzere.

Merhaba, Daha önceki yazılarımızda veri tiplerine göre görselleştirme yöntemlerinden dashboard araçlarına kadar bir özel sunmuştuk. Veri görselleştirme serisinin bu son yazısında ise etkileşimli dashboard oluşturma konusuna değineceğiz. Serinin önceki yazılarına da ayrıca gözatabilirsiniz: Adım Adım Veri Görselleştirme: Tipler ve Tüyolar Adım Adım Veri Görselleştirme: Python Temelleri Adım Adım Veri Görselleştirme: Çeşitli Senaryolar ile Görselleştirme Adım Adım Veri Görselleştirme: Dashboard Oluşturmada Yardımcı Araçlar Toplu halde veri görselleştirme ile bilgi aktarımında amacımıza göre kullandığımız araç ve izleyeceğimiz yol değişebilir. Genel olarak durağan ve tek bilgi sunmayı hedefleyen görselleştirme görevlerimiz oluyor olsa da detaylı ve çok sayıda alt kırılımı olan veri setimiz veya araştırma konumuzda tüm bilgileri bir anda sunmak neredeyse imkansız olabiliyor. Diğer bir problem de farklı kişiler farklı bilgilere odaklanmak isteyebiliyor. Bu sebeple: Onlarca kategorik değişkenden hangisi veya hangilerini grafiğe dökmeliyim? Zamana bağlı onlarca numerik değişkenin hangisi veya hangilerini grafiğe dökmeliyim? x ve y seneleri arasındaki mi yoksa x+5 ve y+7 seneleri arasındaki verileri göstermeliyim? gibi soruların tek bir cevabı olamıyor. Burada görselleri oluşturma mantığımızı biraz değiştirmemiz, sabit girdi ile sabit bir grafik oluşturmaktan daha fazlasını yapmamız gerekiyor. Ve burada etkileşimli dashboardlara çıkıyor kapımız. Bir önceki yazıda bahsettiğimiz gibi dashboard oluşturmak bir çok farklı seçenek var. Yeteneklerimiz ve görev kısıtlarımıza göre farklı opsiyonlara yönelebiliriz. Powerbi ve Google Data Studio gibi opsiyonlar arayüz üzerinden seçimler yaparak veya Python gibi bir programlama dili yardımı ile de dashboard oluşturmak mümkün. Ben yine Python’dan ilerleyeceğim. Uygulama Üzerinden Dashboard Oluşturma ve Etkileşim Araçları Örnek olarak önceki yazılarda da kullandığımız “İBB Şehir Tiyatrolarında Sahnelenen Oyunlar Verisi”ni kullandım. Veri seti oyun adı, tarihi, oyun kategorisi, oyun tipi, sahne konumu ve ziyaretçi sayısı değişkenlerini içeren 27bin satır veriden oluşuyor. Toplamda 77 farklı salonu barındıran veri setinde kimi salonlarda binlerce kez oyunlar sahnelenmişken kimi salonlarda bir kaç kez oyunlar sergilenmiş. Her sahne içerisinde sergilenen oyunlar ve katılımcı grupları kendi içinde farklı desenler oluşturuyor. Bu gibi bir veri setinde oluşturulacak olan grafikler ancak farklı sorulara da aynı zamanda cevap verebilirse maksimum bilgiyi sunuyor. Bu konuda Python dash kütüphanesi ile oluşturmuş olduğum bir örnek dashboard üzerinde, dashboard etkileşim araçlarına ve etkilerine değineceğim. Kodlara github adresimden ulaşabilirsiniz. Şehir Tiyatrolarında Sahnelenen Oyunlar Verisi – (https://data.ibb.gov.tr/dataset/sehir-tiyatrolari-veri-seti/resource/79465ce9-8755-4b57-8e6c-def0c0caadc8) 15sn’lik bir incelemenin ardından genel olarak karşımızdaki 3 farklı grafiğin verdiği bilgiyi kolayca anlayabiliyoruz. Grafik başlıklarından da anlaşılacağı üzere spesifik sahnelere ait bilgiler sunulmuş, tüm veri setine ait bilgiler sunulmamış. Grafiklerimizin etkileşimli olması ve kullanıcının seçimleri ile yönetilebilmesini sağlayan aslında burada gördüğümüz dört farklı araç. Veri görselleştirmede bu araçların sırasıyla uygun kullanımlarına değinelim. 1. Dropdown Menu Dropdown menüler, içerisinde bulunan mümkün opsiyonlardan birini (çoklu da olabilir) seçmemizi sağlayan bir yardımcı araç. Etkileşimli dashboardlar oluştururken genellikle dropdown menüler ile kategorik değişkenlerin sınıflarını seçme imkanı sunuyoruz kullanıcıya. Kullanıcının seçtiği sınıfa göre veri setini daraltıyor ve görsellerin filtrelenmiş veri seti ile oluşturulmasını sağlıyoruz. Mesela bu örneğimizde “Fatih Reşat Nuri Sahnesi” seçildiğinde 27bin satır gözlemden sadece bu sahnenin bilgisini içerenleri kullanacağımızı belirtmiş olduk. Diğer görsellerin tümü sadece bu sahneye ait bilgileri kullanıyor oldu. Seçimi değiştirerek tüm bilgilerin farklı bir sahneye göre güncellenmesini sağlayabilirsiniz. Örnek diğer senaryolar ise şu şekilde olabilir: Araç plakasını seçerek, Uçuş ID’si seçerek, Meyve adını seçerek, sadece o meyve / grubun bilgilerini kullanarak görselleri oluşturmak 2. Button Buttonlar aslında her web sitede karşılaştığımız bildiğimiz bir yardımcı araçtır. Bir örneğini de burada gördüğünüz gibi random seçimler yaptırmak için ekliyor olduk. Fakat dashboardlarda buttonların kullanım genellikle hesaplama işlemlerini veya veri bilimi proje çıktılarından tahminleme motorlarını uygun değerler girildikten sonra tetiklemektir. Güzel bulduğum bir örneğine şuradan ulaşabilirsiniz. 3. Tarih Seçici Tarih seçiciler spesifik bir tarih veya 2 tarihin aralığını seçmemizi sağlayamaktadır. Zaman bilgisi ile birlikte tutulmuş büyük veri setlerimizde, kullanıcıların belirli zaman dilimlerine veya noktalara kolayca odaklanabilmelerini sağlamak için tarih seçicileri kullanıyoruz. Bazı veri setlerinizde buna ihtiyacınız olmayabilir fakat 100 sene boyunca tutulmuş kayıtları barındıran bir veri setinde 8 ocak 1995 tarihindeki bir değere odaklanmak isterseniz bu imkansız olacaktır. Tarih seçicileri kullanarak kullanıcı dostu, istenilen tarihe odaklanan, temiz bilgi sunulabilir görseller oluşturmak da mümkün olacaktır. Örneğimizde tüm grafikler seçilen tarih aralığındaki verilere göre güncellenerek kullanıcıya sunuluyor. 4. Radio Button – Opsiyon Button Kullanıcıların farklı opsiyonları bir arada görebildiği ve sadece birini seçebildiği bir yardımcı araçtır. Dashboardlarda da kullanıcıdan görmek istediği değişken veya kategori gibi bilgileri belirtmesi için kullanıyoruz, kullanıcı seçimine göre grafikleri güncelliyoruz. Buradaki örnekte direkt olarak kullanıcının görmek istediği grafiği seçmesini istedik. Seçimlere göre kullanıcının görecek olduğu grafikler şu 3’ünden biri olacak: Ek olarak bu araçları PowerBi veya GDS ile oluşturmak isterseniz programlar kendileri bu seçimleri aktif edebiliyor. Fakat eğer Python gibi bir programlama dili ile bu araçları kullanmak isterseniz arka plandaki uygun filtreleme, alt örneklemler alma ve doğru girdileri grafikler ile bağlama kısmı sizin omuzlarınızda, bu kısımlar zaman alsa da çok keyifli. Her ne kadar burada CSV dosyadan veriyi okumuş olsak da canlı akan / toplanan verileri de görselleştireceğiniz durumlarla karşılaşılabilir ve onlara uygun yaklaşımlar sergilemeniz gerekebilir (çok daha eğlenceliler). Veri görselleştirme serimiz boyunca en temelden başlayıp basit düzeyde de olsa tüyolar ve uygulama detayları paylaşıyor olduk ve bir dashboard ile bütün bir şekilde görsel çıktısını etkili bir şekilde sunmaya değindik. Çok defa uyguladıktan sonra giderek uzmanlaşılan konular olduğunu belirtmek gerek bu konuların. İlk yazı serim boyunca çok eğlendim ve genel olarak iş hayatımda da çokça kullanıyor olduğum başlıklar üzerinden bilgi aktarımları gerçekleştiriyor oldum. Anlattıklarımı profesyonel hayatta icra ediyor olsam da yazılarım amatörce olmuş olabilir. Seri boyunca gördüğünüz hatalarım, belirtmek/ paylaşmak istediğiniz herhangi bir konuda hakkında veya önerileriniz için benimle iletişime geçebilirsiniz. Bir sonraki seride görüşmek üzere.