Büyük Veri: Nedir, Teknolojileri

Selamlar,

Uzun zamandır üzerine araştırma yapmak istediğim ve geçmişte biraz da olsa öğrenmeye çalıştığım Büyük Veri konusuna olan ilgim yeniden canlandı. Bu kez, daha derinlemesine bir şekilde incelemek ve öğrendiklerimi bir yazı serisiyle paylaşmaya karar verdim. Ayrıca fırsatım olursa bu seride bir de futbol verileri üzerinde (veya başka bir veri üzerinde) basit de olsa bir büyük veri çalışması yapmak istiyorum. Bu süreçte de birçok farklı kaynaktan yararlanmaya çalışıyorum. ¹²³⁴⁵

Peki o halde başlayalım, nedir bu Büyük Veri (Big Data)? Günümüzün dijital dünyasında büyük veri, işletmeler ve organizasyonlar için vazgeçilmez bir kaynak haline gelmiştir. Bu serinin ilk yazısında, büyük verinin ne olduğunu, temel bileşenlerini, Hadoop, Spark ve NoSQL gibi teknolojilerin bu alandaki rollerini ve futbol sektöründe nasıl uygulandıklarını inceleyeceğiz.

Veriniz yoksa, sadece bir başka fikri olan insansınız.
— W. Edwards Deming

Veri, yeni petrole benzer.
— Clive Humby

Keyifli okumalar!

Büyük Veri (Big Data) Nedir? #

Büyük veri, geleneksel veri işleme yöntemleriyle yönetilmesi ve analiz edilmesi zor olan, çok büyük hacimde ve çeşitli kaynaklardan gelen veri kümelerini ifade eder. Büyük veri, genellikle 5V modeliyle açıklanır:

1. Hacim (Volume): Oluşturulan veri miktarının büyüklüğünü ifade eder. Örneğin, futbol maçlarında saniyede üretilen konum ve hareket verileri terabaytlarca bilgi oluşturabilir.
2. Çeşitlilik (Variety): Verinin farklı format ve türlerde olmasıdır; yapılandırılmış (oyuncu istatistikleri), yarı yapılandırılmış (JSON maç raporları) ve yapılandırılmamış (maç videoları) veri gibi.
3. Hız (Velocity): Verinin oluşturulma ve işlenme hızını belirtir. Örneğin, bir futbol maçında sensörlerden gelen veriler anlık olarak analiz edilebilir.
4. Doğruluk (Veracity): Verinin doğruluğu ve güvenilirliğidir. Maç istatistiklerinin hatasız ve anlamlı olması için veri kaynaklarının doğruluğu önemlidir.
5. Değer (Value): Verinin organizasyonlara sağladığı faydadır. Örneğin, oyuncu performans analizinden elde edilen bilgiler, antrenman programlarının optimize edilmesini sağlar.

Kişisel yorumum #

İncelediğim kaynaklarda, 5V modelinin özellikle ilk üç boyutu (Hacim, Çeşitlilik ve Hız) üzerinde daha fazla duruluyor. Ancak bana göre, son iki boyut olan Doğruluk ve Değer, en az ilk üçü kadar önemli.

Örneğin, elimizde yalnızca bir şirkete ait on yıllık bir veri olduğunu düşünelim. Bu veriler satış ve yatırımları içeriyor olsun. Eğer bu verilerin içinde yalnızca şirket ismi gibi doğrudan anlam ifade etmeyen bilgiler varsa, bunlar bizim için pek bir değer taşımaz; aksine, gereksiz bir hesaplama maliyeti oluşturur. Ancak, bu verilere ek olarak şirketin o yıl içerisindeki misyonu ve hedefleri gibi bilgiler de kayıt altına alınmışsa, bu veriler satışlar üzerindeki etkileri analiz etmemizi sağlar. Böylece, elde edilen veriler daha anlamlı hale gelir ve çıktılarımız daha verimli olur.

Bu nedenle, verilerimizin yalnızca hacmi ve çeşitliliği değil, aynı zamanda doğruluğu ve sunduğu değer de büyük veri analizinde kritik öneme sahiptir.

Hadoop Nedir? #

Hadoop, büyük veri işleme için kullanılan açık kaynaklı bir framework’tür. Apache Vakfı tarafından geliştirilen bu sistem, çok büyük veri kümelerini dağıtık bir ortamda depolamak ve işlemek için tasarlanmıştır ⁶. Hadoop’un temel bileşenleri şunlardır:

• HDFS (Hadoop Distributed File System): Büyük veriyi dağıtık bir şekilde saklar.
• MapReduce: Büyük veri setlerini işlemeye yönelik bir programlama modeli.
• YARN (Yet Another Resource Negotiator): Kaynak yönetimini ve iş planlamasını sağlar.

Hadoop, futbol gibi veri yoğun sektörlerde büyük maç istatistiklerini saklamak ve analiz etmek için kullanılabilir. Bu kavramlara daha sonraki yazılarımızda ayrıntılı değineceğiz.

Spark Nedir? #

Apache Spark, büyük veri işleme için kullanılan hızlı bir veri analitik motorudur. Hadoop’a benzer şekilde dağıtık veri işlemeye odaklanır ancak Spark, özellikle hafızada veri işleme (in-memory processing) yeteneğiyle öne çıkar ⁷.

• Hızlı İşleme: Spark, veriyi bellekte işlediği için analizlerde 100 kata kadar hız artışı sağlar.
• Esneklik: SQL, veri akışı (streaming) ve makine öğrenimi gibi farklı görevleri destekler.
• Kullanım Alanları: Gerçek zamanlı veri analizi, futbol maçlarında akış verilerinin anlık değerlendirilmesi gibi.

NoSQL Nedir? #

NoSQL (Not Only SQL), yapılandırılmamış veya yarı yapılandırılmış verilerin saklanması ve işlenmesi için tasarlanmış bir veritabanı türüdür ⁸. Örnek türler:

• Doküman Tabanlı Veritabanları: JSON veya BSON formatında verileri işler. Örneğin, MongoDB.
• Anahtar-Değer Depoları: Veriler anahtar-değer çiftleri olarak saklanır. Örneğin, Redis.
• Graf Veritabanları: Oyuncular arasındaki bağlantıları analiz etmek için kullanılabilir. Örneğin, Neo4j.

NoSQL, futbol maçlarında üretilen büyük veri setlerini hızlıca sorgulamak ve analiz etmek için ideal bir çözüm sunar.

Futbol Sektöründe Büyük Veri Uygulamaları #

Büyük veri, futbol sektöründe geniş bir uygulama alanı bulmuştur:

• Oyuncu Performans Analizi: Sensörler ve kameralarla toplanan veriler, oyuncuların hızını, dayanıklılığını ve taktik uyumunu ölçer.
• Taktiksel Analiz: Rakip takımların oyun düzenleri, büyük veri analitiği ile incelenir ve taktik geliştirilir.
• Taraftar Deneyimi: Taraftarların sosyal medya etkileşimleri analiz edilerek kişiselleştirilmiş kampanyalar oluşturulur.
• Maç İstatistikleri: Gerçek zamanlı analizlerle maç boyunca taktiksel değişikliklere olanak tanır.

Örneğin, Spark ve NoSQL veritabanları, bir futbol maçında saniyede üretilen milyonlarca veri noktasını işleyerek antrenörlere gerçek zamanlı raporlar sunabilir.

Büyük Veri (Big Data) alanında uzmanlaşmış profesyonellere olan talep, günümüz iş dünyasında hızla artmaktadır. Veri analistleri, veri mühendisleri ve veri bilimcileri gibi uzmanlar, şirketlerin stratejik kararlar almasına, operasyonel verimliliklerini artırmasına ve müşteri deneyimlerini iyileştirmesine yardımcı olmaktadır. Özellikle teknoloji, finans, sağlık ve perakende sektörlerinde büyük veri uzmanlarına olan ihtiyaç belirgin bir şekilde artmaktadır.

Türkiye’de de büyük veri alanında uzmanlaşmış profesyonellere yönelik iş ilanları bulunmaktadır. Örneğin, Veri Analiz Uzmanı pozisyonları, farklı sektörlerde faaliyet gösteren firmalar tarafından sıkça aranmaktadır.

Büyük Veri uzmanları, veri analitiği, makine öğrenimi ve yapay zeka gibi alanlarda derinlemesine bilgi ve deneyime sahip olmalıdır. Bu uzmanlık, onlara yüksek maaşlar ve hızlı kariyer ilerlemesi gibi avantajlar sunmaktadır.

Futbol kulüpleri de büyük veri mühendislerine ihtiyaç duymaktadır. Örneğin, Manchester United ve Liverpool gibi dev futbol kulüpleri, veri mühendisliği alanında uzmanlaşmış profesyoneller aramaktadır. Bu tür pozisyonlar, spor endüstrisinde veri biliminin önemini ve büyüklüğünü göstermektedir. ⁹¹⁰

Sonuç #

Bu yazıda Büyük Veri kavramının temellerini ve ilgili teknolojilere dair genel bir giriş yaptım. Bir sonraki yazımda, SQL-NoSQL veritabanlarının temellerine, BASE ve ACID modelleri arasındaki farklara, CAP Teoremi’ne, büyük veriyle ilişkisine ve NoSQL veritabanı türlerine odaklanacağım.

Bir sonraki yazıda görüşmek üzere! 😊