Bir "veri ambarını", bir işletme veya başka bir kuruluş tarafından bilgilerin güvenli elektronik olarak saklanması olarak kolayca tanımlayabiliriz. Bir veri ambarının amacı, kuruluşun faaliyetlerine ilişkin yararlı bilgiler sağlamak için alınabilen ve incelenebilen bir geçmiş veri havuzu oluşturmaktır. Bir veri ambarı hakkında çeşitli bilgiler vardır ve bu makale, türleri, dahil olduğu araçlar ve birlikte çalışılacak bir örnek de dahil olmak üzere, onun neyle ilgili olduğu hakkında ayrıntılı bilgi sağlamak için bir kılavuz görevi görecektir. Detaya girelim.
Veri Ambarı nedir?
Kurumsal veri ambarı (EDW) olarak da bilinen veri ambarı, veri analizini, veri madenciliğini, yapay zekayı (AI) ve makine öğrenimini kolaylaştırmak için çeşitli kaynaklardan verileri tek, merkezi, tutarlı bir veri deposunda toplayan bir sistemdir. Bu terim, bir kuruluşun çok büyük miktarda tarihsel veri (petabaytlar ve petabaytlar) üzerinde normal bir veritabanının yapamayacağı şekillerde karmaşık analizler yürütmesini sağlar.
Veri ambarı sistemleri, otuz yılı aşkın bir süredir iş zekası (BI) çözümlerinin bir parçası olmuştur, ancak son zamanlarda yeni veri türleri ve veri barındırma teknolojileri ortaya çıktıkça gelişmiştir. Ayrıca, veri ambarının geleneksel olarak kurum içinde - genellikle bir ana bilgisayarda - barındırıldığını ve işlevselliğinin çeşitli kaynaklardan veri elde etmeye, verileri saflaştırmaya ve hazırlamaya ve verileri ilişkisel bir veritabanına yüklemeye ve sürdürmeye odaklandığını da söyleyebiliriz. Veri ambarı artık özel bir cihazda veya bulutta barındırılabilir ve çoğu veri ambarı, analitik yeteneklerin yanı sıra veri görselleştirme ve sunum araçlarını da içerir.
Veri Ambarı Nasıl Çalışır?
İşletmeler, kritik iş belgelerini oluşturmak, dosyalamak ve almak için bilgisayar sistemlerine güvenmeye başladığında, veri ambarı ihtiyacı arttı. IBM araştırmacıları Barry Devlin ve Paul Murphy, 1988'de veri depolama kavramını ortaya attılar.
Veri ambarı, tarihsel verilerin incelenmesine izin vermeyi amaçlamaktadır. Ayrıca, çok sayıda heterojen kaynaktan toplanan veriler, bir şirketin performansı hakkında fikir verebilir. Veri ambarı, kullanıcıların işlem kaynaklarından üretilen geçmiş veriler üzerinde sorgular ve analizler gerçekleştirmesini sağlamayı amaçlar.
Depoya eklenen veriler değişmez ve değiştirilemez. Ambar, zaman içindeki değişikliklere odaklanarak önceki olaylarla ilgili analizlerin yapıldığı kaynaktır. Depolanan veriler güvenli, güvenilir, geri alınabilir ve yönetilebilir bir şekilde saklanmalıdır.
Bir Veri Ambarı Bakımı:
Bu veri ambarının çalışır durumda kalması için bazı önlemlerin alınması gerekmektedir. Veri çıkarma, çok sayıda kaynaktan büyük miktarda veri elde etmeyi gerektiren bir aşamadır. Veri temizleme, hatalar için bir dizi veriden geçme ve derlendikten sonra tanımlananları düzeltme veya hariç tutma işlemidir.
Temizlenen veriler daha sonra veritabanı formatından depolama formatına dönüştürülür. Depoda saklandıktan sonra, verilerin kullanımını kolaylaştırmak için sıralanır, birleştirilir ve özetlenir. Çeşitli veri kaynakları güncellendikçe, zaman içinde ambara ek veriler eklenir.
İlk olarak 1990'da yayınlanan ve birden çok kez yeniden yayınlanan pratik bir el kitabı olan WH Inmon'un Veri Ambarını Yaratmak, veri ambarı konusunda önemli bir kitaptır.
İşletmeler artık diğerlerinin yanı sıra Microsoft, Google, Amazon ve Oracle'ın sunduğu bulut tabanlı veri ambarı yazılım hizmetlerine yatırım yapabilir.
Veri Ambarı Türleri
Aşağıdaki gibi üç ana Veri Ambarı (DWH) türü vardır:
1 numara. Kurumsal Veri Ambarı (EDW)
Merkezi bir depo, bir kurumsal veri ambarıdır (EDW). Kuruluş genelinde karar destek hizmetleri sunar. Ayrıca, veri düzenleme ve temsiline tek tip bir yaklaşım sağlar. Ayrıca, verileri konuya göre kategorilere ayırmanıza ve bu sınıflandırmalara göre erişim izni vermenize olanak tanır.
2 numara. Operasyonel Veri Deposu
Ne bir veri ambarı ne de bir OLTP sistemi, bir kuruluşun raporlama ihtiyaçlarını karşılayamadığı zaman, operasyonel bir veri deposu veya ODS gereklidir. ODS'de veri ambarı gerçek zamanlı olarak yenilenir. Sonuç olarak, çalışan ayrıntılarını tutmak gibi sıradan görevler için yaygın olarak kullanılır.
#3. Veri Pazarı
Bir veri martı, veri ambarının bir alt bölümüdür. Satış, finans veya satış gibi belirli bir iş kolu için özel olarak geliştirilmiştir. Veriler doğrudan bağımsız bir veri pazarındaki kaynaklardan toplanabilir.
Veri Ambarının 5 Bileşeni Nelerdir?
Beş ana Veri Ambarı Bileşeni vardır:
1 numara. Depo veritabanı
Depo yöneticisi, depodaki veri yönetimi ile ilgili operasyonlardan sorumludur. Tutarlılığı doğrulamak için veri analizi, indeksleme ve görünüm oluşturma, denormalizasyon ve toplama oluşturma, kaynak veri dönüştürme ve birleştirme ve veri arşivleme ve yedekleme gibi görevleri gerçekleştirir.
2 numara. Kaynak Bulma, Edinme, Temizleme ve Dönüştürme Araçları (ETL)
Veri ambarında, veriyi tek bir formata dönüştürmek için gereken tüm dönüştürme, özetleme ve değişiklikleri gerçekleştirmek için veri kaynağı, dönüştürme ve taşıma teknolojileri kullanılır. Çıkarma, Dönüştürme ve Yükleme (ETL) Araçları, bunların başka bir adıdır.
Yetenekleri şunları içerir:
- Düzenleyici hükümlere göre verileri anonimleştirin.
- Operasyonel veritabanlarındaki istenmeyen verilerin Veri ambarına yüklenmesini ortadan kaldırma.
- Farklı kaynaklardan gelen veriler için ortak adları ve tanımları arayın ve değiştirin.
- Özetleri ve türetilmiş verileri hesaplama
- Eksik veri olması durumunda, bunları varsayılanlarla doldurun.
- Birden çok veri kaynağından gelen tekrarlanan verilerin tekilleştirilmesi.
Bu Çıkarma, Dönüştürme ve Yükleme araçları, veri ambarı sistemindeki verileri düzenli olarak güncelleyen cron görevleri, arka plan işleri, COBOL programları, kabuk betikleri vb. oluşturabilir. Bu araçlar ayrıca Meta veri bakımı için de kullanışlıdır.
Bu ETL Araçları, veritabanı ve veri heterojenliği endişeleriyle başa çıkmalıdır.
#3. Meta veriler
"Meta veri" terimi, üst düzey teknolojik veri ambarı kavramlarının görüntülerini çağrıştırır. Ancak, oldukça basittir. Meta veriler, veri ambarı sistemini tanımlayan veriler hakkındaki bilgilerdir. Veri ambarını oluşturmak, sürdürmek ve yönetmek için kullanılır.
Meta-veriler, veri ambarı verilerinin kaynağını, kullanımını, değerlerini ve özniteliklerini tanımladığı için veri ambarı mimarisinde hayati önem taşır. Ayrıca verilerin nasıl değiştirildiğini ve işlendiğini de belirtir. Veri ambarı sistemine sıkı sıkıya bağlıdır.
Örneğin, satış veritabanındaki bir satır şunları içerebilir:
4030 KJ732 299.90
Bize bunun olduğunu söyleyen Meta'ya danışana kadar bu anlamsız bir veridir.
- Model numarası: 4030
- Satış Temsilcisi Kimliği: KJ732
- Toplam satış tutarı 299.90$
Sonuç olarak, Meta Veri, verinin bilgiye dönüştürülmesinde kritik bileşenlerdir.
Aşağıdaki sorular meta verilerle yanıtlanabilir:
- Veri Ambarında hangi tablolar, özellikler ve anahtarlar bulunur?
- Bilgi nereden geldi?
- Veriler ne sıklıkta yeniden yüklenir?
- Hangi temizleme dönüşümleri kullanıldı?
Meta veriler aşağıdaki kategorilere ayrılabilir:
- Teknik Meta Veriler: Bu Meta Veri türü, veri ambarı tasarımcıları ve yöneticileri tarafından kullanılan ambar bilgilerini içerir.
- İş Meta Verileri: Bu tür Metadata, son kullanıcıların veri ambarı sisteminde barındırılan bilgileri kolayca yorumlamasını sağlayan ayrıntıları içerir.
#4. Sorgu Araçları
Veri ambarının temel hedeflerinden biri, kuruluşlara stratejik kararlar almalarına yardımcı olacak bilgileri sağlamaktır. Kullanıcılar, sorgulama araçları aracılığıyla veri ambarı sistemi ile etkileşime girebilir. Arka uç bileşenleri, sorgu yöneticilerinin başka bir adıdır. Kullanıcı isteklerinin yönetimine bağlı tüm süreçleri yönetir. Veri ambarı bileşeninin işlemleri, sorgu zamanlaması için sorguları uygun tablolara yönlendirmek içindir.
# 5. Veri ambarı Otobüs Mimarisi
Ambarınızdaki veri akışı, Veri Ambarı Veriyolu tarafından belirlenir. Veri ambarı sisteminde veri akışı, Giriş Akışı, Yukarı Akış, Aşağı Akış, Çıkış Akışı ve Meta akış olarak sınıflandırılır.
Bir Veri Yolu oluştururken, veri pazarlarında paylaşılan boyutları ve gerçekleri göz önünde bulundurun.
Veri Martları:
Data mart, verileri kullanıcılara dağıtmak için kullanılan bir erişim katmanıdır. Oluşturmak için daha az zaman ve para gerektirdiğinden, büyük ölçekli veri ambarları için uygun bir seçenek olarak tanıtılmaktadır. Yine de, bir veri pazarının evrensel bir tanımı yoktur ve kişiden kişiye değişir.
Özetle, bir data mart, bir veri ambarının bir bölümüdür. Data mart, belirli bir tüketici grubu için geliştirilen veri bölümleme için kullanılır.
Veri Ambarı Örneği
Bu veri ambarına iyi bir örnek almak için bir fitness ekipmanı üreticisini düşünün. En çok satan ürünü sabit bisiklettir ve şirket portföyünü genişletmeyi ve bunu desteklemek için yeni bir pazarlama kampanyası başlatmayı düşünmektedir.
Mevcut müşterilerini daha iyi anlamak için veri ambarı sürecini kullanır. Tüketicilerinin çoğunlukla 50 yaş üstü kadınlar mı yoksa 35 yaş altı erkekler mi olduğunu belirleyebilir. Ayrıca, bisikletlerini satarak en büyük başarıyı yakalayan dükkanlar ve bunların bulunduğu yerler hakkında daha fazla bilgi edinmenize yardımcı olabilir. . Dahili anket bulgularını inceleyebilir ve eski müşterilerin ürünleri hakkında neyi sevip neyi sevmediğini öğrenebilir.
Tüm bu bilgiler, şirketin ne tür yeni model bisikletler oluşturacağına ve bunları nasıl tanıtacağına ve reklamını yapacağına karar vermesine yardımcı olur. Sezgilere değil somut verilere dayanır. Bu veri ambarı örneği ile sürecin artık daha kolay anlaşılır olacağına inanıyorum.
Veri Ambarı Araçları
Piyasada çok sayıda veri ambarı aracı vardır, ancak en popüler türleri şunlardır:
# 1. MarkLogic
MarkLogic, en popüler veri ambarı araçları türlerinden biridir ve ayrıca veri entegrasyonunu daha kolay ve daha hızlı hale getirmek için çeşitli kurumsal yetenekler kullanan değerli bir veri ambarı çözümüne iyi bir örnektir. Bu araç, bir veri ambarında son derece karmaşık arama işlemlerinin yürütülmesine yardımcı olur. Belgeler, ilişkiler ve meta veriler gibi çeşitli türde verileri sorgulayabilir.
#2. kehanet
Oracle, endüstrinin en popüler veritabanıdır. Hem şirket içi hem de bulut dağıtımları için çok çeşitli veri ambarı çözümleri sunar. Ayrıca, operasyonel verimliliği artırarak daha iyi müşteri deneyimlerine katkıda bulunur. Ayrıca, deneme yapmak için popüler veri ambarı araçlarından biri olarak gelir.
#3. Amazon RedShift'i
Amazon Redshift, bir veri ambarı uygulamasıdır. Geleneksel SQL ve mevcut BI araçlarını kullanarak çeşitli veri biçimlerini analiz etmek için basit ve düşük maliyetli bir araçtır. Ayrıca, sorgu optimizasyon tekniği aracılığıyla petabaytlarca yapılandırılmış veri üzerinde karmaşık sorguların yürütülmesini sağlar.
Veri Ambarı ve Veritabanı Nedir?
Bir veri ambarı, bir veritabanından aşağıdaki şekillerde farklılık gösterir:
- Veritabanı, yalnızca en güncel bilgilerin mevcut olmasını sağlamak için gerçek zamanlı verileri analiz eden ve güncelleyen bir işlem sistemidir.
- Bir veri ambarı, zaman içinde yapılandırılmış verileri toplamak için tasarlanmıştır.
Örneğin bir veri tabanı, bir müşterinin en güncel adresini içerebilirken, bir veri ambarı müşterinin son on yıldaki tüm adreslerini saklayabilir.
Veri Ambarının Dört Aşaması Nelerdir?
Daha önce firmalar oldukça basit veri ambarı uygulamaları ile işe başladı. Ancak zamanla daha karmaşık veri ambarı uygulamaları ortaya çıktı.
Aşağıdakiler, bir veri ambarı (DWH) kullanımındaki genel aşama türleridir:
1 numara. Çevrimdışı Operasyonel Veritabanı
Bu noktada, veriler basitçe bir işletim sisteminden diğerine kopyalanır. Kopyalanan verilerin yüklenmesi, işlenmesi ve raporlanmasının operasyonel sistemin performansı üzerinde hiçbir etkisi yoktur.
2 numara. Çevrimdışı Veri Ambarı
Datawarehouse, Operasyonel Veritabanından düzenli güncellemeler alır. Veri ambarı verileri, Datawarehouse hedeflerini gerçekleştirmek için eşlenir ve değiştirilir.
#3. Gerçek zamanlı Veri Ambarı
Veri ambarları bu adımda, örneğin bir havayolu veya tren rezervasyon sistemi gibi operasyonel veri tabanında bir işlem gerçekleştiğinde güncellenir.
#4. Entegre Veri Ambarı
DataWarehouse'lar, işletim sistemi bir işlem yaptığında bu seviyede düzenli olarak güncellenir. Bundan sonra Datawarehouse, daha sonra operasyonel sisteme geri verilen işlemleri üretir.
Veri Ambarının Özellikleri Nelerdir?
Konu odaklı, zamana bağlı, entegre, ve uçucu olmayan genellikle veri ambarı özellikleri olarak bilinen dört veri ambarı özelliği türü veya örneğidir.
Depolamanın Yedi 7 İşlevi Nelerdir?
- Depolama
- Malların Korunması
- Mal Taşımacılığı
- Finansman
- Parasal değeri olan hizmetler
- Fiyatların Stabilizasyonu
- Bilgi Yönetimi
İki Depolama Türü Nelerdir?
Açık Alan ve özel depolar iki ana depo türüdür.
Veri Ambarının Amacı Nedir?
Veri ambarı, daha iyi kararlar almak için incelenebilecek verilerin merkezi olarak toplanmasıdır. Veriler, işlemsel sistemlerden, ilişkisel veritabanlarından ve diğer kaynaklardan düzenli olarak bir veri ambarına akar.
Bir Depodaki 4 Temel Fonksiyon Nedir?
Ürün ne olursa olsun her depo ürünü taşır, depolar, takibini yapar ve gönderir. Depolama, malzeme taşıma, paketleme ve nakliye ve barkod ekipmanı, bu dört faaliyetten gelen dört temel ekipman kategorisidir.
Bir Veri Ambarında kullanılan üç 3 Süreç nedir?
Veri ambarındaki Akış süreci aşağıdaki adımları içerir:
- Veriler ayıklanmalı ve yüklenmelidir.
- Veri temizleme ve dönüştürme.
- Veriler yedeklenmeli ve arşivlenmelidir.
Sonuç olarak;
Veri ambarı, bir şirketin işi ve zaman içinde nasıl performans gösterdiği hakkında bilgi toplanmasıdır. Şirketin geçmiş başarılarını ve başarısızlıklarını ortaya koyan ve karar vermeye rehberlik eden analiz kaynağıdır. Temel departmanlarının her birindeki çalışanlardan gelen girdilerle oluşturulmuştur.
İlgili Makaleler
- META VERİ YÖNETİM ARAÇLARI: Anlamı ve Bilmeniz Gereken Her Şey
- 2023'de Herhangi Bir İşletmeyi Ölçeklendirmek için VERİ MADENCİLİĞİ TEKNİKLERİ
- DEPO YÖNETİMİ: Anlamı, Sistemleri, Maaşları ve Kursları
- ENVANTER DEPO YÖNETİM YAZILIMI: En İyi 10 Seçim
- 2023'de Herhangi Bir İşletmeyi Ölçeklendirmek için VERİ MADENCİLİĞİ TEKNİKLERİ
- STOK TAKİPÇİSİ: Anlamı, Özgür Yazılım ve Sayfa
Referanslar
