Azure mimari merkezi ve uçtan uca veri platformu

Microsoft Azure üzerinde farklı ihtiyaçlar için uygun çözümlere ihtiyaç duyulmaktadır. Bir web sitesi ya da uygulama geliştirmek, büyük veri yönetimi, iş zekası çözümleri, sanal makine yönetimi, güvenlik çözümleri, makine öğrenmesi / yapay zeka uygulamaları gibi birçok farklı senaryo, Azure servisleri kullanılarak hayata geçirilmeye çalışılıyor. Bunlar yapılırken doğal olarak maliyet, performans ve güvenlik açısından en uygun çözüme ulaşmak hedefleniyor.

Bu ihtiyaçlardan yola çıkılarak, Azure platformunda güvenli, kullanılabilirlik düzeyi yüksek, iyi performanslı ve esnek çözümler tasarlamak ve uygulamaya yardımcı olmak için Azure Mimari Merkezi (Azure Architecture Center) dokümantasyonu oluşturulmuştur.

Bu dokümantasyon altında farklı konu başlıklarında, Azure servisleri kullanarak geliştirilebilecek onlarca çözüm için yol gösterici bilgi, ipucu ve örneğin bulunduğu Uygulama Mimarisi Kılavuzu yer almaktadır. Bu kılavuz içinde Azure için önerilen başvuru mimarileri, Azure kullanarak belirli iş veya teknik güçlüklerin uygulanmasını kapsayan iş yükü örnekleri, bu iş yükleriyle uygulanabilecek çözüm fikirleri, bulut uygulamalarında yaygın olarak bulunan mimari stilleri, uygulamaların daha ölçeklenebilir, dayanıklı ve yönetilebilir olmasını sağlamak için Azure tasarım ilkeleri, teknoloji seçimleri gibi bilgiler bulunmakta.

Bir diğer başlıkta ise; Azure çözümlerinin kalitesini arttırmak için mimariyi Maliyet, DevOps, Dayanıklılık, Ölçeklenebilirlik ve Güvenlik başlıklarıyla ele alan Azure Mimari Çerçevesi yer alıyor.

Bunun haricinde tasarım desenleri ile Yapay Zeka ve Makine Öğrenmesi, Uygulama Geliştirme, Blockchain, Veri Mimarileri, DevOps, IoT, Microservices ve SAP gibi teknolojiler ve çözüm önerilerinin yer aldığı teknolojiler başlıkları da her türlü çözüm için oldukça faydalı bilgiler içermektedir.

Başvuru Mimarileri; Azure Synapse Analytics ile kurumsal iş zekası, Azure Synapse Analytics ve Azure Data Factory ile kurumsal iş zekası, Azure Databricks ve Azure Stream Analytics ile veri işleme (data processing) çözümleri için örnek mimari tasarımları içermektedir.

Verilen örnek senaryolar üzerinden mimarinin nasıl kurgulanacağı, akışın nasıl tasarlanması gerektiği gibi adımlarla uçtan uca örnek bir akışın oluşturulması hakkında dokümanlar içermektedir.

Kendiniz ya da bu hizmeti verdiğiniz müşterileriniz için de benzer senaryoları uygulamak istediğinizde bu rehberler yol gösterici olacaktır.

Kılavuzlar; Microsoft Azure’da veri merkezli çözümler tasarlamaya yönelik yaklaşımları içermektedir. Müşterilerde yaşanılan deneyimleri esas alarak oluşturulmuştur.

İlişkisel veriler (ETL, OLTP, OLAP, veri ambarı), ilişkisel olmayan veriler (belge veri depoları, sütunlu veri depoları, anahtar-değer veri depoları, grafik veri depoları, zaman serisi veri depoları, nesne veri depoları, serbest biçimli metin arama), büyük veri mimarileri (Lambda — Kappa desenleri, IoT, toplu işlem, gerçek zamanlı işleme) başlıklarının yanı sıra analitik veri depoları, analiz ve raporlama, batch işlemler, Data Lake, veri depolama ve gerçek zamanlı veri işleme ile ilgili teknoloji seçim önerileri yer almaktadır.

Uçtan Uca Veri Platformu

En yaygın veri sorunlarının çözülmesine yönelik modern bir veri platformu oluşturulması için Azure veri servislerinden hangi aşamada ve nasıl yararlanılacağı konusunda bilgi sahibi olmak için Azure mimarilerinde örnek iş yükleri arasında yer alan uçtan uca veri platformu mimarisini kısaca inceleyelim.

Burada kullanılan servisler Azure servislerinin küçük bir kısmını içermektedir. Gerektiği durumlarda, ihtiyaca yönelik daha uygun çözüm için diğer servisler de bu mimar içinde konumlandırılabilir.

Akan verinin toplanması temel olarak Azure Event Hub ile yapılmaktadır. IoT çözümleri için daha gelişmiş bir servis olan Azure IoT Hub çözümü düşünülebilir.

İlişkisel veri tabanları (şirket içi ya da bulut ortamında), yapılandırılmamış ya da yarı-yapılandırılmış verileri Azure Data Factory kullanarak aktarılabilir. Azure Data Factory’de bu akışları belli iş kuralları çerçevesinde oluşturabilir, verinin aktarılacağı zamana göre zamanlayabilirsiniz (scheduled jobs).

Veri depolama çözümü olarak karşımıza çıkan Azure Data Lake Storage Gen2, büyük veri ve analitik veri işleme çözümleri için özelleşmiş, yüksek performans sağlayan bir servistir. Bu mimaride hem Azure Event Hub’dan gelen hem de Azure Data Factory’den aktarılan veriler burada depolanabilir.

Akan veri gerçek zamanlı analiz edilmek isteniyorsa Azure Stream Analytics servisine aktarılıp burada gerekli analiz işlemleri gerçekleştirilebilir (Lambda mimarisi — hot path).

Veri ambarı çözümü için Azure Synapse Analytics (eski adı Azure SQL Datawarehouse) servisine Azure Data Factory’den veri aktarılabililr. Veriyi doğrudan SQL üzerinden aktarmak için Polybase teknolojisini kullanabilirsiniz.

Hem yarı-yapılandırılmış hem de yapılandırılmış veri analizi için Azure Databricks servisi kullanılabilir; veriler raporlanmadan önce gerekli dönüşümler burada yapılabilir.

Veri görselleştirilmesi için verileri Azure Synapse Analytics’ten Power BI veri kümelerine yükleyebilirsiniz. İş analistleri, verileri çözümlemek ve iş öngörüleri üretmek için Power BI raporlarını kullanabilir.

Bu mimaride kullanılan Azure servisleri şunlardır:

Azure Data Factory, Azure Data Lake Gen2, Azure Synapse Analytics, Azure Databricks, Azure Cosmos DB, Azure Cognitive Services, Azure Event Hubs, Azure Stream Analytics, Microsoft Power BI

Yukarıda da bahsedildiği gibi, eğer kullanılan servislerin sunduğu çözüm gerçek senaryo için yeterli değilse ya da farklı bir çözüm üretilmesi gerekiyorsa diğer Azure servislerinden de faydalanılabilir ve bu servisler mimarinin ilgili noktalarında devreye alınabilir.

Dikkat edilmesi gereken başka bir nokta da, bu servisleri çözüm içerisinde seçerken ve konumlandırırken maliyet ve performans açısından doğru bir değerlendirme yapılması ve optimum çözümün geliştirilmesi gerektiğidir. Aynı çözüm için birden farklı servis bulunabilir fakat gereken iş hacmi için bu servislerden sadece biri en uygun çözüm olabilir.