Azure Data Factory ile Data Transferi
Merhaba, bugün daha önce Power Automate ile bulk insert işlemini farklı data kaynaklarından hedef kaynağa doğru gerçekleştirmiştik bu yazıda benzer şekilde bir kaynak serverdan hedef kaynağa data transfer işlemi nasıl gerçekleştirilir kısaca buna değineceğim.
Öncelikle Azure üzerinde Data Factory resourceları aktif ederek copy dataları oluşturmak üzere factory resource sayfasında ilgili kaynak ve hedef datasetleri oluşturulur. Bu datasetler sizin Azure üzerindeki serverınızda belirttiğiniz hedeflere işlemleri gerçekleştirecek olan data setlerdir.
Data setlerinizi oluştururken Linked server kısmına daha önce Azure üzerinde oluşturulan serverlardan bir tanesi seçilir. Bu seçilecek olan server source olan ve hedefi besleyecek olan server olmalıdır.
Transfer işlemi kaynaktan hedef tabloya bir sefere mahsus taşınacağı için Timeout ve Retry kısımların 0 olarak atayabilirsiniz. Source kısmında datayı hangi tablodan ve hangi koşula göre atayacağınızı belirlediğiniz kısımdır. Burada isterseniz tablodaki bütün kayıtları veya vereceğiniz conditional ifadeye göre verinizi kaynak hedefe gönderebilirsiniz.
Örnekte kaynak tablodaki bütün kayıtların hedef tabloya taşınması gerçekleştirilmiştir bu durumda seçilen query kısmını boş bırakırsanız varsayılan olarak SELECT * FROM Table_Name işlemini varsayılan olarak uygulayacaktır.
Sink kısmında ise hedef tablonuzu verdiğiniz kısımdır. Burada tablonuzda kayıt varsa pre-copy script işlemi üzerinden verdiğiniz conditional ifadeye göre copy data çalışmadan önce bu işlemi gerçekleştirecektir.
Örnekte hedef kayıtların silindikten sonra kayıtların kaynak tabloya aktarılması gerçekleştirilmiştir.
Mapping kısmında ise tablolarınızdaki sütun isimlerinin doğru şekilde eşleşip eşleşmediğini kontrol edebilirsiniz.
Oluşturduğunuz copy datanızı Debug sekmesine bir kez basarak başlatabilirsiniz. Bu süre zarfında veri hacminize göre aktarım işleminin süresi değişiklik gösterecektir. Aktarımın gerçekleşmesinin ardından tablonuza SELECT sorgusu çekerek verilerinizin gelip gelmediğini görebilirsiniz.
Kısaca Data Factory üzerinde pratik olarak data transfer işlemi nasıl gerçekleştirilir buna değindim. Tabi ki bu copy datanın daha bir çok farklı özelliği bulunmakta ancak basit veri taşıma işlemlerinizi yazıda bahsedilen özellikleri kullanarak minimum ölçüde gerçekleştirebilirsiniz.
