Cyber-Warrior.Org \ Doküman \ IT Teknolojileri > Logstash Tanıtım

Logstash

Selamun Aleyküm
Daha önce açiklamasini yaptigimizi Elasticsearch ile baglantisi olan bir baska yapiya deginecegiz bugün. Aslinda konuyla ilgili küçük bir arastirma yaptigimizda bu kavramlar karsimiza üç isimle çikiyor. Bunlar; Elasticsearch, Logstash ve Kibana. Bu makalemizde sizlere ikinci kavram olan Logstash’i tanitacagiz. Kelime olarak baktigimizda log; seyir defteri, günlük seklinde çevrilirken stash; saklamak, güvenli bir yere gizlemek anlamina gelmektedir. Tamda aslinda deginmek istedigimiz bir anlam. Kelimeleri birlestirdigimizde Logstash = Verilerin tutuldugu güvenli bir günlük tutumu diyebiliriz.

Konumuzun basinda da bahsettigimiz gibi bu üç arkadas arasinda birbirlerinden bir faydalanma söz konusu. Daha dogrusu bu faydalanmayi Logstash saglamakta. Eldeki verilerni, günlük olaylarin, uygulamalarin Logstash’e gönderilmesiyle baslar ve json belgesine dönüstürmesiyle devam eder. Ardindan bunlari Elasticsearch kümelerinde depolar. Üçüncü arkadas Kibana ise görüntülemekte bize yardimci olacaktir. Fakat buna bir sonraki konumuzda deginecegiz.

Bu açiklama sizi tatmin etmiyor ise genel kabul edilebilecek uzun bir açiklama yapmak gerekirse,
Logstash; farkli kanallardan veri toplayip, konfigürasyon seviyesinde filtrelerle belirli kurallara göre parçalamanizi saglayan ve farkli tiplerde kanallara dagitabilen gerçek zamanli ve açik kaynakli bir veri toplama motorudur.

Olaylari toplamak, islemek, iletmek ve mesajlari günlüge kaydetmek için kullanilan bir araçtir. Bahsi geçen toplama islemleri; çig soket-paket islemi, dosya yönlendirmeleri ve ileti veri yolu istemcisini içeren araçlarla gerçeklesmekte. Verilerin toplanmasiyla bazi filtreler ile bilgi degisikligi veya küçük açiklamalarda eklenebilir. 200’den fazla filtre ve eklenti kullanilabilen programda sorunsuz isleyis için giris ve çikislarda baglanti kurarak farkli koordineler saglanabilir.

Filtrelemelerle ilgili küçük bir parantez açmak istiyorum burada;
Logstash, verilerinizin karmasikligi yahut biçimi ne olursa olsun dönüsümünü saglar. Her olayi ayristirarak, adlandirilmis tanimlari bulur ve bunlardan hizli bir analiz yaparak size sunum saglar. Size sundugu birkaç filtreyi söylemek gerekirse;

- Yapilandirilmamis verileri grok ile yapilandirir.

- IP adresleri cografi koordinatlara dönüstürür.

- Kisisel verilerinizde gizlilige önem verip anonimlestirir ve hassas kisimlari çikarir.

- Bütün islemleri veri kaynaginizdan veya yapilandirilmis semanizdan bagimsiz olarak gerçeklestirir.

Bunlarla beraber Logstash 200’den fazla eklenti ile genisletilebilir. Sorunsuz bir sonuç için farkli girisleri ve çikislari birbirine ekleyip koordine edebilirsiniz. Amacimiz loglama islemini kolaylastirmak oldugu için Logstash bizim yapi taslarimizdan birisi olabilir. Bir köprü sistemi olusturulan bu yapilanma kendi arasinda da üçe ayrilmakta, Input, Filter ve Output.

Input; Bu bölümde Logstash’i besleyecek veri kaynaklari ve veri kaynaklarinin opsiyonlari ile ilgili ayarlar yer alir.

Filter; Bu bölümde gelen verinin nasil parse edilecegi verinin hangi bölümünün hangi alanlarda tutulacagi gibi tanimlamalar yeralir.

Output; Burada ise islenen verinin hangi kaynaklara aktarilacagi ve kaynaklarin ayarlari ile ilgili tanimlamalar bulunur.

Bu üç asama arasinda kurulacak olan her konfirügasyon depolama islemini saglayacaktir. Gerekli parametre ve komut yardimlari ile Logstash’i tüm dosyalarda kullanabiliriz. Sunu da eklemek istiyorum Logstash’i tüm dosyalarda kullanacaksaniz rate edilmis dosyalari görmesi için bazi komutlari vererek islemin bastan tüm dosyaya uygulanmasini saglamaniz gerekmektedir. Yapilan bu baslangiç asamalarini Input bölümünde gerçeklestirmeniz gerekmektedir. Ardindan Logdaki bu verileri parse etmek için Filter bölümünü etkin hale getirmeniz yani gerekli yazilimlari yapmaniz gerekmete. (Tabi ki de degistirmek istediginiz kisimlarda) en son olarak da parse edilen verinin tanimlanacagi kisimda yapmaniz gereken degisimleri yapmak. Bunun için ise son bölüm olan output bölümünü kullanmak olacaktir.

Programi çözmeye çalistiginiz asamalarda ne demek istedigimi daha iyi anlayacaksiniz. Fakat bu konuda sizlere daha çok programin islevini, amacini ve elde ettiklerini açiklamaya çalismaktayiz. Zira programla ilgili kurulum ve kullanim bakimindan küçük bir arastirma ile elde edebileceginiz birçok bilgi bulunmakta.

Logstash için yazilimsal olarak üç ana unsurdan bahsettik simdi de programin diger arkadaslarla kurdugu baglantidaki iki dügümden bahsedecegim.
-Ilk dügümde “Logstash100 [1-3]” bir Logstash olusumu olmakta ve veri olmayan bir Elasticsearch dügümü ve Kibana uygulamasina hizmet veren bir Apache hayaleti saglar. Apache hayaletleri, Elasticsearch kümesine ters vekil olarak davranir ve potansiyel olarak hassas günlük bilgilerine erisimi kisitlamak için LDAP tabanli kimlik dogrulama gerçeklestirilir.
-Ikinci dügümde “Logstash [4-6]” log verileri için depolama katmanini olusturan Elasticsearch dügümlerini saglar.

Güvenlik konusunda ise program size bu asamayida saglamakta. Loglar iser 10 ister 1000 tane olsada Logstash güvenligini gerekli parametrelerin aktifligi ile saglamakta. Bunun için size sifrelemede sunmakta. Gerek gördügünüz asamalara sifrede koyabiliyorsunuz. Ayrica bu güvenlik asamalarida elasticsearch ile tam uyumludur.

Henüz 13 sürümünün oldugu görülmekte ve 1.5 sürümü ile baslayip, 6.0.0 alpha2 ile kendine birçok yenilik katan Logstash’i indirmek isterseniz buradan indirebilirsiniz. Fakat site suanda 5.4.1 sürümünü sunmakta. Bu sürüm 1 Haziran 2017’de kullanima hazirlanmistir. 6.0.0 alpha2 sürümü ise heniz yapim asamasinda olup, eger onunda ön izleme sürümüne ulasmak istiyorsaniz buradan ulasabilirsiniz. Bu sürüm ise önizleme olarak 6 Haziran 2017’de sunulmustur.

Kaynaklar:
Kaynak 1
Kaynak 2
Kaynak 3
Kaynak 4
Kaynak 5