Hyzmat

Uçgun akym maglumatlary arassalamak mehanizmi
(I) DStream we RDD
Bilşimiz ýaly, “Spark Streaming” hasaplamasy “Spark Core” -e esaslanýar we “Spark Core” -iň özeni RDD, şonuň üçin “Spark Streaming” RDD bilen hem baglanyşykly bolmaly.Şeýle-de bolsa, “Spark Streaming” ulanyjylara RDD-ni gönüden-göni ulanmaga rugsat bermeýär, ýöne DStream düşünjeleriniň toplumyny abstrakt edýär, DStream we RDD öz içine alyjy gatnaşyklar, oňa Java-da bezeg nagşy hökmünde düşünip bilersiňiz, ýagny DStream RDD-iň ösüşi, ýöne özüni alyp barşy RDD-e meňzeýär.
DStream we RDD ikisinde-de birnäçe şert bar.
(1) şuňa meňzeş tranformasiýa hereketleri bar, meselem, karta, reduceByKey we ş.m., şeýle hem Window, mapWithStated we ş.m. ýaly özboluşly.
(2) hemmesiniň hereketleri bar, meselem foreachRDD, sanamak we ş.m.
Programmirleme modeli yzygiderli.
(B) Uçgun akymda DStream-iň tanyşdyrylyşy
DStream birnäçe synpy öz içine alýar.
(1) DirectKafkaInputStream we ş.m. ýaly InputDStream ýaly maglumat çeşmesi synplary.
(2) Öwürmek synplary, adatça MappedDStream, ShuffledDStream
(3) çykyş synplary, adatça ForEachDStream ýaly
Aboveokardakylardan başlap (giriş) ahyryna çenli (çykyş) maglumatlar DStream ulgamy tarapyndan amala aşyrylýar, bu ulanyjynyň adatça RDD-leri gönüden-göni döredip we dolandyryp bilmejekdigini aňladýar, bu DStream-iň mümkinçiligi we borjy bar diýmekdir RDD-leriň ýaşaýyş sikline jogapkärdir.
Başgaça aýdylanda, “Spark Streaming” -iň barawtomatiki arassalamakfunksiýasy.
(iii) uçgun akymynda RDD öndürmek prosesi
“Spark Streaming” -de RDD-leriň ýaşaýyş akymy aşakdaky ýaly gödek.
(1) InputDStream-da alnan maglumatlar KafkaRDD döredýän DirectKafkaInputStream ýaly RDD-e öwrülýär.
(2) soňra MappedDStream we beýleki maglumatlary öwürmek arkaly bu gezek gönüden-göni öwrülişiň karta usulyna laýyk gelýän RDD diýilýär.
(3) Çykyş synpy işinde, diňe RDD açylanda, ulanyja degişli ammary, beýleki hasaplamalary we beýleki amallary ýerine ýetirip bilersiňiz.