Apache Spark, Kafka, & Flink Showcase ინოვაცია Hadoop– ით "Დიდი მონაცემები" პროგრამები

Apache პროგრამული უზრუნველყოფის ფონდი ერთ – ერთი უძველესი და ყველაზე პატივსაცემია ღია პროგრამული უზრუნველყოფის მმართველი ორგანიზაციებისა, რომელიც გამოწვეულია Apache HTTP HTTP სერვერების მასიური ინდუსტრიის მიღებით ბოლო 20 წლის განმავლობაში. Apache პროგრამული უზრუნველყოფის ფონდი დაარსდა ორიგინალური ვებ სერვერის პლატფორმის პროგრამისტების მიერ 1999 წელს, უფრო ფართო მისიით, ხელი შეუწყოს უფასო ღია პროგრამული უზრუნველყოფის პროექტებისა და მათი თემების განვითარებას მომავალი თაობის ვებ სტანდარტების შესაქმნელად. Apache ლიცენზია მსგავსია GNU GPL, MIT, & BSD პროგრამული უზრუნველყოფის ლიცენზიები ღია კოდის გამოქვეყნებისთვის, რომლებიც შეიძლება გამოყენებულ იქნას, კოპირებული, მოდიფიცირებული, კლონირებული და გადაყიდული იქნას სხვა დეველოპერების ან კომპანიების მიერ, შეზღუდვის გარეშე, გარდა სხვა გახსნილობისა. & მიკუთვნება. ამჟამად Apache პროგრამის ფონდის ეკოსისტემის ფარგლებში 300-ზე მეტი პროექტია დამუშავებული, რომლებიც მოიცავს ლაბორატორიების, ინკუბატორის, სხვენისა და ინფრასტრუქტურის ჯგუფს. ASF– ის ამჟამინდელი პროექტი, რომელიც 2017 წელს ფართო ინდუსტრიის მიღებისკენ მიდრეკილია, არის Apache Spark, Kafka, & Flink, CQRS- ის თითოეული განმახორციელებელი ასპექტი ახალი გზებით, ღრუბლოვანი პლატფორმის არქიტექტურაში მონაცემთა რეაქტიული ნაკადების ოპტიმიზაციის მიზნით, ახალი თაობის ვებ – პროგრამების მხარდასაჭერად.


Apache Spark, Kafka და Flink Showcase ინოვაცია Hadoop– ისთვის

პროგრამული უზრუნველყოფის განვითარების ტენდენციები Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემაში

ფართო ინდუსტრიის მიღება Apache HTTP სერვერის ჩარჩოს ვებ – ჰოსტინგში, რომლის გაშვება შესაძლებელია ორივე Linux- ზე & Windows ოპერაციული სისტემები თანაბრად მოიცავს Apache – ს დაყენებას მილიონობით ვებ – სერვერზე, სადაც ფართოდ არის მიმოხილული წყაროების კოდების მიმოხილვა სპეციალურ პროგრამისტებში, აკადემიურ, მთავრობაში., & საწარმოს ბიზნეს ორგანიზაციების წარმომადგენლებმა ყურადღება გაამახვილეს მონაცემთა უსაფრთხოებისა და აპარატურის მუშაობის ოპტიმიზაციაზე. ბოლოდროინდელი ბლოგის პოსტი IBM– ის შესახებ "რას ნიშნავს ღია წყარო" მოიცავდა ძირითადი აქცენტი კომპანიის უწყვეტი წვლილისთვის Apache- ის ეკოსისტემის პროექტებში, როგორიცაა Apache Atlas, HBase, Ambari, Spark, Kafka, Knox, & ჩაკრა ღრუბელი მონაცემების ანალიზისთვის.

ASF– ის მიერ დამუშავების 300+ პროექტიდან მხოლოდ 8.8% ქსელურ სერვერთან არის დაკავშირებული, ხოლო სხვა 8.6% "დიდი მონაცემები" პროგრამები. თითოეული ვებ – გვერდის განვითარების ჩარჩოები და მონაცემთა ბაზა მოიცავს ASF პროექტების დაახლოებით 7% -ს. მიუხედავად იმისა, რომ ყველა ვებ – გვერდის 80% –ზე მეტია გამოყენებული, PHP არ არის პროგრამირების ერთ – ერთი მთავარი ენა, რომელიც ნაჩვენებია Apache ლიცენზიის ქვეშ გამოქვეყნებულ კოდებში. დაახლოებით 60% ჯავა კოდია, C, Python, C ++, JavaScript, Scala, C #, & Perl ასევე პოპულარული სტანდარტები. Apache ლიცენზიის ქვეშ გამოქვეყნებული სხვადასხვა FOSS– ის სხვადასხვა პროექტის თვალყურის დასადგენად, ბატარეების ინდექსი საინტერესოა და მონაცემთა ბაზამ შეადგინა კვლევა "საბოლოო სია" 1250 – ზე მეტი FOSS პროექტიდან, მიმდინარე აქტიური განვითარების ქვეშ, სექტორის ფართო სპექტრში (მათ შორისაა Apache, GPL, MIT, BSD), & სხვა პროგრამული ლიცენზიები).

Apache პროგრამული უზრუნველყოფის ფონდის ფარგლებში ორგანიზებული რამდენიმე ტენდენციური პროექტია:

  • Apache HTTP სერვერი – მსოფლიოში ყველაზე პოპულარული ვებ სერვერის პლატფორმის პროგრამა
  • Apache Tomcat – ვებ სერვერის პლატფორმა Java Servlet- ისთვის & WebSocket პროგრამები
  • Apache Hadoop – მასშტაბური, განაწილებული კომპიუტერული პლატფორმა MapReduce გამოყენებით
  • Apache Cassandra – მასშტაბური, მრავალსაფეხურიანი მონაცემთა ბაზა Hadoop– ის გამოსაყენებლად
  • Apache Spark – უზრუნველყოფს საანგარიშო ძრავას Hadoop– სთვის მანქანათმცოდნეობით & გრაფიკები
  • Apache Kafka – ჰორიზონტალური მასშტაბით მონაცემთა მილსადენების განაწილებული ნაკადი
  • Apache HBase – Hadoop– ის ახალი მონაცემთა ბაზა ოპტიმიზირებულია მასშტაბით მილიარდობით ცხრილამდე
  • Apache Flink – მონაცემთა ნაკადის ჩარჩო სურათების დამუშავების 1000+ კვანძის მტევანებში
  • Apache ატლასი – მონაცემთა მართვის და სემანტიკური ტაქსონომიის მე-ჩარჩო ჰადოოპისთვის
  • Apache Knox – დაისვენეთ API & ვებ პროგრამის კარიბჭე Hadoop სერვერებისთვის
  • Apache Ambari – უზრუნველყოფა, მონიტორინგი, & მართეთ Hadoop მტევანი Ambari ინსტრუმენტებით
  • ლუსენი / მზის – მოიცავს Java საძიებო ბირთვს XML / HTTP & JSON / Python / Ruby API
  • CouchDB – მონაცემთა ბაზის უნიკალური პროტოკოლი განმეორებით & მასშტაბური სინქრონიზაცია მტევანი მასშტაბით
  • Apache Mesos – ღრუბლის ორკესტრის მართვის ჩარჩო ელასტიური VM– ების დასაზომად
  • CloudStack – ღრუბელი მონაცემთა ცენტრის მართვის სისტემა, რომელსაც Apache აჩუქა საწარმოსგან
  • SpamAssassin – მოწინავე ანტი-სპამის გაფილტვრა ელ.ფოსტით მანქანა სწავლების შესაძლებლობებით
  • დივერსია / Maven – ინდუსტრიის სტანდარტული ვერსიის კონტროლი & პროექტის მართვის პროგრამული უზრუნველყოფა
  • OpenOffice – სიტყვების დამუშავება, ცხრილების და დესკტოპის საგამომცემლო პროგრამული პაკეტი
  • აჩაჩ კორდოვა – ჯვრის პლატფორმის მობილური პროგრამის განვითარების ინსტრუმენტის ნაკრები
  • ტალღა – Google Wave- ის უცნობმა პლატფორმამ, რომელიც Apache ლიცენზიას აჩუქა დეველოპერებისთვის

Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემის ერთ-ერთი ყველაზე საინტერესო ასპექტია ის, რომ ის საშუალებას აძლევს IT მაიორებს ერთად იმუშაონ ინფრასტრუქტურულ პროგრამაზე, რომელიც აშენებს cross-platform სტანდარტებს ვებ ჰოსტინგის ბაზარზე. ბოლო პერიოდში ახალი პროექტები ვითარდება Apache ინკუბატორისა და ლაბორატორიების განყოფილებების განაწილებით, განაწილებული საერთაშორისო პროგრამირების ჯგუფების კოლექტიური მუშაობისგან, ხოლო მემკვიდრეობის საწარმოთა სტანდარტები, როგორიცაა Java და Wave, შენარჩუნებულია Apache ლიცენზიის პირობებში, რომელიც მიმაგრებულია სხვენში. Hadoop პლატფორმა ინტეგრირებს უამრავ ახალ Apache პროექტს, ერთპიროვნული ჩარჩო ჩარჩოებით, რადგან ინდუსტრიის სტანდარტები ხდება ვებ სერვერებისთვის და ელასტიური კომპიუტერული მონაცემების ელასტიკურ გამოთვლაში..

Apache პროგრამული უზრუნველყოფის ფონდი ასევე ზედამხედველობას უწევს არაერთი აუცილებელი პროგრამირების საშუალების შემუშავებას, როგორიცაა Subversion for version კონტროლისთვის და Maven პროექტის მენეჯმენტისთვის, ასევე OpenOffice, რომელიც წარმოადგენს ტექსტის სრულ დამუშავებას, ცხრილებს და საგამომცემლო პაკეტს, რომელიც ასახავს Microsoft Office- ის ფუნქციებს FOSS საფუძვლები. Apache Mesos და CloudStack უზრუნველყოფენ მსგავსი ფუნქციონალურობას, როგორც OpenStack, სადაც თითოეული პლატფორმა გთავაზობთ სხვადასხვა ვირტუალიზაციის ინსტრუმენტებს, რომლებიც მიმართულია კერძო ღრუბლოვანი ქსელის ადმინისტრირებას, ჰიბრიდული ღრუბლის ორკესტრაციას და მონაცემთა ცენტრის მენეჯმენტს. SpamAssassin შემოთავაზებულია cPanel– ის ინსტალაციების უმეტეს ნაწილზე და საშუალებას აძლევს გამოიყენოს აპარატის სწავლა, ანტი – სპამის ფილტრების გასაუმჯობესებლად შემომავალი ელ.ფოსტით. Apache Solr & ლუსენე პოპულარული გახდა, როგორც დრუპალის ალტერნატიული საძიებო ჩარჩოები. Apache Spark, Kafka, & Flink ყველანაირი ტენდენციაა DevOps– ის საზოგადოებაში, ახალ მიღებას საწარმოო პროგრამებში ფართომასშტაბიანი კომერციის ოპტიმიზაციის მიზნით & სოციალური ქსელის ვებსაიტები.

კლუდერა – "რა არის Apache Spark?" (2015 წ.)

ღრუბლოვანი ღია პროგრამული უზრუნველყოფა – "მაიკ ოლსონი, სტრატეგიის მთავარი ოფიცერი და Cloudera– ის თანადამფუძნებელი, გთავაზობთ მიმოხილვას Apache Spark– ის, პოპულარობის ზრდაზე ღია წყაროს საზოგადოებაში და ის, თუ როგორ არის Spark– ის დაწყება, რომ ჩაანაცვლოს MapReduce, როგორც ზოგადი გადამამუშავებელი ძრავა Hadoop– ში.." Გაიგე მეტი.

პროგრამული უზრუნველყოფის განვითარების ტენდენციები Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემაში

CQRS ღონისძიების დახმარებით – "CQRS და Event Sourcing– ზე დაფუძნებული მოდელის საშუალებით, ინტეგრაცია მოიფიქრა პირველივე შემთხვევის შემდეგ. წაკითხულ მხარეს უნდა ინტეგრაცია და წარმოდგენა, რაც ხდება Writing Side- ში, ეს არის ინტეგრაციის წერტილი." შეიტყვეთ უფრო მეტი CQRS- ის შესახებ.


CQRS: შეკითხვის მოთხოვნის პასუხისმგებლობის სეგრეგაცია

შეკითხვის მოთხოვნის პასუხისმგებლობის სეგრეგაცია (CQRS) მოქმედებს როგორც მონაცემთა ბაზის ოპტიმიზაცია, სადაც იმის ნაცვლად, რომ საჭირო გახდეს ვებ სერვერზე, კონკრეტულად დაადგინოთ არის თუ არა შემომავალი მოთხოვნა წაკითხული (ბრძანება) ან ჩაწერის (შეკითხვის) ოპერაცია, ეს განსხვავებები კონკრეტულად წინასწარ ხდება, როგორც ნაწილი. მონაცემთა ბაზის პლატფორმის კოდი. ეს იწვევს მონაცემთა ბაზის უფრო ეფექტურ დამუშავებას ‘დიდი მონაცემების’ აპლიკაციების მასშტაბით და უფრო ერთდროულ მომხმარებლებთან დიდი ვებ – მეხსიერების ქეშირების უკეთესად შენახვისთვის. CQRS ასევე ხსნის შესაძლებლობებს მონაცემთა ნაკადის და მოვლენების დამუშავებისთვის ელექტრონული კომერციისთვის, რომლებიც ინტენსიურია მონაცემთა ბაზაში, მრავალჯერადი ცვლადი თვალთვალისთვის, მომხმარებლების დიდ თემებზე რეალურ დროში, მაგალითად Amazon.com, eBay ან Uber. მონაცემთა ბაზის ოპტიმიზაცია CQRS– ის გამოყენებით მასშტაბით, მივყავართ ღრუბ ვებ – სერვერის პროგრამების ახალი კატეგორიის შემუშავებას, რომელიც აშენდა Apache Spark– ში, Kafka– ში., & იმოძრავეთ Hadoop პლატფორმაზე.

  • Apache Spark – მოიცავს ვებ სერვერების კლასტერის მენეჯერებს CQRS პროცესის სინქრონიზაციისთვის
  • Apache Kafka – გთავაზობთ ღონისძიების მენეჯერს CQRS მონაცემთა ნაკადებისთვის ინტერაქტიული მოთხოვნით
  • Apache Flink – იყენებს მონაცემების ანალიზს კაფკას ნაკადებზე არქიტექტურის რესურსების მართვისთვის

CQRS გამოიყენება დიდი ელექტრონული კომერციის ვებსაიტებზე, რათა უზრუნველყონ რეალურ დროში მომხმარებელთა უკუკავშირი, სადაც გაყიდვები, ინვენტარიზაცია, ტრანსპორტირება, ფასდაკლება და თაღლითობის საწინააღმდეგო ანალიზები ინდივიდუალურად უნდა იქნას წარმოდგენილი თითოეულ შეკვეთზე, ადგილობრივ პარამეტრებზე დაყრდნობით. CQRS ასევე ხსნის მომხმარებლის თვალყურის დევნისა და მათთან დაკავშირებულ საშუალებას, რომელიც გულისხმობს მომხმარებელთა ძიების ინტერესის ან ათვალიერებს წინა შენახულ ისტორიას, მანქანების სწავლების ალგორითმების გამოყენებით. ამ წესით ხდება Apache Hadoop, Cassandra, Kafka, Spark, & Flink ჩარჩოების დამონტაჟება შესაძლებელია დასტის არქიტექტურაში, ახალი თაობის საწარმოს პროგრამული პროგრამების პროგრამირების მიზნით.
პროგრამული უზრუნველყოფის განვითარების ტენდენციები Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემაში

Apache Spark – "კერძოდ, კლასტერზე გასაშვებად, SparkContext– ს შეუძლია დააკავშიროს რამდენიმე ტიპის კასეტური მენეჯერი (ან SparkContext)’საკუთარი დამოუკიდებელი კლასტერების მენეჯერი, Mesos ან YARN), რომლებიც გამოყოფენ რესურსებს პროგრამებში." შეიტყვეთ მეტი Apache Spark- ის შესახებ.
პროგრამული უზრუნველყოფის განვითარების ტენდენციები Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემაში
Apache Kafka – Apache Kafka- ს აქვს სწრაფი, მასშტაბური, გამძლე, & უაღრესად ხელმისაწვდომი შეტყობინებების ავტობუსის სისტემა განაწილებული განმეორებითი ჟურნალისთვის, რაც იწვევს მონაცემთა ბაზის უკეთეს ქეშირებას & მრავალჯერადი მომხმარებლის მრავალჯერადი ვებსაიტების განმეორებითი რეაგირებისთვის, ხშირად განახლებული ინდივიდუალური ცვლებით. კომიტეტის ჟურნალის სერვისში შედის დანაყოფი სინქრონიზაცია მონაცემთა მრავალჯერადი ერთდროული ვერსიისა და დროის აღმნიშვნელი დროით & გადამუშავების გასაუმჯობესებლად მნიშვნელობების მიბმა & ელექტრონული კომერციის რეალურ დროში მონაცემთა ნაკადების ანალიზი.

პროგრამული უზრუნველყოფის განვითარების ტენდენციები Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემაში

Apache Flink – "Apache Flink არის ღია წყარო ნაკადის დამუშავების ჩარჩო განაწილებული, მაღალი შემსრულებლის, ყოველთვის ხელმისაწვდომი და ზუსტი მონაცემთა ნაკადის პროგრამებისთვის." შეიტყვეთ უფრო მეტი Apache Flink- ის შესახებ.

ძირითადი: "რეაქტიული კაფკა" (2017)

რეაქტიული ნაკადები – "Apache Kafka არის განაწილებული, მასშტაბური, მაღალი გამტარუნარიანი შეტყობინებების ავტობუსი. ბოლო რამდენიმე წლის განმავლობაში, კაფკა გამოჩნდა, როგორც ძირითადი სამშენებლო ბლოკი მონაცემთა ინტენსიური განაწილებული პროგრამებისთვის. როგორც მაღალი ხარისხის შეტყობინებების ავტობუსი, კაფკა საშუალებას აძლევს განაწილდეს პროგრამების შემუშავებას მიკროსერვისის არქიტექტურის გამოყენებით." შეიტყვეთ მეტი Apache Kafka- ს შესახებ.

Google Trends – Apache პროგრამული უზრუნველყოფის ფონდის პროექტები

ეს სქემა შეიცავს Google Trends– ის მოკლე მონაცემებს, რათა შეფასდეს Apache პროგრამული უზრუნველყოფის ფონდის მიერ შემუშავებული სხვადასხვა პროექტების პოპულარობა:

პროგრამული უზრუნველყოფის განვითარების ტენდენციები Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემაში

მონაცემთა ბაზის ჩარჩოები – "Apache Hadoop & კასანდრა მნიშვნელოვნად უფრო პოპულარულია, ვიდრე Apache Tomcat, ხოლო იქ ცოტაა & ინტერესი CouchDB ჩარჩოს მიმართ." Apache მონაცემთა ბაზის პროექტები.

პროგრამული უზრუნველყოფის განვითარების ტენდენციები Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემაში

CQRS პროგრამები – "Apache Spark- მა და Kafka- მ აჩვენეს, რომ ბოლო პერიოდში ინტერესი აღემატება Apache HTTPS Server პროგრამის მთლიანი საძიებო საქმიანობის 25% -30% -ს.." Apache Spark, Kafka, & Flink პროექტები.

პროგრამული უზრუნველყოფის განვითარების ტენდენციები Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემაში

"Დიდი მონაცემები" მოძებნეთ პლატფორმები – "ლუცენი ერთ – ერთი ყველაზე პოპულარული პროექტია Apache პროგრამული უზრუნველყოფის ფონდში, დაახლოებით 3-4x საძიებო ინტერესი CloudStack– სთან შედარებით." Apache საძიებო პლატფორმები.

პროგრამული უზრუნველყოფის განვითარების ტენდენციები Apache პროგრამული უზრუნველყოფის ფონდის ეკოსისტემაში

უფასო ღია პროგრამული უზრუნველყოფა (FOSS) – "OpenOffice, დივერსია, & Maven არის ყველაზე ცნობილი პროექტები, რომლებიც მოიცავს Apache- ს ეკოსისტემას." შეადარეთ OpenOffice– ის ტენდენციები, დივერსია, & მიჩვეული.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me