কিভাবে Hadoop এ ডেটা স্থানীয়করণ অর্জন করা হয়?

2024 লেখক: Lynn Donovan | [email protected]. সর্বশেষ পরিবর্তিত: 2023-12-15 23:44

ডেটা স্থানীয়করণ ভিতরে হাডুপ . নমুনা Wordcount উদাহরণ নিন, যেখানে অধিকাংশ শব্দ 5 Lacs বা তার বেশি বার পুনরাবৃত্তি করা হয়েছে। সেই ক্ষেত্রে ম্যাপার পর্বের পরে, প্রতিটি ম্যাপার আউটপুটে 5 লাখের পরিসরে শব্দ থাকবে। LFS এ ম্যাপার আউটপুট সংরক্ষণের এই সম্পূর্ণ প্রক্রিয়াটিকে বলা হয় ডেটা স্থানীয়করণ.

এই বিবেচনায় রেখে, Hadoop এ ডেটা স্থানীয়করণ কি?

ধারণা ডেটা এলাকায় হাদুপ ডেটা এলাকায় মানচিত্র কমাতে প্রকৃত যেখানে গণনা কাছাকাছি স্থানান্তর করার ক্ষমতা বোঝায় তথ্য বড় সরানোর পরিবর্তে নোডে থাকে তথ্য গণনার জন্য এটি নেটওয়ার্ক কনজেশন কমিয়ে দেয় এবং সিস্টেমের সামগ্রিক থ্রুপুট বাড়ায়।

এছাড়াও, কিভাবে বড় তথ্য সংরক্ষণ করা হয়? বেশিরভাগ মানুষ স্বয়ংক্রিয়ভাবে HDFS, বা Hadoop বিতরণ করা ফাইল সিস্টেম, Hadoop এর সাথে সংযুক্ত করে তথ্য গুদাম এইচডিএফএস ছোট ছোট ব্লক দিয়ে তৈরি ক্লাস্টারে তথ্য সঞ্চয় করে। এই ব্লক হয় সংরক্ষিত অনসাইটে শারীরিক স্টোরেজ ইউনিট, যেমন অভ্যন্তরীণ ডিস্ক ড্রাইভ।

শুধু তাই, কিভাবে Hadoop এ তথ্য সংরক্ষণ করা হয়?

উপর ক হাডুপ ক্লাস্টার, তথ্য HDFS এর মধ্যে এবং MapReduce সিস্টেম ক্লাস্টারের প্রতিটি মেশিনে রাখা হয়েছে। ডেটা হয় সংরক্ষিত ভিতরে তথ্য DataNodes এ ব্লক। HDFS তাদের প্রতিলিপি তথ্য ব্লক, সাধারণত 128MB আকারের, এবং সেগুলি বিতরণ করে যাতে সেগুলি ক্লাস্টার জুড়ে একাধিক নোডের মধ্যে প্রতিলিপি করা হয়।

কিভাবে ফাইল HDFS সংরক্ষণ করা হয়?

এইচডিএফএস উন্মোচন a ফাইল সিস্টেম নামস্থান এবং ব্যবহারকারীর ডেটা হতে দেয় সংরক্ষিত ভিতরে নথি পত্র . অভ্যন্তরীণভাবে, ক ফাইল এক বা একাধিক ব্লকে বিভক্ত এবং এই ব্লকগুলি হল সংরক্ষিত ডেটানোডের একটি সেটে। NameNode কার্যকর করে ফাইল সিস্টেম নেমস্পেস অপারেশন যেমন খোলা, বন্ধ করা এবং নাম পরিবর্তন করা নথি পত্র এবং ডিরেক্টরি।