MapReduce কাজ চালানোর জন্য ব্যবহারকারীকে যে প্রধান কনফিগারেশন প্যারামিটারগুলি নির্দিষ্ট করতে হবে?

2024 লেখক: Lynn Donovan | [email protected]. সর্বশেষ পরিবর্তিত: 2024-01-18 08:21

প্রধান কনফিগারেশন পরামিতি যা ব্যবহারকারীদের "MapReduce" ফ্রেমওয়ার্কে নির্দিষ্ট করতে হবে:

• চাকরির বিতরণকৃত ফাইল সিস্টেমে ইনপুট অবস্থান।
• চাকরির বিতরণ করা ফাইল সিস্টেমে আউটপুট অবস্থান।
• তথ্য ইনপুট বিন্যাস.
• ডেটার আউটপুট বিন্যাস।
• মানচিত্র ফাংশন ধারণকারী ক্লাস.
• হ্রাস ফাংশন ধারণকারী ক্লাস.

এখানে, একটি MapReduce প্রোগ্রামের প্রধান কনফিগারেশন পরামিতিগুলি কী কী?

"MapReduce" ফ্রেমওয়ার্কের প্রধান কনফিগারেশন প্যারামিটারগুলি হল:

• বিতরণকৃত ফাইল সিস্টেমে কাজের ইনপুট অবস্থান।
• বিতরণকৃত ফাইল সিস্টেমে কাজের আউটপুট অবস্থান।
• তথ্য ইনপুট বিন্যাস.
• ডেটার আউটপুট বিন্যাস।
• যে শ্রেণীতে মানচিত্র ফাংশন রয়েছে।
• যে শ্রেণীতে হ্রাস ফাংশন রয়েছে।

কেউ জিজ্ঞাসা করতে পারে, ম্যাপার এবং রিডিউসারগুলির পরামিতিগুলি কী কী? ম্যাপারের জন্য চারটি পরামিতি হল:

• লংরাইটেবল (ইনপুট)
• পাঠ্য (ইনপুট)
• পাঠ্য (মধ্যবর্তী আউটপুট)
• IntWritable (মধ্যবর্তী আউটপুট)

এছাড়াও প্রশ্ন হল, MapReduce কাজের প্রধান উপাদান কি কি?

• প্রধান ড্রাইভার ক্লাস যা কাজের কনফিগারেশন পরামিতি প্রদান করে।
• ম্যাপার ক্লাস যা অবশ্যই org প্রসারিত করবে। apache হাডুপ মানচিত্র কমাতে. ম্যাপার ক্লাস এবং মানচিত্র () পদ্ধতির জন্য বাস্তবায়ন প্রদান।
• Reducer ক্লাস যা org প্রসারিত করা উচিত. apache হাডুপ মানচিত্র কমাতে. হ্রাসকারী শ্রেণী।

বিভাজনকারী কি এবং কিভাবে এটি MapReduce কাজের প্রক্রিয়ায় সাহায্য করে?

বিভাজনকারী ভিতরে MapReduce কাজ এক্সিকিউশন মধ্যবর্তী মানচিত্র-আউটপুটগুলির কীগুলির বিভাজন নিয়ন্ত্রণ করে। সঙ্গে সাহায্য হ্যাশ ফাংশনের, কী (বা কী এর একটি উপসেট) প্রাপ্ত করে বিভাজন . একই কী মান থাকার রেকর্ডগুলি একই যায় বিভাজন (প্রতিটি ম্যাপারের মধ্যে)।