স্পার্ক একটি কর্ম প্রদর্শন করা হয়?
স্পার্ক একটি কর্ম প্রদর্শন করা হয়?
Anonim

2 উত্তর। প্রদর্শন সত্যিই একটি কর্ম , কিন্তু এটি যখন সবকিছু চালাতে হবে না তা জানা যথেষ্ট স্মার্ট। যদি আপনার কাছে অর্ডার থাকে তবে এটি খুব বেশি সময় নেবে, কিন্তু এই ক্ষেত্রে আপনার সমস্ত ক্রিয়াকলাপগুলি মানচিত্রের ক্রিয়াকলাপ এবং তাই পুরো চূড়ান্ত টেবিলটি গণনা করার দরকার নেই৷

শুধু তাই, স্পার্ক একটি কর্ম গণনা?

গণনা () প্রতি গণনা সারির সংখ্যা। যেহেতু এটি ডিএজি এক্সিকিউশন শুরু করে এবং ড্রাইভারকে ডেটা ফেরত দেয়, এটি একটি কর্ম RDD এর জন্য। কেস 2: যদি আপনি কল করেন গণনা ডেটাফ্রেমে, এটি ডিএজি এক্সিকিউশন শুরু করে এবং ড্রাইভারকে ডেটা ফেরত দেয়, এটি একটি কর্ম ডেটাফ্রেমের জন্য।

একইভাবে, স্পার্কের মধ্যে কর্ম এবং রূপান্তর কি? স্পার্ক আরডিডি অপারেশন। অ্যাপাচি দুই ধরনের স্পার্ক আরডিডি অপারেশন হল- রূপান্তর এবং কর্ম . ক রূপান্তর একটি ফাংশন যা বিদ্যমান RDD থেকে নতুন RDD তৈরি করে কিন্তু যখন আমরা প্রকৃত ডেটাসেটের সাথে কাজ করতে চাই, সেই সময়ে কর্ম সঞ্চালিত হয়.

অনুরূপভাবে, স্পার্ক একটি কর্ম কি?

কর্ম আরডিডির অপারেশন, সেই মানটি স্পার ড্রাইভার প্রোগ্রামে ফিরে আসে, যা একটি ক্লাস্টারে চালানোর জন্য কাজ শুরু করে। রূপান্তর এর আউটপুট একটি ইনপুট কর্ম . হ্রাস করুন, সংগ্রহ করুন, নমুনা নিন, নিন, প্রথমে, saveAsTextfile, saveAsSequenceFile, countByKey, foreach সাধারণ কর্ম Apache এ স্পার্ক.

সংগ্রহ () স্পার্ক কি করে?

সংগ্রহ করা (কাজ) সংগ্রহ করা ডেটাসেটের উপাদানগুলিকে অ্যারে হিসাবে ড্রাইভার প্রোগ্রামে ফিরিয়ে দেয়। সংগ্রহ করা প্রায়ই পূর্বে প্রদত্ত উদাহরণ যেমন ব্যবহার করা হয় স্পার্ক রিটার্নের মান দেখানোর জন্য রূপান্তর উদাহরণ। REPL, উদাহরণস্বরূপ, অ্যারের মানগুলিকে কনসোলে প্রিন্ট করবে।

প্রস্তাবিত: