স্পার্ক স্কালায় ডেটাফ্রেম কী?
স্পার্ক স্কালায় ডেটাফ্রেম কী?

ভিডিও: স্পার্ক স্কালায় ডেটাফ্রেম কী?

ভিডিও: স্পার্ক স্কালায় ডেটাফ্রেম কী?
ভিডিও: 21. স্কালা ব্যবহার করে কীভাবে স্পার্ক-এ ডেটাফ্রেম তৈরি করবেন 2024, নভেম্বর
Anonim

ক স্পার্ক ডেটাফ্রেম নামযুক্ত কলামগুলিতে সংগঠিত ডেটার একটি বিতরণ করা সংগ্রহ যা ফিল্টার, গোষ্ঠী বা গণনা সমষ্টিকে অপারেশন সরবরাহ করে এবং এর সাথে ব্যবহার করা যেতে পারে স্পার্ক এসকিউএল ডেটাফ্রেম স্ট্রাকচার্ড ডেটা ফাইল, বিদ্যমান RDD, Hive-এ টেবিল বা বাহ্যিক ডাটাবেস থেকে তৈরি করা যেতে পারে।

একইভাবে, আপনি জিজ্ঞাসা করতে পারেন, স্কালাতে একটি ডেটাফ্রেম কী?

নামযুক্ত কলামে সংগঠিত ডেটার একটি বিতরণ করা সংগ্রহ। ক ডেটাফ্রেম স্পার্ক এসকিউএল-এ একটি রিলেশনাল টেবিলের সমতুল্য। থেকে একটি কলাম নির্বাচন করতে ডেটা ফ্রেম , প্রয়োগ পদ্ধতি ব্যবহার করুন স্কালা এবং জাভাতে col।

স্কালাতে আলোর ব্যবহার কি? ( আলো হয় ব্যবহৃত ভিতরে স্পার্ক একটি আক্ষরিক মানকে একটি নতুন কলামে রূপান্তর করতে।) যেহেতু concat কলামগুলিকে আর্গুমেন্ট হিসাবে নেয় আলো অবশ্যই ব্যবহৃত এখানে.

উপরের পাশাপাশি, স্পার্ক এ RDD এবং DataFrame এর মধ্যে পার্থক্য কি?

স্পার্ক আরডিডি APIs - একটি আরডিডি রেসিলিয়েন্ট ডিস্ট্রিবিউটেড ডেটাসেটের জন্য দাঁড়ায়। এটি রেকর্ডের শুধুমাত্র-পঠন পার্টিশন সংগ্রহ। আরডিডি এর মৌলিক তথ্য কাঠামো স্পার্ক . স্পার্ক-এ ডেটাফ্রেম ডেভেলপারদের উচ্চ-স্তরের বিমূর্তকরণের অনুমতি দিয়ে ডেটার বিতরণকৃত সংগ্রহের উপর একটি কাঠামো আরোপ করতে দেয়।

স্পার্কের কলামের সাথে কী করে?

কলামের সাথে স্পার্ক () ফাংশন হয় নাম পরিবর্তন করতে, মান পরিবর্তন করতে, বিদ্যমান ডেটাফ্রেম কলামের ডেটাটাইপ রূপান্তর করতে ব্যবহৃত হয় এবং এছাড়াও করতে পারা একটি নতুন কলাম তৈরি করতে ব্যবহার করা হবে, এই পোস্টে, I ইচ্ছাশক্তি সাধারণত ব্যবহৃত DataFrame কলাম অপারেশনের মাধ্যমে আপনাকে নিয়ে যেতে হবে স্কালা এবং Pyspark উদাহরণ।

প্রস্তাবিত: