Sqoop ডেটা আমদানি এবং রপ্তানি করতে কী ব্যবহার করে?

2024 লেখক: Lynn Donovan | [email protected]. সর্বশেষ পরিবর্তিত: 2023-12-15 23:44

স্কুপ হল স্থানান্তর করার জন্য ডিজাইন করা একটি টুল তথ্য Hadoop এবং রিলেশনাল ডাটাবেসের মধ্যে। স্কুপ উপর নির্ভর করে এই প্রক্রিয়াটির বেশিরভাগ স্বয়ংক্রিয় করে তথ্যশালা জন্য স্কিমা বর্ণনা করতে তথ্য হতে আমদানি করা . Sqoop ব্যবহার করে MapReduce to ডেটা আমদানি এবং রপ্তানি , যা সমান্তরাল অপারেশনের পাশাপাশি দোষ সহনশীলতা প্রদান করে।

এখানে, আমি কিভাবে sqoop থেকে ডেটা রপ্তানি করব?

শুরু হচ্ছে

1. ধাপ 1: MySQL উদাহরণে একটি নতুন ডাটাবেস তৈরি করুন। ডেটাবেস db1 তৈরি করুন;
2. acad নামে একটি টেবিল তৈরি করুন।
3. ধাপ3: HDFS থেকে MySQL-এ input.txt এবং input2.txt ফাইল রপ্তানি করুন। sqoop এক্সপোর্ট -কানেক্ট jdbc:mysql://localhost/db1 -ব্যবহারকারীর নাম sqoop -পাসওয়ার্ড রুট -টেবিল acad -export-dir /sqoop_msql/ -m 1.

এছাড়াও, কিভাবে sqoop রপ্তানি কাজ করে? স্কুপ - Sqoop রপ্তানি রপ্তানি কমান্ড ইনপুট ডেটার সেট সহ INSERT স্টেটমেন্ট প্রস্তুত করে তারপর ডাটাবেসে আঘাত করে। এটা জন্য রপ্তানি নতুন রেকর্ড, যদি টেবিলে প্রাথমিক কী সহ অনন্য মান ধ্রুবক থাকে, রপ্তানি সন্নিবেশ বিবৃতি ব্যর্থ হওয়ায় কাজ ব্যর্থ হয়। আপনার যদি আপডেট থাকে তবে আপনি --update-key বিকল্পটি ব্যবহার করতে পারেন।

একইভাবে, লোকেরা জিজ্ঞাসা করে, আমি কীভাবে স্কুপে ডেটা আমদানি করব?

এখানে প্রতিটি পৃথক Sqoop কমান্ড বিকল্পের অর্থ কী:

1. সংযোগ - jdbc স্ট্রিং প্রদান করে।
2. ব্যবহারকারীর নাম - ডাটাবেস ব্যবহারকারীর নাম।
3. -পি - কনসোলে পাসওয়ার্ড চাইবে।
4. টেবিল - কম্পিউটারকে বলে যে আপনি MySQL থেকে কোন টেবিল আমদানি করতে চান।
5. বিভক্ত করে - আপনার বিভাজন কলাম নির্দিষ্ট করে।
6. target-dir - HDFS গন্তব্য ডিরেক্টরি।

sqoop আমদানি কি?

স্কুপ টুল ' আমদানি ' ব্যবহার করা হয় আমদানি টেবিলের ডাটা টেবিল থেকে Hadoop ফাইল সিস্টেমে টেক্সট ফাইল বা বাইনারি ফাইল হিসেবে। নিম্নলিখিত কমান্ড ব্যবহার করা হয় আমদানি MySQL ডাটাবেস সার্ভার থেকে HDFS এ emp টেবিল।