সুচিপত্র:

Hadoop এ বিভিন্ন ফাইল ফরম্যাট কি কি?
Hadoop এ বিভিন্ন ফাইল ফরম্যাট কি কি?

ভিডিও: Hadoop এ বিভিন্ন ফাইল ফরম্যাট কি কি?

ভিডিও: Hadoop এ বিভিন্ন ফাইল ফরম্যাট কি কি?
ভিডিও: Hadoop এ Parquet ফাইল, Avro ফাইল, RC, ORC ফাইল ফরম্যাট | Hadoop এ বিভিন্ন ফাইল ফরম্যাট 2024, ডিসেম্বর
Anonim

ভাগ্যক্রমে আপনার জন্য, বিগ ডেটা সম্প্রদায়টি মূলত তিনটি অপ্টিমাইজে সেটেল করেছে ফাইল ফরম্যাট ব্যবহারের জন্য হাডুপ ক্লাস্টার: অপ্টিমাইজড রো কলামার (ORC), অভ্র, এবং Parquet।

পরবর্তীকালে, কেউ জিজ্ঞাসা করতে পারে, বিভিন্ন ধরণের ডেটা ফরম্যাটগুলি কী কী?

এখনে তিনটি তথ্যের প্রকার ম্যাপিং এবং জিআইএস ডেটা ফরম্যাট . প্রতিটি প্রকার ভিন্নভাবে পরিচালনা করা হয়।

তথ্য বিন্যাস প্রকার

  • ফাইল-ভিত্তিক- শেপফাইলস, মাইক্রোস্টেশন ডিজাইন ফাইল (ডিজিএন), জিওটিআইএফএফ ছবি।
  • ডিরেক্টরি-ভিত্তিক - ESRI ArcInfo Coverages, US Census TIGER।
  • ডাটাবেস সংযোগ - PostGIS, ESRI ArcSDE, MySQL।

অতিরিক্তভাবে, হাইভ-এ কোন ফাইল ফরম্যাট সেরা? RCFile হল সারি কলামার ফাইলের বিন্যাস . এটি এর আরেকটি রূপ হাইভ ফাইল ফরম্যাট যা উচ্চ সারি স্তরের কম্প্রেশন হার অফার করে। আপনার যদি একবারে একাধিক রোস্যাট সম্পাদন করার প্রয়োজন হয় তবে আপনি আরসিফাইল ব্যবহার করতে পারেন বিন্যাস.

এই বিবেচনায় রেখে, Hadoop-এ সাধারণ ইনপুট ফর্ম্যাটগুলি কী কী?

InputFormat Inputsplit তৈরি করে।

  • সর্বাধিক সাধারণ ইনপুট ফরম্যাট হল:
  • FileInputFormat- এটি সমস্ত ফাইল-ভিত্তিক ইনপুট ফরম্যাটের জন্য বেস ক্লাস।
  • TextInputFormat- এটি MapReduce-এর ডিফল্ট ইনপুট ফরম্যাট।
  • KeyValueTextInputFormat- এটি TextInputFormat এর মতই।
  • Hadoop-এ InputFormat সম্পর্কে আরও জানতে লিঙ্কটি অনুসরণ করুন।

Hadoop এ orc ফাইল ফরম্যাট কি?

ORC ফাইল ফরম্যাট অপ্টিমাইজ করা সারি কলামার ( ওআরসি ) ফাইলের বিন্যাস হাইভ ডেটা সঞ্চয় করার জন্য একটি অত্যন্ত দক্ষ উপায় প্রদান করে। এটি অন্যান্য হাইভের সীমাবদ্ধতা অতিক্রম করার জন্য ডিজাইন করা হয়েছিল ফাইল ফরম্যাট . ব্যবহার ORC ফাইল Hives ডেটা পড়া, লেখা এবং প্রক্রিয়াকরণ করার সময় কর্মক্ষমতা উন্নত করে।

প্রস্তাবিত: