আমি স্পার্ক লগ কোথায় পেতে পারি?

2024 লেখক: Lynn Donovan | [email protected]. সর্বশেষ পরিবর্তিত: 2023-12-15 23:44

লগ ডিরেক্টরি

ডিফল্ট SPARK_WORKER_LOG_DIR অবস্থান হল /var/ লগ / স্পার্ক /কর্মী। ডিফল্ট লগ শুরু করার জন্য ডিরেক্টরি স্পার্ক SQL থ্রিফট সার্ভার হল $HOME/ স্পার্ক - থ্রিফট-সার্ভার। স্পার্ক শেল এবং অ্যাপ্লিকেশন লগ কনসোলে আউটপুট হয়। লগ কনফিগারেশন ফাইলগুলি একই ডিরেক্টরিতে অবস্থিত স্পার্ক -env.sh.

এই বিষয়ে, আমি কিভাবে স্পার্ক লগ পেতে পারি?

স্পার্ক অ্যানালাইজ পেজ থেকে চাকরি বা অ্যাপ্লিকেশান অ্যাক্সেস করতে পারবেন লগ অ্যাপ্লিকেশন UI এর মাধ্যমে এবং স্পার্ক অ্যাপ্লিকেশন UI। পৃষ্ঠা, আপনি অ্যাক্সেস করতে পারেন লগ মাধ্যমে স্পার্ক অ্যাপ্লিকেশন UI। আপনি অতিরিক্ত করতে পারেন লগ ত্রুটি এবং ব্যতিক্রম চিহ্নিত করতে স্পার্ক চাকরি বা আবেদন ব্যর্থতা।

একইভাবে, আপনি কিভাবে সুতার লগ চেক করবেন? দেখা a লগ ফাইল লগ https://${-এ রিসোর্স ম্যানেজার UI-এর একটি ব্রাউজারে একটি অ্যাপ্লিকেশন মাস্টারেরও দেখা যেতে পারে সুতা .resourcemanager.webapp.address}/cluster (https://localhost:8088 একটি একক নোডে "ক্লাস্টার")।

একইভাবে কেউ জিজ্ঞাসা করতে পারে, আমি কিভাবে স্পার্ক এ নির্বাহক লগ পেতে পারি?

উত্তর

1. স্পার্ক নির্বাহক লগ পাওয়ার জন্য নির্দেশাবলী:
2. অমাবারির জন্য -- 1) স্পার্ক সার্ভিস এবং কনফিগস ট্যাবে যান: 2) "অ্যাডভান্সড স্পার্ক-লগ4জে-প্রপার্টিজ" এন্ট্রি খুঁজুন।
3. ক্লাউডারের জন্য -- সেট করুন: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties।

আমি কিভাবে আমার স্পার্ক ইতিহাস সার্ভার URL খুঁজে পেতে পারি?

যেমন, এর জন্য ইতিহাস সার্ভার , তারা সাধারণত https://< এ অ্যাক্সেসযোগ্য হবে সার্ভার - url >:18080/api/v1, এবং চলমান অ্যাপ্লিকেশনের জন্য, https://localhost:4040/api/v1 এ। API-তে, একটি অ্যাপ্লিকেশনকে তার অ্যাপ্লিকেশন আইডি, [app-id] দ্বারা উল্লেখ করা হয়।