শ্রেণীবিভাগের সমস্যাগুলির জন্য মার্জিন-ভিত্তিক শ্রেণীবিভাগ মেশিন লার্নিং এবং পরিসংখ্যান উভয় ক্ষেত্রেই জনপ্রিয়। অসংখ্য শ্রেণীবিভাজকের মধ্যে, কিছু হার্ড ক্লাসিফায়ার এবং কিছু সফট ক্লাসিফায়ার। সফট ক্লাসিফায়ার স্পষ্টভাবে ক্লাসের শর্তাধীন সম্ভাব্যতা অনুমান করে এবং তারপর অনুমিত সম্ভাবনার ভিত্তিতে শ্রেণীবিভাগ করে। অন্যদিকে, হার্ড ক্লাসিফায়ার সম্ভাব্যতা অনুমান তৈরি না করে সরাসরি শ্রেণীবিভাগের সিদ্ধান্ত সীমানা লক্ষ্য করে। এই দুই ধরনের শ্রেণীবিভাজক বিভিন্ন দর্শনের উপর ভিত্তি করে তৈরি এবং প্রত্যেকের নিজস্ব সুবিধা রয়েছে।
ডেটা থেকে তথ্য নিষ্কাশনের জন্য শ্রেণীবিভাগ একটি অত্যন্ত দরকারী পরিসংখ্যানিক সরঞ্জাম। একটি তত্ত্বাবধানে শেখার কৌশল হিসাবে, শ্রেণীবিভাগের লক্ষ্য হল একটি প্রশিক্ষণ সেটের উপর ভিত্তি করে একটি শ্রেণীবিভাগ নিয়ম তৈরি করা, যেখানে ব্যাখ্যা ভেরিয়েবল এবং ক্লাস লেবেল উভয়ই সরবরাহ করা হয়। একবার অর্জিত হলে, শ্রেণীবিভাগ নিয়মটি উপলব্ধ ব্যাখ্যা ভেরিয়েবল সহ নতুন বস্তুর শ্রেণী ভবিষ্যদ্বাণী করতে ব্যবহার করা যেতে পারে।
ফিশার লিনিয়ার ডিস্ক্রিমিন্যান্ট অ্যানালাইসিস (এলডিএ) এবং লজিস্টিক রিগ্রেশন-এর মতো খুব ক্লাসিক পদ্ধতি থেকে শুরু করে সাপোর্ট ভেক্টর মেশিন (এসভিএম) এবং বুস্টিং-এর মতো সাম্প্রতিক মেশিন লার্নিং-ভিত্তিক পদ্ধতি পর্যন্ত বিভিন্ন শ্রেণীবিভাগ পদ্ধতি সম্পর্কে প্রচুর সাহিত্য রয়েছে। বিভিন্ন শ্রেণীবিভাগ পদ্ধতির মধ্যে দুটি প্রধান পদ্ধতির গ্রুপ রয়েছে: সফট এবং হার্ড শ্রেণীবিভাগ। সফট এবং হার্ড শ্রেণীবিভাগের ধারণা ওয়াহবা (১৯৯৮) এবং ওয়াহবা (২০০২)-এর সংজ্ঞার মতোই। বিশেষভাবে, একটি সফট শ্রেণীবিভাগ নিয়ম সাধারণত স্পষ্টভাবে ক্লাসের শর্তাধীন সম্ভাব্যতা অনুমান করে এবং তারপর বৃহত্তম অনুমিত সম্ভাবনার ভিত্তিতে একটি শ্রেণী ভবিষ্যদ্বাণী করে। অন্যদিকে, হার্ড শ্রেণীবিভাগ ক্লাস সম্ভাব্যতা অনুমানের প্রয়োজনীয়তা উপেক্ষা করে এবং সরাসরি শ্রেণীবিভাগ সীমানা অনুমান করে। টিপিক্যাল সফট ক্লাসিফায়ারগুলির মধ্যে এলডিএ এবং লজিস্টিক রিগ্রেশনের মতো কিছু ঐতিহ্যবাহী ডিস্ট্রিবিউশন-ভিত্তিক পদ্ধতি অন্তর্ভুক্ত রয়েছে। অন্যদিকে, এসভিএম-এর মতো কিছু মার্জিন-ভিত্তিক পদ্ধতি, সাধারণভাবে কোনো ডিস্ট্রিবিউশন অনুমান ছাড়াই, হার্ড শ্রেণীবিভাগ পদ্ধতিগুলির গ্রুপের অন্তর্গত।
একটি নির্দিষ্ট শ্রেণীবিভাগ কাজের জন্য, একটি স্বাভাবিক প্রশ্ন উত্থাপিত হয় যে কোন ধরনের শ্রেণীবিভাজক ব্যবহার করা উচিত? যদিও প্রচুর সংখ্যক শ্রেণীবিভাজক উপলব্ধ রয়েছে, তবে সাধারণত, এমন কোনো পদ্ধতি নেই যা সমস্ত সমস্যার জন্য সেরা কাজ করে। শ্রেণীবিভাজকের পছন্দ প্রকৃতপক্ষে ডেটাসেটের প্রকৃতি এবং প্রধান শেখার লক্ষ্যের উপর নির্ভর করে। ওয়াহবা (২০০২) সফট বনাম হার্ড শ্রেণীবিভাগ সম্পর্কে কিছু অন্তর্দৃষ্টি প্রদান করেছেন। বিশেষভাবে, তিনি প্রমাণ করেছেন যে পেনাল্টিজড লজিস্টিক রিগ্রেশন (পিএলআর) এবং এসভিএম উভয়কেই পুনরুৎপাদনকারী কার্নেল হিলবার্ট স্পেস (আরকেএইচএস) -এ অপ্টিমাইজেশন সমস্যাগুলিতে অন্তর্ভুক্ত করা যেতে পারে। যাইহোক, অনেক বাস্তব সমস্যার জন্য পিএলআর এবং এসভিএম-এর মধ্যে পছন্দ স্পষ্ট নয়। উচ্চ-মাত্রিক পরিসংখ্যান ডেটা বিশ্লেষণের সাম্প্রতিক দ্রুত অগ্রগতিও এই সমস্যাটির উপর আলোকপাত করে। উচ্চ মাত্রা এবং কম নমুনা আকারের ডেটা (এইচডিএলএসএস) -এর বৃহৎ পরিমাণের উপলব্ধতার সাথে, এইচডিএলএসএস ডেটা বিশ্লেষণের জন্য কার্যকর পরিসংখ্যানিক কৌশলগুলি আরও জরুরি হয়ে উঠেছে। এলডিএ-এর মতো ঐতিহ্যবাহী কৌশলগুলি সরাসরি গণনা করাও সম্ভব নয় যখন মাত্রা নমুনা আকারের চেয়ে বড় হয়। এলডিএ প্রয়োগ করার জন্য কিছু রূপান্তর বা মাত্রা হ্রাস প্রয়োজন। এসভিএম-এর মতো মার্জিন-ভিত্তিক পদ্ধতিগুলি সম্ভাবনা-ভিত্তিক পদ্ধতির তুলনায় সম্পূর্ণ ভিন্ন দৃষ্টিভঙ্গি প্রদান করে। উদাহরণস্বরূপ, এসভিএম-এর কোনো বিতরণ অনুমান নেই এবং এটি শুধুমাত্র সিদ্ধান্ত সীমানার উপর দৃষ্টি নিবদ্ধ করে। এটি এইচডিএলএসএস ডেটার জন্য কার্যকরভাবে স্থাপন করা যেতে পারে এবং অনেক অ্যাপ্লিকেশনে দারুণ সাফল্য অর্জন করেছে। সম্প্রতি, মারন এট আল। (২০০৭) দেখিয়েছেন যে এসভিএম-এ এইচডিএলএসএস সেটিং-এ “ডেটা পিলিং” ঘটনা রয়েছে কারণ এর অ-পৃথকযোগ্য কব্জা ক্ষতি। বিশেষভাবে, যখন আমরা উচ্চ-মাত্রিক সমস্যাগুলিতে লিনিয়ার এসভিএম-এর জন্য বিভাজক হাইপারপ্লেনের স্বাভাবিক ভেক্টরের উপর প্রশিক্ষণ ডেটা প্রজেক্ট করি, তখন অনেক প্রজেকশন একই হয়। তারা এসভিএম-এর একটি প্রকরণ প্রস্তাব করেছেন, বিশেষভাবে ডিসট্যান্স ওয়েটেড ডিস্ক্রিমিন্যান্ট (ডিডব্লিউডি) বিশ্লেষণ, যাতে ডেটা পিলিং সমস্যা নেই।
দুই ধরনের শ্রেণীবিভাজকের মধ্যে, সফট শ্রেণীবিভাগ হার্ড শ্রেণীবিভাগের চেয়ে বেশি তথ্য প্রদান করে এবং তাই, এটি কিছু নির্দিষ্ট পরিস্থিতিতে কাম্য, যেখানে সম্ভাব্যতা তথ্য দরকারী। যাইহোক, যদি কিছু জটিল সমস্যায় ক্লাস সম্ভাব্যতা ফাংশন অনুমান করা কঠিন হয়, তাহলে হার্ড শ্রেণীবিভাগ শুধুমাত্র শ্রেণীবিভাগ সীমানা লক্ষ্য করে আরও সঠিক শ্রেণীবিভাজক তৈরি করতে পারে। বাস্তবে, হার্ড ক্লাসিফায়ার এবং সফট ক্লাসিফায়ারের মধ্যে নির্বাচন করা কঠিন, এবং তাই, তাদের সংযুক্ত করা আদর্শ হবে কারণ প্রত্যেকের নিজস্ব শক্তি রয়েছে।
সফট ক্লাসিফায়ারগুলি তুলনামূলকভাবে মসৃণ হলে মৌলিক শর্তাধীন ক্লাস সম্ভাব্যতা ফাংশন আরও ভাল কাজ করার প্রবণতা রাখে; অথবা যখন ক্লাস সিগন্যাল স্তর তুলনামূলকভাবে দুর্বল হয়। বিপরীতভাবে, হার্ড ক্লাসিফায়ারগুলি তুলনামূলকভাবে অমসৃণ হলে মৌলিক শর্তাধীন ক্লাস সম্ভাব্যতা ফাংশন আরও ভাল কাজ করার প্রবণতা রাখে; অথবা যখন দুটি ক্লাস প্রায় পৃথকযোগ্য হয়, অর্থাৎ ক্লাস সিগন্যাল স্তর তুলনামূলকভাবে শক্তিশালী হয়; অথবা যখন মাত্রা নমুনা আকারের তুলনায় তুলনামূলকভাবে বড় হয়।
