এই পৃষ্ঠাটি Cloud Translation API অনুবাদ করেছে।

মেশিন লার্নিং শব্দকোষ: মেট্রিক্স
সেভ করা পৃষ্ঠা গুছিয়ে রাখতে 'সংগ্রহ' ব্যবহার করুন আপনার পছন্দ অনুযায়ী কন্টেন্ট সেভ করুন ও সঠিক বিভাগে রাখুন।

এই পৃষ্ঠায় মেট্রিক্স শব্দকোষের পদ রয়েছে। সকল শব্দকোষের জন্য এখানে ক্লিক করুন ।

ক

নির্ভুলতা

#মৌলিক

#মেট্রিক

সঠিক শ্রেণীবিভাগের ভবিষ্যদ্বাণীর সংখ্যাকে ভবিষ্যদ্বাণীর মোট সংখ্যা দিয়ে ভাগ করলে। অর্থাৎ:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

উদাহরণস্বরূপ, একটি মডেল যা 40টি সঠিক ভবিষ্যদ্বাণী করেছে এবং 10টি ভুল ভবিষ্যদ্বাণী করেছে তার সঠিকতা থাকবে:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

বাইনারি শ্রেণীবিভাগ সঠিক ভবিষ্যদ্বাণী এবং ভুল ভবিষ্যদ্বাণীর বিভিন্ন বিভাগের জন্য নির্দিষ্ট নাম প্রদান করে। সুতরাং, বাইনারি শ্রেণীবিভাগের নির্ভুলতা সূত্রটি নিম্নরূপ:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

কোথায়:

TP হল সত্য ইতিবাচক সংখ্যা (সঠিক ভবিষ্যদ্বাণী)।
TN হল সত্য নেতিবাচক সংখ্যা (সঠিক ভবিষ্যদ্বাণী)।
FP হল মিথ্যা ইতিবাচক সংখ্যা (ভুল ভবিষ্যদ্বাণী)।
FN হল মিথ্যা নেতিবাচক সংখ্যা (ভুল পূর্বাভাস)।

নির্ভুলতা এবং প্রত্যাহার সঙ্গে তুলনা এবং বিপরীতে নির্ভুলতা.

নির্ভুলতা এবং শ্রেণী-ভারসাম্যহীন ডেটাসেট সম্পর্কে বিশদ বিবরণের জন্য আইকনে ক্লিক করুন।

যদিও কিছু পরিস্থিতিতে একটি মূল্যবান মেট্রিক, সঠিকতা অন্যদের জন্য অত্যন্ত বিভ্রান্তিকর। উল্লেখযোগ্যভাবে, নির্ভুলতা সাধারণত শ্রেণিবিন্যাসের মডেলের মূল্যায়নের জন্য একটি দুর্বল মেট্রিক যা শ্রেণি-ভারসাম্যহীন ডেটাসেটগুলি প্রক্রিয়া করে।

উদাহরণস্বরূপ, ধরুন একটি নির্দিষ্ট উপক্রান্তীয় শহরে প্রতি শতাব্দীতে মাত্র 25 দিন তুষারপাত হয়। যেহেতু তুষারহীন দিনগুলি (নেতিবাচক শ্রেণী) তুষার (ধনাত্মক শ্রেণী) সহ দিনের সংখ্যা অনেক বেশি, তাই এই শহরের জন্য তুষার ডেটাসেট শ্রেণী-ভারসাম্যহীন৷ একটি বাইনারি শ্রেণীবিভাগের মডেল কল্পনা করুন যেটি প্রতিদিন তুষারপাত বা তুষারপাতের ভবিষ্যদ্বাণী করে তবে প্রতিদিন "তুষার নেই" ভবিষ্যদ্বাণী করে। এই মডেলটি অত্যন্ত নির্ভুল কিন্তু এর কোন ভবিষ্যদ্বাণী করার ক্ষমতা নেই। নিম্নলিখিত সারণীটি ভবিষ্যদ্বাণীর এক শতাব্দীর ফলাফলগুলিকে সংক্ষিপ্ত করে:

শ্রেণী	সংখ্যা
টিপি	0
টিএন	36499
এফপি	0
এফএন	25

এই মডেলের যথার্থতা তাই:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

যদিও 99.93% নির্ভুলতা খুব চিত্তাকর্ষক শতাংশের মতো মনে হচ্ছে, মডেলটির আসলে কোন ভবিষ্যদ্বাণী করার ক্ষমতা নেই।

শ্রেণী-ভারসাম্যহীন ডেটাসেটে প্রশিক্ষিত মডেলের মূল্যায়নের জন্য যথার্থতার চেয়ে যথার্থতা এবং প্রত্যাহার সাধারণত বেশি দরকারী মেট্রিক।

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে শ্রেণিবিন্যাস: যথার্থতা, স্মরণ, নির্ভুলতা এবং সম্পর্কিত মেট্রিক্স দেখুন।

পিআর বক্ররেখার অধীনে এলাকা

#মেট্রিক

PR AUC (PR বক্ররেখার অধীনে এলাকা) দেখুন।

ROC বক্ররেখার অধীনে এলাকা

#মেট্রিক

AUC (আরওসি বক্ররেখার অধীনে এলাকা) দেখুন।

AUC (ROC বক্ররেখার অধীনে এলাকা)

#মৌলিক

#মেট্রিক

0.0 এবং 1.0 এর মধ্যে একটি সংখ্যা যা একটি বাইনারি শ্রেণীবিন্যাস মডেলের নেতিবাচক শ্রেণী থেকে ইতিবাচক শ্রেণীগুলিকে পৃথক করার ক্ষমতা উপস্থাপন করে। AUC 1.0 এর যত কাছাকাছি হবে, মডেলের একে অপরের থেকে ক্লাস আলাদা করার ক্ষমতা তত ভাল।

উদাহরণস্বরূপ, নিম্নলিখিত চিত্রটি একটি শ্রেণিবিন্যাস মডেল দেখায় যা ইতিবাচক শ্রেণীগুলি (সবুজ ডিম্বাকৃতি) নেতিবাচক শ্রেণী (বেগুনি আয়তক্ষেত্র) থেকে পুরোপুরি আলাদা করে। এই অবাস্তবভাবে নিখুঁত মডেলটির একটি AUC 1.0 রয়েছে:

এক পাশে 8টি ইতিবাচক উদাহরণ সহ একটি সংখ্যা রেখা এবং অন্য দিকে 9টি নেতিবাচক উদাহরণ।

বিপরীতভাবে, নিম্নলিখিত চিত্রটি একটি শ্রেণীবিভাগ মডেলের ফলাফল দেখায় যা এলোমেলো ফলাফল তৈরি করেছে। এই মডেলটির একটি AUC 0.5 রয়েছে:

6টি ইতিবাচক উদাহরণ এবং 6টি নেতিবাচক উদাহরণ সহ একটি সংখ্যা রেখা৷ উদাহরণের ক্রমটি ইতিবাচক, নেতিবাচক, ইতিবাচক, নেতিবাচক, ইতিবাচক, নেতিবাচক, ইতিবাচক, নেতিবাচক, ইতিবাচক নেতিবাচক, ইতিবাচক, নেতিবাচক।

হ্যাঁ, পূর্ববর্তী মডেলটির একটি AUC 0.5 আছে, 0.0 নয়৷

বেশিরভাগ মডেল দুটি চরমের মধ্যে কোথাও আছে। উদাহরণস্বরূপ, নিম্নলিখিত মডেলটি নেতিবাচক থেকে ইতিবাচককে কিছুটা আলাদা করে, এবং তাই 0.5 এবং 1.0 এর মধ্যে একটি AUC রয়েছে:

6টি ইতিবাচক উদাহরণ এবং 6টি নেতিবাচক উদাহরণ সহ একটি সংখ্যা রেখা৷ উদাহরণের ক্রম হল ঋণাত্মক, ঋণাত্মক, ঋণাত্মক, ঋণাত্মক, ইতিবাচক, নেতিবাচক, ইতিবাচক, ইতিবাচক, নেতিবাচক, ইতিবাচক, ইতিবাচক ইতিবাচক

AUC আপনার শ্রেণীবিন্যাস থ্রেশহোল্ডের জন্য সেট করা যেকোনো মান উপেক্ষা করে। পরিবর্তে, AUC সমস্ত সম্ভাব্য শ্রেণীবিভাগ থ্রেশহোল্ড বিবেচনা করে।

AUC এবং ROC বক্ররেখার মধ্যে সম্পর্ক সম্পর্কে জানতে আইকনে ক্লিক করুন।

AUC একটি ROC বক্ররেখার অধীনে এলাকা প্রতিনিধিত্ব করে। উদাহরণস্বরূপ, একটি মডেলের জন্য ROC বক্ররেখা যা সম্পূর্ণরূপে নেতিবাচক থেকে ইতিবাচককে পৃথক করে তা নিম্নরূপ দেখায়:

AUC হল পূর্বের চিত্রে ধূসর অঞ্চলের এলাকা। এই অস্বাভাবিক ক্ষেত্রে, এলাকাটি কেবল ধূসর অঞ্চলের দৈর্ঘ্য (1.0) ধূসর অঞ্চলের প্রস্থ (1.0) দ্বারা গুণিত। সুতরাং, 1.0 এবং 1.0 এর গুণফল ঠিক 1.0 এর একটি AUC প্রদান করে, যা সর্বোচ্চ সম্ভাব্য AUC স্কোর।

বিপরীতভাবে, একটি শ্রেণীবিভাগ মডেলের জন্য ROC বক্ররেখা যা মোটেও ক্লাস আলাদা করতে পারে না নিম্নরূপ। এই ধূসর অঞ্চলের ক্ষেত্রফল 0.5।

একটি আরো সাধারণ ROC বক্ররেখা প্রায় নিম্নলিখিত মত দেখায়:

ম্যানুয়ালি এই বক্ররেখার অধীনে এলাকা গণনা করা কষ্টসাধ্য হবে, এই কারণেই একটি প্রোগ্রাম সাধারণত বেশিরভাগ AUC মান গণনা করে।

AUC এর আরও আনুষ্ঠানিক সংজ্ঞার জন্য আইকনে ক্লিক করুন।

AUC হল সম্ভাব্যতা যে একটি শ্রেণীবিন্যাস মডেল একটি এলোমেলোভাবে নির্বাচিত ইতিবাচক উদাহরণের চেয়ে বেশি আত্মবিশ্বাসী হবে প্রকৃতপক্ষে একটি এলোমেলোভাবে নির্বাচিত নেতিবাচক উদাহরণ ইতিবাচক হওয়ার চেয়ে ইতিবাচক।

আরও তথ্যের জন্য শ্রেণীবিভাগ দেখুন: মেশিন লার্নিং ক্র্যাশ কোর্সে ROC এবং AUC ।

k এ গড় নির্ভুলতা

#ভাষা

#মেট্রিক

একটি একক প্রম্পটে মডেলের কর্মক্ষমতা সংক্ষিপ্ত করার জন্য একটি মেট্রিক যা র‌্যাঙ্ক করা ফলাফল তৈরি করে, যেমন বইয়ের সুপারিশের একটি সংখ্যাযুক্ত তালিকা। k- এ গড় নির্ভুলতা হল, ভাল, প্রতিটি প্রাসঙ্গিক ফলাফলের জন্য k মানের নির্ভুলতার গড়। k এ গড় নির্ভুলতার সূত্রটি তাই:

\[{\text{average precision at k}} = \frac{1}{n} \sum_{i=1}^n {\text{precision at k for each relevant item} } \]

কোথায়:

$n$ তালিকায় প্রাসঙ্গিক আইটেমের সংখ্যা।

k এ প্রত্যাহার সঙ্গে বৈসাদৃশ্য।

একটি উদাহরণের জন্য আইকনে ক্লিক করুন

ধরুন একটি বৃহৎ ভাষা মডেল নিম্নলিখিত প্রশ্ন দেওয়া হয়েছে:

List the 6 funniest movies of all time in order.

এবং বড় ভাষা মডেল নিম্নলিখিত তালিকা প্রদান করে:

জেনারেল
মানে মেয়েরা
প্লাটুন
ব্রাইডমেইডস
নাগরিক কেন
এটি স্পাইনাল ট্যাপ

প্রত্যাবর্তিত তালিকায় চারটি সিনেমা খুবই মজার (অর্থাৎ প্রাসঙ্গিক) কিন্তু দুটি সিনেমা নাটক (প্রাসঙ্গিক নয়)। নিম্নলিখিত সারণী ফলাফলের বিবরণ:

অবস্থান	মুভি	প্রাসঙ্গিক?	k এ নির্ভুলতা
1	জেনারেল	হ্যাঁ	1.0
2	মানে মেয়েরা	হ্যাঁ	1.0
3	প্লাটুন	না	প্রাসঙ্গিক নয়
4	ব্রাইডমেইডস	হ্যাঁ	0.75
5	নাগরিক কেন	না	প্রাসঙ্গিক নয়
6	এটি স্পাইনাল ট্যাপ	হ্যাঁ	0.67

প্রাসঙ্গিক ফলাফলের সংখ্যা হল 4। অতএব, আপনি নিম্নরূপ 6 এ গড় নির্ভুলতা গণনা করতে পারেন:

$${\text{average precision at 6}} = \frac{1}{4} {\text{(1.0 + 1.0 + 0.75 + 0.67)} } $$$${\text{average precision at 6}} = {\text{~0.85} } $$

খ

ভিত্তিরেখা

#মেট্রিক

অন্য মডেল (সাধারণত, একটি আরও জটিল) কতটা ভাল পারফর্ম করছে তা তুলনা করার জন্য একটি রেফারেন্স পয়েন্ট হিসাবে ব্যবহৃত একটি মডেল । উদাহরণস্বরূপ, একটি লজিস্টিক রিগ্রেশন মডেল একটি গভীর মডেলের জন্য একটি ভাল বেসলাইন হিসাবে কাজ করতে পারে।

একটি নির্দিষ্ট সমস্যার জন্য, বেসলাইন মডেল ডেভেলপারদের ন্যূনতম প্রত্যাশিত কর্মক্ষমতা পরিমাপ করতে সাহায্য করে যা একটি নতুন মডেলকে নতুন মডেলের উপযোগী হওয়ার জন্য অর্জন করতে হবে।

গ

খরচ

#মেট্রিক

ক্ষতির প্রতিশব্দ।

বিপরীত ন্যায্যতা

#দায়িত্বশীল

#মেট্রিক

একটি ন্যায্যতা মেট্রিক যা পরীক্ষা করে যে একটি শ্রেণীবিন্যাস মডেল একজন ব্যক্তির জন্য একই ফলাফল দেয় কি না এটি অন্য ব্যক্তির জন্য একই ফলাফল দেয় যা প্রথমটির সাথে অভিন্ন, এক বা একাধিক সংবেদনশীল বৈশিষ্ট্যের ক্ষেত্রে। কাউন্টারফ্যাকচুয়াল ন্যায্যতার জন্য একটি শ্রেণীবিভাগ মডেলের মূল্যায়ন একটি মডেলের পক্ষপাতের সম্ভাব্য উত্সগুলিকে সারফেস করার একটি পদ্ধতি।

আরও তথ্যের জন্য নিচের যেকোনো একটি দেখুন:

ক্রস-এনট্রপি

#মেট্রিক

মাল্টি-ক্লাস ক্লাসিফিকেশন সমস্যায় লগ লসের সাধারণীকরণ। ক্রস-এনট্রপি দুটি সম্ভাব্যতা বন্টনের মধ্যে পার্থক্য পরিমাপ করে। বিভ্রান্তিও দেখুন।

ক্রমবর্ধমান বিতরণ ফাংশন (CDF)

#মেট্রিক

একটি ফাংশন যা লক্ষ্য মানের থেকে কম বা সমান নমুনার ফ্রিকোয়েন্সি নির্ধারণ করে। উদাহরণস্বরূপ, ক্রমাগত মানগুলির একটি স্বাভাবিক বন্টন বিবেচনা করুন। একটি CDF আপনাকে বলে যে আনুমানিক 50% নমুনা গড় থেকে কম বা সমান হওয়া উচিত এবং আনুমানিক 84% নমুনা গড় থেকে উপরে একটি আদর্শ বিচ্যুতির চেয়ে কম বা সমান হওয়া উচিত।

ডি

জনসংখ্যাগত সমতা

#দায়িত্বশীল

#মেট্রিক

একটি ন্যায্যতা মেট্রিক যা একটি মডেলের শ্রেণীবিভাগের ফলাফল একটি প্রদত্ত সংবেদনশীল বৈশিষ্ট্যের উপর নির্ভরশীল না হলে সন্তুষ্ট হয়৷

উদাহরণস্বরূপ, যদি লিলিপুটিয়ান এবং ব্রোবডিংনাগিয়ান উভয়ই গ্লুবডুবড্রিব বিশ্ববিদ্যালয়ে আবেদন করে, তাহলে জনসংখ্যাগত সমতা অর্জন করা হয় যদি লিলিপুটিয়ানদের ভর্তির শতাংশ ব্রোবডিংনাগিয়ানদের ভর্তির শতাংশের সমান হয়, তা নির্বিশেষে যে একটি গোষ্ঠী অন্যের তুলনায় গড়ে বেশি যোগ্য কিনা।

সমতাপূর্ণ প্রতিকূলতা এবং সুযোগের সমতার সাথে বৈসাদৃশ্য, যা শ্রেণীবিভাগের ফলাফলকে সংবেদনশীল বৈশিষ্ট্যের উপর নির্ভর করার অনুমতি দেয়, কিন্তু নির্দিষ্ট নির্দিষ্ট গ্রাউন্ড ট্রুথ লেবেলগুলির জন্য সংবেদনশীল বৈশিষ্ট্যের উপর নির্ভর করার জন্য শ্রেণীবিভাগের ফলাফলকে অনুমতি দেয় না। ডেমোগ্রাফিক সমতা অপ্টিমাইজ করার সময় ট্রেডঅফ অন্বেষণ করার একটি ভিজ্যুয়ালাইজেশনের জন্য "স্মার্ট মেশিন লার্নিং দিয়ে বৈষম্যের আক্রমণ" দেখুন।

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে ফেয়ারনেস: ডেমোগ্রাফিক প্যারিটি দেখুন।

ই

আর্থ মুভারের দূরত্ব (EMD)

#মেট্রিক

দুটি বিতরণের আপেক্ষিক মিলের একটি পরিমাপ। আর্থ মুভারের দূরত্ব যত কম হবে, বন্টন তত বেশি হবে।

দূরত্ব সম্পাদনা করুন

#ভাষা

#মেট্রিক

দুটি টেক্সট স্ট্রিং একে অপরের সাথে কতটা অনুরূপ তার একটি পরিমাপ। মেশিন লার্নিং-এ, দূরত্ব সম্পাদনা নিম্নলিখিত কারণগুলির জন্য দরকারী:

সম্পাদনা দূরত্ব গণনা করা সহজ।
দূরত্ব সম্পাদনা দুটি স্ট্রিং একে অপরের অনুরূপ বলে পরিচিত তুলনা করতে পারে।
দূরত্ব সম্পাদনা করুন বিভিন্ন স্ট্রিং একটি প্রদত্ত স্ট্রিং অনুরূপ ডিগ্রী নির্ধারণ করতে পারে.

সম্পাদনা দূরত্বের বেশ কয়েকটি সংজ্ঞা রয়েছে, প্রতিটি ভিন্ন স্ট্রিং অপারেশন ব্যবহার করে। একটি উদাহরণের জন্য Levenshtein দূরত্ব দেখুন।

অভিজ্ঞতামূলক ক্রমবর্ধমান বিতরণ ফাংশন (eCDF বা EDF)

#মেট্রিক

একটি বাস্তব ডেটাসেট থেকে পরীক্ষামূলক পরিমাপের উপর ভিত্তি করে একটি ক্রমবর্ধমান বিতরণ ফাংশন । x-অক্ষ বরাবর যেকোনো বিন্দুতে ফাংশনের মান হল ডেটাসেটে পর্যবেক্ষণের ভগ্নাংশ যা নির্দিষ্ট মানের থেকে কম বা সমান।

এনট্রপি

#df

#মেট্রিক

তথ্য তত্ত্বে , সম্ভাব্যতা বন্টন কতটা অপ্রত্যাশিত তার বর্ণনা। বিকল্পভাবে, প্রতিটি উদাহরণে কতটা তথ্য রয়েছে তা হিসাবে এনট্রপিকেও সংজ্ঞায়িত করা হয়। একটি ডিস্ট্রিবিউশনের সর্বোচ্চ সম্ভাব্য এনট্রপি থাকে যখন একটি র্যান্ডম ভেরিয়েবলের সমস্ত মান সমানভাবে সম্ভব হয়।

দুটি সম্ভাব্য মান "0" এবং "1" সহ একটি সেটের এনট্রপি (উদাহরণস্বরূপ, একটি বাইনারি শ্রেণিবিন্যাস সমস্যায় লেবেল) নিম্নলিখিত সূত্র রয়েছে:

H = -p লগ p - q লগ q = -p লগ p - (1-p) * লগ (1-p)

কোথায়:

H হল এনট্রপি।
p হল "1" উদাহরণের ভগ্নাংশ।
q হল "0" উদাহরণের ভগ্নাংশ। উল্লেখ্য যে q = (1 - p)
লগ সাধারণত লগ ₂ হয়। এই ক্ষেত্রে, এনট্রপি ইউনিট একটি বিট।

উদাহরণস্বরূপ, নিম্নলিখিত অনুমান করুন:

100টি উদাহরণে "1" মান রয়েছে
300টি উদাহরণে "0" মান রয়েছে

অতএব, এনট্রপি মান হল:

p = 0.25
q = 0.75
H = (-0.25) লগ ₂ (0.25) - (0.75) লগ ₂ (0.75) = 0.81 বিট প্রতি উদাহরণ

একটি সেট যা পুরোপুরি ভারসাম্যপূর্ণ (উদাহরণস্বরূপ, 200 "0" s এবং 200 "1"s) প্রতি উদাহরণে 1.0 বিট এনট্রপি থাকবে। একটি সেট আরও ভারসাম্যহীন হওয়ার সাথে সাথে এর এনট্রপি 0.0 এর দিকে চলে যায়।

ডিসিশন ট্রিতে , এনট্রপি শ্রেণীবিভাগের সিদ্ধান্ত গাছের বৃদ্ধির সময় বিভাজনকারীকে শর্ত নির্বাচন করতে সাহায্য করার জন্য তথ্য অর্জন করতে সাহায্য করে।

এনট্রপির সাথে তুলনা করুন:

জিনি অপবিত্রতা
ক্রস-এনট্রপি ক্ষতি ফাংশন

এনট্রপিকে প্রায়শই শ্যাননের এনট্রপি বলা হয়।

আরও তথ্যের জন্য ডিসিশন ফরেস্ট কোর্সে সংখ্যাসূচক বৈশিষ্ট্য সহ বাইনারি শ্রেণীবিভাগের জন্য সঠিক স্প্লিটার দেখুন।

সুযোগের সমতা

#দায়িত্বশীল

#মেট্রিক

একটি মডেল একটি সংবেদনশীল বৈশিষ্ট্যের সমস্ত মানগুলির জন্য সমানভাবে পছন্দসই ফলাফলের পূর্বাভাস দিচ্ছে কিনা তা মূল্যায়ন করার জন্য একটি ন্যায্যতা মেট্রিক ৷ অন্য কথায়, যদি একটি মডেলের জন্য আকাঙ্খিত ফলাফল ইতিবাচক শ্রেণী হয়, তাহলে লক্ষ্য হবে প্রকৃত ইতিবাচক হার সব দলের জন্য একই।

সুযোগের সমতা সমান মতভেদের সাথে সম্পর্কিত, যার জন্য সত্য ইতিবাচক হার এবং মিথ্যা ধনাত্মক হার উভয়ই সকল দলের জন্য একই হওয়া প্রয়োজন।

ধরুন Glubbdubdrib ইউনিভার্সিটি লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়কেই একটি কঠোর গণিত প্রোগ্রামে ভর্তি করেছে। লিলিপুটিয়ানদের মাধ্যমিক বিদ্যালয়গুলি গণিত ক্লাসের একটি শক্তিশালী পাঠ্যক্রম অফার করে এবং বেশিরভাগ শিক্ষার্থীই বিশ্ববিদ্যালয়ের প্রোগ্রামের জন্য যোগ্য। ব্রবডিংনাগিয়ানদের মাধ্যমিক বিদ্যালয়গুলি মোটেও গণিতের ক্লাস অফার করে না এবং ফলস্বরূপ, তাদের অনেক কম শিক্ষার্থীই যোগ্য। সুযোগের সমতা জাতীয়তা (লিলিপুটিয়ান বা ব্রোবডিংনাগিয়ান) এর ক্ষেত্রে "ভর্তি" এর পছন্দের লেবেলের জন্য সন্তুষ্ট হয় যদি যোগ্য শিক্ষার্থীরা লিলিপুটিয়ান বা ব্রোবডিংনাগিয়ান নির্বিশেষে ভর্তি হওয়ার সমান সম্ভাবনা থাকে।

উদাহরণস্বরূপ, ধরুন 100 জন লিলিপুটিয়ান এবং 100 জন ব্রোবডিংনাগিয়ান Glubbdubdrib বিশ্ববিদ্যালয়ে আবেদন করেন এবং ভর্তির সিদ্ধান্ত নিম্নরূপ নেওয়া হয়:

সারণী 1. লিলিপুটিয়ান আবেদনকারীরা (90% যোগ্য)

	যোগ্য	অযোগ্য
ভর্তি হয়েছে	45	3
প্রত্যাখ্যাত	45	7
মোট	90	10
ভর্তিকৃত যোগ্য শিক্ষার্থীর শতাংশ: 45/90 = 50% প্রত্যাখ্যাত অযোগ্য ছাত্রদের শতাংশ: 7/10 = 70% ভর্তিকৃত লিলিপুটিয়ান ছাত্রদের মোট শতাংশ: (45+3)/100 = 48%

সারণী 2. ব্রোবডিংনাগিয়ান আবেদনকারীরা (10% যোগ্য):

	যোগ্য	অযোগ্য
ভর্তি হয়েছে	5	9
প্রত্যাখ্যাত	5	81
মোট	10	90
ভর্তিকৃত যোগ্য শিক্ষার্থীর শতাংশ: 5/10 = 50% প্রত্যাখ্যাত অযোগ্য ছাত্রদের শতাংশ: 81/90 = 90% ভর্তিকৃত ব্রোবডিংনাগিয়ান ছাত্রদের মোট শতাংশ: (5+9)/100 = 14%

পূর্বের উদাহরণগুলি যোগ্য ছাত্রদের গ্রহণের সুযোগের সমতাকে সন্তুষ্ট করে কারণ যোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়েরই ভর্তি হওয়ার 50% সম্ভাবনা রয়েছে।

সুযোগের সমতা সন্তুষ্ট হলেও, নিম্নলিখিত দুটি ন্যায্যতা মেট্রিক সন্তুষ্ট নয়:

জনসংখ্যাগত সমতা : লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ানরা বিভিন্ন হারে বিশ্ববিদ্যালয়ে ভর্তি হয়; 48% লিলিপুটিয়ান ছাত্র ভর্তি করা হয়, কিন্তু ব্রবডিংনাগিয়ান ছাত্রদের মাত্র 14% ভর্তি হয়।
সমান মতভেদ : যদিও যোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়েরই ভর্তি হওয়ার একই সুযোগ রয়েছে, অতিরিক্ত সীমাবদ্ধতা যে অযোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়েরই প্রত্যাখ্যাত হওয়ার একই সুযোগ রয়েছে তা সন্তুষ্ট নয়। অযোগ্য লিলিপুটিয়ানদের প্রত্যাখ্যানের হার 70%, যেখানে অযোগ্য ব্রবডিংনাগিয়ানদের প্রত্যাখ্যানের হার 90%।

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে ন্যায্যতা: সুযোগের সমতা দেখুন।

সমান মতভেদ

#দায়িত্বশীল

#মেট্রিক

একটি মডেল ইতিবাচক শ্রেণী এবং নেতিবাচক উভয় শ্রেণীর ক্ষেত্রেই একটি সংবেদনশীল বৈশিষ্ট্যের সমস্ত মানের জন্য সমানভাবে ফলাফলের পূর্বাভাস দিচ্ছে কিনা তা মূল্যায়ন করার জন্য একটি ন্যায্যতা মেট্রিক - শুধুমাত্র একটি শ্রেণী বা অন্য একচেটিয়াভাবে নয়। অন্য কথায়, সত্যিকারের ইতিবাচক হার এবং মিথ্যা নেতিবাচক হার উভয়ই সকল দলের জন্য একই হওয়া উচিত।

সমান মতভেদ সুযোগের সমতার সাথে সম্পর্কিত, যা শুধুমাত্র একটি একক শ্রেণীর (ইতিবাচক বা নেতিবাচক) ত্রুটির হারের উপর ফোকাস করে।

উদাহরণস্বরূপ, ধরুন Glubbdubdrib বিশ্ববিদ্যালয় লিলিপুটিয়ান এবং ব্রোবডিংনাগিয়ান উভয়কেই একটি কঠোর গণিত প্রোগ্রামে ভর্তি করেছে। লিলিপুটিয়ানদের মাধ্যমিক বিদ্যালয়গুলি গণিত ক্লাসের একটি শক্তিশালী পাঠ্যক্রম অফার করে এবং বেশিরভাগ শিক্ষার্থীই বিশ্ববিদ্যালয়ের প্রোগ্রামের জন্য যোগ্য। ব্রবডিংনাগিয়ানদের মাধ্যমিক বিদ্যালয়গুলি মোটেও গণিতের ক্লাস অফার করে না এবং ফলস্বরূপ, তাদের অনেক কম শিক্ষার্থীই যোগ্য। সমতাপূর্ণ প্রতিকূলতা সন্তুষ্ট থাকে তবে শর্ত থাকে যে একজন আবেদনকারী লিলিপুটিয়ান বা ব্রোবডিংনাগিয়ান যাই হোক না কেন, যদি তারা যোগ্য হন, তবে তারা প্রোগ্রামে ভর্তি হওয়ার সমান সম্ভাবনা, এবং যদি তারা যোগ্য না হন তবে তাদের প্রত্যাখ্যাত হওয়ার সম্ভাবনা সমান।

ধরুন 100 জন লিলিপুটিয়ান এবং 100 জন ব্রোবডিংনাগিয়ান Glubbdubdrib ইউনিভার্সিটিতে আবেদন করেন এবং ভর্তির সিদ্ধান্ত নিম্নরূপ নেওয়া হয়:

সারণি 3. লিলিপুটিয়ান আবেদনকারীরা (90% যোগ্য)

	যোগ্য	অযোগ্য
ভর্তি হয়েছে	45	2
প্রত্যাখ্যাত	45	8
মোট	90	10
ভর্তিকৃত যোগ্য শিক্ষার্থীর শতাংশ: 45/90 = 50% প্রত্যাখ্যাত অযোগ্য ছাত্রদের শতাংশ: 8/10 = 80% ভর্তিকৃত লিলিপুটিয়ান ছাত্রদের মোট শতাংশ: (45+2)/100 = 47%

সারণী 4. ব্রোবডিংনাগিয়ান আবেদনকারীরা (10% যোগ্য):

	যোগ্য	অযোগ্য
ভর্তি হয়েছে	5	18
প্রত্যাখ্যাত	5	72
মোট	10	90
ভর্তিকৃত যোগ্য শিক্ষার্থীর শতাংশ: 5/10 = 50% প্রত্যাখ্যাত অযোগ্য ছাত্রদের শতাংশ: 72/90 = 80% ভর্তিকৃত ব্রোবডিংনাগিয়ান ছাত্রদের মোট শতাংশ: (5+18)/100 = 23%

সমান মতপার্থক্য সন্তুষ্ট কারণ যোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ান উভয়েরই ভর্তি হওয়ার সম্ভাবনা 50%, এবং অযোগ্য লিলিপুটিয়ান এবং ব্রবডিংনাগিয়ানদের প্রত্যাখ্যাত হওয়ার 80% সম্ভাবনা রয়েছে।

"তত্ত্বাবধানে শিক্ষার সুযোগের সমতা" -এ সমতুল্য মতভেদকে আনুষ্ঠানিকভাবে সংজ্ঞায়িত করা হয়েছে: "ভবিষ্যদ্বাণীকারী Ŷ সুরক্ষিত অ্যাট্রিবিউট A এবং ফলাফল Y যদি Ŷ এবং A স্বাধীন হয়, Y এর উপর শর্তসাপেক্ষে সমান মতভেদকে সন্তুষ্ট করে।"

evas

#ভাষা

#generativeAI

#মেট্রিক

প্রাথমিকভাবে এলএলএম মূল্যায়নের সংক্ষিপ্ত রূপ হিসাবে ব্যবহৃত হয়। আরও বিস্তৃতভাবে, ইভাল হল যেকোনো ধরনের মূল্যায়নের সংক্ষিপ্ত রূপ।

মূল্যায়ন

#ভাষা

#generativeAI

#মেট্রিক

একটি মডেলের গুণমান পরিমাপ করার বা একে অপরের সাথে বিভিন্ন মডেলের তুলনা করার প্রক্রিয়া।

একটি তত্ত্বাবধানে থাকা মেশিন লার্নিং মডেলের মূল্যায়ন করতে, আপনি সাধারণত এটিকে একটি বৈধতা সেট এবং একটি পরীক্ষা সেটের বিপরীতে বিচার করেন। একটি LLM মূল্যায়ন সাধারণত বিস্তৃত গুণমান এবং নিরাপত্তা মূল্যায়ন জড়িত।

চ

চ _ঘ

#মেট্রিক

একটি "রোল-আপ" বাইনারি শ্রেণিবিন্যাস মেট্রিক যা নির্ভুলতা এবং স্মরণ উভয়ের উপর নির্ভর করে। এখানে সূত্র আছে:

$$F{_1} = \frac{\text{2 * precision * recall}} {\text{precision + recall}}$$

উদাহরণ দেখতে আইকনে ক্লিক করুন।

ধরুন নির্ভুলতা এবং স্মরণের নিম্নলিখিত মান রয়েছে:

নির্ভুলতা = 0.6
প্রত্যাহার = 0.4

আপনি নিম্নরূপ F ₁ গণনা করুন:

$$F{_1} = \frac{\text{2 * 0.6 * 0.4}} {\text{0.6 + 0.4}} = 0.48$$

যখন নির্ভুলতা এবং প্রত্যাহার মোটামুটি একই রকম হয় (পূর্ববর্তী উদাহরণের মতো), F ₁ তাদের গড়ের কাছাকাছি। যখন নির্ভুলতা এবং প্রত্যাহার উল্লেখযোগ্যভাবে পৃথক হয়, তখন F ₁ নিম্ন মানের কাছাকাছি। যেমন:

নির্ভুলতা = 0.9
প্রত্যাহার = 0.1

$$F{_1} = \frac{\text{2 * 0.9 * 0.1}} {\text{0.9 + 0.1}} = 0.18$$

ন্যায্যতা মেট্রিক

#দায়িত্বশীল

#মেট্রিক

"ন্যায্যতা" এর একটি গাণিতিক সংজ্ঞা যা পরিমাপযোগ্য। কিছু সাধারণভাবে ব্যবহৃত ন্যায্যতা মেট্রিক্স অন্তর্ভুক্ত:

সমান মতভেদ
ভবিষ্যদ্বাণীমূলক সমতা
বিপরীত ন্যায্যতা
জনসংখ্যাগত সমতা

অনেক ন্যায্যতা মেট্রিক পারস্পরিক একচেটিয়া; ন্যায্যতা মেট্রিক্সের অসঙ্গতি দেখুন।

মিথ্যা নেতিবাচক (এফএন)

#মৌলিক

#মেট্রিক

একটি উদাহরণ যেখানে মডেলটি ভুলভাবে নেতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করে। উদাহরণস্বরূপ, মডেলটি ভবিষ্যদ্বাণী করে যে একটি নির্দিষ্ট ইমেল বার্তা স্প্যাম নয় (নেতিবাচক শ্রেণি), কিন্তু সেই ইমেল বার্তাটি আসলে স্প্যাম ।

মিথ্যা নেতিবাচক হার

#মেট্রিক

প্রকৃত ইতিবাচক উদাহরণের অনুপাত যার জন্য মডেলটি ভুলভাবে নেতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করেছে। নিম্নলিখিত সূত্রটি মিথ্যা নেতিবাচক হার গণনা করে:

$$\text{false negative rate} = \frac{\text{false negatives}}{\text{false negatives} + \text{true positives}}$$

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে থ্রেশহোল্ড এবং কনফিউশন ম্যাট্রিক্স দেখুন।

মিথ্যা পজিটিভ (FP)

#মৌলিক

#মেট্রিক

একটি উদাহরণ যেখানে মডেল ভুলভাবে ইতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করে। উদাহরণস্বরূপ, মডেলটি ভবিষ্যদ্বাণী করে যে একটি নির্দিষ্ট ইমেল বার্তাটি স্প্যাম (পজিটিভ ক্লাস), কিন্তু সেই ইমেল বার্তাটি আসলে স্প্যাম নয় ৷

মিথ্যা ইতিবাচক হার (FPR)

#মৌলিক

#মেট্রিক

প্রকৃত নেতিবাচক উদাহরণের অনুপাত যার জন্য মডেলটি ভুলভাবে ইতিবাচক শ্রেণীর ভবিষ্যদ্বাণী করেছে। নিম্নলিখিত সূত্রটি মিথ্যা ইতিবাচক হার গণনা করে:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

মিথ্যা ধনাত্মক হার হল একটি ROC বক্ররেখার x-অক্ষ।

আরও তথ্যের জন্য শ্রেণীবিভাগ দেখুন: মেশিন লার্নিং ক্র্যাশ কোর্সে ROC এবং AUC ।

বৈশিষ্ট্যের গুরুত্ব

#df

#মেট্রিক

পরিবর্তনশীল গুরুত্বের প্রতিশব্দ।

সাফল্যের ভগ্নাংশ

#generativeAI

#মেট্রিক

একটি ML মডেলের তৈরি করা পাঠ্য মূল্যায়নের জন্য একটি মেট্রিক৷ সাফল্যের ভগ্নাংশ হল "সফল" জেনারেট করা টেক্সট আউটপুটের সংখ্যাকে জেনারেট করা টেক্সট আউটপুটের মোট সংখ্যা দিয়ে ভাগ করা হয়। উদাহরণস্বরূপ, যদি একটি বড় ভাষা মডেল কোডের 10 টি ব্লক তৈরি করে, যার মধ্যে পাঁচটি সফল হয়, তাহলে সাফল্যের ভগ্নাংশ হবে 50%।

যদিও সাফল্যের ভগ্নাংশ পরিসংখ্যান জুড়ে বিস্তৃতভাবে কার্যকর, ML-এর মধ্যে, এই মেট্রিকটি প্রাথমিকভাবে কোড জেনারেশন বা গণিত সমস্যাগুলির মতো যাচাইযোগ্য কাজগুলি পরিমাপের জন্য দরকারী।

জি

জিনি অপবিত্রতা

#df

#মেট্রিক

এনট্রপির অনুরূপ একটি মেট্রিক। স্প্লিটাররা শ্রেণীবিভাগের সিদ্ধান্ত গাছের শর্ত রচনা করতে জিনি অশুদ্ধতা বা এনট্রপি থেকে প্রাপ্ত মান ব্যবহার করে। তথ্য লাভ এনট্রপি থেকে উদ্ভূত হয়। জিনি অপবিত্রতা থেকে প্রাপ্ত মেট্রিকের জন্য কোন সার্বজনীনভাবে স্বীকৃত সমতুল্য শব্দ নেই; যাইহোক, এই নামহীন মেট্রিক তথ্য লাভের মতোই গুরুত্বপূর্ণ।

জিনি অপবিত্রতাকে জিনি ইনডেক্স বা সহজভাবে জিনিও বলা হয়।

জিনি অপবিত্রতা সম্পর্কে গাণিতিক বিবরণের জন্য আইকনে ক্লিক করুন।

জিনি অপরিষ্কার হল একই বন্টন থেকে নেওয়া ডেটার একটি নতুন অংশকে ভুল শ্রেণিবদ্ধ করার সম্ভাবনা। দুটি সম্ভাব্য মান "0" এবং "1" সহ একটি সেটের জিনি অশুদ্ধতা (উদাহরণস্বরূপ, একটি বাইনারি শ্রেণিবিন্যাসের সমস্যায় লেবেলগুলি) নিম্নলিখিত সূত্র থেকে গণনা করা হয়:

I = 1 - (p ² + q ² ) = 1 - (p ² + (1-p) ² )

কোথায়:

আমি জিনি অপবিত্রতা।
p হল "1" উদাহরণের ভগ্নাংশ।
q হল "0" উদাহরণের ভগ্নাংশ। উল্লেখ্য যে q = 1-p

উদাহরণস্বরূপ, নিম্নলিখিত ডেটাসেট বিবেচনা করুন:

100টি লেবেল (ডেটাসেটের 0.25) মান "1" ধারণ করে
300টি লেবেল (ডেটাসেটের 0.75) মান "0" ধারণ করে

অতএব, জিনি অপবিত্রতা হল:

p = 0.25
q = 0.75
I = 1 - (0.25 ² + 0.75 ² ) = 0.375

ফলস্বরূপ, একই ডেটাসেট থেকে একটি র্যান্ডম লেবেলে ভুল শ্রেণীবদ্ধ হওয়ার সম্ভাবনা 37.5% এবং সঠিকভাবে শ্রেণীবদ্ধ হওয়ার 62.5% সম্ভাবনা থাকে।

একটি পুরোপুরি ভারসাম্যপূর্ণ লেবেল (উদাহরণস্বরূপ, 200 "0" s এবং 200 "1"s) 0.5 এর জিনি অপরিষ্কার থাকবে। একটি অত্যন্ত ভারসাম্যহীন লেবেলে 0.0 এর কাছাকাছি একটি জিনি অপরিষ্কার থাকবে।

এইচ

কবজা ক্ষতি

#মেট্রিক

শ্রেণীবিভাগের জন্য ক্ষতির ফাংশনগুলির একটি পরিবার প্রতিটি প্রশিক্ষণ উদাহরণ থেকে সিদ্ধান্তের সীমানা যতটা সম্ভব দূরত্বে খুঁজে বের করার জন্য ডিজাইন করা হয়েছে, এইভাবে উদাহরণ এবং সীমানার মধ্যে মার্জিন সর্বাধিক করে। KSVM কব্জা লস ব্যবহার করে (অথবা একটি সম্পর্কিত ফাংশন, যেমন স্কোয়ার কব্জা ক্ষতি)। বাইনারি শ্রেণীবিভাগের জন্য, কব্জা ক্ষতি ফাংশন নিম্নরূপ সংজ্ঞায়িত করা হয়:

$$\text{loss} = \text{max}(0, 1 - (y * y'))$$

যেখানে y হল সত্যিকারের লেবেল, হয় -1 বা +1, এবং y' হল শ্রেণিবিন্যাস মডেলের কাঁচা আউটপুট:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

ফলস্বরূপ, (y * y') বনাম কব্জা ক্ষতির একটি প্লট নিম্নরূপ দেখায়:

দুটি যুক্ত লাইন সেগমেন্ট নিয়ে গঠিত একটি কার্টেসিয়ান প্লট। প্রথম লাইন সেগমেন্ট (-3, 4) এ শুরু হয় এবং (1, 0) এ শেষ হয়। দ্বিতীয় লাইন সেগমেন্ট (1, 0) এ শুরু হয় এবং একটি ঢালের সাথে অনির্দিষ্টকালের জন্য চলতে থাকে 0 এর

আমি

ন্যায্যতা মেট্রিক্সের অসঙ্গতি

#দায়িত্বশীল

#মেট্রিক

এই ধারণা যে ন্যায্যতার কিছু ধারণা পারস্পরিকভাবে বেমানান এবং একই সাথে সন্তুষ্ট হতে পারে না। ফলস্বরূপ, ন্যায্যতা পরিমাপ করার জন্য কোনো একক সার্বজনীন মেট্রিক নেই যা সমস্ত ML সমস্যার ক্ষেত্রে প্রয়োগ করা যেতে পারে।

যদিও এটি নিরুৎসাহিত বলে মনে হতে পারে, ন্যায্যতা মেট্রিক্সের অসঙ্গতি বোঝায় না যে ন্যায্যতার প্রচেষ্টা নিষ্ফল। পরিবর্তে, এটি পরামর্শ দেয় যে ন্যায্যতা অবশ্যই একটি প্রদত্ত এমএল সমস্যার জন্য প্রাসঙ্গিকভাবে সংজ্ঞায়িত করা উচিত, এর ব্যবহারের ক্ষেত্রে নির্দিষ্ট ক্ষতি রোধ করার লক্ষ্যে।

ন্যায্যতা মেট্রিক্সের অসঙ্গতি সম্পর্কে আরও বিশদ আলোচনার জন্য "ন্যায্যতার (im) সম্ভাবনার উপর" দেখুন।

স্বতন্ত্র ন্যায্যতা

#দায়িত্বশীল

#মেট্রিক

একটি ন্যায্যতা মেট্রিক যা পরীক্ষা করে যে একই ব্যক্তিদের একইভাবে শ্রেণীবদ্ধ করা হয়েছে কিনা। উদাহরণস্বরূপ, Brobdingnagian Academy অভিন্ন গ্রেড এবং প্রমিত পরীক্ষার স্কোর সহ দুইজন শিক্ষার্থী ভর্তি হওয়ার সম্ভাবনা সমানভাবে নিশ্চিত করার মাধ্যমে স্বতন্ত্র ন্যায্যতাকে সন্তুষ্ট করতে চাইতে পারে।

মনে রাখবেন যে স্বতন্ত্র ন্যায্যতা আপনি কীভাবে "সাদৃশ্য" (এই ক্ষেত্রে, গ্রেড এবং পরীক্ষার স্কোর) সংজ্ঞায়িত করেন তার উপর সম্পূর্ণরূপে নির্ভর করে এবং যদি আপনার মিল মেট্রিক গুরুত্বপূর্ণ তথ্য (যেমন ছাত্রের পাঠ্যক্রমের কঠোরতা) মিস করে তাহলে আপনি নতুন ন্যায্যতা সমস্যা প্রবর্তনের ঝুঁকি চালাতে পারেন।

স্বতন্ত্র ন্যায্যতার আরও বিশদ আলোচনার জন্য "সচেতনতার মাধ্যমে ন্যায্যতা" দেখুন।

তথ্য লাভ

#df

#মেট্রিক

সিদ্ধান্ত বনে , একটি নোডের এনট্রপি এবং ওজনযুক্ত (উদাহরণগুলির সংখ্যা অনুসারে) এর সন্তান নোডগুলির এনট্রপির যোগফলের মধ্যে পার্থক্য। একটি নোডের এনট্রপি হল সেই নোডের উদাহরণগুলির এনট্রপি।

উদাহরণস্বরূপ, নিম্নলিখিত এনট্রপি মান বিবেচনা করুন:

প্যারেন্ট নোডের এনট্রপি = 0.6
16টি প্রাসঙ্গিক উদাহরণ সহ একটি চাইল্ড নোডের এনট্রপি = 0.2
24টি প্রাসঙ্গিক উদাহরণ সহ অন্য চাইল্ড নোডের এনট্রপি = 0.1

সুতরাং 40% উদাহরণ একটি চাইল্ড নোডে এবং 60% অন্য চাইল্ড নোডে রয়েছে। অতএব:

চাইল্ড নোডের ওজনযুক্ত এনট্রপি যোগফল = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

সুতরাং, তথ্য লাভ হল:

তথ্য লাভ = প্যারেন্ট নোডের এনট্রপি - চাইল্ড নোডের ওজনযুক্ত এনট্রপি যোগফল
তথ্য লাভ = 0.6 - 0.14 = 0.46

বেশিরভাগ বিভাজনকারী এমন পরিস্থিতি তৈরি করতে চায় যা সর্বাধিক তথ্য লাভ করে।

আন্তঃ-রেটার চুক্তি

#মেট্রিক

একটি কাজ করার সময় মানব রেটাররা কত ঘন ঘন সম্মত হন তার একটি পরিমাপ। যদি রেটাররা একমত না হন, টাস্ক নির্দেশাবলী উন্নত করা প্রয়োজন হতে পারে। এছাড়াও কখনও কখনও আন্তঃ টীকা চুক্তি বা ইন্টার-রেটর নির্ভরযোগ্যতা বলা হয়। এছাড়াও কোহেনের কাপ্পা দেখুন, যা সবচেয়ে জনপ্রিয় ইন্টার-রেটর চুক্তি পরিমাপগুলির মধ্যে একটি।

আরও তথ্যের জন্য শ্রেণীগত ডেটা দেখুন: মেশিন লার্নিং ক্র্যাশ কোর্সে সাধারণ সমস্যা ।

এল

L ₁ ক্ষতি

#মৌলিক

#মেট্রিক

একটি ক্ষতি ফাংশন যা প্রকৃত লেবেল মান এবং মডেলের ভবিষ্যদ্বাণী করা মানগুলির মধ্যে পার্থক্যের পরম মান গণনা করে। উদাহরণস্বরূপ, এখানে পাঁচটি উদাহরণের একটি ব্যাচের জন্য L ₁ ক্ষতির গণনা রয়েছে:

উদাহরণের প্রকৃত মান	মডেলের পূর্বাভাসিত মান	ব-দ্বীপের পরম মান
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = L ₁ ক্ষতি

L ₁ ক্ষতি L ₂ ক্ষতির চেয়ে বহিরাগতদের জন্য কম সংবেদনশীল।

গড় পরম ত্রুটি হল উদাহরণ প্রতি গড় L ₁ ক্ষতি।

আনুষ্ঠানিক গণিত দেখতে আইকনে ক্লিক করুন।

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

কোথায়:

$n$ হল উদাহরণের সংখ্যা।
$y$ হল লেবেলের প্রকৃত মান।
$\hat{y}$ হল সেই মান যা মডেলটি $y$ এর জন্য ভবিষ্যদ্বাণী করে।

আরও তথ্যের জন্য লিনিয়ার রিগ্রেশন: মেশিন লার্নিং ক্র্যাশ কোর্সে ক্ষতি দেখুন।

L ₂ ক্ষতি

#মৌলিক

#মেট্রিক

একটি ক্ষতি ফাংশন যা প্রকৃত লেবেল মান এবং মডেলের ভবিষ্যদ্বাণী করা মানগুলির মধ্যে পার্থক্যের বর্গ গণনা করে৷ উদাহরণস্বরূপ, এখানে পাঁচটি উদাহরণের একটি ব্যাচের জন্য L ₂ ক্ষতির গণনা রয়েছে:

উদাহরণের প্রকৃত মান	মডেলের পূর্বাভাসিত মান	ব-দ্বীপের বর্গক্ষেত্র
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = L ₂ ক্ষতি

বর্গক্ষেত্রের কারণে, L ₂ ক্ষতি আউটলারের প্রভাবকে বাড়িয়ে তোলে। অর্থাৎ, L ₂ ক্ষতি L ₁ ক্ষতির চেয়ে খারাপ ভবিষ্যদ্বাণীতে আরও জোরালো প্রতিক্রিয়া দেখায়। উদাহরণস্বরূপ, পূর্ববর্তী ব্যাচের জন্য L ₁ ক্ষতি 16 এর পরিবর্তে 8 হবে। লক্ষ্য করুন যে একটি একক আউটলায়ার 16টির মধ্যে 9টির জন্য দায়ী।

রিগ্রেশন মডেল সাধারণত লস ফাংশন হিসাবে L ₂ ক্ষতি ব্যবহার করে।

গড় বর্গক্ষেত্র ত্রুটি হল উদাহরণ প্রতি গড় L ₂ ক্ষতি। বর্গাকার ক্ষতি হল L ₂ ক্ষতির অপর নাম।

আনুষ্ঠানিক গণিত দেখতে আইকনে ক্লিক করুন।

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

কোথায়:

$n$ হল উদাহরণের সংখ্যা।
$y$ হল লেবেলের প্রকৃত মান।
$\hat{y}$ হল সেই মান যা মডেলটি $y$ এর জন্য ভবিষ্যদ্বাণী করে।

আরও তথ্যের জন্য লজিস্টিক রিগ্রেশন: মেশিন লার্নিং ক্র্যাশ কোর্সে ক্ষতি এবং নিয়মিতকরণ দেখুন।

এলএলএম মূল্যায়ন (ইভাল)

#ভাষা

#generativeAI

#মেট্রিক

বড় ভাষা মডেল (LLMs) এর কর্মক্ষমতা মূল্যায়ন করার জন্য মেট্রিক্স এবং বেঞ্চমার্কের একটি সেট। উচ্চ স্তরে, এলএলএম মূল্যায়ন:

এলএলএম-এর উন্নতি প্রয়োজন এমন ক্ষেত্রগুলি চিহ্নিত করতে গবেষকদের সাহায্য করুন।
বিভিন্ন এলএলএম তুলনা করতে এবং একটি নির্দিষ্ট কাজের জন্য সেরা এলএলএম সনাক্ত করতে কার্যকর।
LLM গুলি নিরাপদ এবং ব্যবহারের জন্য নৈতিক তা নিশ্চিত করতে সাহায্য করুন৷

আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে বড় ভাষা মডেল (এলএলএম) দেখুন।

ক্ষতি

#মৌলিক

#মেট্রিক

একটি তত্ত্বাবধানে থাকা মডেলের প্রশিক্ষণের সময়, একটি মডেলের ভবিষ্যদ্বাণী তার লেবেল থেকে কতদূর রয়েছে তার একটি পরিমাপ।

একটি ক্ষতি ফাংশন ক্ষতি গণনা করে।

ক্ষতি ফাংশন

#মৌলিক

#মেট্রিক

প্রশিক্ষণ বা পরীক্ষার সময়, একটি গাণিতিক ফাংশন যা উদাহরণগুলির একটি ব্যাচে ক্ষতি গণনা করে। একটি ক্ষতি ফাংশন খারাপ ভবিষ্যদ্বাণী করে এমন মডেলগুলির তুলনায় ভাল ভবিষ্যদ্বাণী করে এমন মডেলগুলির জন্য কম ক্ষতি প্রদান করে৷

প্রশিক্ষণের লক্ষ্য হল সাধারণত ক্ষতি কমানো যা একটি ক্ষতি ফাংশন ফেরত দেয়।

বিভিন্ন ধরনের ক্ষতি ফাংশন বিদ্যমান। আপনি যে ধরনের মডেল তৈরি করছেন তার জন্য উপযুক্ত ক্ষতির ফাংশন বেছে নিন। যেমন:

L ₂ ক্ষতি (বা গড় বর্গক্ষেত্র ত্রুটি ) হল লিনিয়ার রিগ্রেশনের জন্য ক্ষতি ফাংশন।
লগ লস হল লজিস্টিক রিগ্রেশনের লস ফাংশন।

এম

গড় পরম ত্রুটি (MAE)

#মেট্রিক

L ₁ ক্ষতি ব্যবহার করা হলে উদাহরণ প্রতি গড় ক্ষতি। নিম্নরূপ গড় পরম ত্রুটি গণনা করুন:

একটি ব্যাচের জন্য L ₁ ক্ষতি গণনা করুন।
ব্যাচের উদাহরণের সংখ্যা দ্বারা L ₁ ক্ষতিকে ভাগ করুন।

আনুষ্ঠানিক গণিত দেখতে আইকনে ক্লিক করুন।

$$\text{Mean Absolute Error} = \frac{1}{n}\sum_{i=0}^n | y_i - \hat{y}_i |$$

কোথায়:

$n$ হল উদাহরণের সংখ্যা।
$y$ হল লেবেলের প্রকৃত মান।
$\hat{y}$ হল সেই মান যা মডেলটি $y$ এর জন্য ভবিষ্যদ্বাণী করে।

উদাহরণস্বরূপ, নিম্নলিখিত পাঁচটি উদাহরণের ব্যাচে L ₁ ক্ষতির হিসাব বিবেচনা করুন:

উদাহরণের প্রকৃত মান	মডেলের পূর্বাভাসিত মান	ক্ষতি (প্রকৃত এবং পূর্বাভাসের মধ্যে পার্থক্য)
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = L ₁ ক্ষতি

সুতরাং, L ₁ ক্ষতি হল 8 এবং উদাহরণের সংখ্যা হল 5। অতএব, গড় পরম ত্রুটি হল:

Mean Absolute Error = L₁ loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

গড় বর্গাকার ত্রুটি এবং রুট গড় বর্গাকার ত্রুটির সাথে কনট্রাস্ট মানে পরম ত্রুটি।

গড় নির্ভুলতা k এ গড় (mAP@k)

#ভাষা

#generativeAI

#মেট্রিক

একটি বৈধতা ডেটাসেট জুড়ে k স্কোরে সমস্ত গড় নির্ভুলতার পরিসংখ্যানগত গড়। k-এ গড় গড় নির্ভুলতার একটি ব্যবহার হল একটি সুপারিশ সিস্টেম দ্বারা উত্পন্ন সুপারিশের গুণমান বিচার করা।

যদিও "গড় গড়" শব্দগুচ্ছ অপ্রয়োজনীয় শোনায়, মেট্রিকের নামটি উপযুক্ত। সর্বোপরি, এই মেট্রিকটি k মানগুলিতে একাধিক গড় নির্ভুলতার গড় খুঁজে পায়।

একটি উদাহরণ দেখতে আইকনে ক্লিক করুন.

ধরুন আপনি একটি সুপারিশ সিস্টেম তৈরি করেছেন যা প্রতিটি ব্যবহারকারীর জন্য প্রস্তাবিত উপন্যাসগুলির একটি ব্যক্তিগতকৃত তালিকা তৈরি করে। নির্বাচিত ব্যবহারকারীদের প্রতিক্রিয়ার উপর ভিত্তি করে, আপনি k স্কোরে নিম্নলিখিত পাঁচটি গড় নির্ভুলতা গণনা করেন (ব্যবহারকারী প্রতি একটি স্কোর):

0.73
0.77
0.67
0.82
0.76

K তে গড় নির্ভুলতা তাই হল:

$$\text{mean } = \frac{\text{0.73 + 0.77 + 0.67 + 0.82 + 0.76}} {\text{5}} = \text{0.75}$$

গড় বর্গাকার ত্রুটি (MSE)

#মেট্রিক

L ₂ ক্ষতি ব্যবহার করা হলে উদাহরণ প্রতি গড় ক্ষতি। নিম্নরূপ গড় বর্গাকার ত্রুটি গণনা করুন:

একটি ব্যাচের জন্য L ₂ ক্ষতি গণনা করুন।
ব্যাচের উদাহরণের সংখ্যা দ্বারা L ₂ ক্ষতিকে ভাগ করুন।

আনুষ্ঠানিক গণিত দেখতে আইকনে ক্লিক করুন।

$$\text{Mean Squared Error} = \frac{1}{n}\sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$কোথায়:

$n$ হল উদাহরণের সংখ্যা।
$y$ হল লেবেলের প্রকৃত মান।
$\hat{y}$ হল $y$ এর জন্য মডেলের পূর্বাভাস।

উদাহরণস্বরূপ, পাঁচটি উদাহরণের নিম্নলিখিত ব্যাচে ক্ষতি বিবেচনা করুন:

প্রকৃত মান	মডেলের ভবিষ্যদ্বাণী	ক্ষতি	বর্গাকার ক্ষতি
7	6	1	1
5	4	1	1
8	11	3	9
4	6	2	4
9	8	1	1
			16 = L ₂ ক্ষতি

অতএব, গড় বর্গাকার ত্রুটি হল:

Mean Squared Error = L₂ loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

গড় স্কয়ারড ত্রুটি একটি জনপ্রিয় প্রশিক্ষণ অপ্টিমাইজার , বিশেষ করে লিনিয়ার রিগ্রেশনের জন্য।

গড় পরম ত্রুটি এবং রুট গড় বর্গাকার ত্রুটির সাথে কনট্রাস্ট গড় বর্গাকার ত্রুটি ।

TensorFlow খেলার মাঠ ক্ষতির মান গণনা করতে গড় স্কোয়ার ত্রুটি ব্যবহার করে।

Outliers সম্পর্কে আরো বিস্তারিত দেখতে আইকনে ক্লিক করুন.

Outliers দৃঢ়ভাবে গড় স্কোয়ার ত্রুটি প্রভাবিত. উদাহরণ স্বরূপ, 1-এর ক্ষতি হল 1-এর বর্গক্ষেত্রের ক্ষতি, কিন্তু 3-এর ক্ষতি হল 9-এর বর্গীয় ক্ষতি৷ পূর্ববর্তী সারণীতে, গড় বর্গ ত্রুটির ~56% জন্য 3 অ্যাকাউন্টের ক্ষতির উদাহরণ, যেখানে 1 অ্যাকাউন্টের ক্ষতি সহ প্রতিটি উদাহরণ গড় বর্গ ত্রুটির মাত্র 6% জন্য।

আউটলায়াররা মিন অ্যাবসলিউট এররকে মিন স্কোয়ারড এররের মত দৃঢ়ভাবে প্রভাবিত করে না। উদাহরণস্বরূপ, গড় পরম ত্রুটির মাত্র ~38% জন্য 3টি অ্যাকাউন্টের ক্ষতি।

ক্লিপিং আপনার মডেলের ভবিষ্যদ্বাণী করার ক্ষমতার ক্ষতি থেকে চরম বহিরাগতদের প্রতিরোধ করার একটি উপায়।

মেট্রিক

#টেনসরফ্লো

#মেট্রিক

একটি পরিসংখ্যান যা আপনি যত্নশীল।

একটি উদ্দেশ্য হল একটি মেট্রিক যা একটি মেশিন লার্নিং সিস্টেম অপ্টিমাইজ করার চেষ্টা করে।

মেট্রিক্স API (tf.metrics)

#মেট্রিক

মডেল মূল্যায়নের জন্য একটি TensorFlow API। উদাহরণস্বরূপ, tf.metrics.accuracy নির্ধারণ করে কত ঘন ঘন একটি মডেলের ভবিষ্যদ্বাণী লেবেলের সাথে মেলে।

সর্বনিম্ন ক্ষতি

#মেট্রিক

জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্কগুলির জন্য একটি ক্ষতি ফাংশন, উত্পন্ন ডেটা এবং বাস্তব ডেটা বিতরণের মধ্যে ক্রস-এনট্রপির উপর ভিত্তি করে।

মিনিম্যাক্স ক্ষতি প্রথম কাগজে জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক বর্ণনা করতে ব্যবহৃত হয়।

আরও তথ্যের জন্য জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক কোর্সে লস ফাংশনগুলি দেখুন।

মডেল ক্ষমতা

#মেট্রিক

সমস্যার জটিলতা যা একটি মডেল শিখতে পারে। একটি মডেল যত জটিল সমস্যা শিখতে পারে, মডেলের ক্ষমতা তত বেশি। একটি মডেলের ক্ষমতা সাধারণত মডেল প্যারামিটারের সংখ্যার সাথে বৃদ্ধি পায়। শ্রেণিবিন্যাস মডেল ক্ষমতার একটি আনুষ্ঠানিক সংজ্ঞার জন্য, ভিসি মাত্রা দেখুন।

এন

নেতিবাচক ক্লাস

#মৌলিক

#মেট্রিক

বাইনারি শ্রেণীবিভাগে , একটি শ্রেণীকে ধনাত্মক এবং অন্যটিকে ঋণাত্মক বলা হয়। ইতিবাচক শ্রেণী হল সেই জিনিস বা ঘটনা যা মডেলটি পরীক্ষা করছে এবং নেতিবাচক শ্রেণী হল অন্য সম্ভাবনা। যেমন:

একটি মেডিকেল পরীক্ষায় নেতিবাচক শ্রেণী "টিউমার নয়" হতে পারে।
একটি ইমেল শ্রেণীবিভাগ মডেলের নেতিবাচক শ্রেণী "স্প্যাম নয়" হতে পারে।

ইতিবাচক শ্রেণীর সাথে বৈসাদৃশ্য।

ও

উদ্দেশ্য

#মেট্রিক

একটি মেট্রিক যা আপনার অ্যালগরিদম অনুকূল করার চেষ্টা করছে।

উদ্দেশ্য ফাংশন

#মেট্রিক

গাণিতিক সূত্র বা মেট্রিক যা কোনও মডেল অনুকূলিত করার লক্ষ্য রাখে। উদাহরণস্বরূপ, লিনিয়ার রিগ্রেশনটির জন্য উদ্দেশ্যমূলক ফাংশনটি সাধারণত স্কোয়ার ক্ষতি হয়। অতএব, লিনিয়ার রিগ্রেশন মডেল প্রশিক্ষণ দেওয়ার সময়, প্রশিক্ষণের লক্ষ্য বর্গক্ষেত্রের ক্ষতি হ্রাস করা।

কিছু ক্ষেত্রে, লক্ষ্যটি উদ্দেশ্যমূলক ফাংশনটি সর্বাধিক করে তোলা । উদাহরণস্বরূপ, যদি উদ্দেশ্যমূলক ফাংশনটি নির্ভুলতা হয় তবে লক্ষ্যটি যথার্থতা সর্বাধিক করে তোলা।

ক্ষতিও দেখুন।

পৃ

কে এ পাস করুন (পাস@কে)

#মেট্রিক

কোডের গুণমান নির্ধারণের জন্য একটি মেট্রিক (উদাহরণস্বরূপ, পাইথন) যা একটি বৃহত ভাষার মডেল উত্পন্ন করে। আরও সুনির্দিষ্টভাবে, কে এ পাস আপনাকে সম্ভাবনা জানায় যে কোডের উত্পন্ন ব্লকগুলির মধ্যে কমপক্ষে একটি উত্পন্ন কোডের ব্লকটি তার সমস্ত ইউনিট পরীক্ষায় পাস করবে।

বড় ভাষার মডেলগুলি প্রায়শই জটিল প্রোগ্রামিং সমস্যার জন্য ভাল কোড তৈরি করতে সংগ্রাম করে। সফটওয়্যার ইঞ্জিনিয়াররা একই সমস্যার জন্য একাধিক ( কে ) সমাধান তৈরি করতে বৃহত ভাষার মডেলটিকে অনুরোধ করে এই সমস্যার সাথে খাপ খাইয়ে নেয়। তারপরে, সফ্টওয়্যার ইঞ্জিনিয়াররা ইউনিট পরীক্ষার বিরুদ্ধে প্রতিটি সমাধান পরীক্ষা করে। কে এ পাসের গণনা ইউনিট পরীক্ষার ফলাফলের উপর নির্ভর করে:

যদি এই সমাধানগুলির এক বা একাধিক ইউনিট পরীক্ষায় পাস করে, তবে এলএলএম সেই কোড প্রজন্মের চ্যালেঞ্জটি পাস করে ।
যদি সমাধানগুলির কোনওটিই ইউনিট পরীক্ষায় পাস করে না, তবে এলএলএম সেই কোড প্রজন্মের চ্যালেঞ্জকে ব্যর্থ করে ।

কে এ পাস করার সূত্রটি নিম্নরূপ:

\[\text{pass at k} = \frac{\text{total number of passes}} {\text{total number of challenges}}\]

সাধারণভাবে, কে এর উচ্চতর মানগুলি কে স্কোরগুলিতে উচ্চতর পাস উত্পাদন করে; তবে কে এর উচ্চতর মানগুলির জন্য আরও বড় ভাষার মডেল এবং ইউনিট পরীক্ষার সংস্থান প্রয়োজন।

উদাহরণের জন্য আইকনটি ক্লিক করুন।

ধরুন কোনও সফটওয়্যার ইঞ্জিনিয়ার একটি বৃহত ভাষার মডেলকে এন = 50 চ্যালেঞ্জিং কোডিং সমস্যার জন্য কে = 10 সমাধান তৈরি করতে বলে। এখানে ফলাফল আছে:

30 পাস
20 ব্যর্থ

10 স্কোর এ পাস তাই:

$$\text{pass at 10} = \frac{\text{30}} {\text{50}} = 0.6$$

কর্মক্ষমতা

#মেট্রিক

নিম্নলিখিত অর্থ সহ ওভারলোডেড শব্দ:

সফ্টওয়্যার ইঞ্জিনিয়ারিংয়ের মধ্যে স্ট্যান্ডার্ড অর্থ। যথা: এই সফ্টওয়্যারটির টুকরোটি কত দ্রুত (বা দক্ষতার সাথে) চালিত হয়?
মেশিন লার্নিংয়ের মধ্যে অর্থ। এখানে, পারফরম্যান্স নিম্নলিখিত প্রশ্নের উত্তর দেয়: এই মডেলটি কতটা সঠিক? অর্থাৎ, মডেলের ভবিষ্যদ্বাণীগুলি কতটা ভাল?

পারমুটেশন পরিবর্তনশীল আমদানি

#df

#মেট্রিক

এক ধরণের পরিবর্তনশীল গুরুত্ব যা বৈশিষ্ট্যের মানগুলি অনুমোদনের পরে কোনও মডেলের পূর্বাভাস ত্রুটির বৃদ্ধির মূল্যায়ন করে। পারমুটেশন পরিবর্তনশীল গুরুত্ব একটি মডেল-স্বতন্ত্র মেট্রিক।

বিভ্রান্তি

#মেট্রিক

কোনও মডেল তার কাজটি কতটা ভালভাবে সম্পাদন করছে তার একটি পরিমাপ। উদাহরণস্বরূপ, ধরুন আপনার কাজটি কোনও ফোন কীবোর্ডে টাইপ করছে এমন একটি শব্দের প্রথম কয়েকটি অক্ষর পড়তে হবে এবং সম্ভাব্য সমাপ্তির শব্দের একটি তালিকা সরবরাহ করা। এই কাজের জন্য বিভ্রান্তি, পি, আপনার তালিকার জন্য ব্যবহারকারী টাইপ করার চেষ্টা করছেন এমন আসল শব্দটি ধারণ করার জন্য আপনার যে অনুমানের অফার করতে হবে তার প্রায় প্রায় সংখ্যা।

বিভ্রান্তি নিম্নলিখিত হিসাবে ক্রস-এন্ট্রপির সাথে সম্পর্কিত:

$$P= 2^{-\text{cross entropy}}$$

ইতিবাচক শ্রেণি

#ফান্ডামেন্টালস

#মেট্রিক

আপনি যে ক্লাসটির জন্য পরীক্ষা করছেন।

উদাহরণস্বরূপ, ক্যান্সার মডেলের ইতিবাচক শ্রেণি হতে পারে "টিউমার"। একটি ইমেল শ্রেণিবিন্যাসের মডেলটিতে ইতিবাচক শ্রেণি হতে পারে "স্প্যাম"।

নেতিবাচক শ্রেণীর সাথে বৈপরীত্য।

অতিরিক্ত নোটের জন্য আইকনটি ক্লিক করুন।

ইতিবাচক শ্রেণি শব্দটি বিভ্রান্তিকর হতে পারে কারণ অনেক পরীক্ষার "ইতিবাচক" ফলাফল প্রায়শই একটি অনাকাঙ্ক্ষিত ফলাফল। উদাহরণস্বরূপ, অনেক চিকিত্সা পরীক্ষায় ইতিবাচক শ্রেণি টিউমার বা রোগের সাথে মিলে যায়। সাধারণভাবে, আপনি একজন ডাক্তার আপনাকে বলতে চান, "অভিনন্দন! আপনার পরীক্ষার ফলাফলগুলি নেতিবাচক ছিল।" নির্বিশেষে, ইতিবাচক শ্রেণি হ'ল ইভেন্টটি যা পরীক্ষাটি সন্ধান করতে চাইছে।

স্বীকার করা যায়, আপনি একই সাথে ইতিবাচক এবং নেতিবাচক উভয় শ্রেণীর জন্য পরীক্ষা করছেন।

পিআর এউসি (পিআর বক্ররেখার অধীনে অঞ্চল)

#মেট্রিক

শ্রেণিবিন্যাসের প্রান্তিকের বিভিন্ন মানের জন্য প্লট করে (পুনরুদ্ধার, নির্ভুলতা) পয়েন্ট দ্বারা প্রাপ্ত আন্তঃবিজ্ঞানের যথার্থ-রিক্যাল বক্ররেখার অধীনে অঞ্চল।

নির্ভুলতা

#মেট্রিক

শ্রেণিবদ্ধকরণ মডেলগুলির জন্য একটি মেট্রিক যা নিম্নলিখিত প্রশ্নের উত্তর দেয়:

যখন মডেলটি ইতিবাচক শ্রেণীর পূর্বাভাস দিয়েছিল, তখন ভবিষ্যদ্বাণীগুলির কত শতাংশ সঠিক ছিল?

এখানে সূত্র আছে:

$$\text{Precision} = \frac{\text{true positives}} {\text{true positives} + \text{false positives}}$$

কোথায়:

সত্য ইতিবাচক মানে মডেলটি সঠিকভাবে ইতিবাচক শ্রেণীর পূর্বাভাস দিয়েছে।
মিথ্যা ইতিবাচক মানে মডেলটি ভুল করে ইতিবাচক শ্রেণীর পূর্বাভাস দিয়েছে।

উদাহরণস্বরূপ, ধরুন কোনও মডেল 200 টি ইতিবাচক ভবিষ্যদ্বাণী করেছে। এই 200 ইতিবাচক ভবিষ্যদ্বাণীগুলির মধ্যে:

150 ছিল সত্য ইতিবাচক।
50 ছিল মিথ্যা ধনাত্মক।

এই ক্ষেত্রে:

$$\text{Precision} = \frac{\text{150}} {\text{150} + \text{50}} = 0.75$$

নির্ভুলতা এবং পুনরুদ্ধার সঙ্গে বৈপরীত্য।

শ্রেণিবিন্যাস দেখুন: আরও তথ্যের জন্য মেশিন লার্নিং ক্র্যাশ কোর্সে নির্ভুলতা, পুনরুদ্ধার, নির্ভুলতা এবং সম্পর্কিত মেট্রিকগুলি ।

কে এ যথার্থতা (যথার্থ@কে)

#ভাষা

#মেট্রিক

আইটেমগুলির একটি র‌্যাঙ্কড (অর্ডার করা) তালিকা মূল্যায়নের জন্য একটি মেট্রিক। কে এ নির্ভুলতা সেই তালিকার প্রথম কে আইটেমগুলির ভগ্নাংশ সনাক্ত করে যা "প্রাসঙ্গিক"। অর্থাৎ:

\[\text{precision at k} = \frac{\text{relevant items in first k items of the list}} {\text{k}}\]

কে এর মান অবশ্যই প্রত্যাবর্তিত তালিকার দৈর্ঘ্যের চেয়ে কম বা সমান হতে হবে। নোট করুন যে ফিরে আসা তালিকার দৈর্ঘ্য গণনার অংশ নয়।

প্রাসঙ্গিকতা প্রায়শই বিষয়গত হয়; এমনকি বিশেষজ্ঞ মানব মূল্যায়নকারীরা প্রায়শই কোন আইটেম প্রাসঙ্গিক তা নিয়ে একমত নন।

এর সাথে তুলনা করুন:

কে এ গড় নির্ভুলতা
কে এ গড় গড় নির্ভুলতা

উদাহরণ দেখতে আইকনটি ক্লিক করুন।

ধরুন একটি বৃহত ভাষার মডেলটি নিম্নলিখিত ক্যোয়ারী দেওয়া হয়েছে:

List the 6 funniest movies of all time in order.

এবং বৃহত ভাষার মডেল নিম্নলিখিত টেবিলের প্রথম দুটি কলামে প্রদর্শিত তালিকাটি ফিরিয়ে দেয়:

অবস্থান	মুভি	প্রাসঙ্গিক?
1	জেনারেল	হ্যাঁ
2	মানে মেয়েরা	হ্যাঁ
3	প্লাটুন	না
4	ব্রাইডমেইডস	হ্যাঁ
5	নাগরিক কেন	না
6	এটি স্পাইনাল ট্যাপ	হ্যাঁ

প্রথম তিনটি চলচ্চিত্রের মধ্যে দুটি প্রাসঙ্গিক, সুতরাং 3 এ নির্ভুলতা:

$$\text{precision at 3} = \frac{\text{2}} {\text{3}} = 0.67$$

প্রথম পাঁচটি সিনেমার মধ্যে চারটি খুব মজার, সুতরাং 5 এ নির্ভুলতা:

$$\text{precision at 5} = \frac{\text{4}} {\text{5}} = 0.8$$

যথার্থ-রিক্যাল বক্ররেখা

#মেট্রিক

বিভিন্ন শ্রেণিবিন্যাসের থ্রেশহোল্ডগুলিতে যথার্থ বনাম পুনরুদ্ধার একটি বক্ররেখা।

পূর্বাভাস পক্ষপাত

#মেট্রিক

একটি মান নির্দেশ করে যে ভবিষ্যদ্বাণীগুলির গড় কত দূরে ডেটাসেটের লেবেলের গড় থেকে।

মেশিন লার্নিং মডেলগুলিতে পক্ষপাতিত্বের সাথে বা নৈতিকতা এবং ন্যায্যতার পক্ষপাতের সাথে বিভ্রান্ত হওয়ার দরকার নেই।

ভবিষ্যদ্বাণীমূলক সমতা

#বিভাগীয়

#মেট্রিক

একটি ন্যায্যতা মেট্রিক যা প্রদত্ত শ্রেণিবদ্ধের জন্য, যথাযথ হারগুলি বিবেচনাধীন উপগোষ্ঠীর জন্য সমতুল্য কিনা তা যাচাই করে।

উদাহরণস্বরূপ, এমন একটি মডেল যা কলেজের গ্রহণযোগ্যতার পূর্বাভাস দেয় তা জাতীয়তার জন্য ভবিষ্যদ্বাণীমূলক সমতা মেটাবে যদি এর যথার্থ হার লিলিপুটিয়ান এবং ব্রোবডিংনাগিয়ানদের ক্ষেত্রে একই রকম হয়।

ভবিষ্যদ্বাণীমূলক সমতাটিকে কখনও কখনও ভবিষ্যদ্বাণীমূলক হার সমতাও বলা হয়।

ভবিষ্যদ্বাণীমূলক সমতা সম্পর্কে আরও বিশদ আলোচনার জন্য "ন্যায্যতা সংজ্ঞা ব্যাখ্যা করা" (বিভাগ 3.2.1) দেখুন।

ভবিষ্যদ্বাণীমূলক হার সমতা

#বিভাগীয়

#মেট্রিক

ভবিষ্যদ্বাণীমূলক সমতার জন্য আরেকটি নাম।

সম্ভাবনা ঘনত্ব ফাংশন

#মেট্রিক

একটি ফাংশন যা ডেটা নমুনাগুলির ঠিক একটি নির্দিষ্ট মানযুক্ত ফ্রিকোয়েন্সি সনাক্ত করে। যখন কোনও ডেটাসেটের মানগুলি অবিচ্ছিন্ন ভাসমান-পয়েন্ট সংখ্যা হয়, তখন সঠিক ম্যাচগুলি খুব কমই ঘটে। তবে, মান x থেকে মান y এ একটি সম্ভাব্যতা ঘনত্ব ফাংশনকে সংহত করে x এবং y মধ্যে ডেটা নমুনার প্রত্যাশিত ফ্রিকোয়েন্সি দেয়।

উদাহরণস্বরূপ, 200 এর গড় এবং 30 এর একটি স্ট্যান্ডার্ড বিচ্যুতিযুক্ত একটি সাধারণ বিতরণ বিবেচনা করুন 21 211.4 থেকে 218.7 পরিসরের মধ্যে পড়ে থাকা ডেটা নমুনার প্রত্যাশিত ফ্রিকোয়েন্সি নির্ধারণ করতে, আপনি 211.4 থেকে 218.7 থেকে একটি সাধারণ বিতরণের জন্য সম্ভাব্যতা ঘনত্বের ফাংশনটি সংহত করতে পারেন।

আর

প্রত্যাহার

#মেট্রিক

যখন স্থল সত্যটি ইতিবাচক শ্রেণি ছিল, তখন মডেলটির কত শতাংশ ভবিষ্যদ্বাণী সঠিকভাবে ইতিবাচক শ্রেণি হিসাবে চিহ্নিত করেছিল?

এখানে সূত্র আছে:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

কোথায়:

সত্য ইতিবাচক মানে মডেলটি সঠিকভাবে ইতিবাচক শ্রেণীর পূর্বাভাস দিয়েছে।
মিথ্যা নেতিবাচক অর্থ হ'ল মডেলটি ভুল করে নেতিবাচক শ্রেণীর পূর্বাভাস দিয়েছে।

উদাহরণস্বরূপ, ধরুন আপনার মডেল উদাহরণগুলিতে 200 টি ভবিষ্যদ্বাণী করেছেন যার জন্য স্থল সত্যটি ইতিবাচক শ্রেণি ছিল। এই 200 পূর্বাভাসগুলির মধ্যে:

180 ছিল সত্য ইতিবাচক।
20 ছিল মিথ্যা নেতিবাচক।

এই ক্ষেত্রে:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

শ্রেণি-অবরুদ্ধ ডেটাসেট সম্পর্কে নোটগুলির জন্য আইকনটি ক্লিক করুন।

শ্রেণিবদ্ধকরণ মডেলগুলির ভবিষ্যদ্বাণীমূলক শক্তি নির্ধারণের জন্য পুনরুদ্ধার বিশেষভাবে কার্যকর যেখানে ইতিবাচক শ্রেণি বিরল। উদাহরণস্বরূপ, একটি শ্রেণি-অবিচ্ছিন্ন ডেটাসেট বিবেচনা করুন যেখানে একটি নির্দিষ্ট রোগের জন্য ইতিবাচক শ্রেণি এক মিলিয়ন এর মধ্যে কেবল 10 রোগীর মধ্যে ঘটে। ধরুন আপনার মডেলটি পাঁচ মিলিয়ন ভবিষ্যদ্বাণী করেছে যা নিম্নলিখিত ফলাফলগুলি দেয়:

30 সত্য ধনাত্মক
20 মিথ্যা নেতিবাচক
4,999,000 সত্য নেতিবাচক
950 মিথ্যা ধনাত্মক

এই মডেলটির পুনরুদ্ধার তাই:

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

বিপরীতে, এই মডেলের যথার্থতা হ'ল:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

নির্ভুলতার সেই উচ্চ মানটি চিত্তাকর্ষক দেখায় তবে এটি মূলত অর্থহীন। রিক্যাল নির্ভুলতার চেয়ে শ্রেণি-অবিচ্ছিন্ন ডেটাসেটগুলির জন্য অনেক বেশি দরকারী মেট্রিক।

শ্রেণিবিন্যাস দেখুন: আরও তথ্যের জন্য নির্ভুলতা, পুনরুদ্ধার, নির্ভুলতা এবং সম্পর্কিত মেট্রিকগুলি ।

কে এ স্মরণ করুন (@কে পুনরুদ্ধার করুন)

#ভাষা

#মেট্রিক

সিস্টেমগুলির মূল্যায়ন করার জন্য একটি মেট্রিক যা আইটেমগুলির একটি র‌্যাঙ্কড (অর্ডার করা) তালিকা আউটপুট দেয়। কে -এ পুনরুদ্ধার করা প্রাসঙ্গিক আইটেমগুলির প্রথম কে আইটেমগুলির ভগ্নাংশটি চিহ্নিত করে যে প্রাসঙ্গিক আইটেমগুলির মোট সংখ্যার মধ্যে ফিরে আসে।

\[\text{recall at k} = \frac{\text{relevant items in first k items of the list}} {\text{total number of relevant items in the list}}\]

কে এ নির্ভুলতার সাথে বৈপরীত্য।

উদাহরণ দেখতে আইকনটি ক্লিক করুন।

ধরুন একটি বৃহত ভাষার মডেলটি নিম্নলিখিত ক্যোয়ারী দেওয়া হয়েছে:

List the 10 funniest movies of all time in order.

এবং বড় ভাষার মডেল প্রথম দুটি কলামে প্রদর্শিত তালিকাটি ফিরিয়ে দেয়:

অবস্থান	মুভি	প্রাসঙ্গিক?
1	জেনারেল	হ্যাঁ
2	মানে মেয়েরা	হ্যাঁ
3	প্লাটুন	না
4	ব্রাইডমেইডস	হ্যাঁ
5	এটি স্পাইনাল ট্যাপ	হ্যাঁ
6	বিমানের !	হ্যাঁ
7	গ্রাউন্ডহগ ডে	হ্যাঁ
8	মন্টি পাইথন এবং হলি গ্রেইল	হ্যাঁ
9	ওপেনহাইমার	না
10	অজ্ঞাত	হ্যাঁ

পূর্ববর্তী তালিকার আটটি সিনেমা খুব মজার, তাই সেগুলি "তালিকার প্রাসঙ্গিক আইটেম"। অতএব, 8 কে কে -তে পুনর্বিবেচনার সমস্ত গণনায় ডিনোমিনেটর হবে। লব সম্পর্কে কি? ঠিক আছে, প্রথম 4 টি আইটেমের মধ্যে 3 টি প্রাসঙ্গিক, সুতরাং 4 এ স্মরণ করুন:

$$\text{recall at 4} = \frac{\text{3}} {\text{8}} = 0.375$$

প্রথম 8 টি সিনেমার মধ্যে 7 টি খুব মজার, সুতরাং 8 এ স্মরণ করুন:

$$\text{recall at 8} = \frac{\text{7}} {\text{8}} = 0.875$$

আরওসি (রিসিভার অপারেটিং বৈশিষ্ট্য) বক্ররেখা

#ফান্ডামেন্টালস

#মেট্রিক

বাইনারি শ্রেণিবিন্যাসে বিভিন্ন শ্রেণিবিন্যাসের থ্রেশহোল্ডগুলির জন্য সত্য ধনাত্মক হারের বনাম মিথ্যা পজিটিভ হারের একটি গ্রাফ।

একটি আরওসি বক্ররেখার আকারটি বাইনারি শ্রেণিবদ্ধকরণ মডেলের নেতিবাচক শ্রেণি থেকে ইতিবাচক শ্রেণিগুলি পৃথক করার দক্ষতার পরামর্শ দেয়। ধরুন, উদাহরণস্বরূপ, একটি বাইনারি শ্রেণিবদ্ধকরণ মডেল সমস্ত নেতিবাচক শ্রেণিকে সমস্ত ইতিবাচক শ্রেণি থেকে পুরোপুরি পৃথক করে:

ডানদিকে 8 টি ইতিবাচক উদাহরণ সহ একটি নম্বর লাইন এবং বাম দিকে 7 নেতিবাচক উদাহরণ।

পূর্ববর্তী মডেলের জন্য আরওসি বক্ররেখা নীচে দেখায়:

একটি আরওসি বক্ররেখা। এক্স-অক্ষটি মিথ্যা ইতিবাচক হার এবং ওয়াই-অক্ষ সত্য ইতিবাচক হার। বক্ররেখার একটি উল্টানো এল আকার রয়েছে। বক্ররেখা (0.0,0.0) থেকে শুরু হয় এবং সরাসরি (0.0,1.0) এ যায়। তারপর বক্ররেখা (0.0,1.0) থেকে (1.0,1.0) এ যায়।

বিপরীতে, নিম্নলিখিত চিত্রগুলি একটি ভয়াবহ মডেলের জন্য কাঁচা লজিস্টিক রিগ্রেশন মানগুলি গ্রাফ করে যা নেতিবাচক শ্রেণিগুলি ইতিবাচক শ্রেণি থেকে আলাদা করতে পারে না:

ইতিবাচক উদাহরণ এবং নেতিবাচক শ্রেণীর সাথে একটি নম্বর লাইন সম্পূর্ণ অন্তর্বর্তী।

এই মডেলের জন্য আরওসি বক্ররেখা নিম্নরূপ দেখায়:

একটি আরওসি বক্ররেখা, যা আসলে (0.0,0.0) থেকে একটি সরল রেখা থেকে (1.0,1.0)।

এদিকে, বাস্তব বিশ্বে ফিরে, বেশিরভাগ বাইনারি শ্রেণিবিন্যাসের মডেলগুলি ইতিবাচক এবং নেতিবাচক শ্রেণিগুলি কিছুটা হলেও পৃথক করে তবে সাধারণত পুরোপুরি নয়। সুতরাং, একটি সাধারণ আরওসি বক্ররেখা দুটি চরমের মধ্যে কোথাও পড়ে:

একটি আরওসি বক্ররেখা। এক্স-অক্ষটি মিথ্যা ইতিবাচক হার এবং ওয়াই-অক্ষ সত্য ইতিবাচক হার। আরওসি বক্ররেখা একটি নড়বড়ে তোরণ প্রায় প্রায় পশ্চিম থেকে উত্তরে কম্পাস পয়েন্টগুলি অনুসরণ করে।

(0.0,1.0) এর নিকটতম একটি আরওসি বক্ররেখার পয়েন্টটি তাত্ত্বিকভাবে আদর্শ শ্রেণিবিন্যাসের প্রান্তিকতা সনাক্ত করে। যাইহোক, অন্যান্য বেশ কয়েকটি বাস্তব-বিশ্বের সমস্যাগুলি আদর্শ শ্রেণিবিন্যাসের প্রান্তিকের নির্বাচনকে প্রভাবিত করে। উদাহরণস্বরূপ, সম্ভবত মিথ্যা নেতিবাচকগুলি মিথ্যা ধনাত্মকগুলির চেয়ে অনেক বেশি ব্যথা সৃষ্টি করে।

এউসি নামে একটি সংখ্যাসূচক মেট্রিক আরওসি বক্ররেখাকে একটি একক ভাসমান-পয়েন্ট মান হিসাবে সংক্ষিপ্তসার করে।

রুট মানে স্কোয়ার ত্রুটি (আরএমএসই)

#ফান্ডামেন্টালস

#মেট্রিক

গড় স্কোয়ার ত্রুটির বর্গমূল।

রাউজ (গিস্টিং মূল্যায়নের জন্য পুনর্বিবেচনা-ভিত্তিক আন্ডারস্টুডি)

#ভাষা

#মেট্রিক

মেট্রিকের একটি পরিবার যা স্বয়ংক্রিয় সংক্ষিপ্তকরণ এবং মেশিন অনুবাদ মডেলগুলি মূল্যায়ন করে। রাউজ মেট্রিকগুলি এমন একটি ডিগ্রি নির্ধারণ করে যা কোনও রেফারেন্স পাঠ্য এমএল মডেলের উত্পন্ন পাঠ্যকে ওভারল্যাপ করে। রাউজ পরিবারের প্রতিটি সদস্য ভিন্ন উপায়ে ওভারল্যাপ করে। উচ্চতর রাউজ স্কোরগুলি রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্যের মধ্যে আরও সাদৃশ্য নির্দেশ করে নিম্ন রুজ স্কোরগুলির চেয়ে।

প্রতিটি রাউজ পরিবারের সদস্য সাধারণত নিম্নলিখিত মেট্রিকগুলি তৈরি করে:

যথার্থতা
স্মরণ করুন
চ _ঘ

বিশদ এবং উদাহরণগুলির জন্য, দেখুন:

রুজ-এল
রুজ-এন
রুজ-এস

রুজ-এল

#ভাষা

#মেট্রিক

রাউজ পরিবারের একজন সদস্য রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্যের মধ্যে দীর্ঘতম সাধারণ পরবর্তীকালের দৈর্ঘ্যের দিকে মনোনিবেশ করেছিলেন। নিম্নলিখিত সূত্রগুলি রুজ-এল এর জন্য পুনরুদ্ধার এবং নির্ভুলতা গণনা করে:

$$\text{ROUGE-L recall} = \frac{\text{longest common sequence}} {\text{number of words in the reference text} }$$

$$\text{ROUGE-L precision} = \frac{\text{longest common sequence}} {\text{number of words in the generated text} }$$

তারপরে আপনি রাউজ-এল রিকল এবং রাউজ-এল প্রিসিশনকে একক মেট্রিকের মধ্যে রোল আপ করতে এফ ₁ ব্যবহার করতে পারেন:

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{ROUGE-L recall} * \text{ROUGE-L precision}} {\text{ROUGE-L recall} + \text{ROUGE-L precision} }$$

রুজ-এল এর উদাহরণ গণনার জন্য আইকনটি ক্লিক করুন।

নিম্নলিখিত রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্য বিবেচনা করুন।

শ্রেণী	কে উত্পাদন?	পাঠ্য
রেফারেন্স পাঠ্য	মানব অনুবাদক	আমি বিভিন্ন ধরণের জিনিস বুঝতে চাই।
তৈরি করা পাঠ্য	এমএল মডেল	আমি প্রচুর জিনিস শিখতে চাই।

অতএব:

দীর্ঘতম সাধারণ অনুপাত 5 ( আমি জিনিস চাই )
রেফারেন্স পাঠ্যের শব্দের সংখ্যা 9।
উত্পন্ন পাঠ্যে শব্দের সংখ্যা 7।

ফলস্বরূপ:

$$\text{ROUGE-L recall} = \frac{\text{5}} {\text{9} } = 0.56$$

$$\text{ROUGE-L precision} = \frac{\text{5}} {\text{7} } = 0.71$$

$$\text{ROUGE-L F} {_1} = \frac{\text{2} * \text{0.56} * \text{0.71}} {\text{0.56} + \text{0.71} } = 0.63$$

রাউজ-এল রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্যের যে কোনও নতুন লাইন উপেক্ষা করে, তাই দীর্ঘতম সাধারণ অনুপাত একাধিক বাক্য অতিক্রম করতে পারে। যখন রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্য একাধিক বাক্য জড়িত থাকে, তখন রাউজ- লাম নামক রাউজ- এল এর একটি প্রকরণটি সাধারণত একটি ভাল মেট্রিক হয়। রাউজ-লসাম একটি উত্তরণে প্রতিটি বাক্যটির জন্য দীর্ঘতম সাধারণ উপসর্গ নির্ধারণ করে এবং তারপরে সেই দীর্ঘতম সাধারণ পরবর্তীকালের গড় গণনা করে।

রুজ-লসামের উদাহরণ গণনার জন্য আইকনটিতে ক্লিক করুন।

নিম্নলিখিত রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্য বিবেচনা করুন।

শ্রেণী	কে উত্পাদন?	পাঠ্য
রেফারেন্স পাঠ্য	মানব অনুবাদক	মঙ্গল গ্রহের পৃষ্ঠ শুকনো। প্রায় সমস্ত জল গভীর ভূগর্ভস্থ।
তৈরি করা পাঠ্য	এমএল মডেল	মঙ্গল গ্রহের একটি শুকনো পৃষ্ঠ রয়েছে। তবে, জলের বিশাল সংখ্যাগরিষ্ঠ ভূগর্ভস্থ।

অতএব:

	প্রথম বাক্য	দ্বিতীয় বাক্য
দীর্ঘতম সাধারণ ক্রম	2 (মঙ্গল শুষ্ক)	3 (জল ভূগর্ভস্থ)
রেফারেন্স পাঠ্যের বাক্য দৈর্ঘ্য	6	7
উত্পন্ন পাঠ্যের বাক্য দৈর্ঘ্য	5	8

ফলস্বরূপ:

$$\text{recall of first sentence} = \frac{\text{2}} {\text{6}} = 0.33 $$

$$\text{recall of second sentence} = \frac{\text{3}} {\text{7}} = 0.43 $$

$$\text{ROUGE-Lsum recall} = \frac{\text{0.33} + \text{0.43}} {\text{2}} = 0.38 $$

$$\text{precision of first sentence} = \frac{\text{2}} {\text{5}} = 0.4 $$

$$\text{precision of second sentence} = \frac{\text{3}} {\text{8}} = 0.38 $$

$$\text{ROUGE-Lsum precision} = \frac{\text{0.4} + \text{0.38}} {\text{2}} = 0.39 $$

$$\text{ROUGE-Lsum F}{_1} = \frac{\text{2} * \text{0.38} * \text{0.39}} {\text{0.38} + \text{0.39}} = 0.38 $$

রুজ-এন

#ভাষা

#মেট্রিক

রাউজ পরিবারের মধ্যে মেট্রিকগুলির একটি সেট যা রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্যের একটি নির্দিষ্ট আকারের ভাগ করা এন-গ্রামগুলির সাথে তুলনা করে। যেমন:

রাউজ -১ রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্যে ভাগ করা টোকেনের সংখ্যা পরিমাপ করে।
রাউজ -২ রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্যে ভাগ করা বিগরাম (2-গ্রাম) এর সংখ্যা পরিমাপ করে।
রাউজ -3 রেফারেন্স পাঠ্য এবং উত্পন্ন পাঠ্যে ভাগ করা ট্রাইগ্রাম (3-গ্রাম) এর সংখ্যা পরিমাপ করে।

রাউজ-এন পরিবারের যে কোনও সদস্যের জন্য রুজ-এন রিকল এবং রুজ-এন নির্ভুলতা গণনা করতে আপনি নিম্নলিখিত সূত্রগুলি ব্যবহার করতে পারেন:

$$\text{ROUGE-N recall} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the reference text} }$$

$$\text{ROUGE-N precision} = \frac{\text{number of matching N-grams}} {\text{number of N-grams in the generated text} }$$

তারপরে আপনি রাউজ-এন রিকল এবং রুজ-এন নির্ভুলতাটিকে একক মেট্রিকের মধ্যে রোল আপ করতে এফ ₁ ব্যবহার করতে পারেন:

$$\text{ROUGE-N F}{_1} = \frac{\text{2} * \text{ROUGE-N recall} * \text{ROUGE-N precision}} {\text{ROUGE-N recall} + \text{ROUGE-N precision} }$$

উদাহরণের জন্য আইকনটি ক্লিক করুন।

ধরুন আপনি কোনও মানব অনুবাদকের তুলনায় এমএল মডেলের অনুবাদটির কার্যকারিতা পরিমাপ করতে রাউজ -২ ব্যবহার করার সিদ্ধান্ত নিয়েছেন।

শ্রেণী	কে উত্পাদন?	পাঠ্য	বিগ্রামস
রেফারেন্স পাঠ্য	মানব অনুবাদক	আমি বিভিন্ন ধরণের জিনিস বুঝতে চাই।	আমি চাই, চাই, বুঝতে, বুঝতে, একটি বিস্তৃত, বিস্তৃত বিভিন্ন, বিভিন্ন ধরণের জিনিস
তৈরি করা পাঠ্য	এমএল মডেল	আমি প্রচুর জিনিস শিখতে চাই।	আমি চাই, চাই, শিখতে, প্রচুর পরিমাণে, প্রচুর পরিমাণে শিখতে চাই

অতএব:

2-গ্রাম ম্যাচিংয়ের সংখ্যা 3 ( আমি চাই , চাই এবং জিনিসগুলির )।
রেফারেন্স পাঠ্যে 2-গ্রামের সংখ্যা 8।
উত্পন্ন পাঠ্যে 2-গ্রামের সংখ্যা 6।

ফলস্বরূপ:

$$\text{ROUGE-2 recall} = \frac{\text{3}} {\text{8} } = 0.375$$

$$\text{ROUGE-2 precision} = \frac{\text{3}} {\text{6} } = 0.5$$

$$\text{ROUGE-2 F}{_1} = \frac{\text{2} * \text{0.375} * \text{0.5}} {\text{0.375} + \text{0.5} } = 0.43$$

রুজ-এস

#ভাষা

#মেট্রিক

রাউজ-এন এর একটি ক্ষমাশীল ফর্ম যা স্কিপ-গ্রাম ম্যাচিংকে সক্ষম করে। এটি হ'ল, রাউজ-এন কেবলমাত্র এন-গ্রামগুলি গণনা করে যা ঠিক মেলে, তবে রাউজ-এসও এক বা একাধিক শব্দ দ্বারা পৃথক এন-গ্রাম গণনা করে। উদাহরণস্বরূপ, নিম্নলিখিত বিবেচনা করুন:

রেফারেন্স পাঠ্য : সাদা মেঘ
উত্পন্ন পাঠ্য : সাদা বিলিং মেঘ

রাউজ-এন গণনা করার সময়, 2-গ্রাম, সাদা মেঘগুলি সাদা বিলিং মেঘের সাথে মেলে না। যাইহোক, রাউজ-এস গণনা করার সময়, সাদা মেঘগুলি সাদা বিলিং মেঘের সাথে মেলে।

আর-বর্গীয়

#মেট্রিক

একটি রিগ্রেশন মেট্রিক একটি পৃথক বৈশিষ্ট্য বা একটি বৈশিষ্ট্য সেটের কারণে একটি লেবেলে কতটা প্রকরণ রয়েছে তা নির্দেশ করে। আর-স্কোয়ার্ড 0 এবং 1 এর মধ্যে একটি মান, যা আপনি নিম্নলিখিত হিসাবে ব্যাখ্যা করতে পারেন:

0 এর একটি আর-স্কোয়ার অর্থ হ'ল কোনও লেবেলের প্রকরণের কোনওটিই বৈশিষ্ট্য সেটের কারণে নয়।
1 এর একটি আর-স্কোয়ার মানে হ'ল একটি লেবেলের সমস্ত প্রকরণ বৈশিষ্ট্য সেটটির কারণে।
0 এবং 1 এর মধ্যে একটি আর-স্কোয়ার্ড একটি নির্দিষ্ট বৈশিষ্ট্য বা বৈশিষ্ট্য সেট থেকে লেবেলের প্রকরণটি কতটা পূর্বাভাস দেওয়া যেতে পারে তা নির্দেশ করে। উদাহরণস্বরূপ, 0.10 এর একটি আর-স্কোয়ার অর্থ হ'ল লেবেলের 10 শতাংশ বৈকল্পিক বৈশিষ্ট্য সেটের কারণে, 0.20 এর একটি আর-স্কোয়ার মানে 20 শতাংশ বৈশিষ্ট্য সেটের কারণে এবং আরও অনেক কিছু।

আর-স্কোয়ার হ'ল পিয়ারসন পারস্পরিক সম্পর্কের সহগের বর্গক্ষেত্রের মানগুলির মধ্যে যে কোনও মডেল পূর্বাভাস এবং স্থল সত্যের মধ্যে রয়েছে ।

এস

স্কোরিং

#রিসিস্টেম

#মেট্রিক

একটি সুপারিশ সিস্টেমের অংশ যা প্রার্থী প্রজন্মের পর্যায় দ্বারা উত্পাদিত প্রতিটি আইটেমের জন্য একটি মান বা র‌্যাঙ্কিং প্রদান করে।

সাদৃশ্য পরিমাপ

# ক্লাস্টারিং

#মেট্রিক

ক্লাস্টারিং অ্যালগরিদমগুলিতে, মেট্রিক যে কোনও দুটি উদাহরণ কীভাবে একই (কতটা অনুরূপ) নির্ধারণ করতে ব্যবহৃত হয়।

স্পারসিটি

#মেট্রিক

সেই ভেক্টর বা ম্যাট্রিক্সে মোট এন্ট্রি সংখ্যা দ্বারা বিভক্ত কোনও ভেক্টর বা ম্যাট্রিক্সে শূন্য (বা নাল) এ সেট করা উপাদানগুলির সংখ্যা। উদাহরণস্বরূপ, একটি 100-এলিমেন্ট ম্যাট্রিক্স বিবেচনা করুন যেখানে 98 টি কোষে শূন্য থাকে। স্পারসিটির গণনা নিম্নরূপ:

$$ {\text{sparsity}} = \frac{\text{98}} {\text{100}} = {\text{0.98}} $$

বৈশিষ্ট্য স্পারসিটি একটি বৈশিষ্ট্য ভেক্টরের স্পারসিটি বোঝায়; মডেল স্পারসিটি মডেল ওজনের স্পারসিটি বোঝায়।

বর্গক্ষেত্র কব্জা ক্ষতি

#মেট্রিক

কব্জা ক্ষতির বর্গক্ষেত্র। স্কোয়ার কব্জা ক্ষতি নিয়মিত কব্জা ক্ষতির চেয়ে বহিরাগতদের আরও কঠোর শাস্তি দেয়।

স্কোয়ার ক্ষতি

#ফান্ডামেন্টালস

#মেট্রিক

এল ₂ ক্ষতির প্রতিশব্দ।

টি

পরীক্ষা ক্ষতি

#ফান্ডামেন্টালস

#মেট্রিক

একটি মেট্রিক পরীক্ষার সেটের বিরুদ্ধে কোনও মডেলের ক্ষতির প্রতিনিধিত্ব করে। কোনও মডেল তৈরি করার সময়, আপনি সাধারণত পরীক্ষার ক্ষতি হ্রাস করার চেষ্টা করেন। এটি কারণ একটি কম পরীক্ষার ক্ষতি কম প্রশিক্ষণ হ্রাস বা কম বৈধতা ক্ষতির চেয়ে শক্তিশালী মানের সংকেত।

পরীক্ষা হ্রাস এবং প্রশিক্ষণ ক্ষতি বা বৈধতা ক্ষতির মধ্যে একটি বৃহত ব্যবধান কখনও কখনও পরামর্শ দেয় যে আপনাকে নিয়মিতকরণের হার বাড়াতে হবে।

শীর্ষ-কে নির্ভুলতা

#ভাষা

#মেট্রিক

উত্পন্ন তালিকার প্রথম কে পজিশনের মধ্যে একটি "টার্গেট লেবেল" প্রদর্শিত হওয়ার পরিমাণ। তালিকাগুলি ব্যক্তিগতকৃত সুপারিশ বা সফটম্যাক্স দ্বারা অর্ডার করা আইটেমগুলির একটি তালিকা হতে পারে।

শীর্ষ-কে যথার্থতা কে এ নির্ভুলতা হিসাবেও পরিচিত।

উদাহরণের জন্য আইকনটি ক্লিক করুন।

একটি মেশিন লার্নিং সিস্টেম বিবেচনা করুন যা গাছের পাতার চিত্রের উপর ভিত্তি করে গাছের সম্ভাবনাগুলি সনাক্ত করতে সফটম্যাক্স ব্যবহার করে। নিম্নলিখিত টেবিলটিতে পাঁচটি ইনপুট গাছের ছবি থেকে উত্পন্ন আউটপুট তালিকাগুলি দেখায়। প্রতিটি সারিতে একটি লক্ষ্য লেবেল এবং সম্ভবত পাঁচটি সম্ভবত গাছ রয়েছে। উদাহরণস্বরূপ, যখন লক্ষ্য লেবেলটি ম্যাপেল ছিল, তখন মেশিন লার্নিং মডেল এলমকে সম্ভবত সম্ভবত গাছ হিসাবে চিহ্নিত করেছিল, ওক দ্বিতীয় সম্ভবত গাছ হিসাবে এবং আরও অনেক কিছু।

লক্ষ্য লেবেল	1	2	3	4	5
ম্যাপেল	এলম	ওক	ম্যাপেল	বিচ	পপলার
কুকুর কাঠ	ওক	কুকুর কাঠ	পপলার	হিকরি	ম্যাপেল
ওক	ওক	basswood	পঙ্গপাল	alder	লিন্ডেন
লিন্ডেন	ম্যাপেল	পা-পা	ওক	basswood	পপলার
ওক	পঙ্গপাল	লিন্ডেন	ওক	ম্যাপেল	পা-পা

টার্গেট লেবেলটি কেবল একবার প্রথম অবস্থানে উপস্থিত হয়, সুতরাং শীর্ষ -1 যথার্থতাটি হ'ল:

$$\text{top-1 accuracy} = \frac{\text{1}} {\text{5}} = 0.2$$

টার্গেট লেবেলটি চারবার শীর্ষ তিনটি পজিশনের একটিতে উপস্থিত হয়, সুতরাং শীর্ষ -3 নির্ভুলতা হ'ল:

$$\text{top-1 accuracy} = \frac{\text{4}} {\text{5}} = 0.8$$

বিষাক্ততা

#ভাষা

#মেট্রিক

যে ডিগ্রীতে সামগ্রীটি আপত্তিজনক, হুমকিস্বরূপ বা আপত্তিকর। অনেক মেশিন লার্নিং মডেল বিষাক্ততা সনাক্ত এবং পরিমাপ করতে পারে। এই মডেলগুলির বেশিরভাগই একাধিক পরামিতিগুলির সাথে বিষাক্ততা চিহ্নিত করে যেমন আপত্তিজনক ভাষার স্তর এবং হুমকী ভাষার স্তর।

প্রশিক্ষণ ক্ষতি

#ফান্ডামেন্টালস

#মেট্রিক

একটি নির্দিষ্ট প্রশিক্ষণ পুনরাবৃত্তির সময় কোনও মডেলের ক্ষতির প্রতিনিধিত্বকারী একটি মেট্রিক । উদাহরণস্বরূপ, ধরুন ক্ষতির ফাংশনটি হ'ল স্কোয়ার ত্রুটি । 10 তম পুনরাবৃত্তির জন্য সম্ভবত প্রশিক্ষণ ক্ষতি (গড় স্কোয়ার ত্রুটি) 2.2 এবং 100 তম পুনরাবৃত্তির জন্য প্রশিক্ষণ ক্ষতি 1.9।

একটি ক্ষতির বক্ররেখা প্রশিক্ষণের ক্ষতি প্লট করে পুনরাবৃত্তির সংখ্যা বনাম। একটি ক্ষতির বক্ররেখা প্রশিক্ষণ সম্পর্কে নিম্নলিখিত ইঙ্গিতগুলি সরবরাহ করে:

একটি নিম্নমুখী ope াল বোঝায় যে মডেলটি উন্নতি করছে।
একটি ward র্ধ্বমুখী ope াল বোঝায় যে মডেলটি আরও খারাপ হচ্ছে।
একটি সমতল ope াল বোঝায় যে মডেলটি রূপান্তর পৌঁছেছে।

উদাহরণস্বরূপ, নিম্নলিখিত কিছুটা আদর্শিক ক্ষতির বক্ররেখা শো:

প্রাথমিক পুনরাবৃত্তির সময় একটি খাড়া নীচের দিকে ope াল, যা দ্রুত মডেলের উন্নতি বোঝায়।
প্রশিক্ষণের শেষের কাছাকাছি অবধি ধীরে ধীরে সমতল (তবে এখনও নীচের দিকে) ope াল, যা প্রাথমিক পুনরাবৃত্তির সময় কিছুটা ধীর গতিতে অব্যাহত মডেল উন্নতি বোঝায়।
প্রশিক্ষণের শেষের দিকে একটি সমতল ope াল, যা রূপান্তরকে পরামর্শ দেয়।

প্রশিক্ষণ ক্ষতির বনাম পুনরাবৃত্তির প্লট। এই ক্ষতির বক্ররেখা শুরু হয় একটি খাড়া নীচের দিকে ope াল সঙ্গে। Ope াল ধীরে ধীরে পর্যন্ত সমতল Ope ালু শূন্য হয়ে যায়।

যদিও প্রশিক্ষণের ক্ষতি গুরুত্বপূর্ণ, সাধারণীকরণও দেখুন।

সত্য নেতিবাচক (টিএন)

#ফান্ডামেন্টালস

#মেট্রিক

একটি উদাহরণ যেখানে মডেলটি সঠিকভাবে নেতিবাচক শ্রেণীর পূর্বাভাস দেয়। উদাহরণস্বরূপ, মডেলটি অনুমান করে যে একটি নির্দিষ্ট ইমেল বার্তা স্প্যাম নয় , এবং সেই ইমেল বার্তাটি সত্যই স্প্যাম নয় ।

সত্য ইতিবাচক (টিপি)

#ফান্ডামেন্টালস

#মেট্রিক

একটি উদাহরণ যেখানে মডেলটি সঠিকভাবে ইতিবাচক শ্রেণীর পূর্বাভাস দেয়। উদাহরণস্বরূপ, মডেলটি অনুমান করে যে একটি নির্দিষ্ট ইমেল বার্তা স্প্যাম এবং সেই ইমেল বার্তাটি সত্যই স্প্যাম।

সত্য ইতিবাচক হার (টিপিআর)

#ফান্ডামেন্টালস

#মেট্রিক

পুনর্বিবেচনার প্রতিশব্দ। অর্থাৎ:

$$\text{true positive rate} = \frac {\text{true positives}} {\text{true positives} + \text{false negatives}}$$

সত্যিকারের ইতিবাচক হার হ'ল একটি আরওসি বক্ররেখার y- অক্ষ।

ভি

বৈধতা ক্ষতি

#ফান্ডামেন্টালস

#মেট্রিক

প্রশিক্ষণের একটি নির্দিষ্ট পুনরাবৃত্তির সময় বৈধতা সেটে কোনও মডেলের ক্ষতির প্রতিনিধিত্বকারী একটি মেট্রিক ।

সাধারণীকরণ বক্ররেখাও দেখুন।

পরিবর্তনশীল আমদানি

#df

#মেট্রিক

স্কোরগুলির একটি সেট যা মডেলের প্রতিটি বৈশিষ্ট্যের আপেক্ষিক গুরুত্বকে নির্দেশ করে।

উদাহরণস্বরূপ, একটি সিদ্ধান্ত গাছ বিবেচনা করুন যা বাড়ির দাম অনুমান করে। ধরুন এই সিদ্ধান্ত গাছটি তিনটি বৈশিষ্ট্য ব্যবহার করে: আকার, বয়স এবং স্টাইল। যদি তিনটি বৈশিষ্ট্যের জন্য পরিবর্তনশীল আমদানির একটি সেট {আকার = 5.8, বয়স = 2.5, স্টাইল = 4.7} হিসাবে গণনা করা হয় তবে বয়স বা শৈলীর চেয়ে সিদ্ধান্ত গাছের পক্ষে আকার আরও গুরুত্বপূর্ণ।

বিভিন্ন পরিবর্তনশীল গুরুত্ব মেট্রিক বিদ্যমান, যা এমএল বিশেষজ্ঞদের মডেলগুলির বিভিন্ন দিক সম্পর্কে অবহিত করতে পারে।

ডব্লিউ

ওয়াসারস্টেইন ক্ষতি

#মেট্রিক

উত্পন্ন ডেটা বিতরণ এবং বাস্তব ডেটা বিতরণের মধ্যে পৃথিবী মুভারের দূরত্বের উপর ভিত্তি করে জেনারেটর অ্যাডভারসিয়াল নেটওয়ার্কগুলিতে সাধারণত ব্যবহৃত ক্ষতির ফাংশনগুলির মধ্যে একটি।

ক

নির্ভুলতা

নির্ভুলতা এবং শ্রেণী-ভারসাম্যহীন ডেটাসেট সম্পর্কে বিশদ বিবরণের জন্য আইকনে ক্লিক করুন।

পিআর বক্ররেখার অধীনে এলাকা

ROC বক্ররেখার অধীনে এলাকা

AUC (ROC বক্ররেখার অধীনে এলাকা)

AUC এবং ROC বক্ররেখার মধ্যে সম্পর্ক সম্পর্কে জানতে আইকনে ক্লিক করুন।

AUC এর আরও আনুষ্ঠানিক সংজ্ঞার জন্য আইকনে ক্লিক করুন।

k এ গড় নির্ভুলতা

একটি উদাহরণের জন্য আইকনে ক্লিক করুন

খ

ভিত্তিরেখা

গ

খরচ

বিপরীত ন্যায্যতা

ক্রস-এনট্রপি

ক্রমবর্ধমান বিতরণ ফাংশন (CDF)

ডি

জনসংখ্যাগত সমতা

ই

আর্থ মুভারের দূরত্ব (EMD)

দূরত্ব সম্পাদনা করুন

অভিজ্ঞতামূলক ক্রমবর্ধমান বিতরণ ফাংশন (eCDF বা EDF)

এনট্রপি

সুযোগের সমতা

সমান মতভেদ

evas

মূল্যায়ন

চ

চ ঘ

উদাহরণ দেখতে আইকনে ক্লিক করুন।

ন্যায্যতা মেট্রিক

মিথ্যা নেতিবাচক (এফএন)

মিথ্যা নেতিবাচক হার

মিথ্যা পজিটিভ (FP)

মিথ্যা ইতিবাচক হার (FPR)

বৈশিষ্ট্যের গুরুত্ব

সাফল্যের ভগ্নাংশ

জি

জিনি অপবিত্রতা

জিনি অপবিত্রতা সম্পর্কে গাণিতিক বিবরণের জন্য আইকনে ক্লিক করুন।

এইচ

কবজা ক্ষতি

আমি

ন্যায্যতা মেট্রিক্সের অসঙ্গতি

স্বতন্ত্র ন্যায্যতা

তথ্য লাভ

আন্তঃ-রেটার চুক্তি

এল

L 1 ক্ষতি

আনুষ্ঠানিক গণিত দেখতে আইকনে ক্লিক করুন।

L 2 ক্ষতি

আনুষ্ঠানিক গণিত দেখতে আইকনে ক্লিক করুন।

এলএলএম মূল্যায়ন (ইভাল)

ক্ষতি

ক্ষতি ফাংশন

এম

গড় পরম ত্রুটি (MAE)

আনুষ্ঠানিক গণিত দেখতে আইকনে ক্লিক করুন।

গড় নির্ভুলতা k এ গড় (mAP@k)

একটি উদাহরণ দেখতে আইকনে ক্লিক করুন.

গড় বর্গাকার ত্রুটি (MSE)

আনুষ্ঠানিক গণিত দেখতে আইকনে ক্লিক করুন।

Outliers সম্পর্কে আরো বিস্তারিত দেখতে আইকনে ক্লিক করুন.

মেট্রিক

মেট্রিক্স API (tf.metrics)

সর্বনিম্ন ক্ষতি

মডেল ক্ষমতা

এন

নেতিবাচক ক্লাস

ও

উদ্দেশ্য

উদ্দেশ্য ফাংশন

পৃ

কে এ পাস করুন (পাস@কে)

উদাহরণের জন্য আইকনটি ক্লিক করুন।

কর্মক্ষমতা

পারমুটেশন পরিবর্তনশীল আমদানি

বিভ্রান্তি

ইতিবাচক শ্রেণি

চ _ঘ

L ₁ ক্ষতি

L ₂ ক্ষতি