RPC для случайного классификатора

Соображения насчет любимого типа задачек из класса "типа для всех все очевидно, но на самом деле нет".

Обозначения:
\(X\) — выборка объектов, каждый из которых принадлежит классу \(\mathbf{1}\) или классу \(\mathbf{0}\)
\(y_i\) — метка класса объекта \(x_i\)
\(\tilde{y_i}\) — ответ классификатора на объекте \(x_i\)
\(tp = \{x_i \in X : y_i = \mathbf{1} \wedge \tilde{y_i} = \mathbf{1}\}\) — true positive
\(fp = \{x_i \in X : y_i = \mathbf{0} \wedge \tilde{y_i} = \mathbf{1}\}\) — false positive
\(fn = \{x_i \in X : y_i = \mathbf{1} \wedge \tilde{y_i} = \mathbf{0}\}\) — false negative
\(ap = \{x_i \in X : y_i = \mathbf{1}\}\) — actual positive
\(pp = \{x_i \in X : \tilde{y_i} = \mathbf{1}\}\) — predicted positive
\(precision = \frac{|tp|}{|tp| + |fp|} = \frac{|tp|}{|pp|}\)
\(recall = \frac{|tp|}{|tp| + |fn|} = \frac{|tp|}{|ap|}\)

Рассмотрим случайный классификатор, который с вероятностью \(\alpha\) называет объект принадлежащим классу \(\mathbf{1}\). Тогда \(precision\) и \(recall\) как функции от случайных ответов классификатора сами становятся случайными величинами. Найдем их математическое ожидание:

\(\mathbf{E}[precision] = \mathbf{E}[\frac{|tp|}{|pp|}] = \mathbf{E}[\frac{\sum\limits_{k : x_k \in ap}\tilde{y_k}}{\sum\limits_{k : x_k \in X}\tilde{y_k}}]\stackrel{\mathbf{E}[\sum] = \sum{\mathbf{E}}}{=}\sum\limits_{k : x_k \in ap}\mathbf{E}[\frac{\tilde{y_k}}{{\sum\limits_{k : x_k \in X}\tilde{y_k}}}]\tag{1}\)

\(\tilde{y_k}\) являются независимыми одинаково распределенными индикаторными случайными величинами, поэтому \((1)\) можно представить в виде:

\(|ap|\mathbf{E}[\frac{\tilde{y}}{\sum\limits_{x \in X}\tilde{y}}]\), где \(\tilde{y}\) — индикатор того, что случайный объект из выборки классифицирован как \(\mathbf{1}\).

Рассмотрим выражение \(\mathbf{E}[\frac{\sum\limits_{x \in X}\tilde{y}}{\sum\limits_{x \in X}\tilde{y}}]\). С одной стороны, это \(\mathbf{E}[1] = 1\). С другой, это \(|X|\mathbf{E}[\frac{\tilde{y}}{{\sum\limits_{x \in X}\tilde{y}}}] \implies \mathbf{E}[\frac{\tilde{y}}{{\sum\limits_{x \in X}\tilde{y}}}] = \frac{1}{|X|}\). Тогда \((1)\) представляется как \(\frac{|ap|}{|X|}\).

Теперь посмотрим на \(recall\):

\(\mathbf{E}[recall] = \mathbf{E}[\frac{|tp|}{|ap|}]\stackrel{|ap| = Const}{=}\frac{1}{|ap|}\mathbf{E}[\sum\limits_{k : x_k \in ap}\tilde{y_k}] = \frac{1}{|ap|}\mathbf{E}[\sum\limits_{x \in ap}\tilde{y}] = \frac{1}{|ap|}\sum\limits_{x \in ap}\mathbf{E}[\tilde{y}]\tag{2}\)

Так как \(\tilde{y}\) — индикаторная величина, ее математическое ожидание равно вероятности того, что она примет значение \(1\), то есть \(\alpha\) (по условию). Тогда \((2)\) представляется как \(\frac{1}{|ap|}|ap|\alpha = \alpha\).

В итоге:
\(\mathbf{E}[precision] = \frac{|ap|}{|X|}\)
\(\mathbf{E}[recall] = \alpha\)

La búsqueda gana coherencia cuando se determina la importancia del diseño frente a la comodidad. La ficha resulta más completa si incluye datos sobre reposición o disponibilidad. Como apoyo para la comparación, «» puede ayudar a comprobar los datos visibles sin hacer suposiciones. Como último paso, conviene revisar que la descripción coincida con las fotografías.

La búsqueda gana coherencia cuando se determina la importancia del diseño frente a la comodidad. La ficha resulta más completa si incluye datos sobre reposición o disponibilidad. Como apoyo para la comparación, «tercera equipación del Athletic Club» puede ayudar a comprobar los datos visibles sin hacer suposiciones. Como último paso, conviene revisar que la descripción coincida con las fotografías.

По определению \(RPC\) — это график зависимости \(precision\) и \(recall\) от некоторого порогового значения, относительно которого классифицируемые объекты разделяются на два класса (здесь будем считать, что имеется в виду пороговое значение вероятности для классификатора, ответы которого моделируют вероятность принадлежности к классу \(\mathbf{1}\)). В выкладках же вместо порового значения использовалась вероятность \(\alpha\) отнесения к классу \(\mathbf{1}\) случайным классификатором. Здесь будут довольно рукомахательные соображения: можно предполагать, что случайно относить к классу \(\mathbf{1}\) — это то же самое, что равномерно случайным образом генерировать вероятности отнесения к классу \(\mathbf{1}\) для каждого объекта выборки, а потом по выбранному порогу присваивать объекту метку класса. Если это соображение верно, то изменение \(\alpha\) равносильно изменению порога и каждому порогу случайного классификатора, выдающего вероятности, можно сопоставить вероятность \(alpha\) классификатора, который рассматривался изначально.

Получается, что в среднем при работе случайного классификатора \(precision\) вне зависимости от выбранного порога будет равен доле положительных примеров в выборке, а \(recall\) будет меняться обратно пропорционально порогу.