[ML] Cross Entropy

회귀 문제에서는 MAE, MSE, RMSE등의 지표를 사용하고
분류 문제에서는 Cross Entropy라는 비용함수를 사용한다.

"Cross-Entropy Loss", "Binary Cross-Entropy Loss", "Log Loss"는 모두 동일한 손실 함수를 가리키는 용어이다.
이들 용어는 주로 분류 문제에서 사용되며, 특히 이진 분류(binary classification)에서 빈번하게 등장합니다.

 - Cross-Entropy Loss (크로스 엔트로피 손실): 이 용어는 다중 클래스 분류(multi-class classification)에서 사용될 때 주로 쓰입니다. 클래스가 여러 개인 경우 각 클래스에 대한 확률 분포를 측정하고자 할 때 사용됩니다.

- Binary Cross-Entropy Loss (이진 크로스 엔트로피 손실): 이 용어는 주로 이진 분류(binary classification)에서 사용됩니다. 클래스가 두 개인 경우 (예: 긍정, 부정), 각 클래스에 대한 확률 분포를 측정하고자 할 때 사용됩니다.

- Log Loss (로그 손실): 이 용어도 주로 분류 문제에서 사용되며, 특히 이진 분류에서 자주 쓰입니다. Log Loss는 Binary Cross-Entropy Loss의 다른 표현이며, 실제로는 동일한 것입니다.

따라서 이들 용어는 맥락에 따라 사용되지만 기본적으로 같은 손실 함수를 나타냅니다. 특히 로그 함수가 확률 공간에서의 정보를 측정하는 데 자주 사용되기 때문에 "로그 손실"이라는 용어가 자주 사용됩니다.

해당 공식은 아래와 같습니다.

E는 Cross Entropy
y_i 학습data에 존재하는 i번째 관측치가 가지는 실제 종속변수의 값,
p(y_i=1|x) 종속변수가 1일 확률 

p(y_i=1|x)는 파라미터에 대한 함수이며 이런 Logistic regression 모형은 아래와 같이 계산할 수 있다.
여기서 1|X를 조건부 확률을 이야기 한다. 즉, y_i가 1일 확률이 X를 조건으로 한다.
여기서 독립변수 X가 어떠한값을 취하는지에 따라서 종속변수의 Y-i가 1일 확률이 달라진다는 것을 나타낸다.

b는 파라미터, x는 독립변수