#40 번역 관련 조언부탁드립니다.

[Domirae]

현재 #40 에 해당하는 문서 중 3.5챕터를 해석하고 있는데
번역과 관련하여 조언이 필요해서 몇가지 질문 드려요

1. Cross entropy 관련

Crossentropy is a quantity from the field of Information Theory, that measures the "distance" between probability distributions, or in our case, between the ground-truth distribution and our predictions.

교차 엔트로피는 정보 이론 분야의 양으로 확률 분포 사이의 거리 또는 우리 케이스에서는 지상 검증자료 (자료를 분석하고 해석하는데 뒷받침이 될 수 있는 보조 또는 기준 자료)와 예측 사이의 '거리'를 측정하는 것입니다.

이런식으로 해석해봤는데 제가 교차 엔트로피를 대략적으로 파악하고 있어 해석하는데 어려움이 있습니다.

2. gradient descent 관련

That's what you would expect when running gradient descent optimization -- the quantity you are trying to minimize should get lower with every iteration.

이것은 경사하강법 optimization 알고리즘을 실행할 때 예상되는 결과입니다. 즉, 우리가 최소화하려는 ***quantity는 매번 반복할 때 마다 더 낮아져야 합니다.

여기서 quantity를 오차의 수(?) 로 파악했는데 제가 파악한게 맞는건지 궁금합니다..

제가 딥러닝을 다시 공부하고 있어서.. 해석하는데 어려움이 많네요
조언 남겨주시면 감사하겠습니다 :)

[mike2ox]

@Domirae
1번 문항

• 관련 자료를 참조하면
  "교차 엔트로피는 정보 이론 분야에서 어떤 양을 뜻하는데 이는 확률 분표간의 차이 혹은, 우리 케이스에서, 기준값에 대한 분표와 예상값 간의 차이를 측정하는 것입니다." 로 될 수 있겠네요
• 추가로 Ground-Truth는 '기준이 되는' 이라는 의미를 띄므로 딥러닝에서 중요 요소 중 하나라고 보시면 되겠습니다.참조

2번 문항

• gradient descent에 대한 최적화를 다루는 내용이니 quantity는 loss function(손실함수)의 출력 값으로 보이네요. 단어 표현으론 '손실 값(?)'정도로 하면 어떨까 싶네요.

[visionNoob]

1.1 Crossentropy is a quantity that measures the "distance" between probability distributions.
(from the field of Information Theory를 떼어놓고 보면 )

해석 : 교차 엔트로피는 확률 분포들간의 "거리" 를 측정하는 양이다.
해설 : 교차 엔트로피는 어떤 "양(스칼라 값)" 나타냅니다. 이 값은 확률 분포들 간의 거리를 측정하기 위한 값입니다. 가령 두 분포가 있는데 두 분포를 가지고 측정한(measures) 교차 엔트로피(스칼라 값, 양)가 크다면, 두 분포의 거리가 멀다는 의미이고, 반대로 두 분포의 교차 엔트로피가 작다면, 두 분포의 거리가 가깝다는 의미입니다.

1.2 "from the field of Information Theory"

이는 단순하게 Crossentropy 라는 용어가 정보이론(Information Theory) 이라는 분야에 어원을 두고 있다는 뜻으로 사료됩니다.

1.3 Ground-Truth에 대한 해석
이 부분은 다른 분들의 의견도 듣고싶습니다.

우선 여기에서 의미하는 바는. Supervised Learning 문제에서 내가 예측한 결과(prediction)과 실제 정답값(ground-truth)이 최대한 가까울수록 좋습니다(Loss가 낮습니다). 여기에서는 손실함수(Loss function)를 교차 엔트로피로 정했는데, 보통 모델을 손실함수가 낮아지는 방향으로 학습합니다. 즉 교차 엔트로피가 낮은 방향으로 학습하는 것인데. 앞서 교차 엔트로피는 확률 분포들간의 거리를 나타내는 지표이고, 확률 분포들간의 거리가 가까울수록 교차 엔트로피 값이 작았습니다. 즉 정답값들의 분포(ground-truth distribution) 과 내가 예측한 값들의 분포(our predictions)이 가까울수록 교차 엔트로피가 작아질 것이고, 즉 손실이 작은 것이죠.
이 경우 Ground-Truth 를 어떻게 번역할지는 다른분들의 의견을 들어보고싶습니다.

[fuzzythecat]

@insurgent92
저라면 ground-truth distribution은 정답 분포라고 번역할 것 같습니다.

[mike2ox]

@insurgent92
저도 ground-truth는 정답으로만 표기하는게 맞을 거 같아요.

[Domirae]

의견 감사합니다!