신경망 학습 규칙 소개
인공 신경망의 성능 향상을 위해 다양한 규칙을 연구되고 있습니다. 학습 규칙은 주로 네트워크가 특정 환경에서 가중치와 편향을 어떻게 업데이트 할지 결정합니다. 이번 장에서는 신경망의 다양한 학습 규칙을 알아보겠습다.
1. 헤비안 학습(Hebbian Learning)
헤비안 학습(Hebbian Learning)은 뉴런 간 연결 강도를 학습하는 데 사용되는 간단한 학습 규칙입니다. 이 학습 규칙은 "동시에 발화하는 뉴런들은 함께 활성화되어야 한다"는 원리를 기반으로 합니다. 즉, 두 개의 뉴런이 동시에 발화하면 그들 간의 연결 강도를 강화시키고, 한 뉴런만 활성화되면 그들 간의 연결 강도를 약화시키는 것입니다.
헤비안 학습은 생물학적 뉴런의 작동 방식을 모델링하기 위해 개발되었습니다. 이는 뇌에서 뉴런들이 서로 연결되어 정보를 처리하는 방식을 설명합니다. 이러한 방식은 신경망 학습 알고리즘에서 사용되어 강화 학습과 비지도 학습에서 유용합니다. 헤비안 학습은 특히 입력과 출력 간의 연결 강도를 조절하여 입력과 출력 간의 관계를 학습하는 데 사용됩니다.
2. 델타 학습(Delta Learning)
델타 학습(Delta Learning)은 인공 신경망에서 가중치(weight)를 학습시키는 알고리즘 중 하나입니다. 델타 학습은 최소제곱법(Least Square Method)과 비슷한 방식으로 작동합니다. 최소제곱법은 실제값과 예측값의 차이인 오차를 최소화하는 방식으로 가중치를 조정하는 것이며, 델타 학습도 이와 비슷한 방식으로 작동합니다.
델타 학습에서는 각각의 학습 데이터마다 오차를 계산하여 가중치를 업데이트합니다. 즉, 신경망의 출력 값과 실제 값의 차이인 오차를 계산하고, 이 오차를 이용하여 가중치를 조절합니다. 델타 학습에서는 가중치 업데이트를 위한 보정 항(delta term)을 계산하여 사용합니다. 이 보정 항은 오차와 입력 값 간의 곱으로 계산됩니다. 따라서, 델타 학습은 입력 값과 오차에 대한 정보만 사용하여 가중치를 업데이트합니다.델타 학습은 신경망의 학습 속도를 빠르게 하기 위해 사용됩니다. 또한, 델타 학습은 최소제곱법과 비슷한 방식으로 작동하기 때문에 선형 회귀 모델과 같은 일부 모델에서도 사용됩니다.
3. 상관 학습(Correlation Learning)
상관 학습(Correlation Learning)은 인공 신경망에서 가중치(weight)를 학습시키는 알고리즘 중 하나입니다. 상관 학습은 입력 데이터와 출력 데이터 간의 상관 관계를 이용하여 가중치를 업데이트합니다. 즉, 입력 데이터와 출력 데이터 간의 상관 관계가 높을수록 가중치를 크게 조정하고, 상관 관계가 낮을수록 가중치를 적게 조정합니다.
상관 학습에서는 가중치 업데이트를 위해 입력 데이터와 출력 데이터 간의 상관 관계를 계산합니다. 상관 관계는 입력 데이터와 출력 데이터 간의 공분산(covariance)을 입력 데이터와 출력 데이터의 표준 편차의 곱으로 나눈 것입니다. 이 상관 관계를 이용하여 가중치를 업데이트합니다.
상관 학습은 입력 데이터와 출력 데이터 간의 상관 관계가 높을 때 가중치를 크게 조정하므로, 입력 데이터와 출력 데이터 간의 관계를 빠르게 학습할 수 있습니다. 따라서, 상관 학습은 입력 데이터와 출력 데이터 간의 비선형 관계를 학습하는 데 유용합니다. 상관 학습은 또한, 신경망의 학습 속도를 빠르게 하기 위해 사용됩니다.
4. 지각 학습(Percepton Learning)
지각 학습(Percepton Learning)은 인공 신경망에서 가중치(weight)를 학습시키는 알고리즘 중 하나입니다. 지각 학습은 이진 분류(binary classification) 문제를 해결하는 데 사용됩니다. 이진 분류 문제란 입력 데이터가 어떤 범주에 속하는지를 결정하는 문제입니다. 예를 들어, 이메일이 스팸인지 아닌지를 분류하는 문제가 이진 분류 문제입니다.
지각 학습에서는 입력 데이터가 어떤 범주에 속하는지를 결정하는 기준을 정의하고, 이 기준을 이용하여 가중치를 업데이트합니다. 이진 분류 문제에서는 이 기준이 초평면(hyperplane)으로 정의됩니다. 초평면은 입력 데이터를 분류하는 경계선으로 생각할 수 있습니다. 따라서, 지각 학습에서는 가중치 업데이트를 위해 입력 데이터를 초평면에 대입하여 결과 값을 계산하고, 이 결과 값을 이용하여 가중치를 조정합니다.
지각 학습은 입력 데이터가 선형적으로 구분 가능(linearly separable)할 때 사용됩니다. 즉, 초평면으로 구분할 수 있는 경우에만 사용됩니다. 초평면으로 구분할 수 없는 경우에는 다른 알고리즘을 사용해야 합니다. 지각 학습은 초평면을 찾는 데 효과적이며, 간단하고 빠르게 구현할 수 있기 때문에 많이 사용됩니다.
5. 아웃 스타 학습
아웃 스타(Outstar) 학습은 인공 신경망에서 가중치(weight)를 학습시키는 알고리즘 중 하나입니다. 아웃 스타 학습은 지도 학습(supervised learning) 방식으로 입력 데이터와 출력 데이터 쌍을 이용하여 가중치를 학습합니다.
아웃 스타 학습에서는 입력 데이터가 출력 데이터의 목표(target)으로 간주됩니다. 즉, 입력 데이터가 출력 데이터를 생성하기 위해 필요한 정보를 제공합니다. 출력 데이터는 신경망의 출력층에 있는 뉴런들로 구성됩니다. 출력 데이터의 개수는 분류(classification) 문제에서는 클래스(class)의 개수와 동일하며, 예측(prediction) 문제에서는 예측하려는 값의 개수와 동일합니다.
아웃 스타 학습에서는 출력 데이터와 입력 데이터 간의 상관 관계를 이용하여 가중치를 업데이트합니다. 출력 데이터와 입력 데이터 간의 상관 관계는 입력 데이터가 어떤 출력 데이터를 생성하는 데 얼마나 중요한지를 나타냅니다. 즉, 입력 데이터가 특정 출력 데이터를 생성하는 데 중요한 정보를 제공할수록 해당 출력 데이터와의 상관 관계가 높아집니다.
아웃 스타 학습은 비선형 관계를 모델링하는 데 유용합니다. 비선형 관계란 입력 데이터와 출력 데이터 간의 관계가 선형적이지 않은 경우를 말합니다. 예를 들어, 이미지 분류 문제에서는 입력 데이터인 이미지와 출력 데이터인 클래스 간의 관계가 선형적이 아닌 경우가 많습니다. 따라서, 아웃 스타 학습은 이미지 분류와 같은 비선형 문제를 해결하는 데 유용합니다.