DNN/딥러닝2021. 7. 6. 14:23다층 신경망
1. 배치 경사 하강법. 지금까지 사용한 경사하강법 알고리즘은 알고리즘을 1번 반복할때 1개의 샘플을 사용하는 확률적 경사 하강법을 사용 했습니다. 이 방법은 가중치를 1번 업데이트 할때마다 1개의 샘플을 사용하므로 손실함수의 전역 최솟값을 불안정하게 찾습니다. 배치 경사 하강법은 가중치를 1번 업데이트 할대 전체의 샘플을 사용하므로 손실 함수의 전역 최솟값을 안정적으로 찾을 수 있습니다. 하지만 배치 경사 하강법은 전체샘플을 계산하므로 계산량이 매우 많습니다. 즉, 우리는 배치 경사 하강법을 효율적으로 사용하기 위해 연산에 대해 알아 볼 필요가 있습니다.! 2.벡터화된 연산 & 행렬 연산. 이때까지 정방향 계산을 할때 가중치와 입력을 각각 곱하여 더했습니다. z = np.sum(self.w * x) +..