신기술

[밑바닥딥러닝1] 5장 오차역전파법

신경망 학습은 손실 함수 값을 가장 작게 만드는 가중치 매개변수를 찾는 것.-> 손실 함수의 기울기 활용 4장에서의 수치 미분 방법은 계산 시간이 오래 걸린다는 단점이 있다.5장에서는 더 효율적으로 계산하는 '오차역전파법'을 다루고 있다.  * 국소적 계산- 자신과 관계된 정보만으로 결과를 출력할 수 있다.- 전체가 아무리 복잡해도 각 노드에서는 단순한 계산에 집중하여 문제를 단순화시킬 수 있다.- 중간 계산 결과를 모두 보관할 수 있다. * 미분을 효율적으로 계산- 소비세에 대한 지불 금액의 미분, 사과 개수에 대한 지불 금액의 미분 등- 중간 과정에서의 사과 가격이 전체에 얼마나 영향을 주는지 쉽게 구할 수 있다. - 계산 방법 : 노드로 들어온 입력 신호 x 그 노드의 국소적 미분(편미분)- 덧셈 ..

[밑바닥딥러닝1] 4장 신경망 학습 - 오차제곱합, 교차 엔트로피 오차

신경망 학습: 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것. * 손실함수 -> 신경망이 학습할 수 있도록 도와주는 지표 손실함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것임. 신경망은 데이터를 보고 학습할 수 있다는 특징이 있다.데이터를 보고 학습한다는 것은 가중치 매개변수를 자동으로 결정한다는 것.  숫자 5를 인식하는 알고리즘을 설계하는 대신,주어진 이미지 데이터들에서 특징을 추출하고 그 특징의 패턴을 기계학습 기술로 학습한다.이미지 데이터 -> 벡터 -> (지도학습) SVM, KNN 으로 학습 * 딥러닝 end-to-end machine learning 처음부터 끝까지 데이터 입력에서 출력까지 사람의 개입이 없다.신경망은 주어진 데이터를 온전히 학습하고, 패턴을 발..

[밑바닥딥러닝1] 3장 신경망 - 활성화함수(계단 함수, 시그모이드 함수, ReLU 함수)

📌  신경망입력층 -> 은닉층 -> 출력층 📌 활성화 함수(activation function)입력 신호의 총합을 출력 신호로 변환하는 함수 퍼셉트론 => 활성화 함수가 step function 계단 함수 였음.활성화 함수를 계단 함수에서 다른 함수로 변경하는 것이 신경망으로 나아가는 것임.  = 퍼셉트론과 신경망의 차이는 활성화 함수 1. 계단 함수def step_function(x): y = x>0 return y.astype(np.int) >>> import numpy as np>>> x = np.array([-1.0, 1.0, 2.0])>>> xarray([-1., 1., 2.])>>> y = x>0>>> yarray([False, True, True])>>> y = ..

[밑바닥딥러닝1] 2장 퍼셉트론 - AND,NAND,OR 게이트

Perceptron 이란? 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. AND 게이트>>> def AND(x1, x2):... w1, w2, theta = 0.5, 0.5, 0.7... tmp = x1*w1 + x2*w2... if tmp theta:... return 1...>>> AND(0,0)0>>> AND(1,0)0>>> AND(0,1)0>>> AND(1,1)1  + 가중치(weight)와 편향(bias) 도입가중치 (w1, w2)는 "각 입력 신호가 결과에 주는 영향력(중요도)을 조절하는 매개변수"편향(bias)은 "뉴런이 얼마나 쉽게 활성화(결과 1) 하느냐를 조정하는 매개변수" >>> import numpy as np>>> x = np.a..