본문 바로가기

파이토치11

7강. torch_nn 모듈로 첫 신경망 정의하기 이제까지 torch의 자동 미분(auto grad) 기능과 순전파(forward propagation)에 대하여 알아보았다. 오늘은 드디어, torch 라이브러리에서 제공하는 함수들을 이용해서 순전파 챕터에서 텐서로 일일이 정의했던 기본 신경망을 라이브러리 함수를 통하여 만들어 보도록 하자. 딥러닝 라이브러리에서 제공하는 코드를 통하여 신경망을 정의하는 코드가 어떻게 간단해지는지 느껴보았으면 한다. 신경망 정의 (Custom nn Modules) 토치를 사용해서 신경망을 정의할 때 사용하는 함수가 있다. 바로 nn_module()이라는 함수인데, torch에서 신경망을 정의할 때, 이 함수를 사용해서 “클래스”를 만들어 정의한다! 왜 우리가 챕터 @ref(r6)에서 R6관련 클래스 내용을 그렇게도 공부했.. 2021. 11. 8.

3강. 텐서 이동시키기 - CPU tensor vs. GPU tensor 딥러닝(deep learning)에서는 네트워크의 구조가 조금만 복잡해져도, 필요한 계산량이 엄청나게 늘어나기 때문에 GPU는 사실 필수적이다. torch 패키지에서는 텐서를 다룰때에 현재 다루는 텐서가 어디에 저장되어있는가에 대한 일종의 태그를 달아놓는다. 다음의 코드를 살펴보자. a 2021. 10. 4.

2강. 텐서 (tensor) 들의 연산 배우기 지난 챕터에서 우리는 텐서가 행렬의 연산에 적용되는 %*%과 호환이 되지 않는 다는 것을 알게되었다. 이번 챕터에서는 텐서들의 연산에 대하여 알아보도록 하자. 토치 (torch) 불러오기 및 준비물 준비 토치 (torch) 를 불러오고, 이번 챕터에 사용될 텐서 A, B, 그리고 C를 준비하자. 지난 챕터에서 배운 난수를 이용한 텐서도 만들 예정이니 난수를 고정한다. library(torch) # 난수 생성 시드 고정 torch_manual_seed(2021) A 2021. 10. 4.

1강. 딥러닝 첫걸음, 텐서 (tensor) 만들기 torch와의 첫만남 torch패키지를 설치했으니, 한번 만나봐야한다. 다음의 명령어를 통하여 torch를 불러보자. library(torch) 텐서 (tensor) 만들기 텐서가 무엇이냐! 무언가 대단한 것처럼 보이나, 결국 우리가 R을 배웠을때 사용했던 matrix의 개념을 확장시킨 것이라고 생각하면 된다. 결국 다차원 행렬, 혹은 Array인 것이다. 우리가 많이 쓰는 행렬도 Array에 속하지만, 보통 Array라는 용어는 3차원 이상의 행렬을 암시한다. 이름부터 멋있는 딥러닝인데 다른 용어들이 Array같이 다른 패키지에서 사용되는 것들이랑 동일하면 격이 떨어지므로, 텐서 (tensor) 라고 붙였다. 토치 설명서에 따르면 텐서는 R의 Array와 비슷하나, GPU 계산에도 쓸 수 있다고 나와있.. 2021. 10. 4.

신경망과 회귀분석 비교하기 (Neural Net vs. Regression) 저번 시간 우리는 파이토치에서 신경망을 정의하는 방법에 대하여 알아보았다. 오늘은 정의한 신경망을 어떻게 학습하는가에 대하여 알아보도록 하자. 오늘 우리의 목표는 다음과 같다. 정의된 신경망의 학습 방법 알기 Activation function에 따른 학습차이 비교 옵티마이져에 따른 학습차이 비교 히든 레이어 노드 갯수에 따른 학습차이 비교 위의 효과들을 알아보기 위하여 필자가 만든 학생들의 중간, 기말고사 데이터에 적용된 회귀분석 모델과의 비교를 시도하겠다. 학습 준비 - 데이터 import 이번 포스트에서는 필자가 만들어놓은 가상 데이터를 간단히 설명하면 다음과 같다. 30명 학생들의 정보가 들어있는 데이터이고, id, 성별, 중간고사, 기말고사 성적이 들어있는 데이터이다. 필자의 R을 사용한 통계학.. 2020. 7. 22.

파이토치, 신경망 정의 (Custom nn Modules) 저번 시간 우리는 파이 토치의 자동 미분 추적 기능에 대하여 알아보았다. 그리고 그 전 시간에는 R에서의 순전파에 대하여 알아보았다. 아직 안 보신 분들은 보고 오시는 것을 추천한다. Forward propagation, R 버전 오늘은 뉴럴 넷 (Neural network)을 공부하기 위해서 앞으로 우리가 다룰 뉴럴넷 중 가장 현실적이고, 어떤 일이 벌어지고 있는지 상상이 가능한 뉴럴 넷을 정의하는 것을 목표로 하자. 우리가 오늘 � statisticsplaybook.tistory.com 오늘은 파이토치에서 신경망(Neural net)을 어떻게 정의하는지에 대하여 알아보도록 하겠다. 파이토치 패키지, torch.nn 파이토치를 사용해서 신경망을 정의할 때 사용하는 패키지가 있다. 바로 torch.nn이.. 2020. 7. 20.

파이토치, 미분 자동추적 기능 (Autograd) 에 대하여 예제 함수 \(n\) 개의 데이터 \(x_1,..., x_n\)이 주어졌다고 할 때, 우리는 다음의 함수 \(f\)를 정의 할 수 있다. \[ y = f(\beta) = \frac{1}{n}\sum_{i=1}^{n}(x_i - \beta)^2 \] 위의 함수는 통계학에서는 유명한 함수인데, 왜냐하면 데이터의 평균, 즉 표본 평균이 위의 함숫값을 최소화시키는 함수이기 때문이다. 오늘은 이 함수를 통하여 파이 토치의 auto.grad 기능에 대하여 알아보고자 한다. 데이터 생성 파이토치를 불러 데이터를 생성한다. import torch # set seed torch.random.manual_seed(1234) ## data = torch.rand(10) * 10 data ## tensor([0.2898, 4.. 2020. 7. 18.

Forward propagation, R 버전 오늘은 뉴럴 넷 (Neural network)을 공부하기 위해서 앞으로 우리가 다룰 뉴럴넷 중 가장 현실적이고, 어떤 일이 벌어지고 있는지 상상이 가능한 뉴럴 넷을 정의하는 것을 목표로 하자. 우리가 오늘 예로 생각할 뉴럴 넷은 다음과 같다. 2단 레이어이고, 2개의 녹색 노드(node)는 input 레이어를 형성하고 있고, 빨강색의 노드는 output 레이어를 형성하고 있으며, 회색의 3개 노드는 히든 레이어를 형성한다. 자 이제부터, 녹색 노드에는 무엇이 들어가는지, 그리고, 어떤 과정을 거쳐서 빨강색의 값이 나오는지에 대하여 알아보자. 이러한 전 과정을 Forward propagation이라고 부른다. propagation의 뜻은 증식, 혹은 번식인데, 식물이나 동물이 자라나는 것을 의미하는데, 녹.. 2020. 7. 17.

R과 파이토치, 텐서의 변환 (Bridge) 시작부터 이름이 거창하다. 그렇다. 필자가 썸네일로 밀고있는, 그리고 이 시리즈의 존재 이유를 설명하는 포스트다. 태생이 R로 시작해서 그런지 R에 대한 미련을 버릴 수가 없는것 같다. 또한 문서를 작성할 때, R에 대한 의존도가 상당히 높아서 포기가 안됨. PytoRch = Pytorch + R R에서는 Python과의 연동을 위하여 reticulate 이라는 패키지를 제공한다. 이 reticulate을 사용하여 파이썬에서 정의되어 있는 변수들을 R로 불러올 수 있는데, 파이토치에서는 넘파이와의 브릿지 (bridge)를 제공하고 있으니, 필자가 생각하는 R의 강점인 문서작성과 데이터 시각화는 R에서, 딥러닝에서 요구하는 GPU를 이용한 계산은 파이썬에서 하려는 나름 야심찬 계획이 있다. 파이토치 넘파이.. 2020. 7. 15.

파이토치, 텐서 (Tensor) 의 연산 지난 시간, 우리는 텐서가 행렬 혹은 Array의 다른 이름이라는 것을 배웠다. 오늘은 행렬들의 연산에 대하여 다루어보자. 파이토치 (Pytorch) 불러오기 및 행렬 선언 import torch 이번 튜토리얼에서 사용할 텐서들을 만들어보자. torch.manual_seed(1234) ## A = torch.arange(1.0, 13.0).view(4, 3) B = torch.rand(4, 3) C = torch.rand(3, 4) A; B; C ## tensor([[ 1., 2., 3.], ## [ 4., 5., 6.], ## [ 7., 8., 9.], ## [10., 11., 12.]]) ## tensor([[0.0290, 0.4019, 0.2598], ## [0.3666, 0.0583, 0.7006.. 2020. 7. 15.

파이토치, 텐서 (Tensor) 만들기 오늘부터 파이토치를 한 번 파보도록 하겠다. 파이토치 (Pytorch) 불러오기 파이토치의 모토은 GPU 파워가 발달한 지금 기존에 사용되던 넘파이 (NumPy) 를 대체하기 위해서 태어났다. 파이토치 역시 결국 넘파이나 판다스 (Pandas) 같은 패키지 임으로 다음의 명령어를 사용하여 불러온다. import torch 텐서 선언 텐서가 무엇이냐, 겁나 대단한 것처럼 보이나 결국 Array임. 우리가 많이 쓰는 행렬도 Array에 속하지만, 보통 Array라는 용어는 3차원 이상의 행렬을 암시한다. 이름부터 멋있는 파이토치인데 다른 용어들이 Array같이 다른 패키지에서 사용되는 것들이랑 동일하면 격이 떨어지므로, 텐서 (tensor) 라고 붙였다. 파이토치 설명서에 쓰면 텐서는 넘파이의 Array와 .. 2020. 7. 15.

이전 1 다음

티스토리툴바