분류 전체보기 (10) 썸네일형 리스트형 [Linux/SSH] 디렉토리 계정 권한 부여 및 파일 권한 변경법 디렉토리에 계정의 권한을 부여하는 법: chown -R test:test root_directory root_directory의 소유자와 소유그룹을 test로 변경한다는 뜻 -R을 붙이면 하위 디렉토리에 모두 적용됩니다 [Linux/SSH] NoWritableEnvsDirError: No writeable envs directories configured. /Users/(유저명)/minicomda3/envs 의 폴더에 대한 권한이 없는 경우에 발생 root 권한 ($ sudo su - root)으로 chmod 777 ~/envs 로 권한 부여 후 conda create -n (환경 명) python=(버전) [Python]JSON, CSV 1. JSON JSON: 파이썬의 딕셔너리 및 리스트 구조를 기본으로 하는 자료구조, 각 형태가 중첩으로 사용될 수 있다. .json 1차적 활용 예: import json import pprint # pretty print with open('file.json', 'r') as f: data = json.load(f) # data 변수에는 중첩된 dict/list 자료가 저장 # data 변수 출력 pp = pprint.PrettyPrinter(indent = 4) pp.pprint(data['parameters'][0]) 2. CSV CSV(Comma-Seperated Variables): csv 파이썬 내장 모듈과 pandas 모듈로 활용 가능, csv 모듈은 한 줄씩 읽고 처리하여 메모리와 시간 .. [StackExchange 펌] CNN 오버피팅 방지와 배치 사이즈 https://datascience.stackexchange.com/questions/22494/convolutional-neural-network-overfitting-dropout-not-helping [Torch] 사전 훈련된 모델 불러오기, 학습 여부 조정 import torchvision.models as models # 무작위 weight로 초기화된 모델 resnet18 = models.resnet18() vgg16 = models.vgg16() # 사전 훈련된 가중치로 초기화된 모델 resnet18 = models.resnet18(pretrained = True) vgg16 = models.vgg16(pretrained = True) # 모델 학습 여부 조정 - 가중치 고정 for param in resnet18.parameters(): param.requires_grad = False Reference http://www.yes24.com/Product/Goods/107664335 딥러닝 파이토치 교과서 - YES24 기본기에 충실한 딥러닝 파이토치.. [Torch/Tensorflow] 활성화 함수 구현과 where() 함수 유명하거나 제시된지 오래된 활성화 함수는 컴퓨팅 환경에서 생길 수 있는 여러 문제들이 발생하지 않도록 다 손을 보고 프레임워크에 구현되지만, 따끈따끈한 논문의 함수는 직접 구현해야 한다. 그런 경우 지수함수 연산의 역전파 과정에서 기울기가 무한대로 튀거나, 로그에 이상치가 입력되어 정의되지 않은 값을 리턴하거나, x 범위를 나누기 위해 텐서 단위 비교 연산을 하기 위해 몸을 비튼다거나 하는 문제가 생기기 쉽다. 이 때 마지막의 경우 사용할 수 있는 함수로 where() 함수가 있다. ELU를 예시로 들어 설명하겠다. 사용법 - 텐서플로우의 경우 tf.where(조건, True, False) - 토치의 경우 torch.where(조건, True, False) 위 ELU 함수를 구현해보면: (토치 기준) c.. [DL] Activation functions Insight ~ Swish와 Mish https://pnpsumml.tistory.com/4 [DL] Activation Functions Insight ~ 활성화 함수의 발전과 통찰 -1- 이 글에서는 활성화 함수 중 대표적인 것들을 살펴보고, 그 발전에 있던 insight들을 이해하며 활성화 함수의 역할과 이를 위한 특성을 이해해보려고 한다. 딥 러닝 모델에 있어 활성화 함수는 다 pnpsumml.tistory.com 1부 글에서 계단 함수부터 시작하여 ReLU에 이르기까지, 특히 ReLU의 특성에 집중하며 그 발전 과정과 그 발전을 불러온 문제점과 통찰을 살펴보았다. 대표적으로 음의 구간에서 작은 양의 기울기를 가져 음의 활성화 값을 보전하는 Leaky ReLU와, 여기에 지수 함수를 이용해 음의 구간 활성화 값이 발산하지 않도록 하는.. [DL] Activation Functions Insight ~ Sigmoid, tanh, ReLU 이 글에서는 활성화 함수 중 대표적인 것들을 살펴보고, 그 발전에 있던 insight들을 이해하며 활성화 함수의 역할과 이를 위한 특성을 이해해보려고 한다. 딥 러닝 모델에 있어 활성화 함수는 다음과 같은 역할을 가진다. - 모델에게 주어진 문제를 분석하는 데에 있어 비선형성을 더해 더 정확하고 일반화된 가설을 세우도록 한다. 퍼셉트론에서 사용된 이진 분류용 step function을 보면 최초 활성화 함수의 역할이 어떤 것에 초점을 맞추고 있는지 알 수 있다. 최초의 활성화 함수는 이진 분류를 위해 0, 1의 출력으로 구분하여 활성화 값을 분류하는 것이었다. 하지만 뉴런 층을 깊게 하여 기계 스스로 복잡하고 비선형성을 띄는 문제를 해결하는 딥 러닝 이론이 연구되면서, 이러한 이진 활성화 함수는 딥 러닝.. 이전 1 2 다음
