본문 바로가기

전체 글

 (46)
[WEEK 4-5] CV 이론 Computer Vision - Inverse rendering (Rendering은 Computer Graphics) Machine Learning 에서 Deep Learning 로 - Feature extraction + Classification (엔드투엔드로) Classifier - k Nearest Neighbors (k-NN) Convolutional Neural Networks (CNN) - fully connected : 탬플릿이 조금만 달라져도 다른 결과 - locally connected : 더 적은 파라미터로 효과적 - 영상에 적합하여 다양한 CV tasks에 backbone으로 쓰임 - Image-level classification, Classification+Regression,..
데이터 직군에 대한 지식 쌓기 https://github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%95%BC%EC%9D%98-%EC%A7%81%EA%B5%B0-%EC%86%8C%EA%B0%9C Data Lake - Data Warhouse - Data Mart OLAP vs OLTP column oriented vs row oriented 하둡, 스파크 vs MySQL, 오라클 CPU Bound, IO Bound Nonblocking Async Blocking Sync Airflow, 대시보드 생성 등 k8s ELK EFK stack ML Engineer 1. Core / Applied ML Engine..
[WEEK 3-4] Data Visualization 정형 데이터 - 일반적으로 csv, tsv - Row = 데이터 1개 item - Column = attribute(feature) 시계열 데이터 (Time-Series) - 추세(Trend), 계절성(Seasonality), 주기성(Cycle)을 살핌 지리/지도 데이터 관계 데이터 - 객체는 Node, 관계는 Link 계층적 데이터 - 관계 중 포함관계가 분명한 데이터 - Tree, Treemap, Sunburst 등 분류 - 수치형(numerical) : 연속형(continuous), 이산형(discrete) - 범주형(categorical) : 명목형(nominal), 순서형(ordinal) 마크(mark) : 점, 선, 면으로 이루어진 데이터 시각화 채널(chnnel) : 각 마크를 변경할 수 있..
[WEEK 3] DL Basic Artificial Inteligence : 사람의 지능을 모방하는 것 Machine Learning : 데이터를 통해 학습하는 것 Deep Learning : 뉴럴 네트워크를 사용하는 것 Data, Model, Loss, Algorithm Neural Networks Nonlinear transform이 있어야만 네트워크를 깊게 쌓았을 때 의미가 있음 Multi-Layer Perceptron Loss의 성질을 이해하고 알맞게 사용해야 함 Generalization (일반화) - 학습 데이터와 테스트 데이터간의 차이(Generalization gap)이 얼마나 차이가 나는지 Underfitting vs. Overfitting - 사실 굉장히 이론적인 얘기라고 함 Cross-validation - 보통 이..
[WEEK 2] PyTorch Define and Run - 그래프를 먼저 정의 - 실행시점에 데이터를 feed Define by Run (Dynamic Computational Graph, DCG) - 실행을 하면서 그래프를 생성하는 방식 - PyTorch의 방식 - 즉시 확인 가능한 pythonic한 code Tensor - Array는 Numpy 구조를 가지는 Tensor 객체로 표현 - view : reshape과 동일 - squeeze : 개수가 1인 차원 삭제 (압축) - unsqueeze : 개수가 1인 차원 추가 - mm : 행렬곱셈 연산 dot (matmul은 broadcasting 지원이 방해됨) - nn.functional : 다양한 수식 변환 지원 AutoGrad - backward 함수 사용하여 자동 미분 지원..
[WEEK 1] AI Math 이왕 이렇게 된 거 기초부터 다지자 # 선형모델에서는... 경사하강법(gradient descent) - 쉽게 말하자면 미분, 행렬 등을 통해 효율적으로 최소점을 잡는 기법 - 이를 이용해 선형회귀가 가능 확률적 경사하강법(stochastic gradient descent), SGD - 미니배치를 확률적으로 선택하여 연산자원을 효율적으로 활용 - non-convex 목적식에도 사용 가능하여 머신러닝 학습에 더 효율적 다변수 함수에서 도출되는 gradient는 -np.transpose(expand_x) @ error 참고로 expand_x는 기존 x에 상수항 1을 expand 한 행렬 # 비선형모델에서는... 소프트맥스(softmax) - 선형모델과 결합해 모델의 출력을 확률로 해석할 수 있게 변환하는 연..
RANSAC 알고리즘 RANdom SAmple Consensus 특정 임계값 이상의 데이터를 완전히 무시해버리는 특성이 있어 outlier(이상점)에 강건한 알고리즘 = 가장 많은 수의 데이터들로부터 지지를 받는 모델을 선택하는 방법 outlier : 데이터의 분포에서 현저하게 벗어나 있는 관측값 Hypothesis - 가설 단계 전체 데이터에서 N개의 샘플을 선택하고, 선택된 샘플을 통해 모델을 예측한다. Verification - 검증단계 데이터셋에서 모델과 일치하는 데이터의 수를 센 후, 최대 값일 경우 모델 파라미터를 새롭게 저장한다. 위 두가지 단계를 반복하여 진행 파라미터 샘플링 과정을 몇 번 (N) 반복할 것인지, 그리고 inlier와 outlier의 경계를 (T) 어떻게 정할 것인지 RANSAC 반복회수를 N,..
[백준 BOJ] 2873 롤러코스터 (python) 문제 링크 : https://www.acmicpc.net/problem/2873 2873번: 롤러코스터 첫째 줄에 가장 가장 큰 기쁨을 주는 롤러코스터는 가장 왼쪽 위 칸부터 가장 오른쪽 아래 칸으로 어떻게 움직이면 되는지를 출력한다. 위는 U, 오른쪽은 R, 왼쪽은 L, 아래는 D로 출력한다. 정답 www.acmicpc.net 그리디 카테고리의 첫 문제 롤러코스터입니다. 사실 엄청나게 그리디한 문제도 아니며 플래티넘3 수준의 문제도 아닌 것 같습니다. 하지만 풀이하는 과정이 재밌었기에 이렇게 글로 남겨봅니다. 우선 행 혹은 열이 홀수인 경우 모든 칸을 완전탐색 가능합니다. 가장 흔하게 그러므로 가장 흔하게 완전탐색할 수 있는 S자 뱀모양으로 롤러코스터를 방문시키도록 합니다. 저희가 이후 생각해야 할 경..

티스토리툴바