본문 바로가기

Develop

(60)
einops 라이브러리 tensor 차원변경용 Einstein notation 은 복잡한 텐서 연산을 표기하는 방법입니다. 이름이 생소할 수는 있어도 사실 선형대수학을 비롯해서 벡터/행렬 등을 표기할 때 일반적으로 쓰는 방법이죠. https://en.wikipedia.org/wiki/Einstein_notation 딥러닝에서 쓰이는 많은 연산은 Einstein notation 으로 쉽게 표기할 수 있습니다. 기존에도 프레임워크마다 'einsum' 라는 API 가 있긴 했지만 각각 작성법이 다르고 기능이 제한적이었는데, 마침 반갑게도 얼마 전에 numpy, pytorch, tensorflow 등 여러 프레임워크를 동시에 지원하는 einops (https://github.com/arogozhnikov/einops) 라는 라이브러리가 공개되었습니다. 그리..
Vision Transfromer (ViT) Pytorch 구현 코드 리뷰 - 3 출처 : https://yhkim4504.tistory.com/7 Vision Transfromer (ViT) Pytorch 구현 코드 리뷰 - 3 github.com/FrancescoSaverioZuppichini/ViT FrancescoSaverioZuppichini/ViT Implementing Vi(sion)T(transformer). Contribute to FrancescoSaverioZuppichini/ViT development by creating an account on GitHu.. yhkim4504.tistory.com 개요 지난 글에서 patch embedding에 이어 multi head attention까지 진행하였고 이제는 VIT Encoder 구조를 구현해 보겠습니다. Re..
Vision Transfromer (ViT) Pytorch 구현 코드 리뷰 - 2 출처 : https://yhkim4504.tistory.com/6 Vision Transfromer (ViT) Pytorch 구현 코드 리뷰 - 2 github.com/FrancescoSaverioZuppichini/ViT FrancescoSaverioZuppichini/ViT Implementing Vi(sion)T(transformer). Contribute to FrancescoSaverioZuppichini/ViT development by creating an account on GitHu.. yhkim4504.tistory.com 개요 패치임베딩까지 진행하였고 이번에는 Multi Head Attention을 진행해보도록 하겠습니다. MHA(Multi Head Attention) Multi He..
Vision Transfromer (ViT) Pytorch 구현 코드 리뷰 - 1 출처 : https://yhkim4504.tistory.com/5 Vision Transfromer (ViT) Pytorch 구현 코드 리뷰 - 1 개요 이미지를 패치들로 나누어 Transformer Encoder에 적용한 Vision Transformer의 구현코드 리뷰입니다. github.com/FrancescoSaverioZuppichini/ViT FrancescoSaverioZuppichini/ViT Implementing Vi(sion)T(t.. yhkim4504.tistory.com 이미지를 패치들로 나누어 Transformer Encoder에 적용한 Vision Transformer의 구현코드 리뷰입니다. github.com/FrancescoSaverioZuppichini/ViT France..
Nvidia-docker 설치 및 설정 (Ubuntu20.04) https://sseongju1.tistory.com/16 [Docker] nvidia-docker2 설치하기 (Ubuntu 20.04) 1. Setting Up Docker (이미 도커가 설치 되어있는경우 이 과정을 Skip하자!!!!) $ curl https://get.docker.com | sh \ && sudo systemctl --now enable docker % Total % Received % Xferd Aver.. sseongju1.tistory.com https://docs.docker.com/engine/install/ubuntu/ Install Docker Engine on Ubuntu docs.docker.com Nvidia Docker NVIDIA Container Toolkit..
Git 명령어 정리 git init : 현재 디렉토리를 Git이 관리하는 프로젝트 디렉토리(=working directory)로 설정하고 그 안에 레포지토리(.git 디렉토리) 생성 git config user.name 'codeit' : 현재 사용자의 아이디를 'codeit'으로 설정(커밋할 때 필요한 정보) git config user.email 'teacher@codeit.kr' : 현재 사용자의 이메일 주소를 'teacher@codeit.kr'로 설정(커밋할 때 필요한 정보) git add [파일 이름] : 수정사항이 있는 특정 파일을 staging area에 올리기 git add [디렉토리명] : 해당 디렉토리 내에서 수정사항이 있는 모든 파일들을 staging area에 올리기 git add . : working..
python pickle 기본 사용법 import pickle my_list = ['a','b','c'] ## Save pickle with open("data.pickle","wb") as fw: pickle.dump(my_list, fw) ## Load pickle with open("data.pickle","rb") as fr: data = pickle.load(fr) print(data) #['a', 'b', 'c']
VS CODE (Code-server) Debugging launch.json https://demun.github.io/vscode-tutorial/debug/#launchjson Debug - Visual Studio Code tutorial vscode debugging vscode 에서 디버깅은 핵심기능중 하나입니다. vscode 에는 node.js 런타임에 대한 디버깅 지원기능이 내장되어 있어 JavaScript, TypeScript 및 JavaScript로 변환된 다른 언어를 디버깅 할 수 있 demun.github.io https://goodthings4me.tistory.com/21 VS Code로 Python 코드 디버깅 시 launch.json Visual Studio Code에서 Python 코드를 디버깅 할 때 launch.json을 생성해야 한다. Pytho..