Pytorch DataLoader의 OOM Kill 이슈 Pytorch를 그렇게나 많이 썼는데 이런 이슈가 있는지는 처음알았다.대용량 데이터셋으로 대량의 worker를 사용해서 오래학습할 때 문제가 되고 보통은 큰 문제가 되지 않는 수준이라 그런 가보다. 학습을 하는데 계속 memory 사용량이 조금씩 오르면서 결국 oom kill을 당하는 문제가 있어서 골머리를 썩혔는데그래서 memory leak이 있는지 dataset에서 getitem 호출할 때마다 memory logging 해보고 했는데 memory 사용량이 딱히 일정하게 늘어나지 않는 것이다. 변동이 조금씩 있긴 하지만?근데 system available memory는 계속 줄어들고 있었고 확실히 뭔가가 memory 사용량이 계속 늘고 있다는 뜻이었다. 그래서 나는 side process나 logger.. Programming 7개월 전
Ubuntu에 여러 버전의 CUDA 설치하기 여러 종류의 딥러닝 framework를 쓰다보면 여러 버젼의 CUDA가 필요하곤 합니다... 그래서 제가 겪은 경험에 의해 여러 CUDA를 설치하는 법을 공유합니다. 우선 nvidia 사이트에서 cuda 설치파일을 다운받을 수 있습니다. https://developer.nvidia.com/Cuda-downloads?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1804&target_type=runfilelocal CUDA Toolkit 11.2 DownloadsSelect Target Platform Click on the green buttons that describe your target platform. Only su.. Programming/Etc 4년 전
리눅스에서 VPN서버 구축하기 (l2tp방식) 리눅스 서버에서 l2tp방식으로 VPN서버를 구축할 것이다. pptp방식으로는 이전에 이미 글을 올렸지만 pptp 방식은 구글 클라우드(GCP) 에서는 쓸 수가 없다. 또한 보안적으로도 l2tp가 pptp 보다는 이점이 있다고 한다. ㅁ 이 글은 Google Cloud Platform 에서 Cent OS 7을 기준으로 작성되었습니다. GCP CentOS 7에서 VPN 서버 구축하기 GCP 세팅 먼저 GCP에서 Cent OS로 인스턴스를 만들어 줍니다. 무료로 사용할 수 있는 미국리전의 f1-micro로도 저에게는 쓰기가 불편함 없는 속도가 나왔습니다. (프리미엄 네트워크 기준) 프리미엄은 아래 외부 IP로 들어가서 해당 인스턴스의 IP 유형을 고정으로 바꾸면 자동으로 프리미엄이 적용됩니다. 아마 고정.. Programming/Etc 5년 전
Jupyter Notebook 설치 및 외부 접속 허용하기 클라우드의 머신을 관리하기위해 주피터 노트북을 사용하려면 외부접속을 허용해야만 한다. https://goodtogreate.tistory.com/entry/IPython-Notebook-설치방법 Jupyter 서버 설치 및 실행법 Jupyter 서버 설치 및 실행법 Data Science 분야와 과학분야에서 편하게 Python이 쓰이도록 개발된 Notebook에 대해서 살펴본다. 사용된 설치환경은 아래와 같다. Ubuntu 18.04 실행 명령어 (개인 환경) -나의 경.. goodtogreate.tistory.com 이런 포스팅을 참고하면 따라할 수 있을 것이다. 하지만 매번 그렇게 하기 귀찮다. #!/bin/bash sudo apt update sudo apt install -y python3 sud.. Programming/Etc 6년 전
Visual Studio Code Python 사용법 Visual Studio Code 상에서 파이썬 코드를 실행시키고 디버깅하는 방법에 대한 글이다. 우선 파이썬과 Vscode를 설치해준다. Vscode의 설치는 https://evols-atirev.tistory.com/4를 참고해서 설치해준다. Python 설치 https://www.python.org/downloads/ Download Python The official home of the Python Programming Language www.python.org 여기에 들어가서 파이썬을 설치할 수 있다. 기본적으로 최신버전을 다운받으면 된다. 참고로, 여기서 Download 버튼으로 다운로드하면 64bit 환경이라도 32bit 파이썬이 다운로드 된다. 64bit를 다운받고 싶다면, 밑에 내리면 .. Programming/Visual Studio Code 6년 전
카카오톡 알림 꺼놓는 법 가끔씩 카카오톡 알림을 끄고 싶을 때가 있다. 그럴 때 그냥 카카오톡 설정에서 알림을 끄거나 하면 알림이 오지는 않지만 이렇게 숫자는 계속 쌓인다. 이게 계속 보이기 때문에 신경이 쓰인다. 그래서 또 다른 방법으로는 wifi와 데이터를 통째로 꺼버리는 방법이 있다. 근데 문제는 그러면 인터넷 자체도 사용할 수 없게된다는 단점이 있다. 인터넷은 연결된 채로 카카오톡을 신경 쓰고 싶지 않을 때 사용할 수 있는 방법이 있다. 설정 - 애플리케이션 에서 카카오톡으로 들어간다. 이런 식으로 나올 것이다. 여기서 강제 중지를 눌러준다. 오류가 발생할 수 있다고 나오지만 그냥 강제 중지를 하면 이제부터는 누군가가 나에게 메세지를 보내도 와이파이를 껐을 때처럼 아무 반응이 없다. 그리고 내가 카카오톡을 다시 실행시키면.. Programming/Etc 6년 전
Visual Studio code(vscode) WSL 사용하기 VScode의 업데이트 덕분에 WSL 환경에서 vscode를 쉽게 사용할 수 있게 되었다. 사전 준비 이를 위해서는 사전에 당연히 VS code가 윈도우에 설치되어있어야하고 WSL 시스템도 설치되어 있어서 bash를 열 수 있어야 한다. 만약 이 두개가 설치되어 있지 않다면 https://evols-atirev.tistory.com/13 를 참조해서 두개를 설치하는 부분까지만 따라하면 된다. VS code로 WSL 사용 우선 https://marketplace.visualstudio.com/items?itemName=ms-vscode-remote.vscode-remote-extensionpack 여기에 접속해서 Remote Development라는 확장 프로그램을 설치하자. Continue.. Programming/Visual Studio Code 6년 전
원격서버 vscode로 연결해서 작업하기 Microsoft의 visual studio code로 자신의 로컬 컴퓨터의 파일 뿐만 아니라 원격 서버까지 워킹 디렉토리로 삼을 수 있습니다. 이 방법을 사용하면 WSL에도 쉽게 접속해서 사용할 수 있습니다. WSL에 사용할 때는 ssh 서버를 bash에서 열어서 윈도우의 vscode를 이용해 접속하여 사용하면 됩니다. WSL의 경우에는 ssh를 사용하지 않아도 wsl 확장이 따로 있습니다. 그러기 위해서는 원격 서버가 있을 것이고, 그 서버에 접속하고자하는 컴퓨터에는 vscode가 설치되어 있어야 합니다. 아직까지는 ssh서버는 리눅스 서버여야하고 윈도우나 맥의 ssh서버는 지원하지 않는다네요.(19.07.13.) 원격 SSH 서버 열기 먼저 원격 ssh 서버를 열어야 합니다. 우선 리눅스의 경우.. Programming/Visual Studio Code 6년 전
클라우드 우분투에 gui로 원격 연결하기 구글 클라우드나 aws에서 제공하는 리눅스를 이용하다 보면 gui가 쓰고 싶은 때가 있다.그걸 하는 방법을 설명한다.클라우드에 있는 우분투 18.04에 gui로 연결해보도록 하겠습니다.이 과정은 먼저 클라우드 인스턴스에 gui를 설치하는 과정과 원격으로 우분투에 연결하는 과정으로 나뉩니다.저는 Google Cloud를 이용하여 진행하겠습니다.클라우드용 우분투 Server에 GUI 설치하기클라우드에서 우분투 인스턴스를 만들면 기본적으로 Server용으로 설치가 되는 듯 한데 여기에는 gui가 없습니다.먼저 우분투 인스턴스를 생성해줍니다. 자 처음에는 모두 cui 환경입니다 나중에 패스워드가 필요할 텐데 원하는 대로 바꿉니다. sudo 라서 현재 패스워드를 몰라도 바꿀 수 있습니다.sudo apt u.. Programming/Etc 6년 전
나만의 커스텀 윈도우10 만들기 VMware에 윈도우를 설치하고 나만의 윈도우를 만들어보겠습니다. VMware는 Workstation이면 스냅샷을 쓸 수 있어서 에러 테스트를 해볼 수 있어 좋습니다. 윈도우10 설치 우선 윈도우를 설치하기 위해 ISO파일이 필요합니다. https://www.microsoft.com/ko-kr/software-download/windows10 위 링크에 들어가서 도구를 다운로드 합니다. 그러면 USB에 굽는 옵션과 ISO파일을 다운받는 옵션이 있는데 ISO파일을 다운받아주시면 됩니다. 다음으로는 vmware에 윈도우를 설치해야합니다. 저는 용량은 30GB정도로 했습니다. single file 이 아니라 multiple files이어도 마운트만 할 수 있으면 상관없습니다. 그런데 가상하드를 만들.. Programming/Etc 6년 전
