본문으로 바로가기

생각의 자취

현재위치 :: HOME BLOG CATEGORY SEARCH ARCHIVE TAGS MEDIA LOCATION GUESTBOOK

네비게이션

  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록
관리자
  • 블로그 이미지
    Sueredis

    Visual Studio Code, AWS, 리눅스 등등 IT와 관련된 다양한 정보들을 모아놓은 곳입니다.

    링크추가
  • 글쓰기
  • 환경설정
  • 로그인
  • 로그아웃

Pytorch DataLoader의 OOM Kill 이슈

Pytorch를 그렇게나 많이 썼는데 이런 이슈가 있는지는 처음알았다.대용량 데이터셋으로 대량의 worker를 사용해서 오래학습할 때 문제가 되고 보통은 큰 문제가 되지 않는 수준이라 그런 가보다. 학습을 하는데 계속 memory 사용량이 조금씩 오르면서 결국 oom kill을 당하는 문제가 있어서 골머리를 썩혔는데그래서 memory leak이 있는지 dataset에서 getitem 호출할 때마다 memory logging 해보고 했는데 memory 사용량이 딱히 일정하게 늘어나지 않는 것이다. 변동이 조금씩 있긴 하지만?근데 system available memory는 계속 줄어들고 있었고 확실히 뭔가가 memory 사용량이 계속 늘고 있다는 뜻이었다. 그래서 나는 side process나 logger..

Programming 2024. 9. 26. 01:27

Ubuntu에 여러 버전의 CUDA 설치하기

여러 종류의 딥러닝 framework를 쓰다보면 여러 버젼의 CUDA가 필요하곤 합니다... 그래서 제가 겪은 경험에 의해 여러 CUDA를 설치하는 법을 공유합니다. 우선 nvidia 사이트에서 cuda 설치파일을 다운받을 수 있습니다. https://developer.nvidia.com/Cuda-downloads?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1804&target_type=runfilelocal CUDA Toolkit 11.2 DownloadsSelect Target Platform Click on the green buttons that describe your target platform. Only su..

Programming/Etc 2021. 1. 25. 21:50

리눅스에서 VPN서버 구축하기 (l2tp방식)

리눅스 서버에서 l2tp방식으로 VPN서버를 구축할 것이다. ​ pptp방식으로는 이전에 이미 글을 올렸지만 pptp 방식은 구글 클라우드(GCP) 에서는 쓸 수가 없다. 또한 보안적으로도 l2tp가 pptp 보다는 이점이 있다고 한다. ㅁ 이 글은 Google Cloud Platform 에서 Cent OS 7을 기준으로 작성되었습니다. GCP CentOS 7에서 VPN 서버 구축하기 GCP 세팅 먼저 GCP에서 Cent OS로 인스턴스를 만들어 줍니다. 무료로 사용할 수 있는 미국리전의 f1-micro로도 저에게는 쓰기가 불편함 없는 속도가 나왔습니다. (프리미엄 네트워크 기준) 프리미엄은 아래 외부 IP로 들어가서 해당 인스턴스의 IP 유형을 고정으로 바꾸면 자동으로 프리미엄이 적용됩니다. 아마 고정..

Programming/Etc 2020. 6. 7. 12:05

[webhacking.kr] old 31번

찾아보니 내 방법대로 푼 사람은 보이지 않길래 올려본다. 내 컴퓨터 서버에 10000~10100 중의 하나의 랜덤 포트로 연결을 시도하는 코드이다. server 파라미터를 변경함으로써 내 컴퓨터가 아닌 주소로도 접속을 하도록 만들 수 있는 것 같다. 근데 랜덤포트가 거슬린다. 보통 url표기법에 :Port 를 적어 사용하는 경우가 많다. 해봤더니 에러메세지가 뜨지 않는다? 아무래도 연결이 되는 것 같다. 저 포트를 80번이 아니라 다른 걸로 했을 때는 연결이 되지 않았다. 그 다음은 뭐.. netcat 서버를 열어서 요청을 받았고, 답을 찾을 수 있었다.

Security/Webhacking 2020. 1. 15. 14:12

SW마에스트로 10기 마지막 후기

중간평가까지의 후기는 이전 글에서 적었었다. 이번 후기가 마지막 후기인만큼, 단순히 정보성 글이나 팁보다는 내가 느꼈던 점을 전달하는 게 더 좋을 것 같다. 소마가 어떤 프로그램인지를 알고 싶다면 이전 후기들을 읽는 게 더 나을 것이다. 중간평가가 끝나고 9, 10, 11월 3개월을 다시 열심히 프로젝트를 수행했다. 사실 중간평가 이후는 그 전과 바뀐 건 딱히 없다. 단지 11월은 진짜 최종평가였기 때문에 중간평가를 준비할 때보다도 훨씬 열심히 했다는 정도. 우리팀은 원래 평일에는 아침부터 저녁까지 센터에 모여서 프로젝트를 수행했는데, 나는 11월 달은 평균적으로 저녁 9시 반은 되서 집에 가곤 했다. 그렇게 준비한 최종평가를 마치고 쉬는 것도 이제 거의 한 달이 되어간다. 우선 내가 SW마에스트로에 지..

글 2019. 12. 17. 10:32
  • 이전
  • 1
  • 2
  • 3
  • 4
  • ···
  • 7
  • 다음

사이드바

NOTICE

  • Tistory
  • 전체 보기
MORE+

CATEGORY

  • 분류 전체보기 (31)
    • 글 (4)
    • Programming (22)
      • Visual Studio Code (8)
      • Tensorflow (2)
      • AWS (2)
      • Etc (9)
    • Security (5)
      • Kali (4)
      • Webhacking (1)

RECENTLY

  • 인기 글
  • 최근 댓글

인기 글

최근댓글

Trackback

TAG

  • Compile
  • NVIDA
  • CUDA
  • vsvode
  • SSH
  • 디버깅
  • CUDA 설치
  • vscode
  • gdb
  • wsl
  • 소마
  • 10기
  • SW Maestro
  • visual studio code
  • SW마에스트로
MORE+

ARCHIVE

CALENDAR

«   2026/08   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31

LINK

  • Github
  • 생각의 자취
  • ML 블로그

VISITOR

오늘
어제
전체
  • 홈으로
  • 방명록
  • 로그인
  • 로그아웃
  • 맨위로
SKIN BY COPYCATZ COPYRIGHT 생각의 자취, ALL RIGHT RESERVED.
생각의 자취
블로그 이미지 Sueredis 님의 블로그
MENU
  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록
CATEGORY
  • 분류 전체보기 (31)
    • 글 (4)
    • Programming (22)
      • Visual Studio Code (8)
      • Tensorflow (2)
      • AWS (2)
      • Etc (9)
    • Security (5)
      • Kali (4)
      • Webhacking (1)
VISITOR 오늘 / 전체
  • 글쓰기
  • 환경설정
  • 로그인
  • 로그아웃
  • 취소

검색

티스토리툴바