-
240908 취뽀 (임시) 일상
안녕하세요 간만에 일상 글로 돌아왔습니다 비밀 얘기들 (?) 쓰려고 개인 일기장도 샀는데, 요즘 안 쓰고 있다...사유는 너무 바빠서 -> 이건 좀 핑계고 그냥 쓸 정신이 없었던 것 같다 ㅎㅎ 간만에 잠도 푹 자고 식사도 야무지게 한 주말 오후이니만큼, 마지막으로 일상 글을 쓴 3개월 전의 나와 지금의 내가 어떻게 달라졌는지를 비교해보려 한다. 취뽀 (임시)사실 최근에 있었던 가장 큰 이벤트라 한다면, 취뽀 (임시) 라고 할 수 있겠다.왜 (임시) 인가 하면? 정규직이 아닌 체험형 인턴이기 때문ㅎㅎ 총 두 곳에서 면접 제의가 와서, 일주일 정도의 텀을 두고 면접을 보게 되었다. 면접 - 1우선 첫 번째로 면접을 봤던 곳은 다대다 면접이었다.이 날 길을 좀 헤메서 면접 장소에 진짜 아슬아슬하게 도착했다.다..
2024.09.08
-
다양한 디코딩 전략 : model.generate()에 관한 고찰
이번에 국립국어원 대회에 참여하다보니, 현재 쓰고 있는 model.generate()에 대해서 보다 깊이 알아보고 싶어졌다. generate() 는 각 프레임워크에 따라 구현된 클래스가 다르다고 한다.PyTorch generate() is implemented in GenerationMixin.TensorFlow generate() is implemented in TFGenerationMixin.Flax/JAX generate() is implemented in FlaxGenerationMixin. 우리의 모델은 PyTorch 로 구현되었으니, GenerationMixin에 구현된 generate method와 그 인자를 살펴보자. class | GenerationMixintransformer 라이브러리..
2024.08.08
-
[논문 Review] 19. Mixed Precision Training
FP16 casting을 통해 메모리 사용량과 학습 시간을 단축시키자! https://arxiv.org/abs/1710.03740 Mixed Precision TrainingDeep neural networks have enabled progress in a wide variety of applications. Growing the size of the neural network typically results in improved accuracy. As model sizes grow, the memory and compute requirements for training these models also increases.arxiv.org Abstract일반적으로 신경망의 크기를 늘리면 정확도가 향상되..
2024.07.25
-
colab vscode ssh 연결하기 (WSL2, Mac)
내가 보려고 정리해두기[로컬]1. cloudflare를 다운받기https://developers.cloudflare.com/cloudflare-one/connections/connect-networks/downloads/Windowswinget install --id Cloudflare.cloudflared혹은 executable 파일 다운 Macbrew install cloudflared 2. cmd 관리자 권한으로 실행Windowswhere cloudflared입력해서 cloudflared가 어디에 깔렸는지 확인하기 3. vscode 확장 프로그램 'remote-SSH' 설치 [Colab]4. 코랩 구글 드라이브 마운트 (로그인 필요)from google.colab import drivedriv..
2024.07.15
-
[논문 Review] 18. Recommendation as Language Processing (RLP) : A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)
논문의 핵심 내용 한줄 요약LLM으로 추천 시스템을 구축해보자! https://arxiv.org/abs/2203.13366 Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)For a long time, different recommendation tasks typically require designing task-specific architectures and training objectives. As a result, it is hard to transfer the learned knowledge and representations from one task ..
2024.07.11
-
[BOJ] 14503. 로봇 청소기
문제https://www.acmicpc.net/problem/14503구현 문제는 항상 조건이 길~어서 읽다가 지치는 감이 있다그래도 착실히 구현만 하면 되는 문제! 주요 아이디어북동남서 (0,1,2,3) 인덱스 넘버순회를 할 때에는 "반시계방향"으로 한 다는 점에 주의!방문처리는 숫자 2로 진행 (별도의 visited 필요 X) 코드 구현 (Python 3)from collections import dequeN, M = map(int, input().split())r, c, d = map(int, input().split())cnt = 0# 북동남서direction = [[-1, 0], [0, 1], [1, 0], [0, -1]]graph = []for _ in range(N): graph.ap..
2024.07.05
