NLP/프로젝트7 GPT Batch API 활용법 (2) - 오류 해결 지난 시간에 이어서 오류가 떴을 때 간단한 해결법을 공유해본다.당연하게도 모든 해결방법을 다루진 않는다또한 지속적인 에러가 발생할 경우 openai status (https://status.openai.com/) 를 먼저 확인하고, status에서 이상이 없을 경우 OpenAI 지원팀에 문의하는게 빠르다공식 Document가 잘되어있어서 참고하는게 좋다 (https://platform.openai.com/docs/guides/batch)우선 페이지 (https://platform.openai.com/batches/) 에 가면 현재 request status를 확인할 수 있다는 것은 저번 포스팅에서 소개했었다. 여기 뜨는 status에는 아래 종류들이 있는데, 간단히 설명하면정상적으로 파일 처리를 할때는 .. 2025. 2. 6. GPT Batch API 활용법 (1) - Batch request 사실 공식 document에 잘 나와있긴 하다. 근데 내가 쓰기 편하려고 모아보려 한다.공식 가이드는 여기 (https://platform.openai.com/docs/guides/batch)실시간 배치 상황 보려면 여기 (https://platform.openai.com/batches) 우선 배치를 쓰는 이유가 뭐냐면, 당연히 싸기 때문이다. 반값이라는 파격적 가격 할인! 물론 audio 처럼 안되는 기능들도 존재하지만...주기적 / 대량의 텍스트 데이터 처리를 할 때 비용 절감을 위해서는 꼭 필요하다. (deepseek api가 안정화되기 전까지는 계속 써야할 듯...) 그럼 이제 GPT 배치 요청 넣고, 받아와서 가공하는 법까지 알아보겠다. 1. Batch JSONL 만들기현재 api를 batch로.. 2025. 2. 6. 좋은 프로젝트란 무엇인가? - 기획편 취준을 하면서, 이번에는 욕심을 내서 여러 프로젝트에 참여하게 되었다. 특히 프로젝트 2개는 초기 단계 멤버로 시작하여 기획이나 UI/UX 쪽도 건드려볼 기회가 생겼는데,평소에 내가 하던 업무와 달라서 기대가 되기도 하고, 알아야 할 것도 많을 것 같아서 이참에 정리를 해보려고 한다.또한 앞으로 계속 AI 프로덕트 개발에 참여하려면 기획적인 측면도 잘 고려해야 훌륭한 개발자로 성장할 수 있을 것이라 생각한다. 이쪽은 전문적으로 공부한 분야는 아니기에, 웹 서치 + 프로젝트 진행할 때 PM 분들과 협업하며 배운 것들을 위주로 서술해보려고 한다. 좋은 프로젝트가 나오기 위해서맨 처음 프로젝트를 시작할 때에는 우선 기획을 잡고, 프로젝트 전체의 진행 계획을 수립하는 것이 중요할 것이다.일반적인 개발 프로젝트가.. 2025. 1. 16. How to Build domain-specific Embedding model - (2) : Dataset 이전 포스팅 ( https://ll2ll.tistory.com/117 ) 에 이어서, 선행 연구를 통해 얻은 인사이트를 토대로 Contrastive Learning을 위한 데이터셋을 설계하고 구축하는 방법에 대해 고민해보고자 한다.한국어 NLI DatasetSupervised Learning을 위함가장 유명한 한국어 NLI Dataset인 KorNLU, KLUE부터 알아보자. KorNLU (KorSTS / KorNLI)Paper : https://arxiv.org/abs/2004.03289Github : https://github.com/kakaobrain/kor-nlu-datasetsKorNLI : SNLI, MNLI, XNLI로부터 수집 / KorSTS : STS-B로부터 수집KorNLI는 기계 번역.. 2024. 12. 11. Azure Function - Mac setting 밖에서 나와서 쓰려니까 Mac에서도 세팅이 필요해서 하는 중...https://learn.microsoft.com/ko-kr/azure/azure-functions/functions-run-local?tabs=macos%2Cisolated-process%2Cnode-v4%2Cpython-v2%2Chttp-trigger%2Ccontainer-apps&pivots=programming-language-csharp Core Tools를 사용하여 로컬로 Azure Functions 개발Azure Functions에서 실행하도록 배포하기 전에 로컬 컴퓨터의 명령 프롬프트 및 터미널에서 Azure Functions를 코딩하고 테스트하는 방법을 알아봅니다.learn.microsoft.com 0. pre-requisi.. 2024. 12. 9. Azure Function - Windows setting 프로젝트를 진행하던 중, 기존에 쓰던 AWS가 비용이 너무 많이 나가는 바람에... 무료 토큰이 제공되는 Azure로 배포 플랫폼을 바꾸기로 결정했다. Windows Local 환경에서 Azure function을 설치하고 실행하는 방법에 대해 알아보고자 포스팅을 시작했다. 0. pre-requisiteAzure Functions를 로컬에서 실행하기 위해서는 Azure Function Core Tools가 필요하며, 이를 위해서 Node.js를 설치해야 한다.Node.jshttps://nodejs.org/en/download/package-manager Node.js — Download Node.js®Node.js® is a JavaScript runtime built on Chrome's V8 Jav.. 2024. 12. 9. 이전 1 2 다음
