삽질 기록

https://www.bucketplace.com/post/2025-01-17-%EC%98%A4%EB%8A%98%EC%9D%98%EC%A7%91-ai-%EC%9D%B8%ED%84%B4-%E2%80%98%EC%98%A4%EC%A7%91%EC%82%AC%E2%80%99-%EA%B0%9C%EB%B0%9C-%EC%97%AC%EC%A0%95/ 오늘의집 AI 인턴 ‘오집사’ 개발 여정 - 오늘의집 블로그Amazon Bedrock을 활용한 AI 기술 도입과 내재화 전략www.bucketplace.com  혹시 회의록 작성 때문에 골치 아팠던 적, 다들 한 번쯤 있으시죠? 저 역시 이전 프로젝트에서 리포트 요약 챗봇을 개발하며, 회의록을 포함한 체계적인 문서화의 중요성을 뼈저리게 느꼈어요.회의 내용을 일일이 기억해서 ..

경험 리뷰/한국경제 with Tossbank 2025. 1. 21. 19:56

2024년, 나에게는 너무도 많은 변화가 있었던 한 해였다.나는 디자인을 전공하며 손으로 무언가를 만들어내는 아날로그적인 작업을 참 좋아했다.의상 디자인을 공부하며 즐거운 순간도 많았지만, 아쉬움도 있었다.특히 수업 방식이 교수님의 개인적인 취향에 좌우된다는 생각이 들었고, 객관적이고 직관적인 평가 기준이 없다는 점에 불만을 느꼈다.결국, 군 입대를 계기로 자퇴를 결심했다."현장에서 직접 부딪히며 더 많이 배우겠다"는 결심으로 시작한 도전이었다. 4년제 졸업장이 없으면 취업이 어렵다는 말을 듣고, 학점은행제를 통해 졸업장을 취득했다.그 후 동대문에서 원단 수배와 디자인실 아르바이트를 하며 실무 경험을 쌓았다.그러던 중, 학교 선배의 권유로 신생 브랜드 디렉터 보조로 합류했다.처음 6개월은 "시간을 오래 ..

경험 리뷰/취업 2025. 1. 20. 02:08

Kubernetes in public cloud 쿠버네티스는 설치 운영 및 모니터링 과정 중 장애가 발생하면 이슈를 해결하기 쉽지않아 쿠버네티스를 감싼 여러 관리형 서버를 사용하는것이 좋다. 위와 같은 오픈소스를 활용하여서 명령어 한 두줄로 쿠버네티스를 연습해볼 수 있다. 쿠버네티스는 선언형 인터페이스로 요청하는것을 권장한다.  쿠버네티스(Kubernetes)는 컨테이너 오케스트레이션 도구로, Master Node(제어 플레인)와 Worker Node(작업 노드)로 구성됩니다. 쿠버네티스 클러스터는 여러 개의 서버(물리적 또는 가상 서버)를 하나로 묶어서 동작합니다.Master Node는 클러스터를 관리하고 조정하는 역할을 하며, 주요 구성 요소는 다음과 같습니다:API Server: 클러스터와 사용자 ..

경험 리뷰/한국경제 with Tossbank 2025. 1. 9. 01:22

Docker Image Docker images 어떤 애플리케이션에 대해서, 단순히 애플리케이션 코드뿐만이 아니라, 그 애플리케이션과 dependent한 모든 것을 함께 패키징해서 어디에서나 컨테이너의 형태로 run할 수 있는 데이터 Docker file 사용자가 도커 이미지를 쉽게 만들 수 있도록, 제공하는 템플릿   DockerfileDockerfile 만들기Dockerfile 이라는 이름으로 빈 file을 하나 만들어봅니다.cd $HOME # home 디렉토리로 이동mkdir docker-practice # docker-practice 라는 이름의 폴더를 생성cd docker-practice # docker-practice 폴더로 이동touh Dockerfile # Dockerfile 이라는 빈 파..

경험 리뷰/한국경제 with Tossbank 2025. 1. 8. 18:22

Docker 의 기본적인 명령어 Docker pullDocker image repository부터 Docker image를 가져오는 커맨드입니다.docker pull --help - 예시docker pull ubuntu:18.04docker.io/library 라는 이름의 repository에서 ubuntu:18.04라는 image를 노트북에 다운로드하게 됩니다.+ 추후 docker.io 나 public 한 docker hub 와 같은 repository 대신에, 특정 private 한 repository에서 docker image를 가져와     야 하는 경우 docker login을 통해서 특정 repository를 바라보도록 한 뒤, docker pull을 수행하는 형태로 사용합니다. Docker ..

경험 리뷰/한국경제 with Tossbank 2025. 1. 8. 16:02

배경 MLOps를 위해서는 위와 같은 세가지 작업을 자동화 하는 과정이 필요합니다. 위 작업을 위해서는 Containerization, Container Orchestration이 필요한데,현재 가장 유명한 오픈 소스는 도커와 쿠버네티스 입니다. 컨테이너화(Containerization)는 특정 머신러닝 코드나 프로그램이 운영 체제(OS), Python 환경, 패키지 버전(pyp 패키지 등)과 같은 실행 환경에 영향을 받지 않고 독립적으로 동작할 수 있도록, 실행 환경 전체를 하나의 패키지로 묶는 기술을 말합니다. 이를 통해 해당 코드를 다른 컴퓨터나 서버에서도 동일한 환경에서 실행할 수 있게 보장합니다. 쿠버네티스는 컨테이너화된 애플리케이션을 여러 서버에 효율적으로 배치·확장·관리하며, 로드 밸런싱과 ..

경험 리뷰/한국경제 with Tossbank 2025. 1. 8. 03:22

한국 경제신문 with Tossbank에서 주최한 MLOps / Full_stack과정이 막을 내렸습니다.광고회사에서 근무를 하다가 데이터와 자동화에 관심이 생기지만 혼자 공부할 엄두가 나지 않아서 무작정 시작하게 된 과정인데, ML, DL, LLM이라는 새로운 세상을 열어준 세상 문돌이인 저에게는 큰 전환점이 된 시간이었습니다. 오늘은 6개월의 결과인 Final_Project에 대해서 리뷰해보려고 합니다.   다들 투자에 관심이 있으신가요?그렇다면 증권사에서 발행하는 리포트를 한 번쯤 읽어 보셨을 거라 생각합니다.저희의 조사에 따르면 네이버리서치 센터 기준으로 하루에 약 100건 정도의 리포트가 업데이트되고 있습니다. 적지 않죠?관심 있는 몇 개의 리포트만 골라서 본다고 하더라도 결코 적은 양은 아닐 ..

경험 리뷰/한국경제 with Tossbank 2024. 12. 24. 14:54

수강 강의https://fastcampus.co.kr/data_online_teddy 테디노트의 RAG 비법노트 : 랭체인을 활용한 GPT부터 로컬 모델까지의 RAG 가이드 | 패스트캠퍼스2만 구독자의 설문을 기반으로 만든 "테디노트의 RAG 비법노트" RAG의 기초부터 심화까지 체계적으로 마스터할 수 있는 40시간 분량의 로드맵을 확인하세요. 수강생 전용 테디노트의 RAG 커뮤니티 +fastcampus.co.kr  완강 후기 코딩이 익숙하지 않아 막막했지만, 강의가 기초(Python)부터 차근차근 설명되어 있어 따라갈 수 있었어요. 인공지능이라는 개념이 생소했지만, 실습을 통해 직접 구현해 보니 이 기술이 얼마나 강력한지 체감할 수 있었어요. 코드를 하나씩 작성하면서 "나도 이런 기술을 다룰 수 있다"..

경험 리뷰/한국경제 with Tossbank 2024. 12. 15. 01:27

Transformer의 등장 : NLP의 혁신  Transformer 모델은 2017년 등장한 이래, 자연어 처리(NLP) 분야에서 혁신적인 성과를 이뤄냈으며, 다양한 언어 모델의 기반이 되었다. 특히, 기계 번역과 같은 자연어 응용 분야에서 뛰어난 성능 향상을 보여주었고, 이는 기존의 모델들과 비교할 때 압도적인 결과를 나타냈다.  이 모델의 핵심은 Self-Attention 메커니즘을 활용한 단어 간의 상호작용이다. Self-Attention은 각 단어를 숫자 벡터로 변환한 후, 내적을 이용해 단어 간의 유사도를 계산하고, 이를 통해 문장 내에서 서로 얼마나 밀접한 관련이 있는지를 파악한다. 이 과정에서 단어들의 관계를 더 잘 이해하고, 번역을 할 때 어떤 단어에 집중해야 하는지 학습한다.Self-A..

경험 리뷰/한국경제 with Tossbank 2024. 10. 9. 17:25

RNN(Recurrent Neural Network) 시퀀스 : 문장 같은 단어가 나열된 것을 의미시퀀스 모델 : 이러한 시퀀스들을 처리하기 위해 고안된 모델. 그 중 RNN은 딥 러닝의 가장 기본적인 시퀀스 모델이다. 시계열 데이터를 학습하고, 예측하기 위한 알고리즘- 사람이 사용하는 문장도 시계열 데이터 이다.- 단어의 등장 순서가 바뀌면 의미 자체가 바뀌어 버리는 경우도 많기 때문에 자연어 처리에서 시계열 모델이 활용.   Ex. Apple 빼고 다른 주식이 올랐다. vs 다른 주식 빼고 Apple이 올랐다. RNN은 기본적으로 순서의 흐름에 따른 정보를 학습하는 네트워크 이다.일반 FCN(Fully Connected layer)는 순서에 대한 개념이 없기 때문에 단어 벡터 자체만을 이용해 훈련 하..

경험 리뷰/한국경제 with Tossbank 2024. 10. 8. 23:02

LLM Chain의 구성 요소 ( Prompt + LLM )Prompt : 사용자 또는 시스템에서 제공하는 입력사용자 또는 시스템에서 제공하는 입력 값이다. 프롬프트는 특정 작업을 수행하도록 지시하거나 정보를 요청하는 형태로 제공된다. LLM은 이 프롬프트를 기반으로 텍스트를 생성하거나 분석한다.프롬프트를 효과적으로 사용하는 것이 생성형 인공지능의 능력을 최대치로 발휘시키는 열쇠이다.프롬프트 요청 방식질문형 프롬프트: 특정 질문에 대한 답변을 요청하는 입력 ("지구의 자전 주기는?")지시형 프롬프트: 특정 작업을 요청하는 입력 ("이 문서를 요약해 줘")생성형 프롬프트: 창의적인 콘텐츠 생성을 요청하는 입력 ("SF 소설의 첫 장면을 작성해 줘")분석형 프롬프트: 텍스트나 데이터의 분석을 요구하는 입력 ..

경험 리뷰/한국경제 with Tossbank 2024. 9. 21. 00:50

쉴까? 했지만 해야지... 다들 화이팅Tensor딥러닝 모델이 데이터를 처리하고 학습할 때 사용하는 다차원 배열을 의미한다. 이는 딥러닝 모델에서 입력 데이터, 가중치, 출력값 등 다양한 형태로 사용되며, 딥러닝 연산의 기본 단위로 작용한다. 텐서란 무엇인가?텐서는 스칼라, 벡터, 행렬을 일반화한 개념이다. 텐서의 차원은 다음과 같은 구조로 이루어진다.0차원 텐서 : 스칼라(숫자 하나)로, 단일 값이다.예: 3( 정수 ) 또는 1.5( 실수 )1차원 텐서 : 벡터( 숫자의 리스트 )로, 여러 개의 숫자가 일렬로 나열된 구조이다.예: [3, 5, 7]2차원 텐서 : 행렬로, 행과 열로 이루어진 숫자의 배열이다.예: [[3, 5, 7], [2, 4, 6]]3차원 이상의 텐서 : 3차원 이상의 텐서는 여러 개..

경험 리뷰/한국경제 with Tossbank 2024. 9. 19. 14:30

딥 러닝은 인간의 두뇌에서 영감을 얻은 방식으로 데이터를 처리하도록 컴퓨터를 가르치는 인공지능(AI) 방식 이다.어렵다. ㅜㅜ 하기 싫다. 하지만 해야하니 애써 웃으며 화이팅 입니다. 딥러닝 기초 이론 딥 러닝딥러닝은 인공지능의 한 분야로, 인공 신경망을 기반으로 한다. 특히 중간에 여러 개의 은닉층( hidden layer )이 존재할 때 이를 딥 신경망( Deep Neural Network )이라고 부른다.은닉층은 입력 데이터를 처리하고 변환하는 단계로, 컴퓨터가 학습하면서 중요한 특징들을 추출하고 분석하는 역할을 한다. 쉽게 말해, 기계가 학습한 정보를 저장하고 처리하는 공간이라고 볼 수 있다. 퍼셉트론 ( Perceptron ) 퍼셉트론은 인공 신경망의 가장 기초적인 형태로, 1957년 Frank..

경험 리뷰/한국경제 with Tossbank 2024. 9. 19. 01:22

비금융 데이터 중 업종별 이용 금액과 횟수에 중점을 두어 연체 위험도를 예측하는 과제를 마무리하였다. Pipe Line    Data Flow  1. Processed Data: 전처리된 데이터를 사용하여 모델링을 진행한다.2. Prepare Data: 데이터를 훈련 세트와 테스트 세트로 나눈다. 모델 학습과 검증을 위해 데이터를 준비한다.3. Parameter Tuning: 모델들에 대해 최적의 하이퍼파라미터를 찾기 위한 튜닝 작업을 진행한다. (축소 데이터 셋 사용.)4.Tuned Model w/ Best Params: 최적의 하이퍼파라미터가 적용된 모델이 준비된다.5. Model Evaluation: 각 모델을 평가하고 성능을 비교한다.6. Best Model: 성능 평가 결과를 바탕으로 가장 우수..

경험 리뷰/한국경제 with Tossbank 2024. 9. 8. 16:29

비금융 데이터 그 중에서 업종별 이용 금액과 횟수에 중점을 두어연체 위험도를 예측하는 과제에서모델을 돌리기 전에 one hot encoder, ordinal encoder, standard scaling, PCA를 사용해서모델이 쉽게 데이터를 이해하도록 수정하였는데요. 제가 one hot encoder, ordinal encoder를 직접 수행하지 않았다 보니 헷갈리는 부분이 많아정리해보려고 합니다.     OrdinalEncoder  용도: 여러 개의 범주형 열을 가진 데이터프레임에서 각 열의 고유한 카테고리를 정수 값으로 변환합니다.특징: 카테고리 간에 상대적인 순서가 있을 때 사용합니다. "low", "medium", "high"와 같은 순서가 있는 데이터에 적합합니다.입력 데이터: 2차원 배열 또..

경험 리뷰/한국경제 with Tossbank 2024. 9. 2. 10:51

저희조는 비금융 데이터 그 중에서 업종별 이용 금액과 횟수에 중점을 두어연체 위험도를 예측하는 과제를 수행하였습니다. 금융_합성 데이터에서1. 회원 정보2. 신용 정보3. 승인 매출 정보를 활용하였습니다. 데이터는 '카드 발급 회원번호'를 기준으로 merge 하였습니다. 소비 패턴을 분석하여 신용도를 예측하는게 목표 입니다. 연체 위험도(타겟 값)을 [0, 1, 2]로 선정하였고기준은0 => 100,000 이하1 => 100,000 초과 1,000,000 이하2 => 1,000,000 초과로 선정 하였습니다. 100,000원 이하로 기준을 정한 이유는, 10만 원 이상의 결제액이 영업일 기준으로 5일 이상 미납될 경우, 카드사와 금융기관에 미납 정보가 공유되기 때문입니다. 소비 패턴 분석을 위해 쇼핑, ..

경험 리뷰/한국경제 with Tossbank 2024. 9. 1. 18:15

랜덤 포레스트 (Random Forest)는 여러 개의 의사결정나무(Decision Tree)를 결합하여 예측을 수행하는 방법이다.이 결합 과정에서 다양한 기법들이 사용되어 모델의 성능을 향상시키고, 새로운 데이터에 대한 예측 능력을 높인다. 랜덤 포레스트 (Random Forest)란?의사결정나무(Decision Tree) 여러 개를 모아 앙상블(Ensemble) 기법을 사용 하여 예측을 수행하는 알고리즘 이다.개별 나무들은 각기 독립적으로 학습 되고, 최종적으로 이들의 예측을 모아서 다수결에 따라 결과를 도출한다.  랜덤 포레스트의 핵심 아이디어다양성(Diversity), 무작위성(Randomness)을 활용하여 개별 나무들 간의 상관관계를 줄이고, 모델의 예측 성능을 높인다.  주요 기법1. Bag..

경험 리뷰/한국경제 with Tossbank 2024. 8. 29. 16:51

[K-Digital Training] 한국경제신문 with toss bank   중간 프로젝트에서 공동 작업을 진행 하면서 Git이 정말 중요하다는걸 깨닫고 정리해 둡니다.   ++  내가 지금 사용해야 하는 코드 정리.  ++  프로젝트 클론(복사) 하기.# GitHub에 있는 프로젝트를 자신의 컴퓨터로 복사.git clone https://github.com/..MidProject.git# 프로젝트 폴더로 이동cd MidProject  브랜치 생성 및 전환# 브랜치 생성git branch "브랜치 명"# 브랜치로 이동git checkout "브랜치 명"  코드 편집 및 변경 사항 커밋# Visual Studio Code 실행code .# 모든 변경된 파일을 Git이 추적git add .# 변경 사항을..

경험 리뷰/한국경제 with Tossbank 2024. 8. 29. 09:30

[K-Digital Training] 한국경제신문 with toss bank  https://github.com/ GitHub: Let’s build from hereGitHub is where over 100 million developers shape the future of software, together. Contribute to the open source community, manage your Git repositories, review code like a pro, track bugs and fea...github.com1. GitHub에서 Repository 생성하기먼저 GitHub에 로그인한 후, 새로운 Repository를 생성합니다.GitHub 메인 페이지에서 오른쪽 상단의 '+'..

경험 리뷰/한국경제 with Tossbank 2024. 8. 25. 14:07

1. 통계 검정의 중요성.- 연구의 신뢰성 증대- 객관적인 의사 결정- 오류 감소   1종오류 ( α 오류 ) :  실제로는 맞지 않는 가설을 맞다고 잘못 판단하는 오류.   2종오류 ( β 오류 ) : 실제로 맞는 가설을 틀렸다고 잘못 판단하는 오류.- 자료 해석의 명확성  2. 통계적 검정 절차의 개요.통계적 검정은 특정 가설을 검정하는 과정입니다. - 가설 설정귀무가설 ( H0 ) : 변수가 없다는 가정. / 차이가 없거나 효과가 없다는 것을 주장.대립가설 ( H1 ) : 귀무가설과 반대되는 주장. / 차이가 있거나 효과가 있다는 것을 주장. - ex.귀무가설(H0): 새로운 약물과 기존 약물의 효과 차이는 없다.대립가설(H1): 새로운 약물이 기존 약물보다 효과가 더 좋다.  - 유의 수준(α) ..

경험 리뷰/한국경제 with Tossbank 2024. 8. 4. 11:52