kar7mp5

௹ 양자화 필요성많은 메모리 요구로 인해 LLM 모델들은 양자화(Quantization)가 필수적이다.보통 local 컴퓨터에서 Llama는 8b 모델을 Gemma는 7b 모델을 이용한다. 여기서 8b는 80억 개 7b는 70억 개 변수 사용을 의미한다. 때문에 메모리가 부족한 것이고, 양자화가 필요한 이유다.௹ 필자 컴퓨터 사양 Memory(RAM) 32GiBGPUNvidia 3050௹ 양자화 이전다음은 beomi/gemma-ko-7b 모델을 사용한 예제이다.hugging face에 들어가서 로그인하고 인증받은 token으로 로그인하면 된다. https://huggingface.co/beomi/gemma-ko-7b beomi/gemma-ko-7b · Hugging FaceGemma-Ko Update @..

라이브러리 제작 동기평소에 협업 할 때 Notion, 혼자 사용할 때 Obsidian을 사용하였다.그러던 중 Google MLB 모임에서 Notion을 잘 활용하는 분을 보고 Notion 자동화에 관심이 생겼다.또한, 최근에 편향적으로 뉴스를 선택한다는 점을 느꼈다. 자동화 봇을 통해 뉴스를 불러오면 이러한 문제해결이 가능하다고 생각하였다.라이브러리 소개설치https://pypi.org/project/notion-news-crawler/ notion-news-crawlerNotion news mecropypi.org pip install notion-news-crawler개발 Githubhttps://github.com/kar7mp5/Notion-News-Crawler GitHub - kar7mp5/No..