자라나라 개발머리

오늘은 저번 Langchain의 쌩기초를 학습한 것을 토대로 응용해보려고 합니다.마침 저저번에 학습했던 map-reduce 구조를 활용하여 문서 요약을 구현한 chain이 있더라구요.  langchain의 쌩기초와, mapReduce의 심화 설명이 필요하신 분은 아래 두 게시글도 추천드려요. [LangChain] LangChain 쌩기초 뜯어보기 (장점, LECL)오늘은 핫!한 LLM 프레임워크인 Langchain에 대해서 뜯어보려고 합니다. LangChain 이란?대규모 언어 모델(LLM)을 기반으로하는 애플리케이션을 개발하기 위한 프레임워크(langchain 공식문서),LLM을 사용growupdevmind.tistory.com [데이터 분산 처리] 맵리듀스(MapReduce) 간단 설명/ Mapper..

맵리듀스(MapReduce)는 데이터 분산 처리에 활용되는 프로그래밍 모델로서, 대량의 데이터를 세분화해서 각 머신에서 로직을 처리하고, 다시 합쳐 효율적으로 데이터 처리를 할 수 있도록하는 모델입니다. 맵 리듀스는 총 4가지 기능으로 구성되어있습니다. 1. Mapper: 입력 데이터를 받아서 세분화, key-value 쌍으로 변환, 필요한 로직을 적용하여 중간 결과를 생성2. Reducer: 중간 결과를 받아서 동일한 키를 기준으로 그룹화하고 데이터를 합침3. Partitioners: 맵 단계에서 생성된 중간(key, value) 쌍을 리듀스 태스크로 분배4. Combiners:  최적화 도구. output을 로컬에서 미리 집계하여 네트워크 상으로 전송되는 데이터 양을 줄이는 역할 전체적인 흐름은, M..