자라나라 개발머리

오늘은 저번 Langchain의 쌩기초를 학습한 것을 토대로 응용해보려고 합니다.마침 저저번에 학습했던 map-reduce 구조를 활용하여 문서 요약을 구현한 chain이 있더라구요.  langchain의 쌩기초와, mapReduce의 심화 설명이 필요하신 분은 아래 두 게시글도 추천드려요. [LangChain] LangChain 쌩기초 뜯어보기 (장점, LECL)오늘은 핫!한 LLM 프레임워크인 Langchain에 대해서 뜯어보려고 합니다. LangChain 이란?대규모 언어 모델(LLM)을 기반으로하는 애플리케이션을 개발하기 위한 프레임워크(langchain 공식문서),LLM을 사용growupdevmind.tistory.com [데이터 분산 처리] 맵리듀스(MapReduce) 간단 설명/ Mapper..

오늘은 핫!한 LLM 프레임워크인 Langchain에 대해서 뜯어보려고 합니다. LangChain 이란?대규모 언어 모델(LLM)을 기반으로하는 애플리케이션을 개발하기 위한 프레임워크(langchain 공식문서),LLM을 사용하여 애플리케이션 생성을 단순화하도록 설계된 프레임워크(위키백과)라고 합니다. Langchain 구성요소를 뜯어보면, 단순히 Langchain만 있는게 아니더라구요.공식 문서에서는 LangChain은 LLM 애플리케이션 생애주기의 모든 단계를 단순화한다고 설명하고 있어요. 하지만 위에 보이는 것처럼, LangChain, LangServe, LangSmith 등 요 프레임워크를 모두 사용했을 때, 비로소 모든 생애주기를 단순화할 수 있는거라고 합니다. 각 프레임워크는 개발 생애주기에 ..

맵리듀스(MapReduce)는 데이터 분산 처리에 활용되는 프로그래밍 모델로서, 대량의 데이터를 세분화해서 각 머신에서 로직을 처리하고, 다시 합쳐 효율적으로 데이터 처리를 할 수 있도록하는 모델입니다. 맵 리듀스는 총 4가지 기능으로 구성되어있습니다. 1. Mapper: 입력 데이터를 받아서 세분화, key-value 쌍으로 변환, 필요한 로직을 적용하여 중간 결과를 생성2. Reducer: 중간 결과를 받아서 동일한 키를 기준으로 그룹화하고 데이터를 합침3. Partitioners: 맵 단계에서 생성된 중간(key, value) 쌍을 리듀스 태스크로 분배4. Combiners:  최적화 도구. output을 로컬에서 미리 집계하여 네트워크 상으로 전송되는 데이터 양을 줄이는 역할 전체적인 흐름은, M..