Skip to content

About

Este projeto implementa um sistema RAG para permitir consultas em linguagem natural a um repositório pessoal de anotações em formato Markdown

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

🧠 Assistente de Base de Conhecimento Pessoal (RAG Semântico)

Sobre o Projeto

Este projeto implementa um sistema Retrieval-Augmented Generation (RAG) para permitir consultas em linguagem natural a um repositório pessoal de anotações em formato Markdown (.md).

Ele foi desenhado para atuar como um "segundo cérebro", capaz de ler centenas de arquivos de texto, compreender semanticamente o conteúdo e gerar respostas precisas baseadas exclusivamente no contexto fornecido, mitigando alucinações de IA.

Arquitetura e Tecnologias

O pipeline foi construído utilizando o ecossistema LangChain para orquestrar dados não estruturados e IA local:

  • Ingestão e Processamento: LangChain com RecursiveCharacterTextSplitter para fatiar arquivos Markdown preservando a semântica dos parágrafos.
  • Embeddings: Transformação de texto em vetores utilizando modelos locais do HuggingFace (sentence-transformers/all-MiniLM-L6-v2).
  • Banco de Dados Vetorial (NoSQL): ChromaDB para armazenar os embeddings e realizar buscas matemáticas de similaridade por cosseno.
  • IA Generativa Local (SLM): Ollama executando o modelo Gemma:2b para sintetizar as respostas baseadas no contexto recuperado.
  • Frontend: Streamlit para a interface de chat.
  • Pequena Escala: Para facilitar a implementação do modelo, foi usado poucas notas.

Como Executar

1. Pré-requisitos

  • Python 3.8+
  • Ollama instalado e rodando com o comando ollama run gemma:2b.

2. Instalação

Clone o repositório e instale as dependências:

git clone https://github.com/renanaqn/rag-obsidian-notes.git
cd rag-obsidian-notes
pip install -r requirements.txt

3. Alimentando o Banco Vetorial

Coloque seus arquivos .md dentro da pasta data/vault/. Em seguida, processe e vetorize os textos rodando o script de ingestão:

python src/ingestao.py

Isso criará o banco de dados ChromaDB na pasta data/chroma_db.

4. Iniciando a Interface Web

streamlit run app.py

Acesse http://localhost:8501 no seu navegador e converse com as suas anotações!

Exemplo de Aplicação usando Estrutura de Dados

agente-rag

About

Este projeto implementa um sistema RAG para permitir consultas em linguagem natural a um repositório pessoal de anotações em formato Markdown

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages