Este projeto implementa um sistema Retrieval-Augmented Generation (RAG) para permitir consultas em linguagem natural a um repositório pessoal de anotações em formato Markdown (.md).
Ele foi desenhado para atuar como um "segundo cérebro", capaz de ler centenas de arquivos de texto, compreender semanticamente o conteúdo e gerar respostas precisas baseadas exclusivamente no contexto fornecido, mitigando alucinações de IA.
O pipeline foi construído utilizando o ecossistema LangChain para orquestrar dados não estruturados e IA local:
- Ingestão e Processamento:
LangChaincomRecursiveCharacterTextSplitterpara fatiar arquivos Markdown preservando a semântica dos parágrafos. - Embeddings: Transformação de texto em vetores utilizando modelos locais do
HuggingFace(sentence-transformers/all-MiniLM-L6-v2). - Banco de Dados Vetorial (NoSQL):
ChromaDBpara armazenar os embeddings e realizar buscas matemáticas de similaridade por cosseno. - IA Generativa Local (SLM):
Ollamaexecutando o modeloGemma:2bpara sintetizar as respostas baseadas no contexto recuperado. - Frontend:
Streamlitpara a interface de chat. - Pequena Escala: Para facilitar a implementação do modelo, foi usado poucas notas.
- Python 3.8+
- Ollama instalado e rodando com o comando
ollama run gemma:2b.
Clone o repositório e instale as dependências:
git clone https://github.com/renanaqn/rag-obsidian-notes.git
cd rag-obsidian-notes
pip install -r requirements.txtColoque seus arquivos .md dentro da pasta data/vault/. Em seguida, processe e vetorize os textos rodando o script de ingestão:
python src/ingestao.pyIsso criará o banco de dados ChromaDB na pasta data/chroma_db.
streamlit run app.pyAcesse http://localhost:8501 no seu navegador e converse com as suas anotações!
