00 — Overview
←Volver a proyectosProyecto
wikiscraper
Extrae páginas de cualquier wiki (Wikipedia u otras) siguiendo sus enlaces internos, traduce el contenido al español con IA y lo exporta a MongoDB, con una interfaz web para lanzar la extracción y ver el progreso en tiempo real.
01 — Details
Problema
Recopilar y traducir manualmente grandes cantidades de contenido de una wiki es lento y repetitivo.
Solución
Backend en FastAPI que descubre enlaces y hace scraping con BeautifulSoup, traduce cada página con Groq (Llama 3.3 70B) y persiste todo en MongoDB, mientras un frontend en React/Vite muestra el progreso y permite exportar a JSON.
Arquitectura
Frontend y backend completamente separados: una SPA en React/Vite consume una API REST en FastAPI, que orquesta scraping, traducción y persistencia en MongoDB Atlas; sin base relacional ni cola de tareas, todo corre de forma síncrona en un único proceso Python.
02 — Learnings
Aprendizajes
Usar un LLM (Groq/Llama) en lugar de un servicio de traducción tradicional simplifica el pipeline, pero acopla la calidad de la traducción al modelo elegido y a sus límites de rate.
Próximos pasos
Finalizado