🇨🇱 Tralalero Tralala Meme Align: Entendiendo memes con sabor chileno.
¿Podrías explicarle un meme chileno a una IA?
Ese fue nuestro desafío en la Hackathon Somos NLP 2025, y lo enfrentamos construyendo el primer modelo multimodal fine-tuneado para comprender memes chilenos con contexto cultural real.
🧠 ¿Qué son los memes?
Los memes no son solo imágenes graciosas: son unidades culturales que condensan ideas, lenguaje, identidad y participación social.
Según Gleick (2011), los memes son:
“Nada más que ideas, imágenes, eslóganes, melodías, historias, recetas, habilidades o destrezas, leyendas y sistemas que habitan nuestras mentes.”
Por su parte, Milner (2012) los define como:
“Artefactos mediáticos amateur, extensamente remezclados y recirculados por diferentes participantes en redes sociales.”
🧠 Motivación
Modelos como LLaVA se desempeñan bien en tareas como image captioning o visual question answering (VQA), pero tienen dificultades para entender memes: estos son ambiguos, irónicos y profundamente dependientes del contexto cultural. Hasta ahora, no existía un dataset diseñado específicamente para abordar esta complejidad en el caso chileno.
🏗️ Metodología
Dataset:
memes_instagram_chilenos_es_small
🔹 1.194 memes reales chilenos (Instagram).
🔹 4 instrucciones por meme → 4.776 ejemplos.
🔹 Generados con GPT‑4o y command-r-plus (Cohere) + refinamiento humano.Modelo:
llava-v1.6-mistral-7b-memes-chilenos-small
🔸 Fine-tuning con LoRA.
🔸 2 épocas – GPU L40S.
🔸 Emisiones medidas: ~190 g CO₂eq.
🔸 Eval: BERTScore ≈ 0.73.
🌍 Impacto
- Primer modelo en explicar memes con lenguaje coloquial chileno.
- Abre camino a proyectos similares en otras regiones de LATAM.
👥 Equipo
🔮 Futuros Pasos
- Extender dataset a memes de TikTok y otras regiones (Perú, Argentina, etc.).
- Evaluación con humanos sobre humor y contexto.
- Explorar estrategias como RAG con bases culturales y adaptación dinámica.