En el mundo de los datos, todo el mundo quiere dashboards bonitos, modelos predictivos brillantes y gráficas que impresionen.
Pero nadie se emociona al ver una tabla sin duplicados, sin fechas imposibles y con valores consistentes. La calidad de datos no vende… pero es lo único que garantiza que lo demás funcione.
Cuando hablamos de calidad de datos, hablamos de:
• Completitud: ¿Faltan valores? ¿Nulos que nadie explicó?
• Coherencia: ¿Un mismo identificador aparece como “Pedro”, “Pdro”, ¿“PÉDRO”?
• Validez: ¿Hay edades negativas? ¿Fechas en el año 2099?
• Unicidad: ¿Registros duplicados con ligeras variaciones?
• Actualización: ¿Hace cuánto no se cargan los datos?
Lo sabes: si tienes que hacer limpieza antes de cada análisis, tu fuente no es buena. Una parte clave del trabajo técnico no es hacer modelos. Es decir: “Esto no se puede analizar porque la base está rota/sucia”.
Lo que todos queremos es “que salgan los resultados”. Pero si el dato está mal, ¿qué estás visualizando exactamente?
Casos reales que según los campos a los que dedicamos nos encontramos:
• Un KPI de abandono escolar bajó… porque alguien vació una columna accidentalmente en la carga.
• Un municipio tenía 4 veces más “personas sin estudios” porque el valor “NS/NC” se codificó como “0”.
• En un sistema de indicadores sociales, el mismo código postal significaba zonas distintas dependiendo del año.
Y soluciones que ponemos sobre la mesa para resolver estas situaciones técnicamente, con herramientas simples:
• Scripts de validación automática (R, Python o incluso SQL)
• Checks antes de visualizar: ¿Tienes fechas fuera de rango? ¿Códigos inválidos?
• Diccionarios de datos claros (por variable, por año, por fuente)
• Versionado de fuentes: para saber qué día y de dónde salió cada cosa
• Auditoría mínima: aunque sea en Excel con filtros y conteos, pero hazla
Lo más difícil no es la técnica, sino que se entienda que esto importa. Que decir “la base está mal”. No hay modelos buenos sin datos limpios.
Pero una de las cosas más importantes es que esta parte es invisible, tediosa y no sexy.
Comentarios recientes