Control de presupuesto Cloud: crear una tabla de costes en BigQuery, y visualizarlas

Índice

Uno de los pilares de una buena estrategia en la nube es controlar el gasto de forma proactiva. Google Cloud Platform (GCP) ofrece herramientas para exportar el coste detallado de todos tus servicios, y con BigQuery puedes transformar esa información en dashboards claros y útiles.

Veamos paso a paso cómo crear una tabla de costes en BigQuery, y cómo visualizar esos datos con Looker Studio. También puedes conectarte a esta tabla con otra herramienta como PowerBI a traves de su conector de BigQuery.

Tenemos dos métodos para calcular los costes:

El método I a través de la exportación desde GCP, y el método II realizando los cálculos con consultas SQL.

Método I: exportación de facturación en GCP

Activamos la exportación de costes a BigQuery

Para tener los datos de costes disponibles en BigQuery, debes habilitar la exportación desde tu cuenta de facturación:

  1. Ve a https://console.cloud.google.com/billing.
  2. Selecciona tu cuenta de facturación.
  3. En el menú lateral, haz clic en Exportación de la facturación.

Selecciona el proyecto y dataset donde quieres que se exporten los datos.

Google comenzará a volcar automáticamente los costes de uso, desglosados por servicio, proyecto, SKU, etc.

Se crean dos tablas por defecto:

  • gcp_billing_export_v1_XXXXXX: exportación detallada con la facturación real.
  • gcp_billing_export_resources_XXXXXX: recursos asociados.

Consultar los datos desde BigQuery

Una vez habilitada la exportación, puedes comenzar a consultar tus datos con SQL.

Imaginemos, que queremos saber la facturación total mensual,

Crear un dashboard para visualizar los costes

Una vez que tienes la tabla actualizada diariamente con datos de costes, podremos conectarnos directamente desde LookerStudio utilizando _PARTITIONTIME como dimensión de periodo.

Ejemplos de tablas de costes

Podremos crear algunas tablas como estas para realizar seguimiento:

La opción más recomendada es utilizar LookerStudio por la integración directa que tiene con BigQuery, aunque hay otras opciones como PowerBI, Grafana o Google Sheets incluso.

Método II: cálculo a través de consultas SQL

Tenemos otra alternativa al cálculo del coste de nuestro servicio de almacenamiento, aunque solo tendremos el cálculo de consultas y almacenamiento BigQuery.

Tabla de almacenamiento

Con la siguiente consulta, crearemos una tabla de costes de almacenamiento llamada storage, en la que diferenciaremos por project_id para identificar los almacenamientos. Aplicaremos el coste por cada GB lógico, físico, corto y largo plazo.

El almacenamiento de largo plazo es aquel que no es modificado en los últimos 90 días. Si una tabla permanece sin cambios durante 90 días, Google la considera almacenamiento de largo plazo y reduce el precio por GB almacenado.

En el resultado, también podemos observar la compresión que aplica Google Cloud Platform (GCP), comparando el espacio lógico (sin comprimir, visible para el usuario) con el espacio físico (comprimido, realmente almacenado en disco).

La facturación de BigQuery se basa principalmente en el almacenamiento lógico, no en el físico, por lo que es importante entender ambas métricas.

El resultado será una tabla permanente, que podremos llevarnos a nuestra herramienta de visualización con resultado similar al siguiente:

Tabla de consultas

Esta query crea una tabla llamada jobs en BigQuery, particionada por fecha, que registra información detallada sobre los trabajos ejecutados en el proyecto.

Para cada job, extrae campos clave como: fecha de creación, usuario que lo ejecutó, tipo de job, tipo de sentencia SQL (statement_type), y el número de bytes facturados. También incluye una estimación del coste en euros en base al volumen de datos procesados (conversión de bytes a TiB y precio por TiB ajustado a euros).

Además, clasifica el origen del job: si está programado automáticamente (scheduled), si lo lanza Looker Studio o si es un job manual desde BigQuery.

También identifica dashboards específicos usando el ID (dashboard_id) incluido en las etiquetas del job. Por ejemplo, en mi caso, si el ID coincide con uno concreto, se muestra Looker de Costes o Dashboard de GA4 Server Side. Si no tiene dashboard asociado, se indica que el job proviene de BigQuery directamente.

Bonus: controla el gasto en Google Cloud: cómo crear alertas de presupuesto

Controlar el gasto en Google Cloud no tiene por qué ser complicado. Exportar los datos a BigQuery te permite tener total visibilidad y flexibilidad para analizarlos como tú quieras. Y con un dashboard bien diseñado, puedes anticiparte a desvíos y tomar decisiones rápidas.

Otros artículos

img_1041.jpg

En un mundo hiperconectado, donde millones de datos se generan y comparten a diario, la información abierta se ha convertido en una herramienta poderosa —y peligrosa—. La inteligencia de fuentes

image

A medida que escalas tus proyectos en la nube, es fácil perder el control de los costes. GCP ofrece herramientas nativas para establecer presupuestos mensuales y alertas automatizadas que te avisan cuando alcanzas ciertos

image

Situación actual El tráfico generado por herramientas de IA como ChatGPT, Claude, Perplexity, Gemini o incluso los AI Overviews de Google no deja de crecer. Este nuevo tipo de tráfico, aunque aún incipiente en muchos sectores, está