К содержимому
NEOBRIDGE INSIGHTПо вопросамinfo@neobridge.kz
⌕
Технические модули

Loki: хранение и запрос логов через метки потоков

Система агрегации логов с несколькими арендаторами, горизонтальным масштабированием и запросами. Эти характеристики заявлены проектом, не проверены нагрузочным тестом.

·26 источников·По описаниям проекта ↗
ОБСУДИТЬ И ПОДЕЛИТЬСЯ

Хорошая идея становится полезнее в разговоре.

01
КЛЮЧЕВЫЕ СВЕДЕНИЯ

Паспорт проекта

По первоисточникам
Тип
Технические модули
Задача
Авторская цель — недорогое и простое в эксплуатации хранение и запрос логов.
Для кого
В пакет включены инструменты для разработчиков Loki; рабочий стек адресует хранение логов Kubernetes и других систем.
Технологии
Go / Kubernetes
Что потребуется
Для сборки из исходников нужен Go рекомендованной в Makefile версии.
Основание
26 первоисточников
02
СУТЬ

За 30 секунд

01 / Зачем

Авторская цель — недорогое и простое в эксплуатации хранение и запрос логов.

02 / Как

Alloy собирает и отправляет логи, Loki хранит их и обрабатывает запросы, Grafana отображает результаты. Основное описание выделяет индексирование меток потоков вместо полнотекстового индекса.

03 / Результат

Хранимые и запрашиваемые логи, отображение в Grafana; инструмент анализа локальности умеет экспортировать факты индекса в Parquet/CSV.

03
ПОСЛЕДОВАТЕЛЬНОСТЬ

Как это работает

01

На входе

Логи и метки их потоков, включая Kubernetes Pod labels; пакет dataobj-builder имеет вход из Kafka.

02

Механизм

Alloy собирает и отправляет логи, Loki хранит их и обрабатывает запросы, Grafana отображает результаты. Основное описание выделяет индексирование меток потоков вместо полнотекстового индекса.

03

Результат

Хранимые и запрашиваемые логи, отображение в Grafana; инструмент анализа локальности умеет экспортировать факты индекса в Parquet/CSV.

04
ПОДРОБНОСТИ

Что важно понять

01

Техническое устройство

Основной механизм индексирует метки лог-потоков. Включённый dataobj хранит данные в объектном хранилище по колонкам и страницам, поддерживает zstd и предикатную фильтрацию; builder читает Kafka. Наличие этого пакета не означает, что каждый режим развёртывания использует именно его.

02

Для чего создано

Авторская цель — недорогое и простое в эксплуатации хранение и запрос логов.

03

Для кого

В пакет включены инструменты для разработчиков Loki; рабочий стек адресует хранение логов Kubernetes и других систем.

04

Сценарии использования

Хранение Kubernetes Pod logs, запросы и отображение через Grafana, анализ структуры chunks, мониторинг Loki через набор jsonnet dashboards/alerts/rules.

05

Идея решения

Использовать общие с Prometheus метки как навигацию между метриками и логами, не строя полный текстовый индекс каждого сообщения.

05
ГОТОВНОСТЬ К ПРОВЕРКЕ

Что известно из описания

Полнота описанияЗапуск не проверялся
МеханизмОписано
ТребованияОписано
ОграниченияОписано

Что потребуется

  • Для сборки из исходников нужен Go рекомендованной в Makefile версии.
  • Для описанного стека нужны сборщик Alloy и Grafana; лицензия Loki заявлена AGPL-3.0-only с отдельными исключениями.

Что учитывать

  • Примеры examples/ не предназначены для production.
  • Migrate tool явно назван недостаточно протестированным.
  • UI endpoints требуют внешней защиты аутентификацией, а межузловая связь — ограничения внутренней сетью.
06
СМОТРИМ ГЛУБЖЕ

Комментарий NeoBridge

Общая справка

  • Лог, поток и метка — Лог — запись события; поток объединяет записи с одним набором меток, то есть именованных признаков.
  • Alloy, Grafana и Prometheus — В этом стеке это сборщик данных, интерфейс визуализации и система метрик; их функции не тождественны хранению логов.
  • Kafka, Parquet и zstd — Система передачи событий, колоночный формат данных и алгоритм сжатия соответственно.
  • Helm chart — Пакет шаблонов и настроек для установки приложения в Kubernetes.

Что стоит уточнить

  • Какой релиз, deployment mode и storage path выбраны для внедрения? Сведения не установлены сохранёнными описаниями или не проверены выполнением.
  • Какие retention, tenants, auth и объёмы логов должны поддерживаться? Сведения не установлены сохранёнными описаниями или не проверены выполнением.
↗
ОСНОВАНИЯ

Из первоисточников

26 ссылок

Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.

Независимое тестирование проекта не проводилось.

← Вернуться к проектам Продолжить исследование ↗