Настройка индекса Elasticsearch для данных временных рядов

Вот как настроить индекс Elasticsearch для данных временных рядов. В этом видео Нама Илло, архитектор образовательных программ в Elastic, объясняет, как настроить конвейер Ingest и политику ILM, а затем настроить шаблон индекса для их использования.

В этом видео рассматриваются:
Основы индексирования
Данные временных рядов, сводка индекса
Обзор конвейера Ingest
Процессоры
Исследование политики жизненного цикла индекса (IL)
Перенос, псевдоним переноса, фазы
Конфигурация шаблона индекса
Логистика, шаблоны индекса, схема именования, потоки данных, шаблоны компонентов, настройки, сопоставление, псевдонимы
Краткая демонстрация

#Elasticsearch #index #TimeSeriesData #ElasticsearchTutorial #TechCommunity

Фрагмент кода:

Шаблоны компонентов

PUT _component_template/demo__settings_ilm_policy { "template": { "settings": { "index": { "lifecycle": { "name": "demo_rollover_policy" } } } } }

PUT _component_template/demo_mappings_component { "template": { "mappings": { "_routing": { "required": false }, "numeric_detection": false, "dynamic_date_formats": [ "strict_date_optional_time", "yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z" ], "dynamic": true, "_source": { "excludes": [], "includes": [], "enabled": true }, "dynamic_templates": [], "date_detection": true, "properties": { "hello": { "type": "keyword" } } } } }

PUT _component_template/demo_pipeline_timestamp { "template": { "settings": { "index": { "default_pipeline": "demo_pipeline" } } } }

PUT _component_template/demo_rollover_alias_logs { "template": { "настройки": { "индекс": { "жизненный цикл": { "алиас_переноса": "мои_логи" } } } } }

PUT _шаблон_компонента/demo_алиас_переноса_метрики { "шаблон": { "настройки": { "индекс": { "жизненный цикл": { "алиас_переноса": "мои_метрики" } } } } }

PUT _шаблон_компонента/demo_маршрутизация_шаблон { "шаблон": { "настройки": { "индекс": { "маршрутизация": { "выделение": { "включение": { "уровень_предпочтений": "data_hot" } } } } } } }

PUT _шаблон_компонента/demo_shards_шаблон { "шаблон": { "настройки": { "индекс": { "количество_шардов": "2", "количество_реплик": "0" } } } }

Конвейер для установки временной метки

PUT _ingest/pipeline/demo_pipeline { "processors": [ { "set": { "field": "hello", "value": "world" } }, { "date": { "field": "_ingest.timestamp", "formats": [ "yyyy-MM-dd'T'HH:mm:ss.SSSXXX", "ISO8601", "UNIX", "UNIX_MS" ] } } ] }

Политика IL для иллюстрации перехода

PUT _ilm/policy/demo_rollover_policy { "policy": { "phases": { "hot": { "min_age": "0ms", "actions": { "rollover": { "max_age": "10s", "max_docs": 5 } } }, "warm": { "min_age": "40s", "actions": { "forcemerge": { "max_num_segments": 1 }, "readonly": {}, "shrink": { "number_of_shards": 1 }, "migrate": { "enabled": false }, "allocate": { "number_of_replicas": 3 } } }, "delete": { "min_age": "4m", "actions": { "delete": { "delete_searchable_snapshot": true } } } } } }

Шаблон индекса, используемый для журналов:

PUT _index_template/demo_logs_template { "priority": 501, "index_patterns": [ "demo_logs*" ], "composed_of": [ "demo__settings_ilm_policy", "demo_mappings_component", "demo_pipeline_timestamp", "demo_rollover_alias_logs", "demo_routing_template", "demo_shards_template" ] }

##Шаблон для метрик, использующих поток данных

PUT _index_template/demo_metrics_template { "priority": 500, "index_patterns": [ "demo_metrics*" ], "data_stream": { "hidden": false, "allow_custom_routing": false }, "composed_of": [ "demo__settings_ilm_policy", "demo_mappings_component", "demo_pipeline_timestamp", "demo_rollover_alias_metric", "demo_routing_template", "demo_shards_template" ] }

GET _cat/indices

#Мы создаём два разных шаблона, каждый из которых использует процессор Ingest для обработки данных и политики IL для управления условиями переноса. Каждый пример иллюстрирует различные шаблоны именования и способы взаимодействия с использованием псевдонимов.

#Я хочу создать индекс для автоматического обновления, и с ним можно будет связаться, используя имя "my_logs"

PUT demo_logs-000001
{
"aliases": {
"my_logs": {
"is_write_index" : true
}
}
}

GET my_logs

GET my_logs/_ilm/explain

POST my_logs/_doc/
{
"field_1" : "value 1",
"field_2" : "value 2"
}

GET my_logs/_search

GET _cat/indices

GET my_logs

#Я хочу создать второй индекс для автоматического обновления, и с ним можно будет связаться, используя имя "my_metrics"

##Это не сработает, и 0001 больше не нужен.

PUT demo_metrics-000001
{
"aliases": {
"my_metrics": {
"is_write_index" : true
}
}
}

#Вы просто отправляете данные без bootstrap. Они должны соответствовать заданному шаблону индекса.

POST demo_metrics/_doc
{
"field_1" : "value 1",
"field_2" : "value 2"
}

#Обратите внимание на имя, которое мы теперь используем для индексации документов.

GET _data_stream/_stats

GET demo_metrics

GET demo_metrics/_search

#Сможем ли мы выполнять поиск по имени "my_metrics"?

GET my_metrics/_search

POST demo_metrics/_alias/my_metrics
{
"is_write_index": true
}

POST my_metrics/_doc/
{
"field_...