Мы в социальных сетях
Мы в социальных сетях
Михаил Хлуднев
инженер @ RNT Group
Санкт-Петербург

В поисках идеального ETL

  • Зал : Зал 3.2
  • Категории: Разработка
  • Секции: DB

Описание:

В поисковых проектах нужен ETL для построения индексов, которые на архитектурном уровне являются витринами данных. Хочется найти один универсальный ETL, который можно будет использовать на многих проектах. Очень удобно если минимальная конфигурация работает в одном процессе и прозрачно маштабируется на кластера. Поиску такого универсального ETL посвящён этот доклад. Доклад включает поверхностный обзор: Apache Beam, Apache Flink, Apache Hop; ETL, пакетной и потоковой обработки.

О спикере

Михаил Хлуднев
инженер @ RNT Group
Санкт-Петербург

Разрабатывал Java-бэкенды. В 2011 году начал заниматься поиском, выступать на конференциях и выкладывать код. В 2015 году был принят в разработчики Apache Lucene, Apache Solr. Сейчас разрабатывает облачные конвейеры обработки данных и оптимизирует поиск.

Похожие доклады