DB

- Мощности современных компьютеров и нагрузка на сервисы растут с каждым днём. Как разработчикам и СУБД поспевать за прогрессом? В докладе рассмотрим, как избежать дефицита транзакций в Postgres.

- Разберём, как устроен счётчик транзакций в PostgreSQL и почему он может иссякнуть.

- Научимся избегать переполнений собственными силами: ищем «навязчивые» транзакции, грамотно настраиваем сервер.

- Вы сделали всё лучшим образом, но наступило будущее и счётчика действительно перестало хватать? Есть решение! Узнаем, как сообщество PostgreSQL работает над увеличением величины счётчика, не теряя в производительности.

YDB — это распределённая отказоустойчивая Distributed SQL база данных с открытым исходным кодом, которая сочетает в себе высокую доступность и масштабируемость со строгой согласованностью и транзакциями ACID. В докладе раскроем в чем же сложность написать драйвер для распределенной базы данных. Для этого пройдем путь развития систем хранения данных от простых одноинстансовых баз до распределенного отказоустойчивого кластера, работающего в режиме 24/7. Посмотрим на протокол общения между клиентом и кластером YDB. Расскажем об алгоритмах на клиенте для улучшения работы системы в целом. Расскажем с какими проблемами сталкивались наши пользователи и куда мы зашли своей инженерной мыслью, чтобы не допускать повторов. В финале озвучим нынешнее состояние драйверов и roadmap команды.

В поисковых проектах нужен ETL для построения индексов, которые на архитектурном уровне являются витринами данных. Хочется найти один универсальный ETL, который можно будет использовать на многих проектах. Очень удобно если минимальная конфигурация работает в одном процессе и прозрачно маштабируется на кластера. Поиску такого универсального ETL посвящён этот доклад. Доклад включает поверхностный обзор: Apache Beam, Apache Flink, Apache Hop; ETL, пакетной и потоковой обработки.