Команда разработки корпоративного хранилища данных (DWH)
Задача
Запустить проект миграции текущего КХД Oracle на Open Source, собрав команду высококвалифицированных специалистов (Senior Data Engineer, ETL Engineer, Senior Data Analyst) в банковском секторе.
Тех-стек
- Hadoop, GreenPlum, S3, ClickHouse;
- Airflow, Spark, Kafka, Debezium;
- Superset.
Как мы решили задачу
- Использовали ресурсы текущей ИТ-команды Ekleft.
- Ввиду глубоких требований к компетенциям (нагрузка, архитектура, ширина объектной модели, НФТ) — организовали найм.
- За 5 месяцев собрали финальную команду из 12 человек, которая в течение 2 лет вела разработку DWH в ОТП Банке.
- Организовали переход «ядра команды» в штат Заказчика.
12чел
участников Data-команды собраны за 5 месяцев
2года
непрерывной работы над Business Critical системой — КХД
0%текучки
высокая вовлеченность и мотивация сотрудников
Работы в проекте
- проектирование и разработка модели данных;
- ER-диаграммы логической и физической моделей;
- алгоритмы формирования объектов;
- описание ETL/ELT-потоков;
- развертывание компонентов КХД;
- разработка коннекторов и ETL-процессов;
- разработка трансформаций;
- разработка витрин данных и другие работы.
