Экспериментальное сравнение средств валидации данных в ETL-пайплайнах

Аннотация

В работе предложен воспроизводимый экспериментальный процесс сравнения средств валидации результатов выполнения ETL-пайплайна в двух контурах хранения данных: Postgres и Spark таблиц. В первом контуре исследования Great Expectations (GX), SodaCL, SQL и dbt tests, а во втором контуре — GX, SodaCL, Deequ и Spark SQL. В обоих контурах проверяются одни и те же наборы логических операций в процессе извлечения, преобразования и загрузки на примере футбольных данных с football-data.org (tiny), масштабированных в наборах small, medium и large. Эксперименты проводятся в детерминированной среде с контролируемой инъекцией дефектов и фиксируются метрики времени и ресурсов. При функционально эквивалентном обнаружении нарушений выбранные средства различаются по таким критериям как пиковая нагрузка CPU, время выполнения и затраты по RAM. Стратегии использования инструментов валидации разделены на два типа: «универсальные», когда одно средство охватывает 3 этапа ETL и «этапные», когда различные средства используются на отдельных этапах. В первом контуре на large датасете на этапе преобразования подтвердилась эффективность SQL с 129,9 мс. против GX с 12513,9 мс и SodaCL с 384,9 мс. В связи с этим этапная стратегия SodaCL+SQL+SodaCL немного превосходит универсальную с SodaCL и в примерно 22 раза быстрее универсальной GX. Наибольшие затраты осуществляются GX при валидации результатов загрузки. dbt tests проигрывает другим средствам в быстродействии. Во втором контуре на large датасете затраты по CPU и RAM также остаются примерно одинаковыми для всех средств, так как при работе со всеми средствами идет преобразование в запросы Spark SQL. С небольшим отрывом от SodaCL+SQL+SodaCL по скорости лидирует универсальная стратегия Soda. Разработанный стенд и артефакты экспериментов размещены в открытом доступе.