CSV Schema Drift Detector
Сравнить заголовки колонок между несколькими CSV-экспортами и найти изменения структуры.
Как это работает
Внутренняя система обновилась, и еженедельный CSV-экспорт, который раньше приходил стабильно с одними и теми же двенадцатью колонками, вдруг получил тринадцатую — а вы узнали об этом только тогда, когда скрипт импорта упал с непонятной ошибкой о несовпадении количества полей. CSV Schema Drift Detector online сравнивает заголовки колонок между несколькими экспортами и явно показывает, где и когда структура поменялась.
Дрейф схемы — частая, но недооценённая проблема любого автоматизированного пайплайна данных: колонка может появиться, исчезнуть, или просто поменять порядок, и если downstream-код полагается на позицию колонки, а не на имя, любое из этих изменений тихо ломает обработку задолго до того, как кто-то заметит проблему в самих данных.
Инструмент принимает несколько CSV-файлов (или просто их первые строки с заголовками) в хронологическом порядке и строит сравнительную таблицу, показывая для каждой колонки, в каких именно файлах она присутствовала, а в каких отсутствовала — визуально сразу видно момент, когда структура поменялась.
Частые вопросы
Нужно ли вставлять целые CSV-файлы или достаточно только заголовков?
Для определения дрейфа схемы достаточно первой строки каждого файла с заголовками колонок, инструмент не анализирует сами данные, только структуру полей, полный файл вставлять не обязательно, хотя и не помешает.
Как передать несколько файлов в хронологическом порядке?
Каждый файл (или его заголовок) вставляется отдельным блоком, разделённым пустой строкой, в том порядке, в котором вы хотите видеть их в сравнительной таблице, обычно от старого к новому.
Что если колонка просто переименовали, а не добавили новую?
Инструмент сравнивает по точному имени колонки, переименование будет выглядеть как исчезновение старого имени и появление нового, а не как одна и та же колонка под другим названием — это стоит учитывать при интерпретации результата.
Полезен ли этот инструмент для одноразовой проверки, а не только мониторинга во времени?
Да, он одинаково полезен и для разового сравнения двух конкретных файлов от разных источников (например, экспорт из старой и новой версии системы), не обязательно именно временной хронологии одного и того же источника.