Data Collection
Настройка повторяемого получения данных из внутренних и внешних источников с контролем полноты, формата и истории загрузок.
- Направление
- Данные и аналитика
- Срок
- 2–6 недель
Когда это нужно
Когда сотрудники вручную скачивают файлы, внешние данные быстро устаревают, API используются бессистемно или для аналитики нет стабильного сырьевого слоя.
Что это даёт
Снижает ручной труд и риск пропусков, делает сбор воспроизводимым и создаёт прозрачный входной поток для хранилища, аналитики или ML.
Что входит
- Рабочие collectors и расписания
- Raw-слой
- Журнал загрузок и ошибок
- Проверки полноты
- Уведомления
- Документация и правила законного использования источников