Данные для планирования почти никогда не лежат в одном месте в готовом виде. Продажи в учётной системе, конечные продажи у маркетплейсов, сделки в CRM, ограничения на складе, курсы и цены поставщиков во внешних источниках. Прежде чем что-то прогнозировать, всё это нужно собрать, привести к общему виду и загрузить. Разберём, как выстроить такой процесс в контуре «1С» и что в нём чаще всего ломается.
Три стадии и что в них происходит
Извлечение
Получение данных из источника — через интерфейсы внешних систем, чтение из баз, приём файлов или обмен между базами «1С».
Практические требования: инкрементальность, чтобы не выгружать всю историю каждый раз; устойчивость к недоступности источника с повтором; фиксация момента и границы выборки, чтобы понимать, на какую дату данные актуальны.
Преобразование
Основная и самая трудоёмкая стадия. Здесь решаются четыре задачи:
- Сопоставление. Позиция площадки — позиции вашего справочника, контрагент внешней системы — вашему контрагенту.
- Приведение к единицам. Штуки, коробки, паллеты, тонны — всё к единой базовой единице.
- Очистка. Возвраты, отмены, внутренние обороты, тестовые записи, дубли.
- Обогащение. Признаки промо, периоды дефицита, классификация — то, что превращает сырые продажи в пригодный для прогноза спрос.
Загрузка
Запись подготовленных данных в целевые объекты. Требования: идемпотентность, чтобы повтор не удваивал данные; атомарность периода — либо период загружен целиком, либо не загружен; сохранение исходных данных для разбора расхождений.
Где выполнять преобразование
| Вариант | Плюсы | Минусы |
|---|---|---|
| Внутри «1С» | Одна среда, доступ к справочникам, знакомые инструменты | Нагрузка на рабочую базу |
| Промежуточный слой | Не нагружает рабочую базу, удобно соединять источники | Дополнительный контур сопровождения |
| На стороне источника | Меньше передаваемых данных | Зависимость от чужой системы |
Для большинства компаний рабочий вариант — преобразование внутри «1С» с промежуточными объектами для сырых данных. Отдельный слой оправдан, когда источников много и объёмы велики.
Слой сырых данных: зачем он нужен
Соблазн понятен — загружать сразу в рабочие объекты, минуя промежуточное хранение. Практика показывает, что это дорого обходится.
- При расхождении невозможно понять, ошибка в источнике или в преобразовании.
- При изменении правил преобразования нельзя пересчитать историю — источник уже не отдаст старые данные.
- Несопоставленные записи просто теряются.
Правильная схема: сырые данные сохраняются как есть, преобразование выполняется отдельным шагом, результат складывается в рабочие объекты. Тогда пересчёт истории по новым правилам — вопрос повторного запуска, а не переговоров с площадкой.
Контроль качества данных
Обязательная часть, которую обычно добавляют после первого крупного сбоя. Минимальный набор проверок:
- Полнота. Пришли ли данные за весь ожидаемый период по всем источникам.
- Объём. Отклонение количества записей от обычного — резкое падение обычно означает сбой выгрузки.
- Сопоставление. Доля несопоставленных позиций и контрагентов, с отчётом и ответственным.
- Контрольные суммы. Сходятся ли итоги с источником.
- Аномалии. Отрицательные количества, нулевые цены, даты вне периода.
Ключевой принцип: проверки не должны молча пропускать плохие данные. Загрузка либо останавливается, либо помечает период как сомнительный — но не даёт построить прогноз на неполной истории незаметно для планировщика.
Расписание и его связь с циклом
- Загрузка выполняется регламентными заданиями в ночном окне.
- Все загрузки должны завершиться до начала этапа Demand Review.
- Порядок шагов учитывает зависимости: сначала справочники, потом операции.
- При сбое ответственный получает уведомление до начала рабочего дня, а не после совещания.
- Состояние последней загрузки по каждому источнику видно на одном экране.
Частые ошибки
- Загрузка сразу в рабочие объекты. Невозможно разобрать расхождение и пересчитать историю.
- Полная выгрузка каждый раз. Работает на малых объёмах, перестаёт при росте.
- Молчаливое игнорирование несопоставленных записей. Данные теряются незаметно.
- Отсутствие проверок полноты. Прогноз строится на неполной истории.
- Загрузка без расписания. К этапу цикла данные не готовы.
- Преобразование, зашитое в код без описания. Через год никто не помнит логику очистки.
Итог
Процесс подготовки данных для S&OP — это не разовая выгрузка, а регулярный конвейер с тремя стадиями, слоем сырых данных и обязательным контролем качества. Основная работа приходится на преобразование: сопоставление справочников, приведение единиц и честную очистку от возвратов, дефицитов и промо. Слой сырых данных и проверки полноты — те две вещи, экономия на которых оборачивается недоверием к прогнозу и возвратом к таблицам.
Загрузка и подготовка данных из разнородных источников выделена в отдельный шаг внедрения решения «1С:S&OP».
Компания «Сайфилд» выстраивает загрузку и подготовку данных для планирования в «1С» — от извлечения из внешних источников до контроля качества и регламентного расписания. Опишите свой ландшафт, и мы оценим объём работ.