Хотите работать с данными из 1С в BI удобно?
Практически все современные BI-системы отлично работают с колоночной базой Clickhouse (а также мы поддерживаем PostgreSQL и MS SQL - как базу куда можно выгружать данные), поэтому мы разработали собственное решение - "Экстрактор данных 1С 8.3 в BI", которое собирает информацию из 1С и передает ее в Базу данных по расписанию.
Область применения
"Экстрактор данных 1С 8.3 в BI" используется для автоматизации работы по выгрузке данных для последующего анализа в BI-системах. Наши Заказчики - это:
- бизнес-аналитики
- программисты
- пользователи, активно работающих с 1С 8
- финансовые и технические директора
- CEO
Функциональные возможности
- Удобная настройка выборки данных в 1С - т.е. формирование 1С как "Источника данных"
- Автоматизированная загрузка файлов Excel - как "Источника данных"
- Автогенерация таблиц в базе-приемнике ClickHouse или MS SQL
- Автосопоставление полей между Источником данных и Базой-приемником
- Автоматическая (по расписанию) выгрузка данных из 1С в базу-приемник (можно указать разное расписание для разных наборов данных, можно разделить выгрузку по периодам, потокам и прочим фильтрам)
«Экстрактор данных 1С 8 в BI» - это инструмент автоматизации массивной выгрузки данных из 1С в базу данных Clickhouse (MS SQL) для работы с такими инструментами BI-аналитики как:
- Yandex Datalens
- Apache Superset
- Microsoft Power BI
- Qlik Sense
- Visiology
- Loginom
- Analytic WorkSpace
- Форсайт
- Modus
- Polymatica
- и т.д.
«Экстрактор данных 1С 8 в BI» (далее Решение) реализует
- формирование в пользовательском режиме наборов данных из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц
- Автоматическую загрузку файлов Excel в наборы данных.
- Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД Clickhouse, при этом:
- БД Clickhouse поддерживается как в облаке Яндекс, так и self-hosted (http и https – доступ)
- БД MS SQL может быть развернута у вас на серверах или в облаке
- Поддержка партицирования таблиц в БД Clickhouse
- Поддержка bulk insert для MS SQL (в разработке)
- Полная выгрузка и выгрузка только изменений (в рамках партиции)
- Работа с "медленно изменяющимися измерениями" (для clickhouse с движком ReplacedMergeTree, для MS SQL в базовом функционале)
- Автоматическое отслеживание изменений в справочниках, документах и регистрах с выгрузкой их в Базу данных
- Многопоточная выгрузка
- Работа с клиент-серверными и файловыми базами 1С 8.2 и 8.3
- Полностью автоматическая работа в фоновом режиме
- "Настроил и забыл"
Фишки Экстрактора 1С
- Выгрузка остатков (срез подневный/понедельный/ и т.д.) (т.е. можно выгружать остатки в базу данных ежедневно и они будут в БД храниться ежедневно физически)
- Выгрузка связанных сущностей с основным регистром, к примеру, совместно спроводками можно выгружать сразу и реквизиты документов-регистраторов (номер, дата, менеджер, сумма, склад и т.д.)
- Выгрузка подневных срезов цен (т.е. цены будут храниться в базе данных на каждый день)
- Выгрузка произвольных Запросов 1С (СКД)
- Выгрузка в БД данных, сгенерированных "кодом 1С"
- Доп. вычисления при выгрузке (все что не смог покрыть "Язык запросов 1С", можно в постобработке досчитать яже используя Язык 1С и его функции)
- Отслеживание изменений в базе 1С и выгрузка только того, что изменилось с последнего обмена
- Высокая скорость работы (распараллеливание выгрузки на множество потоков)
- и многое другое
Технические требования
- Базово, наше Решение реализовано как «Расширение» 1С 8.3, т.е. оно встраивается в вашу 1С и дополняет функциональность вашей 1С необходимым функционалом
- Но в каждой поставке мы предоставляем Заказчикам две версии:
- Как «Расширение» 1С
- Как «Конфигурацию» 1С для встраивания (методом объединения конфигураций)
- Мы осуществляем полную методическую и консультационную поддержку нашего Решения
- Разработка выполнена на Управляемых формах (поэтому, если у вас не запрещен запуск вашей конфигурации в режиме управляемых форм, то наше Решение будет там работать вполне успешно)
- В решении использованы стандартные методы и подходы 1С 8.3
- Частично задействованы механизмы БСП (Библиотека стандартных подсистем), но только в части встраивания и создания регламентных заданий
- Решение имеет систему лицензирования и защиты, лицензируется на количество баз 1С, где устанавливается наше Решение
- Решение нормально (без доработок и адаптации) работает с любыми конфигурациями с версии платформы 8.3.16
- Для платформы ниже 8.3.16 необходима проверка под совместимость. На данный момент реализованы проекты, работающие с кастомными конфигурациями под 8.3.10 и 8.3.11 (потребовалась небольшая адаптация и внедрение в конфигурацию, так как данные платформы 1С полноценно не поддерживают механизм Расширений)
- Решение уже протестировано на стандартных (типовых) конфигурациях 1С 8.3:
- 1С Управление торговлей 11 (11.4 и 11.5)
- 1С Розница 2 и 3
- 1С УНФ 1.6 и 3.0
- 1С Бухгалтерия 3.0
- 1С ЗУП
- 1С ERP 2.4 и 2.5
- Далион
- АСТОР
- Альфа-Авто
- УПП 1.3
- Бит-Финанс
- Так как Решение является универсальным, то технически может быть запущено на любой конфигурации 1С 8.2 и 8.3
- Для 1С 8.1 есть отдельная ветка с поддержкой "Обычных форм" - предоставляется по запросу
Внимание! Расширение не работает на БАЗОВЫХ конфигурациях (в базовых конфигурациях 1С, возможности подключения расширений - отсутствуют)!
Идея состоит в том, чтобы без участия программистов 1С, бизнес-аналитик мог сам
- Собрать себе набор данных (Датасет) в терминах 1С
- На его основе создать таблицу в Базе данных “одной кнопкой”
- при необходимости, добавить новые поля в набор данных и обновить таблицу-приемник новыми полями
- Настроить регулярную автоматическую выгрузку данных из 1С в базу данных
- Обеспечить многопоточную фоновую выгрузку данных «по расписанию»
- При определенных настройках можно реализовать фактически real-time выгрузку данных 1С в БД Clickhouse или MS SQL (все зависит от объемов данных и поставленной задачи бизнес-аналитиком)
- Автоматически регистрировать изменения в 1С и выгружать эти изменения (в рамках партиции) в БД
- Заниматься своей работой здесь и сейчас, не ожидая какие-то разработки, доработки, ручные выгрузки отчетов от программистов 1С и т.д
- Получать большие массивы данных "здесь и сейчас" из 1С для анализа в своей BI-системе
Как это работает?
Для работы нашего расширения вам нужно подключить наш “Экстрактор данных 1С в BI” к вашей 1С. При этом не важно, в какой конфигурации 1С вы работаете. Мы проверили работу экстрактора на всех известных нам типовых конфигурациях 1С (поддерживается и файловый и клиент-серверный режим работы).
Для работы есть 3 условия:
- Платформа 1С не ниже 8.3.17 (для работы с "Расширением") или любая другая платформа 1С 8 при условии встройки Экстрактора 1С в основную конфигурацию(обсуждаемо));
- Выгрузка автоматически делается в БД ClickHouse или MS SQL, которая может быть размещена как у вас на сервере, так и использоваться в Yandex Cloud (самый удобный вариант - использовать Managed Service for ClickHouse)
Схема решения
Как работать с Экстрактором данных 1С
Для начала обдумайте, какие данные вы хотите получить в Вашей BI-системе. С помощью нашего расширения из 1С можно выгружать любые наборы данных (запросы), включающие в себя:
- Продажи;
- Расходы;
- Закупки;
- Документы;
- Справочники;
- Перечисления;
- Константы;
- Планы видов характеристик;
- Планы счетов;
- Хозяйственные операции (проводки);
- Регистры сведений (цены и т.д.);
- Регистры расчета (зарплатные);
- Бизнес-процессы;
- Задачи;
- Произвольные запросы 1С
- и т.д.
Теперь выполните настройку (в частности, настройка показана на данному видео):
В результате:
- Данные по вашим запросам отслеживаются и автоматически выгружаются в базу данных ClickHouse/MS SQL
- В вашей BI-системе вы спокойно пользуетесь своими данными из 1С, не нагружая запросами БД 1С
- Если вы добавляете поля в "Источнике данных" (Запросе), то эти поля автоматически добавляются и в результирующую таблицу в БД (т.е. работает автомаппинг между 1С и БД)
Пример как настраивается Отслеживание изменений 1С Инкрементальная выгрузка:
Интересно данное решение? Можно получить бесплатно ДЕМО доступ на 5 дней и проверить как работает все внутри! Чтобы получить ДЕМО нажмите кнопку ниже
Лицензирование
Лицензия привязывается к базе, в которую устанавливается расширение. На каждую базу данных 1С 8.3 приобретается отдельная лицензия.
Состав поставки
Продукт поставляется как:
- Файл расширения 1С
- Конфигурация (CF) для встройки
- Доступ к документации на портале
- Доступ в Личный кабинет для получения обновлений
- Доступ в канал и чат поддержки в Telegram
Также, предоставляется 2 часа бесплатных консультаций наших специалистов по установке и настройке нашего программного продукта, в который мы обязательно включаем "Установочную сессию", на которой сопровождаем Вас по всем шагам настройки Экстрактора 1С, с тем, чтобы вы по истечение консультации уже получили первый работающий проект выгрузки данных из 1С в БД
Код обфусцирован.
Демонстрация продукта
Если хотите посмотреть продукт, нажмите кнопку ниже и с Вами согласуют время и дату.
Причины купить
Экстрактор данных 1С 8.3 в BI решает следующие задачи:
- У вас появляется реальный инструмент по работе с данными 1С в таких BI-системах как Yandex Datalens, Power BI, QlikSense, Analystic WorkSpace, visiology, Loginom и т.д.
- Наше решение разворачивается очень быстро и позволяет "здесь и сейчас" (т.е. сразу же), без программистов 1С, без доработок, без ручных выгрузок отчетов в Excel, CSV - начать бизнес-анализ данных 1С в комфортной BI-среде
- Наше решение можно использовать не только для BI, но и для дальнейшей обработки, трансформации данных 1С внешними инструментами ETL (к примеру, мы активно сотрудничаем и дружим с компанией Loginom).
- Наше решение предназначено в первую очередь для пользователей и бизнес-аналитиков, которые смогут использовать данные из 1С в своих BI- дашбордах в режиме "self-service"
Продукт включает в себя:
- Работу по подготовке "Наборов данных" - на основе или объектов конфигурации или Построителя отчетов (Запросов)
- Использование и переиспользование "Наборов данных" как "Источников" для выгрузки данных с дополнительными отборами, доп. расчетными полями, параметрами
- Автоматизированную генерацию и перегенерацию таблиц-приемников в базе Clickhouse или MS SQL
- Маппинг (сопоставление) полей между "Источниками" и таблицами-приемниками
- Генерация и редактирование регламентных заданий на автоматическую выгрузку данных из "Источников" в Таблицы-приемники
Видео по работе Экстрактор данных 1С в BI работа с многопоточностью:
Функциональность по автоматизированной загрузке данных из MS Excel средствами Экстрактора
Такой подход позволяет обогатить данные 1С, внешними данными, рассчитанными, дозаполненными в MS Excel
Техническая поддержка и обновления
Бесплатный период техподдержки составляет 12 месяцев со дня покупки. После покупки будет мини внедрение ПО.
Также после приобретения вы получаете 12 месяцев бесплатных обновлений.
По окончании бесплатного периода вы можете приобрести услугу технической поддержки с доступом к обновлениям на платной основе.
Проверить наличие обновлений можно в личном кабинете. Если обновления недоступны - загрузить новую версию можно после покупки обновлений/технической поддержки.
Задать вопрос по программе можно по кнопке "Техподдержка" на странице описания.
При создании тикета необходимо предоставить:
- Номер заказа
- Описание вопроса. Если это ошибки - напишите порядок ваших действий с программой, которые к ней привели (приложите видео/скриншоты/отчеты об ошибке)
- Точную конфигурацию 1С, и версию платформы, на которой используете купленное решение (наименование и версию 1С можно взять из раздела "О программе"), версию купленной программы.
К созданной заявке подключается специалист. Дальнейшее обсуждение проблемы будет проходить в тикете техподдержки. Стандартный срок реакции - 24 часа в рабочие дни с момента обращения.