Автоматическая многопоточная выгрузка данных 1С 8.3 в БД Clickhouse, MS SQL, PostgreSQL (для работы с данными 1С в BI-системах)

Готовое решение для автоматизированной выгрузки данных из 1С 8.3, а также MS Excel в базу данных ClickHouse, а также в PostgreSQL и Microsoft SQL для работы с данными 1С в Yandex Datalens, Visiology, Apache Superset (и не только) - "Экстрактор данных 1С в BI". Решение отлично работает со всеми типовыми (и не только) конфигурациями 1С 8.3 для управляемых форм. Gозволяет автоматизировать работу бизнес-аналитика по ежедневной выгрузке данных из 1С в БД ClickHouse для последующей работы с этой БД в Yandex Datalens/ Система полностью автоматизирует работу с хранилищем данных в БД Clickhouse/MS SQL. Не надо быть программистом, чтобы одной кнопкой получать любые данные из 1С в Вашей BI-системе

Арт.: 1755776

Продано: 11

Лицензии

300000 руб.

25000 руб.

230000 руб.

Техподдержка и обновления

60000 руб.

10000 руб.

Услуга

3000 руб.

28500 руб.

54150 руб.

104424 руб.

Хотите работать с данными из 1С в BI удобно?

Практически все современные BI-системы отлично работают с колоночной базой Clickhouse (а также мы поддерживаем PostgreSQL и MS SQL - как базу куда можно выгружать данные), поэтому мы разработали собственное решение - "Экстрактор данных 1С 8.3 в BI", которое собирает информацию из 1С и передает ее в Базу данных по расписанию.

Область применения

"Экстрактор данных 1С 8.3 в BI" используется для автоматизации работы по выгрузке данных для последующего анализа в BI-системах. Наши Заказчики - это:

  • бизнес-аналитики
  • программисты
  • пользователи, активно работающих с 1С 8
  • финансовые и технические директора
  • CEO

Функциональные возможности

  • Удобная настройка выборки данных в 1С - т.е. формирование 1С как "Источника данных"
  • Автоматизированная загрузка файлов Excel - как "Источника данных"
  • Автогенерация таблиц в базе-приемнике ClickHouse или MS SQL
  • Автосопоставление полей между Источником данных и Базой-приемником
  • Автоматическая (по расписанию) выгрузка данных из 1С в базу-приемник (можно указать разное расписание для разных наборов данных, можно разделить выгрузку по периодам, потокам и прочим фильтрам)

«Экстрактор данных 1С 8 в BI» - это инструмент автоматизации массивной выгрузки данных из 1С в базу данных Clickhouse (MS SQL) для работы с такими инструментами BI-аналитики как:

  • Yandex Datalens
  • Apache Superset
  • Microsoft Power BI
  • Qlik Sense
  • Visiology
  • Loginom
  • Analytic WorkSpace
  • Форсайт
  • Modus
  • Polymatica
  • и т.д.

«Экстрактор данных 1С 8 в BI» (далее Решение) реализует

  1. формирование в пользовательском режиме наборов данных из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц
  2. Автоматическую загрузку файлов Excel в наборы данных.
  3. Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД Clickhouse, при этом:
  4. БД Clickhouse поддерживается как в облаке Яндекс, так и self-hosted (http и https – доступ)
  5. БД MS SQL может быть развернута у вас на серверах или в облаке
  6. Поддержка партицирования таблиц в БД Clickhouse
  7. Поддержка bulk insert для MS SQL (в разработке)
  8. Полная выгрузка и выгрузка только изменений (в рамках партиции)
  9. Работа с "медленно изменяющимися измерениями" (для clickhouse с движком ReplacedMergeTree, для MS SQL в базовом функционале)
  10. Автоматическое отслеживание изменений в справочниках, документах и регистрах с выгрузкой их в Базу данных
  11. Многопоточная выгрузка
  12. Работа с клиент-серверными и файловыми базами 1С 8.2 и 8.3
  13. Полностью автоматическая работа в фоновом режиме
  14. "Настроил и забыл"

Фишки Экстрактора 1С

  1. Выгрузка остатков (срез подневный/понедельный/ и т.д.) (т.е. можно выгружать остатки в базу данных ежедневно и они будут в БД храниться ежедневно физически)
  2. Выгрузка связанных сущностей с основным регистром, к примеру, совместно спроводками можно выгружать сразу и реквизиты документов-регистраторов (номер, дата, менеджер, сумма, склад и т.д.)
  3. Выгрузка подневных срезов цен (т.е. цены будут храниться в базе данных на каждый день)
  4. Выгрузка произвольных Запросов 1С (СКД)
  5. Выгрузка в БД данных, сгенерированных "кодом 1С"
  6. Доп. вычисления при выгрузке (все что не смог покрыть "Язык запросов 1С", можно в постобработке досчитать яже используя Язык 1С и его функции)
  7. Отслеживание изменений в базе 1С и выгрузка только того, что изменилось с последнего обмена
  8. Высокая скорость работы (распараллеливание выгрузки на множество потоков)
  9. и многое другое

Технические требования

  1. Базово, наше Решение реализовано как «Расширение» 1С 8.3, т.е. оно встраивается в вашу 1С и дополняет функциональность вашей 1С необходимым функционалом
  2. Но в каждой поставке мы предоставляем Заказчикам две версии:
    1. Как «Расширение» 1С
    2. Как «Конфигурацию» 1С для встраивания (методом объединения конфигураций)
  3. Мы осуществляем полную методическую и консультационную поддержку нашего Решения
  4. Разработка выполнена на Управляемых формах (поэтому, если у вас не запрещен запуск вашей конфигурации в режиме управляемых форм, то наше Решение будет там работать вполне успешно)
  5. В решении использованы стандартные методы и подходы 1С 8.3
  6. Частично задействованы механизмы БСП (Библиотека стандартных подсистем), но только в части встраивания и создания регламентных заданий
  7. Решение имеет систему лицензирования и защиты, лицензируется на количество баз 1С, где устанавливается наше Решение
  8. Решение нормально (без доработок и адаптации) работает с любыми конфигурациями с версии платформы 8.3.16
  9. Для платформы ниже 8.3.16 необходима проверка под совместимость. На данный момент реализованы проекты, работающие с кастомными конфигурациями под 8.3.10 и 8.3.11 (потребовалась небольшая адаптация и внедрение в конфигурацию, так как данные платформы 1С полноценно не поддерживают механизм Расширений)
  10. Решение уже протестировано на стандартных (типовых) конфигурациях 1С 8.3:
    • 1С Управление торговлей 11 (11.4 и 11.5)
    • 1С Розница 2 и 3
    • 1С УНФ 1.6 и 3.0
    • 1С Бухгалтерия 3.0
    • 1С ЗУП
    • 1С ERP 2.4 и 2.5
    • Далион
    • АСТОР
    • Альфа-Авто
    • УПП 1.3
    • Бит-Финанс
  11. Так как Решение является универсальным, то технически может быть запущено на любой конфигурации 1С 8.2 и 8.3
  12. Для 1С 8.1 есть отдельная ветка с поддержкой "Обычных форм" - предоставляется по запросу

Внимание! Расширение не работает на БАЗОВЫХ конфигурациях (в базовых конфигурациях 1С, возможности подключения расширений - отсутствуют)!

 

Идея состоит в том, чтобы без участия программистов 1С, бизнес-аналитик мог сам

  1. Собрать себе набор данных (Датасет) в терминах 1С
  2. На его основе создать таблицу в Базе данных “одной кнопкой”
    • при необходимости, добавить новые поля в набор данных и обновить таблицу-приемник новыми полями
  3. Настроить регулярную автоматическую выгрузку данных из 1С в базу данных
  4. Обеспечить многопоточную фоновую выгрузку данных «по расписанию»
    • При определенных настройках можно реализовать фактически real-time выгрузку данных 1С в БД Clickhouse или MS SQL (все зависит от объемов данных и поставленной задачи бизнес-аналитиком)
  5. Автоматически регистрировать изменения в 1С и выгружать эти изменения (в рамках партиции) в БД
  6. Заниматься своей работой здесь и сейчас, не ожидая какие-то разработки, доработки, ручные выгрузки отчетов от программистов 1С и т.д 
  7. Получать большие массивы данных "здесь и сейчас" из 1С для анализа в своей BI-системе

Как это работает?

Для работы нашего расширения вам нужно подключить наш “Экстрактор данных 1С в BI” к вашей 1С. При этом не важно, в какой конфигурации 1С вы работаете. Мы проверили работу экстрактора на всех известных нам типовых конфигурациях 1С (поддерживается и файловый и клиент-серверный режим работы).

Для работы есть 3 условия:

  • Платформа 1С не ниже 8.3.17 (для работы с "Расширением") или любая другая платформа 1С 8 при условии встройки Экстрактора 1С в основную конфигурацию(обсуждаемо));
  • Выгрузка автоматически делается в БД ClickHouse или MS SQL, которая может быть размещена как у вас на сервере, так и использоваться в Yandex Cloud (самый удобный вариант - использовать Managed Service for ClickHouse)

Схема решения

Как работать с Экстрактором данных 1С

Для начала обдумайте, какие данные вы хотите получить в Вашей BI-системе. С помощью нашего расширения из 1С можно выгружать любые наборы данных (запросы), включающие в себя:

  • Продажи;
  • Расходы;
  • Закупки;
  • Документы;
  • Справочники;
  • Перечисления;
  • Константы;
  • Планы видов характеристик;
  • Планы счетов;
  • Хозяйственные операции (проводки);
  • Регистры сведений (цены и т.д.);
  • Регистры расчета (зарплатные);
  • Бизнес-процессы;
  • Задачи;
  • Произвольные запросы 1С
  • и т.д.

Теперь выполните настройку (в частности, настройка показана на данному видео):

В результате:

  1. Данные по вашим запросам отслеживаются и автоматически выгружаются в базу данных ClickHouse/MS SQL
  2. В вашей BI-системе вы спокойно пользуетесь своими данными из 1С, не нагружая запросами БД 1С
  3. Если вы добавляете поля в "Источнике данных" (Запросе), то эти поля автоматически добавляются и в результирующую таблицу в БД (т.е. работает автомаппинг между 1С и БД)

Пример как настраивается Отслеживание изменений 1С Инкрементальная выгрузка:

Интересно данное решение? Можно получить бесплатно ДЕМО доступ на 5 дней и проверить как работает все внутри! Чтобы получить ДЕМО нажмите кнопку ниже

 

ДЕМО доступ
 

 
 А вот интерактивный пример в Yandex Datalens:

Лицензирование

Лицензия привязывается к базе, в которую устанавливается расширение. На каждую базу данных 1С 8.3 приобретается отдельная лицензия.

Состав поставки

Продукт поставляется как:

  1. Файл расширения 1С
  2. Конфигурация (CF) для встройки
  3. Доступ к документации на портале
  4. Доступ в Личный кабинет для получения обновлений
  5. Доступ в канал и чат поддержки в Telegram

Также, предоставляется 2 часа бесплатных консультаций наших специалистов по установке и настройке нашего программного продукта, в который мы обязательно включаем "Установочную сессию", на которой сопровождаем Вас по всем шагам настройки Экстрактора 1С, с тем, чтобы вы по истечение консультации уже получили первый работающий проект выгрузки данных из 1С в БД

Код обфусцирован.

Демонстрация продукта

Если хотите посмотреть продукт, нажмите кнопку ниже и с Вами согласуют время и дату.

Запрос демонстрации
 

Причины купить

Экстрактор данных 1С 8.3 в BI решает следующие задачи:

  • У вас появляется реальный инструмент по работе с данными 1С в таких BI-системах как Yandex Datalens, Power BI, QlikSense, Analystic WorkSpace, visiology, Loginom и т.д.
  • Наше решение разворачивается очень быстро и позволяет "здесь и сейчас" (т.е. сразу же), без программистов 1С, без доработок, без ручных выгрузок отчетов в Excel, CSV - начать бизнес-анализ данных 1С в комфортной BI-среде 
  • Наше решение можно использовать не только для BI, но и для дальнейшей обработки, трансформации данных 1С внешними инструментами ETL (к примеру, мы активно сотрудничаем и дружим с компанией Loginom).
  • Наше решение предназначено в первую очередь для пользователей и бизнес-аналитиков, которые смогут использовать данные из 1С в своих BI- дашбордах в режиме "self-service"

Продукт включает в себя:

  1. Работу по подготовке "Наборов данных" - на основе или объектов конфигурации или Построителя отчетов (Запросов)
  2. Использование и переиспользование "Наборов данных" как "Источников" для выгрузки данных с дополнительными отборами, доп. расчетными полями, параметрами
  3. Автоматизированную генерацию и перегенерацию таблиц-приемников в базе Clickhouse или MS SQL
  4. Маппинг (сопоставление) полей между "Источниками" и таблицами-приемниками
  5. Генерация и редактирование регламентных заданий на автоматическую выгрузку данных из "Источников" в Таблицы-приемники
 
 Изменения ПО

 

Видео по работе Экстрактор данных 1С в BI работа с многопоточностью:

Функциональность по автоматизированной загрузке данных из MS Excel средствами Экстрактора

Такой подход позволяет обогатить данные 1С, внешними данными, рассчитанными, дозаполненными в MS Excel

Техническая поддержка и обновления

Бесплатный период техподдержки составляет 12 месяцев со дня покупки. После покупки будет мини внедрение ПО.

Также после приобретения вы получаете 12 месяцев бесплатных обновлений.

По окончании бесплатного периода вы можете приобрести услугу технической поддержки с доступом к обновлениям на платной основе.

Проверить наличие обновлений можно в личном кабинете. Если обновления недоступны - загрузить новую версию можно после покупки обновлений/технической поддержки.

Задать вопрос по программе можно по кнопке "Техподдержка" на странице описания.

При создании тикета необходимо предоставить:

  1. Номер заказа
  2. Описание вопроса. Если это ошибки - напишите порядок ваших действий с программой, которые к ней привели (приложите видео/скриншоты/отчеты об ошибке)
  3. Точную конфигурацию 1С, и версию платформы, на которой используете купленное решение (наименование и версию 1С можно взять из раздела "О программе"), версию купленной программы.

К созданной заявке подключается специалист. Дальнейшее обсуждение проблемы будет проходить в тикете техподдержки. Стандартный срок реакции - 24 часа в рабочие дни с момента обращения.

Техподдержка
 

Статистика:
Просмотры 13190
Загрузки 11
Рейтинг 28
Создание 15.11.22 12:50
Обновление 21.03.24 15:02
№ Публикации 1755776
Характеристики:
Теги

Выгрузка Dalalens Clickhouse экстрактор данных yandex datalens postgresql microsoft sql скорость

Рубрики Внешние источники данных
Кому Программист ,
Бизнес-аналитик ,
Пользователь
Тип файла Расширение (cfe)
Платформа Платформа 1С v8.3 ,
Управляемые формы ,
Анализ и прогнозирование
Конфигурация Конфигурации 1cv8
Операционная система Не имеет значения
Страна Узбекистан ,
Беларусь ,
Кыргызстан ,
Молдова ,
Россия ,
Казахстан
Отрасль Не имеет значения
Налоги Не имеет значения
Вид учета Не имеет значения
Доступ к файлу Платные (руб)
Код открыт Нет
Наименование Файл Версия Размер
Презентация .pdf 2.0.1.5 2,89Mb 25 Скачать
1. SP2000 15.11.22 14:19 Сейчас в теме
Обычное приложение поддерживается?
2. Техподдержка 15.11.22 14:22
(1)
Обычное приложение поддерживается?


Пока не поддерживается (Еще не было запросов)
Если Ваша конфигурация в принципе допускает запуск в управляемых формах, то наше Расширение будет доступно и будет работать и так
(некоторые так пользуются)

Если напишете какой релиз конфигурации и платформу 1С используете, посмотрим что можно сделать
28. Техподдержка 10.11.23 17:00
(2) Теперь есть Обычные формы (по запросу пока)
24. Техподдержка 18.10.23 17:38
(1) Обычные формы сейчас уже в разработке. Думаю до конца месяца будут готовы
3. 1spectr 15.11.22 19:56 Сейчас в теме
А выгрузка всегда полная или поддерживается инкремент?
4. Техподдержка 15.11.22 20:02
(3)
А выгрузка всегда полная или поддерживается инкремент?


В таблицу - приемник делается сейчас полная выгрузка (в 99% в 1С нельзя определить, что за этот период времени вот эти вот данные изменились, если конечно вы не используете планы обмена, но даже с планами обмена не все просто)

Обычно мы делаем так:
0. Делаем два набора данных и соответственно две таблицы- приемника в clickHouse (генерация таблиц у нас реализована)
1. "Таблица_ИсторическиеДанные" - сюда разово загружаем данные до определенной даты (например до 01/01/2022) (просто ручками тыкаем кнопку один раз)
2. "Таблица_Текущая" - а здесь по расписанию данные перезаписываем созданным ранее регламентным заданием
3. а на уровне ClickHouse делаем такой код (пример):

Cre ate View Таблица_ВСЯ
as
sel ect * from Таблица_ИсторическиеДанные
uni on all
sel ect * fr om Таблица_Текущая

4. Далее, в Datalens уже используем для работы созданную View = "Таблица_ВСЯ"
18. Техподдержка 27.02.23 13:01
(3) Теперь поддерживается инкремент (выгрузка по партициям)
5. 1spectr 15.11.22 20:11 Сейчас в теме
(4) те получается, что текущий период(текущий год) все равно придётся перегружать полностью и далее руками сдвигать «окно»(на следующий год)?
6. Техподдержка 15.11.22 20:35
(5)
те получается, что текущий период(текущий год) все равно придётся перегружать полностью и далее руками сдвигать «окно»(на следующий год)?

Ну это первый вариант, который на поверхности
Другой вариант - в Наборах данных Экстрактора 1С привязываться к дате закрытия периода или еще к какому то реквизиты для секционирования данных

Изначально мы думали над автоматическим секционированием таблиц-приемников по годам/месяцам, но любовь 1С-пользователей к правкам "задним периодом" все эти схемы ломает на раз-два.
К примеру, вот 10 января - это уже новый год. А правки пользователи будут вносить еще половину всего прошлого года. Одно дело, если база небольшая, можно перегружать текущий и прошлый год, а если в базе сотни тысяч документов, то такой подход уже не подходит.
В общем пока вся история с автосекционированием - это, как мне кажется, индивидуально подбираемое решение для каждого конкретного Заказчика

Если у Вас есть какая-то идея по автоматическому сдвигу "окна", то давайте обсудим и если это будет достаточно универсально, то мы включим это в один из ближайших релизов
19. Техподдержка 27.02.23 13:06
(5)
(4) те получается, что текущий период(текущий год) все равно придётся перегружать полностью и далее руками сдвигать «окно»(на следующий год)?

Теперь все сделано намного более удобно:
1. Выгрузка идет по партициям (причем партиции вы определяете сами при описании таблицы-приемника)
2. Выгрузка идет в указанное вами количество потоков (т.е. выгрузка распараллеливается, что очень сильно ускоряет выгрузку данных)
3. Есть предобработка и постобработка при выгрузке данных, что позволяет встраивает свои обработчики
4. Решение может внедряться в вашу 1С как "расширение" или через объединение конфигураций (для тех 1С, у кого старые релизы 1С (например 8.3.11 и ранее) или для тех у кого "кастомные" конфигурации)
7. 1spectr 15.11.22 21:56 Сейчас в теме
(6) Универсального решения нет, но если работаем с более менее большими данными, то эффективность более приоритетна чем универсальность.
Если мы берем за аксиому, что данное решение для небольших(база не более 300-500гб) инсталляций 1С(так как на больших системах все сильно сложнее)

Задачи которые необходимо решить
1) Обеспечить консистентность данных с приемлемой задержкой(так как реалтайм для аналитике в целом не нужен).

2) Минизировать "пропадание" данных при обновлении данных(Clickhouse это не реляционная база и update в классическом смысле там нет).
Как я понимаю сейчас в момент выгрузки данные в таблице стираются и записываются заново(возможно я не прав)?

3) Минимизировать нагрузку при синхронизации, так как чем больше данных тем больше требуется напрягать базу данных для получения этих данных и сервер приложений для конвертации(json или tsv(csv) самые простые для 1С) перед выгрузкой/


Варианты решения.
Вариант с планом обмена(или его аналогами)
Есть таблицы с функциональностью которая позволяет удалять дубликаты по сочетанию измерений ReplacingMergeTree
ReplacingMergeTree
Те в данную таблицу можно получая изменения из плана обмена отправлять актуальные данный и ch сам удалит дубликаты и оставит только одну последнюю запись(есть нюансы, но для небольших данных(10ки миллионов строк) пойдет)

Другой вариант
Предполагаем что в таблице есть Период(или любое другое поле с Датой), так как вопрос выгрузки Справочников это отдельная тема
Предположим что мы не знаем, что именно пользователи поменяли, но можем понять что в данном документе произошло изменение(стандартная логика регистрации в плане обмена)
В таком случае мы можем создать таблицу которая будет партиционирована, например по дням. Далее получаем из плана обмена записи, по ним определяем день в котором данные были изменены, удаляем партицию с этим днем в ch(удаление партиции равно по ресурсам удалению одного файла, те очень быстрое и дешевое) и записываем полностью этот день заново.
Если мы хотим чтобы никто не заметил что произошло обновление данных, то мы создаем таблицу аналогичной структуры записываем в нее данные и потом "подменяем" партиции в таблицах(операция атомарная поэтому никто не заметит пропажи).
8. Техподдержка 15.11.22 23:14
(7)
Как я понимаю сейчас в момент выгрузки данные в таблице стираются и записываются заново(возможно я не прав)

Да, сейчас именно так

Минимизировать нагрузку при синхронизации, так как чем больше данных тем больше требуется напрягать базу данных для получения этих данных и сервер приложений для конвертации(json или tsv(csv) самые простые для 1С) перед выгрузкой

Да, есть два варианта выгрузки:
1. insert.... values (...), (...)
2.через файл - вариант более быстрый и предпочтительный (используется по умолчанию)

С вами где-то согласен.
Но построение выгрузки на Плане обмена или регистрации дней/месяцев, когда данные были изменены - это уже кастомное решение под Заказчика, так как зависит от бизнес-задачи и конкретной конфигурации.
Мы не знаем, на какой раздел учета обратит внимание аналитик и пожелает выгружать:
- хоз.операции в бухучете,
- Регистры продаж
- или регистры расчета в ЗУП (вариантов масса)

Поэтому ваши, безусловно верные, методы регистрации изменений и доставки изменений в ClickHouse к сожалению не универсальны, в том числе, если рассматривать 1С в файловом (а не клиент-серверном) варианте (ведь такие пользователи тоже есть, не у всех есть "большие" данные)
Также, предполагаю, что в ваших вариантах, для некоторых конфигураций и платформ 1С придется встраиваться в саму конфигурацию клиента, а не оставаться в рамках "расширения" (тут наверное больше скажут наши программисты, нежели я)

На мой взгляд, если объемы данных велики и нужен "реалтайм", то лучше уже тогда идти по пути "прямого" доступа к БД 1С (через View), нежели используя механизм регистрации изменений и выгрузок средствами 1С платформы

В целом, спасибо за конструктивное замечание. Продукту есть куда развиваться.

Ну и это уже вопрос "кастомного" индивидуального решения под вас (готовы обсуждать)
9. 1spectr 15.11.22 23:36 Сейчас в теме
(8) Мы эти вопросы уже решили, иначе я не смог бы не написал то что написал )
В вашем решении не хватает инкремента, так как в текущей реализации есть только прикольный конструктор мапинга полей и в целом на этом все красивое заканчивается и начинаются минусы которые не позволяют использовать полноценно решение в проектах.

1) Полная перегрузка данных, те аналитики должны подстраиваться под технологическое окно обновления так как пока 1С выгружает данные, в DL данных нет, либо они есть, но неполные данные хуже полного отсутствия.

2) Нагрузка при выгрузке, это важный момент, так как выгружается все таки ощутимый объем данных.

3) Решение с перегрузкой текущего периода уменьшает нагрузку, но не решает 1 пункта и оно требует компетенции которой обладают далеко не все.

Но концептуально я придираюсь )
Хорошее решение для небольших организаций(1с у них и так есть, а ch в облаке стоит несколько тысяч рублей в месяц) которое позволит им выйти за пределы отчетов которые дает 1С и с минимальными усилиями воспользоваться современными low code инструментами аналитики.
10. Техподдержка 16.11.22 08:42
(9)
рикольный конструктор мапинга полей и в целом на этом все красивое заканчивается и начинаются минусы которые не позволяют использовать полноценно решение в проектах.


Не совсем так:
В нашем решении есть:
1.создание наборов данных (запрос или объект [в ближайшее время опишу уже выпущенный релиз])
2. автосоздание, модификация таблиц в ClickHouse с маппингом полей по Набору данных (ведь это же боль - генерировать руками таблицы-приемники)
3. добавление вычисляемых полей, параметров, отборов для удобства с повторным использованием одного Набора данных в разных выгрузках
4. создание и модификация регламентного задания по перезаполнению таблиц в ClickHouse
5. Плюс ко всему - наше решение еще и универсально по отношению к большинству конфигураций 1С, присутствующих на рынке

Спасибо вам за идею, по поводу работы с партишенами на уровне дня в базе Clickhouse. Думаю, это можно обыграть (взяли на обдумывание)


Что касается, что у нас хорошее решение для "небольших организаций" - немного нет так :)
У нас отличное решение для относительно небольших баз данных, к коим можно отнести огромное количество заводов, оптовых компаний, ритейла среднего размера, предприятий питания или сферы услуг. Т.е. сама организация может быть весьма крупной, просто в ее 1С нет сотен миллионов транзакций (это свойственно больше крупному ритейлу).
А для мега крупного ритейла из нашего решения можно сделать кастомный вариант, который будет очень быстро и красиво работать


Самое главное - наше решение (вы правы) - это возможность, используя данные 1С, перейти на работу с современным BI (Yandex Datalens)
11. Техподдержка 17.11.22 14:23
(9)
В вашем решении не хватает инкремента, так как в текущей реализации есть только прикольный конструктор мапинга полей и в целом на этом все красивое заканчивается и начинаются минусы которые не позволяют использовать полноценно решение в проектах.


Спасибо большое за комментарии.
Обдумали возможные пути решения.
Думаю, до конца года сможем реализовать достаточно универсальную схему по регистрации изменений до уровня "Месяц/день", а значит и реализовать инкрементальную загрузку "Наборов данных" в Clickhouse.

Вы натолкнули нас на достаточно элегантное решение :)
12. Техподдержка 09.01.23 18:29
Текущие изменения:
1. поработали над интерфейсом (теперь он удобнее и проще)
2. добавили логирование
3. исправили пару досадных недочетов
4. выполнили несколько проектов и окончательно убедились, что проект востребован и нужен, а также весьма и весьма удобен для работы с выгрузкой из 1С в Clickhouse
13. DenDSMG 16.01.23 14:43 Сейчас в теме
в запросах можно использовать временные таблицы ?
Можно передавать параметром Текущую дату ? (чтобы в запросе была возможность выгружать определенный период от сегодняшней даты)
14. Техподдержка 16.01.23 18:22
(13)
в запросах можно использовать временные таблицы ?
Можно передавать параметром Текущую дату ? (чтобы в запросе была возможность выгружать определенный период от сегодняшней даты)


1. В Запросах можно использовать и временные таблицы. (штатный же функционал)
2. Параметром Текущую дату пока передать нельзя (для этого пока клиенты используют сейчас "Отборы"), записано в план доработки на этот квартал. Но, если надо быстрее, то данную функциональность поставим в план на ближайший релиз, если выкупите лицензию
16. Техподдержка 06.02.23 12:42
(14)
Можно передавать параметром Текущую дату ?

Теперь можно, реализовали и работу с параметрами, ну а в параметрах есть стандартный набор выбора дат, в точ числе и текущая дата и начало месяца и т.д.
15. Техподдержка 06.02.23 12:41
Нас можно поздравить:

Вышел предрелиз нашего расширения по выгрузке данных из 1С 8.3 в БД Clickhouse с отслеживанием изменений.
Новая версия предназначена для обработки больших (реально больших) объемов данных
Новинки:
1. Выгрузка теперь для каждого "проекта" настраивается в несколько потоков, что позволяет значительно ускорить выгрузку больших данных (данные разбиваются на партиции, каждая партиция становится в очередь потоков)
2. Таблица-приемник теперь не очищается, а поток данных из Источника разбивается на партиции и каждая партиция перезаписыывается в приемнике отдельно
3. для ускорения работы, есть опциональная настройка отключения по выбранным полям выгрузки "экранирования" недопустимых символов (табуляция, одинарная кавычка, перевод каретки и т.д.). позволяет увеличить скорость выгрузки в разы
17. Yozha 24.02.23 09:37 Сейчас в теме
Пользуюсь решением в настоящее время. У нас как раз работает вариант с инкрементной выгрузкой. Продукт позволил значительно сократить время реализации проекта. Проект пока не сдан, но все основные механизмы уже интегрированы в базу заказчика, в настоящее время проходят тестирование.
Техподдержка работает на хорошем уровне.
Уже сейчас могу смело рекомендовать продукт к покупке и внедрению.
20. Техподдержка 01.03.23 18:42
Обновил документацию под 1.3.1
Версию тестируем, скоро будем рассылать подписчикам
Ну и записал пару видео

Оставлю здесь ссылки:

1. Описание обновления 1.3.1
2. Для версии 1.3.1 - удобный побочный эффект при использовании (ну или возможность)
21. Техподдержка 15.03.23 18:29
Update от 15/03/2023 (версия 1.3.2)
Изменения:
1. Поддержка Nullable полей при создании/модификации таблицы в clickhouse
2. Описание значений в Order By, Partition в таблицах clickhouse доступно и из списка возможных значений
3. Тестовая функциональность по таймаутам при выгрузке в БД clickhouse
4. увеличена разрядность поля "Максимальное количество потоков"
5. поправлен баг в создании Групп в списке Наборов данных
6. Возможность использовать в "Параметрах" Список значений (для конструкций запросов в отбрах и т.д.: "В (&СписокЧеголибо)")
7. Мелкие правки по интерфейсу
8. Также в документации дописаны некоторые кейсы по работе с многопоточностью
22. Техподдержка 06.04.23 19:09
Update от 06.04.2023 (Версия 1.4.2)
Изменения:

Переписали встроенную в Расширение роль "Экс_ПолныеПрава", с тем, чтобы можно было поддерживать и старые платформы 1С (типа 8.3.13)
Добавили в настройку создания "Регламентного задания" Пользователя, под которым данное задание будет запускаться (так как пользователю даже с "Полными" правами надо явно выдавать роль "Экс_ПолныеПрава")
Переделали систему лицензирования немного (ключ лицензии теперь вводится в пользовательском интерфейсе)
Переделали слегка документацию
Сделали мелкие улучшения
И готовимся к большому релизу
23. Техподдержка 17.05.23 12:40
Выпустили новую версию 2.0.1.5, в которой поддерживается отслеживание изменений по связанным с набором данных объектам (справочники, регистры, документы
Описание есть в Инструкции
25. Техподдержка 18.10.23 17:42
Текущая версия 2.8.10.42

Из нового:
1. Добавлен Excel
2. Добавлен обработчик "Произвольный код" (в документации есть пример загрузки данных из Битрикс24 :) )
3. интерфейсные изменения
4. правка мелких багов
5. Добавлены обработчики очереди (засунули генерацию внешней очереди в фукнцию)
6. и куча других изменений
34. deevil 15.11.23 13:41 Сейчас в теме
(25)
1. возможен ли переход с варианта на 1 базу - на вариант с 4 базами?
и считаются ли копии основной за базу (например есть прод база и дев) - это 2 лицензии?

2. насколько код закрыт (какие функц/бизнес блоки)?

3. есть ли демо версия?

4. какие планы на развитие/роадмап?
26. user1969989 20.10.23 07:22 Сейчас в теме
Подскажите, код расширения открыт, самим при необходимости допиливать можно?
27. Техподдержка 10.11.23 16:57
(26)
Подскажите, код расширения открыт, самим при необходимости допиливать можно?

Код открыт частично
А если не секрет, то что вы хотели бы допиливать?

Если говорить о наших планах, то это:
1. На следующей неделе должны выйти на маркетплейсе Yandex Datalens
2. Делаем версию системы для выгрузки не только в Clickhouse, но и в Microsoft SQL Server (привет адептам Power BI)
3. Делаем упрощенный "пользовательский" режим настройки партицирования (т.е. инкремент будет еще проще и удобнее настраивать)
4. После нового Года сделаем внешнюю оркестрацию
5. И множество других мелких улучшений

ЗЗЫ:
А "обычные формы (для 8.1) у нас уже сделаны, сейчас обкатываются на узком сегменте клиентов
user1969989; +1 Ответить
29. user1969989 13.11.23 07:15 Сейчас в теме
(27) Хотелось бы иметь выгрузку в PostreSQL
30. Техподдержка 13.11.23 09:41
(29)
(29)
Хотелось бы иметь выгрузку в PostreSQL

(29)
Сейчас есть выгрузка в Clickhouse. Там используется несколько фишек именно этой СУБД, позволяющей делать выгрузку быстро.
В разработке - выгрузка в Microsoft SQL
Postgresql - в планах на начало 2024 года.

А расскажите, как именно вы используете Postgre, ведь если это только БД, то эту потребность легко закрывает Clickhouse?
(развернуть Clickhouse мы поможем, эта услуга входит в состав решения)
31. user1969989 13.11.23 10:29 Сейчас в теме
(30) Posrgesql прикручена к Визиолоджи, и помимо планируемых
баз 1С с ней взаимодействуют еще парочка систем, ну и компетенции у биайщика на постгри есть, а на кликхаусе нет.
32. Техподдержка 13.11.23 10:39
(31)
(31)
Posrgesql прикручена к Визиолоджи, и помимо планируемых
баз 1С с ней взаимодействуют еще парочка систем, ну и компетенции у биайщика на постгри есть, а на кликхаусе нет.

1. внутри Visiology используется Clickhouse
2. с ребятами из Visiology есть договоренность, что они будут выделять под Экстрактор 1С внутри своего Clickhouse базу
3. ваш биайщик не заметит разницы в работе между Postgre или Clickhouse - в обоих случаях это T-SQL. Там прям все очень похоже

Запросите через менеджера Инфостарт - тест нашего решения
33. deevil 15.11.23 13:36 Сейчас в теме
(27)
Код открыт частично

А какая часть кода закрыта?
Какая-либо бизнес логика закрыта?

Например механика расчета что выгружать или другое - если есть потребность дополнить своими силами.
Или же добавить другую целевую субд?
35. Техподдержка 15.11.23 13:41
(33)
Например механика расчета что выгружать или другое - если есть потребность дополнить своими силами.
Или же добавить другую целевую субд?
(33)
Механики расчёта на вашей стороне. Они полностью открыты и вы можете писать свои произвольные алгоритмы в тч.

СУБД таблицы приемник это закрытый код. Там много фишек используется свойствннных только Clickhouse.
Сейчасмы начали работу по подключению MS SQL SERVER, следующим планируем Postgresql.

А какая СУБД вас интересует?
36. deevil 15.11.23 13:44 Сейчас в теме
(35) а нельзя допустим написать свой коннектор?
например redis, монго и т.д..
вопрос не в том чтобы менять код коннектора с БД, а в том чтобы добавлять свои.
возможно или нет?
38. Техподдержка 15.11.23 13:56
(36)
Зачем?
Получайте консистентные данные в clickhouse, а потом доставляйте и трансформируйте данные как угодно и куда угодно
39. deevil 15.11.23 18:18 Сейчас в теме
(38)
Зачем?

Это отдельный вопрос.
К вам вопрос можно или нет?
42. Техподдержка 15.11.23 21:37
(39)
(39)
Нет, нельзя. Пока произвольные СУБД не поддерживаются.
Мы не рассматривали такую возможность как необходимую, все таки назначение Экстрактора 1С это быстрая и удобная доставка данных из 1С в БД, для BI аналитики

Поэтому тут и вопрос: зачем?
Как планируется использовать такую функциональность?
43. deevil 16.11.23 11:15 Сейчас в теме
(42)
Нет, нельзя. Пока произвольные СУБД не поддерживаются.


Тогда возвращаюсь к вопросу какие блоки зашифрованы?
Что я могу доработать именно в коде (я не про настройку).

Я предполагаю что вы будете развивать продукт в сторону которую хочет масса и со скоростью которая удобна вам.
Нам нужен инструмент который мы сможем развивать для себя (исключительно для внутренних нужд)
Есть опасения что вложения в ваш продукт дадут старт, но потом мы не сможем прокачивать его для себя.
И хочу понять что можно сделать в коде, а что нет.
Или у вас вед код зашифрован?
44. Техподдержка 16.11.23 11:17
(43)
(43)
Тогда возвращаюсь к вопросу какие блоки зашифрованы?
Что я могу доработать именно в коде (я не про настройку).

Я предполагаю что вы будете развивать продукт в сторону которую хочет масса и со скоростью которая удобна вам.
Нам нужен инструмент который мы сможем развивать для себя (исключительно для внутренних нужд)
Есть опасения что вложения в ваш продукт дадут старт, но потом мы не сможем прокачивать его для себя.
И хочу понять что можно сделать в коде, а что нет.
Или у вас вед код зашифрован?


Выходите на встречу через менеджера, там и поговорим
46. deevil 16.11.23 11:18 Сейчас в теме
(44)
Выходите на встречу через менеджера, там и поговорим


Как это сделать?
47. Техподдержка 16.11.23 11:19
(46)
(46)
Кнопка "Оставить заявку"
45. deevil 16.11.23 11:17 Сейчас в теме
(42)
Поэтому тут и вопрос: зачем?

Например найдем более элегантное решение чтобы выгружать инкрементально, которое применимо только к нашим задачам...
37. Техподдержка 15.11.23 13:46
1. Да. Считаем как разницу стоимости лицензий
2. Частично закрыт. Но очень много вещей можно писать самим и функции ипроивщольные оьратотчики. У нас же стремление сделать полноценный конструктор
3. Демо версию выдаем по требованию через менеджера Инфостарт
4. Выходите на демо. Расскажем.
План расписан примерно на погода вперед
40. deevil 15.11.23 18:22 Сейчас в теме
(37) забыл про вопрос
5. в режиме изменения конфигурации совместима ли разработка с УТ11.1, платформа 8.3.13 / в режиме совместимости 8.3.5?
41. Техподдержка 15.11.23 20:51
(40)
(40)
В 8.3.5 да, будет работать, но как встройка в конфигурацию. Как расширение Экстрактор на 8.3.5 не установить.
Есть уже бета версия и под 8.1 с обычными формами если что

Оставьте свое сообщение

См. также

Перенос данных из Парус 8 в ЗГУ 3

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 8 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) ...

84000 руб.

Перенос данных из Парус 10 в ЗГУ ред.3

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 10 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ)...

60000 руб.

Перенос данных из Парус 7.хх в ЗГУ ред.3

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 7.хх учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГ...

24000 руб.

Перенос начальных остатков из Парус 7.71 в БГУ

Перенос словарей и начальных остатков из ПП Парус-Бухгалтерия Бюджет 7.71 в 1Сv8 БГУ2. Заполнение словарей и документов по вводу начальных остатков. Не требуется установка ПП Парус7. Возможна дозагрузка. Позволит автоматически и наиболее по...

15600 руб.

Перенос данных из Парус 10 (Торнадо) в ЗГУ ред.3 через Excel

Обработка позволяет перенести кадровую информацию и данные по заработной плате из Парус 10(Торнадо) учреждений через файлы Excel в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ). В принципе, обработка может быть и...

24000 руб.

Загрузка спецификаций в УНФ из системы Базис-мебельщик

Обработка предназначена для загрузки файлов, выгруженных из системы Базис-мебельщик, в справочник "Спецификации" для последующих процессов учета и диспетчирования полуфабрикатов и изделий.

7200 руб.

88005555256
Заказать звонок
support@infostart.ru
Telegram
Чат на сайте