Экстрактор данных 1С в BI - выгрузка данных из 1С в BI-аналитику

Готовое решение для автоматической выгрузки данных из 1С 8.3 в базу данных ClickHouse, PostgreSQL или Microsoft SQL для работы с данными 1С в BI-системах. «Экстрактор данных 1С в BI» работает со всеми типовыми и нестандартными конфигурациями 1С 8.3 и упрощает работу бизнес-аналитиков. Благодаря этому решению, специалистам не требуется быть программистами, чтобы легко получать данные из 1С в вашей BI-системе.

Выгрузка данных из 1С в BI - аналитику

Автоматически без программиста выгружайте данные из 1С в системы BI - аналитики

Запустите бесплатное тестирование на 5 дней уже сегодня и лично оцените преимущества Экстрактора данных из 1С в BI-аналитику

Готовое решение для автоматизированной выгрузки данных из 1С 8.3

Возможности продукта включают:

Автоматическую интеграцию данных 1С с ведущими базами данных

Простоту подключения к системам BI для углубленного анализа

Мгновенную обработку больших объёмов данных благодаря многопоточности

настраивайте выгрузку 1С с BI-аналитикой без помощи программиста

Для каких систем

Yandex Datalens
Microsoft Power BI

Apache Superset
Qlik Sense

Visiology
Analytic WorkSpace

Loginom
Easy Report

Pix BI

Polymatica

готовый продукт для анализа данных 1С

Для кого подходит

Будет полезен организациям, использующим систему 1С для учета и управления, которые стремятся улучшить анализ данных и процессы принятия решений через интеграцию с BI-системами.

Бизнес-аналитики
Программисты
Пользователи, активно работающие с 1С 8
Финансовые, коммерческие и технические директора
Программисты
СЕО
Сферы деятельности:
Производство, ритейл, дистрибьюция, грузоперевозки, IT-компании, гос. компании и др.

Смотрите интерактивную демонстрацию в режиме реального времени

Смотреть демонстрацию

Экстрактор данных из 1С в BI - аналитику

Преимущества

Любая конфигурация 1С

Программа совместима со всеми конфигурациями 1С 8.2 и 8.3

Отслеживание изменений

Программа автоматически следит за обновлением данных в 1С и выгружает только внесённые изменения

Поддержка MS Excel

Экстрактор поддерживает выгрузку Microsoft Excel

Безопасность

1С остаётся закрыта для внешних обращений, а все выгружаемые данные надёжно защищены

Высокая скорость выгрузки

Программа поддерживает многопоточность, что позволяет поддерживать высокую скорость выгрузки

Реестр отечественного ПО

Инфостарт - аккредитованная IT-компания, продукт внесён в Реестр отечественного ПО

Этапы сотрудничества

Оставьте заявку на сайте

Первичная консультация

Наш менеджер проведёт первичную консультацию и поможет точно понять, подойдёт ли вам наше решение

Подключение и настройка

Подключение и настройка выгрузки данных для Вашей конфигурации 1С

Запустите 5-дневное тестирование бесплатно

Наши менеджеры будут рядом на каждом этапе, помогая с подключением и настройкой, чтобы вы могли максимально эффективно использовать это время

Дополнительное описание

Экстрактор данных 1С 8 в BI реализует

Простую настройку

Формирование в пользовательском режиме наборов данных из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц

Выгрузку любых данных

Выгрузка связанных сущностей с основным регистром, выгрузка произвольных Запросов 1С (СКД)

Автоматизацию работы с БД

Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД Clickhouse, при этом:

- БД Clickhouse поддерживается как в облаке Яндекс, так и self-hosted;

- БД MS SQL и PostgreSQL может быть развёрнута у вас на серверах или в облаке

Оптимизацию выгрузки

Поддержка партицирования таблиц в БД Clickhouse, PostgreSQL, MS SQL. Полная выгрузка только изменений (в рамках партиции)

Многопоточный режим

Автоматическое отслеживание изменений в справочниках, документах и регистрах. Многопоточная выгрузка в БД

Работу в фоновом режиме

Работа с клиент-серверными и файловыми базами 1С 8.2 и 8.3. Полностью автоматическая работа в фоновом режиме

Схема решения и как работает

Настройте выгрузку данных из 1С в BI-аналитику за 5 простых шагов:

Подключите внешнюю базу данных, в которую необходимо выгружать информацию из 1С
Подключите наше решение к 1С как Расширение или Конфигурацию и активируете лицензию. Все дальнейшие настройки происходят внутри программы
Создайте новый Проект выгрузки в окне Экстрактора в программе 1С
Выберите данные, которые нужно выгрузить
Настройте расписание выгрузки для автообновления данных

Какие данные можно выгружать

С помощью нашего расширения из 1С можно выгружать в BI-аналитику любые наборы данных (запросы), включающие в себя:

Продажи
Расходы

Закупки
Документы

Справочники
Перечисления

Константы
Планы видов характеристик

Планы счетов
Хозяйственные операции (проводки)

Регистры сведений (цены и т.д.)
Регистры расчета (зарплатные)

Лицензирование и состав поставки

Лицензирование

Лицензия привязывается к базе, в которую устанавливается расширение. На каждую базу данных 1С 8.3 приобретается отдельная лицензия

Файл расширения 1С
Конфигурация (CF) для встройки
Доступ к документации на портале
Доступ в Личный кабинет для получения обновлений
Доступ в канал и чат поддержки в Telegram

Выгружайте данные из 1С 8.3 в BI-аналитику

Технические требования

Базово, наше Решение реализовано как «Расширение» 1С 8.3, т.е. оно встраивается в Вашу 1С и дополняет функциональность Вашей 1С необходимым функционалом. В каждой поставке мы предоставляем Заказчикам две версии:

Как Расширение 1С
Как Конфигурацию 1С для встраивания (методом объединения конфигураций)

Мы осуществляем полную методическую и консультационную поддержку нашего Решения.

Разработка выполнена на Управляемых формах (поэтому, если у вас не запрещен запуск Вашей конфигурации в режиме управляемых форм, то наше Решение будет там работать вполне успешно).
В решении использованы стандартные методы и подходы 1С 8.3.
Частично задействованы механизмы БСП (Библиотека стандартных подсистем), но только в части встраивания и создания регламентных заданий.
Решение нормально (без доработок и адаптации) работает с любыми конфигурациями с версии платформы 8.3.16.
Для платформы ниже 8.3.16 необходима проверка под совместимость. На данный момент реализованы проекты, работающие с кастомными конфигурациями под 8.3.10 и 8.3.11 (потребовалась небольшая адаптация и внедрение в конфигурацию, так как данные платформы 1С полноценно не поддерживают механизм Расширений). Решение уже протестировано на стандартных (типовых) конфигурациях 1С 8.3:

1С Управление торговлей 11 (11.4 и 11.5)
1С Розница 2 и 3
1С УНФ 1.6 и 3.0
1С Бухгалтерия 3.0
1С ЗУП
1С ERP 2.4 и 2.5
Бит-Финанс
УПП 1.3
Альфа-Авто
АСТОР
Далион

Так как Решение является универсальным, то технически может быть запущено на любой конфигурации 1С 8.2 и 8.3.
Для 1С 8.1 есть отдельная ветка с поддержкой "Обычных форм" - предоставляется по запросу.

Внимание! Расширение не работает на БАЗОВЫХ конфигурациях. В базовых конфигурациях 1С, возможности подключения расширений - отсутствуют!

Пример настройки Отслеживание изменений 1С Инкрементальная выгрузка:

Отслеживание изменений в 1С и выгрузка в Datalens

Данные по Вашим запросам отслеживаются и автоматически выгружаются в базу данных ClickHouse/MS SQL
В Вашей BI-системе вы спокойно пользуетесь своими данными из 1С, не нагружая запросами БД 1С
Если вы добавляете поля в "Источнике данных" (Запросе), то эти поля автоматически добавляются и в результирующую таблицу в БД (т.е. работает автомаппинг между 1С и БД)

Функциональность по автоматизированной загрузке данных из MS Excel средствами Экстрактора

Такой подход позволяет обогатить данные 1С внешними данными, рассчитанными, дозаполненными в MS Excel

Видео по работе Экстрактор данных 1С в BI работа с многопоточностью

отвечаем в течение 24 часов

Техническая поддержка

Бесплатно

12 месяцев обновлений решения
Первичная настройка (мини-внедрение)
Исправление ошибок

Дополнительно

Доработка функционала
Консультации
Адаптация под нетиповую 1С

После покупки предоставляется 2 часа бесплатных консультаций наших специалистов по установке и настройке программного продукта, в которые мы обязательно включаем "Установочную сессию", на которой сопровождаем Вас по всем шагам настройки Экстрактора 1С, с тем, чтобы Вы по истечении консультации уже получили первый работающий проект выгрузки данных из 1С в БД

Статистика:
Просмотры	13561
Загрузки	12
Рейтинг	28
Создание	15.11.22 12:50
Обновление	21.03.24 15:02
№ Публикации	1755776
Характеристики:
Теги	Выгрузка Dalalens Clickhouse экстрактор данных yandex datalens postgresql microsoft sql скорость
Рубрики	Внешние источники данных
Кому	Программист , Бизнес-аналитик , Пользователь
Тип файла	Расширение (cfe)
Платформа	Платформа 1С v8.3 , Управляемые формы , Анализ и прогнозирование
Конфигурация	Конфигурации 1cv8
Операционная система	Не имеет значения
Страна	Узбекистан , Беларусь , Кыргызстан , Молдова , Россия , Казахстан
Отрасль	Не имеет значения
Налоги	Не имеет значения
Вид учета	Не имеет значения
Доступ к файлу	Платные (руб)
Код открыт	Нет

Статистика:

Просмотры

13561

Загрузки

Рейтинг

Создание

15.11.22 12:50

Обновление

21.03.24 15:02

№ Публикации

1755776

Характеристики:

Теги

Выгрузка Dalalens Clickhouse экстрактор данных yandex datalens postgresql microsoft sql скорость

Рубрики

Внешние источники данных

Кому

Программист ,
Бизнес-аналитик ,
Пользователь

Тип файла

Расширение (cfe)

Платформа

Платформа 1С v8.3 ,
Управляемые формы ,
Анализ и прогнозирование

Конфигурация

Конфигурации 1cv8

Операционная система

Не имеет значения

Страна

Узбекистан ,
Беларусь ,
Кыргызстан ,
Молдова ,
Россия ,
Казахстан

Отрасль

Не имеет значения

Налоги

Не имеет значения

Вид учета

Не имеет значения

Доступ к файлу

Платные (руб)

Код открыт

Нет

Наименование	Файл	Версия	Размер
Презентация	.pdf	2.0.1.5	2,89Mb	28	Скачать

Наименование

Файл

Версия

Размер

Презентация

.pdf

2.0.1.5

2,89Mb

Скачать

1. SP2000 15.11.22 14:19 Сейчас в теме

Обычное приложение поддерживается?

2. Техподдержка 15.11.22 14:22

(1)

Пока не поддерживается (Еще не было запросов)
Если Ваша конфигурация в принципе допускает запуск в управляемых формах, то наше Расширение будет доступно и будет работать и так
(некоторые так пользуются)

Если напишете какой релиз конфигурации и платформу 1С используете, посмотрим что можно сделать

28. Техподдержка 10.11.23 17:00

(2) Теперь есть Обычные формы (по запросу пока)

24. Техподдержка 18.10.23 17:38

(1) Обычные формы сейчас уже в разработке. Думаю до конца месяца будут готовы

3. 1spectr 15.11.22 19:56 Сейчас в теме

А выгрузка всегда полная или поддерживается инкремент?

4. Техподдержка 15.11.22 20:02

(3)

В таблицу - приемник делается сейчас полная выгрузка (в 99% в 1С нельзя определить, что за этот период времени вот эти вот данные изменились, если конечно вы не используете планы обмена, но даже с планами обмена не все просто)

Обычно мы делаем так:
0. Делаем два набора данных и соответственно две таблицы- приемника в clickHouse (генерация таблиц у нас реализована)
1. "Таблица_ИсторическиеДанные" - сюда разово загружаем данные до определенной даты (например до 01/01/2022) (просто ручками тыкаем кнопку один раз)
2. "Таблица_Текущая" - а здесь по расписанию данные перезаписываем созданным ранее регламентным заданием
3. а на уровне ClickHouse делаем такой код (пример):

Cre ate View Таблица_ВСЯ
as
sel ect * from Таблица_ИсторическиеДанные
uni on all
sel ect * fr om Таблица_Текущая

4. Далее, в Datalens уже используем для работы созданную View = "Таблица_ВСЯ"

18. Техподдержка 27.02.23 13:01

(3) Теперь поддерживается инкремент (выгрузка по партициям)

5. 1spectr 15.11.22 20:11 Сейчас в теме

(4) те получается, что текущий период(текущий год) все равно придётся перегружать полностью и далее руками сдвигать «окно»(на следующий год)?

6. Техподдержка 15.11.22 20:35

(5)

те получается, что текущий период(текущий год) все равно придётся перегружать полностью и далее руками сдвигать «окно»(на следующий год)?

Ну это первый вариант, который на поверхности
Другой вариант - в Наборах данных Экстрактора 1С привязываться к дате закрытия периода или еще к какому то реквизиты для секционирования данных

Изначально мы думали над автоматическим секционированием таблиц-приемников по годам/месяцам, но любовь 1С-пользователей к правкам "задним периодом" все эти схемы ломает на раз-два.
К примеру, вот 10 января - это уже новый год. А правки пользователи будут вносить еще половину всего прошлого года. Одно дело, если база небольшая, можно перегружать текущий и прошлый год, а если в базе сотни тысяч документов, то такой подход уже не подходит.
В общем пока вся история с автосекционированием - это, как мне кажется, индивидуально подбираемое решение для каждого конкретного Заказчика

Если у Вас есть какая-то идея по автоматическому сдвигу "окна", то давайте обсудим и если это будет достаточно универсально, то мы включим это в один из ближайших релизов

19. Техподдержка 27.02.23 13:06

Теперь все сделано намного более удобно:
1. Выгрузка идет по партициям (причем партиции вы определяете сами при описании таблицы-приемника)
2. Выгрузка идет в указанное вами количество потоков (т.е. выгрузка распараллеливается, что очень сильно ускоряет выгрузку данных)
3. Есть предобработка и постобработка при выгрузке данных, что позволяет встраивает свои обработчики
4. Решение может внедряться в вашу 1С как "расширение" или через объединение конфигураций (для тех 1С, у кого старые релизы 1С (например 8.3.11 и ранее) или для тех у кого "кастомные" конфигурации)

7. 1spectr 15.11.22 21:56 Сейчас в теме

(6) Универсального решения нет, но если работаем с более менее большими данными, то эффективность более приоритетна чем универсальность.
Если мы берем за аксиому, что данное решение для небольших(база не более 300-500гб) инсталляций 1С(так как на больших системах все сильно сложнее)

Задачи которые необходимо решить
1) Обеспечить консистентность данных с приемлемой задержкой(так как реалтайм для аналитике в целом не нужен).

2) Минизировать "пропадание" данных при обновлении данных(Clickhouse это не реляционная база и update в классическом смысле там нет).
Как я понимаю сейчас в момент выгрузки данные в таблице стираются и записываются заново(возможно я не прав)?

3) Минимизировать нагрузку при синхронизации, так как чем больше данных тем больше требуется напрягать базу данных для получения этих данных и сервер приложений для конвертации(json или tsv(csv) самые простые для 1С) перед выгрузкой/

Варианты решения.
Вариант с планом обмена(или его аналогами)
Есть таблицы с функциональностью которая позволяет удалять дубликаты по сочетанию измерений ReplacingMergeTree
ReplacingMergeTree
Те в данную таблицу можно получая изменения из плана обмена отправлять актуальные данный и ch сам удалит дубликаты и оставит только одну последнюю запись(есть нюансы, но для небольших данных(10ки миллионов строк) пойдет)

Другой вариант
Предполагаем что в таблице есть Период(или любое другое поле с Датой), так как вопрос выгрузки Справочников это отдельная тема
Предположим что мы не знаем, что именно пользователи поменяли, но можем понять что в данном документе произошло изменение(стандартная логика регистрации в плане обмена)
В таком случае мы можем создать таблицу которая будет партиционирована, например по дням. Далее получаем из плана обмена записи, по ним определяем день в котором данные были изменены, удаляем партицию с этим днем в ch(удаление партиции равно по ресурсам удалению одного файла, те очень быстрое и дешевое) и записываем полностью этот день заново.
Если мы хотим чтобы никто не заметил что произошло обновление данных, то мы создаем таблицу аналогичной структуры записываем в нее данные и потом "подменяем" партиции в таблицах(операция атомарная поэтому никто не заметит пропажи).

8. Техподдержка 15.11.22 23:14

(7)

Как я понимаю сейчас в момент выгрузки данные в таблице стираются и записываются заново(возможно я не прав)

Да, сейчас именно так

Минимизировать нагрузку при синхронизации, так как чем больше данных тем больше требуется напрягать базу данных для получения этих данных и сервер приложений для конвертации(json или tsv(csv) самые простые для 1С) перед выгрузкой

Да, есть два варианта выгрузки:
1. insert.... values (...), (...)
2.через файл - вариант более быстрый и предпочтительный (используется по умолчанию)

С вами где-то согласен.
Но построение выгрузки на Плане обмена или регистрации дней/месяцев, когда данные были изменены - это уже кастомное решение под Заказчика, так как зависит от бизнес-задачи и конкретной конфигурации.
Мы не знаем, на какой раздел учета обратит внимание аналитик и пожелает выгружать:
- хоз.операции в бухучете,
- Регистры продаж
- или регистры расчета в ЗУП (вариантов масса)

Поэтому ваши, безусловно верные, методы регистрации изменений и доставки изменений в ClickHouse к сожалению не универсальны, в том числе, если рассматривать 1С в файловом (а не клиент-серверном) варианте (ведь такие пользователи тоже есть, не у всех есть "большие" данные)
Также, предполагаю, что в ваших вариантах, для некоторых конфигураций и платформ 1С придется встраиваться в саму конфигурацию клиента, а не оставаться в рамках "расширения" (тут наверное больше скажут наши программисты, нежели я)

На мой взгляд, если объемы данных велики и нужен "реалтайм", то лучше уже тогда идти по пути "прямого" доступа к БД 1С (через View), нежели используя механизм регистрации изменений и выгрузок средствами 1С платформы

В целом, спасибо за конструктивное замечание. Продукту есть куда развиваться.

Ну и это уже вопрос "кастомного" индивидуального решения под вас (готовы обсуждать)

9. 1spectr 15.11.22 23:36 Сейчас в теме

(8) Мы эти вопросы уже решили, иначе я не смог бы не написал то что написал )
В вашем решении не хватает инкремента, так как в текущей реализации есть только прикольный конструктор мапинга полей и в целом на этом все красивое заканчивается и начинаются минусы которые не позволяют использовать полноценно решение в проектах.

1) Полная перегрузка данных, те аналитики должны подстраиваться под технологическое окно обновления так как пока 1С выгружает данные, в DL данных нет, либо они есть, но неполные данные хуже полного отсутствия.

2) Нагрузка при выгрузке, это важный момент, так как выгружается все таки ощутимый объем данных.

3) Решение с перегрузкой текущего периода уменьшает нагрузку, но не решает 1 пункта и оно требует компетенции которой обладают далеко не все.

Но концептуально я придираюсь )
Хорошее решение для небольших организаций(1с у них и так есть, а ch в облаке стоит несколько тысяч рублей в месяц) которое позволит им выйти за пределы отчетов которые дает 1С и с минимальными усилиями воспользоваться современными low code инструментами аналитики.

10. Техподдержка 16.11.22 08:42

(9)

рикольный конструктор мапинга полей и в целом на этом все красивое заканчивается и начинаются минусы которые не позволяют использовать полноценно решение в проектах.

Не совсем так:
В нашем решении есть:
1.создание наборов данных (запрос или объект [в ближайшее время опишу уже выпущенный релиз])
2. автосоздание, модификация таблиц в ClickHouse с маппингом полей по Набору данных (ведь это же боль - генерировать руками таблицы-приемники)
3. добавление вычисляемых полей, параметров, отборов для удобства с повторным использованием одного Набора данных в разных выгрузках
4. создание и модификация регламентного задания по перезаполнению таблиц в ClickHouse
5. Плюс ко всему - наше решение еще и универсально по отношению к большинству конфигураций 1С, присутствующих на рынке

Спасибо вам за идею, по поводу работы с партишенами на уровне дня в базе Clickhouse. Думаю, это можно обыграть (взяли на обдумывание)

Что касается, что у нас хорошее решение для "небольших организаций" - немного нет так :)
У нас отличное решение для относительно небольших баз данных, к коим можно отнести огромное количество заводов, оптовых компаний, ритейла среднего размера, предприятий питания или сферы услуг. Т.е. сама организация может быть весьма крупной, просто в ее 1С нет сотен миллионов транзакций (это свойственно больше крупному ритейлу).
А для мега крупного ритейла из нашего решения можно сделать кастомный вариант, который будет очень быстро и красиво работать

Самое главное - наше решение (вы правы) - это возможность, используя данные 1С, перейти на работу с современным BI (Yandex Datalens)

11. Техподдержка 17.11.22 14:23

В вашем решении не хватает инкремента, так как в текущей реализации есть только прикольный конструктор мапинга полей и в целом на этом все красивое заканчивается и начинаются минусы которые не позволяют использовать полноценно решение в проектах.

Спасибо большое за комментарии.
Обдумали возможные пути решения.
Думаю, до конца года сможем реализовать достаточно универсальную схему по регистрации изменений до уровня "Месяц/день", а значит и реализовать инкрементальную загрузку "Наборов данных" в Clickhouse.

Вы натолкнули нас на достаточно элегантное решение :)

12. Техподдержка 09.01.23 18:29

Текущие изменения:
1. поработали над интерфейсом (теперь он удобнее и проще)
2. добавили логирование
3. исправили пару досадных недочетов
4. выполнили несколько проектов и окончательно убедились, что проект востребован и нужен, а также весьма и весьма удобен для работы с выгрузкой из 1С в Clickhouse

13. DenDSMG 16.01.23 14:43 Сейчас в теме

в запросах можно использовать временные таблицы ?
Можно передавать параметром Текущую дату ? (чтобы в запросе была возможность выгружать определенный период от сегодняшней даты)

14. Техподдержка 16.01.23 18:22

(13)

1. В Запросах можно использовать и временные таблицы. (штатный же функционал)
2. Параметром Текущую дату пока передать нельзя (для этого пока клиенты используют сейчас "Отборы"), записано в план доработки на этот квартал. Но, если надо быстрее, то данную функциональность поставим в план на ближайший релиз, если выкупите лицензию

16. Техподдержка 06.02.23 12:42

(14)

Можно передавать параметром Текущую дату ?

Теперь можно, реализовали и работу с параметрами, ну а в параметрах есть стандартный набор выбора дат, в точ числе и текущая дата и начало месяца и т.д.

15. Техподдержка 06.02.23 12:41

Нас можно поздравить:

Вышел предрелиз нашего расширения по выгрузке данных из 1С 8.3 в БД Clickhouse с отслеживанием изменений.
Новая версия предназначена для обработки больших (реально больших) объемов данных
Новинки:
1. Выгрузка теперь для каждого "проекта" настраивается в несколько потоков, что позволяет значительно ускорить выгрузку больших данных (данные разбиваются на партиции, каждая партиция становится в очередь потоков)
2. Таблица-приемник теперь не очищается, а поток данных из Источника разбивается на партиции и каждая партиция перезаписыывается в приемнике отдельно
3. для ускорения работы, есть опциональная настройка отключения по выбранным полям выгрузки "экранирования" недопустимых символов (табуляция, одинарная кавычка, перевод каретки и т.д.). позволяет увеличить скорость выгрузки в разы

17. Yozha 24.02.23 09:37 Сейчас в теме

Пользуюсь решением в настоящее время. У нас как раз работает вариант с инкрементной выгрузкой. Продукт позволил значительно сократить время реализации проекта. Проект пока не сдан, но все основные механизмы уже интегрированы в базу заказчика, в настоящее время проходят тестирование.
Техподдержка работает на хорошем уровне.
Уже сейчас могу смело рекомендовать продукт к покупке и внедрению.

20. Техподдержка 01.03.23 18:42

Обновил документацию под 1.3.1
Версию тестируем, скоро будем рассылать подписчикам
Ну и записал пару видео

Оставлю здесь ссылки:

1. Описание обновления 1.3.1
2. Для версии 1.3.1 - удобный побочный эффект при использовании (ну или возможность)

21. Техподдержка 15.03.23 18:29

Update от 15/03/2023 (версия 1.3.2)
Изменения:
1. Поддержка Nullable полей при создании/модификации таблицы в clickhouse
2. Описание значений в Order By, Partition в таблицах clickhouse доступно и из списка возможных значений
3. Тестовая функциональность по таймаутам при выгрузке в БД clickhouse
4. увеличена разрядность поля "Максимальное количество потоков"
5. поправлен баг в создании Групп в списке Наборов данных
6. Возможность использовать в "Параметрах" Список значений (для конструкций запросов в отбрах и т.д.: "В (&СписокЧеголибо)")
7. Мелкие правки по интерфейсу
8. Также в документации дописаны некоторые кейсы по работе с многопоточностью

22. Техподдержка 06.04.23 19:09

Update от 06.04.2023 (Версия 1.4.2)
Изменения:

Переписали встроенную в Расширение роль "Экс_ПолныеПрава", с тем, чтобы можно было поддерживать и старые платформы 1С (типа 8.3.13)
Добавили в настройку создания "Регламентного задания" Пользователя, под которым данное задание будет запускаться (так как пользователю даже с "Полными" правами надо явно выдавать роль "Экс_ПолныеПрава")
Переделали систему лицензирования немного (ключ лицензии теперь вводится в пользовательском интерфейсе)
Переделали слегка документацию
Сделали мелкие улучшения
И готовимся к большому релизу

23. Техподдержка 17.05.23 12:40

Выпустили новую версию 2.0.1.5, в которой поддерживается отслеживание изменений по связанным с набором данных объектам (справочники, регистры, документы
Описание есть в Инструкции

25. Техподдержка 18.10.23 17:42

Текущая версия 2.8.10.42

Из нового:
1. Добавлен Excel
2. Добавлен обработчик "Произвольный код" (в документации есть пример загрузки данных из Битрикс24 :) )
3. интерфейсные изменения
4. правка мелких багов
5. Добавлены обработчики очереди (засунули генерацию внешней очереди в фукнцию)
6. и куча других изменений

34. deevil 15.11.23 13:41 Сейчас в теме

(25)
1. возможен ли переход с варианта на 1 базу - на вариант с 4 базами?
и считаются ли копии основной за базу (например есть прод база и дев) - это 2 лицензии?

2. насколько код закрыт (какие функц/бизнес блоки)?

3. есть ли демо версия?

4. какие планы на развитие/роадмап?

26. user1969989 20.10.23 07:22 Сейчас в теме

Подскажите, код расширения открыт, самим при необходимости допиливать можно?

27. Техподдержка 10.11.23 16:57

(26)

Код открыт частично
А если не секрет, то что вы хотели бы допиливать?

Если говорить о наших планах, то это:
1. На следующей неделе должны выйти на маркетплейсе Yandex Datalens
2. Делаем версию системы для выгрузки не только в Clickhouse, но и в Microsoft SQL Server (привет адептам Power BI)
3. Делаем упрощенный "пользовательский" режим настройки партицирования (т.е. инкремент будет еще проще и удобнее настраивать)
4. После нового Года сделаем внешнюю оркестрацию
5. И множество других мелких улучшений

ЗЗЫ:
А "обычные формы (для 8.1) у нас уже сделаны, сейчас обкатываются на узком сегменте клиентов

29. user1969989 13.11.23 07:15 Сейчас в теме

(27) Хотелось бы иметь выгрузку в PostreSQL

30. Техподдержка 13.11.23 09:41

(29)
(29)

Хотелось бы иметь выгрузку в PostreSQL

(29)
Сейчас есть выгрузка в Clickhouse. Там используется несколько фишек именно этой СУБД, позволяющей делать выгрузку быстро.
В разработке - выгрузка в Microsoft SQL
Postgresql - в планах на начало 2024 года.

А расскажите, как именно вы используете Postgre, ведь если это только БД, то эту потребность легко закрывает Clickhouse?
(развернуть Clickhouse мы поможем, эта услуга входит в состав решения)

31. user1969989 13.11.23 10:29 Сейчас в теме

(30) Posrgesql прикручена к Визиолоджи, и помимо планируемых
баз 1С с ней взаимодействуют еще парочка систем, ну и компетенции у биайщика на постгри есть, а на кликхаусе нет.

32. Техподдержка 13.11.23 10:39

(31)
(31)

Posrgesql прикручена к Визиолоджи, и помимо планируемых
баз 1С с ней взаимодействуют еще парочка систем, ну и компетенции у биайщика на постгри есть, а на кликхаусе нет.

1. внутри Visiology используется Clickhouse
2. с ребятами из Visiology есть договоренность, что они будут выделять под Экстрактор 1С внутри своего Clickhouse базу
3. ваш биайщик не заметит разницы в работе между Postgre или Clickhouse - в обоих случаях это T-SQL. Там прям все очень похоже

Запросите через менеджера Инфостарт - тест нашего решения

33. deevil 15.11.23 13:36 Сейчас в теме

(27)

Код открыт частично

А какая часть кода закрыта?
Какая-либо бизнес логика закрыта?

Например механика расчета что выгружать или другое - если есть потребность дополнить своими силами.
Или же добавить другую целевую субд?

35. Техподдержка 15.11.23 13:41

(33)
Например механика расчета что выгружать или другое - если есть потребность дополнить своими силами.
Или же добавить другую целевую субд?
(33)
Механики расчёта на вашей стороне. Они полностью открыты и вы можете писать свои произвольные алгоритмы в тч.

СУБД таблицы приемник это закрытый код. Там много фишек используется свойствннных только Clickhouse.
Сейчасмы начали работу по подключению MS SQL SERVER, следующим планируем Postgresql.

А какая СУБД вас интересует?

36. deevil 15.11.23 13:44 Сейчас в теме

(35) а нельзя допустим написать свой коннектор?
например redis, монго и т.д..
вопрос не в том чтобы менять код коннектора с БД, а в том чтобы добавлять свои.
возможно или нет?

38. Техподдержка 15.11.23 13:56

(36)
Зачем?
Получайте консистентные данные в clickhouse, а потом доставляйте и трансформируйте данные как угодно и куда угодно

39. deevil 15.11.23 18:18 Сейчас в теме

(38)

Зачем?

Это отдельный вопрос.
К вам вопрос можно или нет?

42. Техподдержка 15.11.23 21:37

(39)
(39)
Нет, нельзя. Пока произвольные СУБД не поддерживаются.
Мы не рассматривали такую возможность как необходимую, все таки назначение Экстрактора 1С это быстрая и удобная доставка данных из 1С в БД, для BI аналитики

Поэтому тут и вопрос: зачем?
Как планируется использовать такую функциональность?

43. deevil 16.11.23 11:15 Сейчас в теме

(42)

Нет, нельзя. Пока произвольные СУБД не поддерживаются.

Тогда возвращаюсь к вопросу какие блоки зашифрованы?
Что я могу доработать именно в коде (я не про настройку).

Я предполагаю что вы будете развивать продукт в сторону которую хочет масса и со скоростью которая удобна вам.
Нам нужен инструмент который мы сможем развивать для себя (исключительно для внутренних нужд)
Есть опасения что вложения в ваш продукт дадут старт, но потом мы не сможем прокачивать его для себя.
И хочу понять что можно сделать в коде, а что нет.
Или у вас вед код зашифрован?

44. Техподдержка 16.11.23 11:17

(43)
(43)

Выходите на встречу через менеджера, там и поговорим

46. deevil 16.11.23 11:18 Сейчас в теме

(44)

Как это сделать?

47. Техподдержка 16.11.23 11:19

(46)
(46)
Кнопка "Оставить заявку"

45. deevil 16.11.23 11:17 Сейчас в теме

Поэтому тут и вопрос: зачем?

Например найдем более элегантное решение чтобы выгружать инкрементально, которое применимо только к нашим задачам...

37. Техподдержка 15.11.23 13:46

1. Да. Считаем как разницу стоимости лицензий
2. Частично закрыт. Но очень много вещей можно писать самим и функции ипроивщольные оьратотчики. У нас же стремление сделать полноценный конструктор
3. Демо версию выдаем по требованию через менеджера Инфостарт
4. Выходите на демо. Расскажем.
План расписан примерно на погода вперед

40. deevil 15.11.23 18:22 Сейчас в теме

(37) забыл про вопрос
5. в режиме изменения конфигурации совместима ли разработка с УТ11.1, платформа 8.3.13 / в режиме совместимости 8.3.5?

41. Техподдержка 15.11.23 20:51

(40)
(40)
В 8.3.5 да, будет работать, но как встройка в конфигурацию. Как расширение Экстрактор на 8.3.5 не установить.
Есть уже бета версия и под 8.1 с обычными формами если что

Оставьте свое сообщение

E-mail:

Экстрактор данных 1С в BI - выгрузка данных из 1С в BI-аналитику

Выгрузка данных из 1С в BI - аналитику

Готовое решение для автоматизированной выгрузки данных из 1С 8.3

Возможности продукта включают:

настраивайте выгрузку 1С с BI-аналитикой без помощи программиста

Для каких систем

готовый продукт для анализа данных 1С

Для кого подходит

Экстрактор данных из 1С в BI - аналитику

Преимущества

Любая конфигурация 1С

Отслеживание изменений

Поддержка MS Excel

Безопасность

Высокая скорость выгрузки

Реестр отечественного ПО

Этапы сотрудничества

Оставьте заявку на сайте

Первичная консультация

Подключение и настройка

Дополнительное описание

Экстрактор данных 1С 8 в BI реализует

Простую настройку

Выгрузку любых данных

Автоматизацию работы с БД

Оптимизацию выгрузки

Многопоточный режим

Работу в фоновом режиме

Схема решения и как работает

Какие данные можно выгружать

Лицензирование и состав поставки

Выгружайте данные из 1С 8.3 в BI-аналитику

Технические требования

Технические требования

Пример настройки Отслеживание изменений 1С Инкрементальная выгрузка:

Отслеживание изменений в 1С и выгрузка в Datalens

Функциональность по автоматизированной загрузке данных из MS Excel средствами Экстрактора

Видео по работе Экстрактор данных 1С в BI работа с многопоточностью

отвечаем в течение 24 часов

Техническая поддержка

Бесплатно

Дополнительно

См. также