Переход на Clickhouse для анализа метрик

Статья Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m) Внешний отчет (ert,erf) HighLoad оптимизация

Принимать, хранить и анализировать показания счетчиков (метрики) в базе 1С? Почему бы нет? Но это решение быстро привело к проблемам с производительностью при попытках построить какую-то более-менее сложную аналитику. Переход на PostgresSQL только временно решил проблему, т.к. количество записей уже исчислялось десятками миллионов и что-то сложное вычислить на таких объемах за разумное время становилось все сложнее. Кое-что уже практически невозможно. А что будет с производительностью через пару лет - представить страшно. Надо что-то предпринимать! В этой статье поделюсь своим первым опытом применения СУБД Clickhouse от Яндекс. Как работает, что может, как на нее планирую (если планирую) переходить, сравнение скорости работы, оценка производительности через пару лет, пример работы из 1С. Все это приправлено текстами запросов, кодом, алгоритмами выполненных действий и преподнесено вам для ознакомления в этой статье.

1 стартмани

24.01.2024    3639    7    glassman    17       

37

Анализ и редактирование файлов выгрузки EnterpriseData (синхронизация данных через универсальный формат)

Инструменты и обработки Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m) Внешняя обработка (ert,epf) Файловый обмен (TXT, XML, DBF), FTP Перенос данных 1C

Почти все разработчики и консультанты сталкивались с задачами, связанных с обменом между базами через EnterpriseData (конвертация данных 3, обмен через универсальный формат и т.д.). Типовой механизм похож на черный ящик: что-то там долго-долго выгружает и выдает на выходе xml-файл циклопических размеров. А что в этом файле? Почему он такой большой? Что и сколько выгрузилось? Какие объекты занимают больше всего места? А можно ли вырезать ненужное? А можно ли разбить файл на части? А можно... А можно... На эти и многие другие вопросы ответит эта обработка!

1 стартмани

19.07.2022    3922    23    glassman    0       

20

Реализация работы с API Nanopool.org

Инструменты и обработки Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m) Внешняя обработка (ert,epf) WEB-интеграция

Обработка для вызовов API Nanopool.org. Реализованы все методы для всех валют. Результаты методов парсятся в структуры. Есть пользовательский интерфейс (УФ) с возможностью задать параметры запроса и худо-бедно реализованным выводом результата на экран.

2 стартмани

05.09.2018    5472    2    glassman    0       

0

Сводный отчет о среднем заработке. ЗУП 3.1

Отчеты и формы Бизнес-аналитик Бухгалтер Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Абонемент ($m) Внешний отчет (ert,erf) Зарплата

Отчет выводит итоговый средний заработок по сотрудникам (для расчета отпусков). Общий заработок для расчета разбивается по видам заработка. Выводится количество учтенного времени при расчете среднего. Отчет позволяет задать "глубину" расчета среднего.

1 стартмани

09.08.2018    16105    174    glassman    11       

6

Список элементов справочника без ссылок в документах

Инструменты и обработки Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Абонемент ($m) Внешняя обработка (ert,epf) Поиск данных

Универсальная обработка для поиска элементов справочников без ссылок в документах. Поддержка как управляемых форм, так и обычных форм в одном флаконе. )

1 стартмани

01.11.2017    9743    11    glassman    0       

3

Количество полученных требований от налоговой

Отчеты и формы Бухгалтер Платформа 1С v8.3 Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Зарплата и Управление Персоналом 2.5 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 1С:Зарплата и Управление Персоналом 3.x Бухгалтерский учет Налоговый учет Абонемент ($m) Внешний отчет (ert,erf) Регламентированный учет и отчетность

Отчет с итоговым количеством полученных от налоговой требований в разрезе организаций, налоговых органов и видов требований. Подходит для любой стандартной конфигурации, из которой настроен электронный документооборот с налоговыми органами и сдача отчетности.

1 стартмани

31.10.2017    9429    1    glassman    0       

0

Корректировка регистра "НДФЛ расчеты с бюджетом". Удаление остатков прошлых периодов.

Инструменты и обработки Программист Бухгалтер Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и Управление Персоналом 2.5 Россия Бухгалтерский учет НДФЛ Абонемент ($m) Внешняя обработка (ert,epf) Корректировка данных Закрытие периода Зарплата

Ни у кого не было такого, чтоб в ЗУП 2.5 кто-то куда-то в прошлый период залез и что-то там сделал с новыми параметрами учета? И после этого при проведении выплат оно закрывали НДФЛ по физлицам за какие-то древние периоды, 15,14 и в некоторых случаях даже 10-ый года.

1 стартмани

26.07.2016    14810    25    glassman    6       

0

Последовательное проведение документов по НДФЛ (при подготовке сведений для формы 6-НДФЛ)

Инструменты и обработки Бухгалтер Платформа 1С v8.3 1С:Управление производственным предприятием Бухгалтерский учет Windows НДФЛ Абонемент ($m) Внешняя обработка (ert,epf) Зарплата

Методики расчетов данных для формы 6-НДФЛ вызывают множество обсуждений в последнее время. А сроки сдачи подкрадываются. В ходе практической работы с расчетчиками у наших клиентов столкнулись с необходимостью постоянно последовательно перепроводить документы и пересчитывать в них НДФЛ. К тому же используем отключенный упрощенный режим учета НДФЛ. Данная обработка позволяет автоматизировать эти рутинные процедуры. Обработка для УПП 1.3.75.2. Со временем планирую переделать ее под ЗУП 2.5.

1 стартмани

19.04.2016    20239    106    glassman    11       

13

Мигание значка 1С на панели задач

Инструменты и обработки Программист Платформа 1С v8.3 Конфигурации 1cv8 Windows Абонемент ($m) Подсистема Работа с интерфейсом Универсальные функции

Часто пользователи просят, чтобы 1С, будучи свернутой в значок, как-то оповещала о каком-нибудь событии, требующем внимания пользователя. В Windows есть встроенный механизм "мигания" значка на панели задач. Но просто так этот механизм не активировать средствами 1С. В данной публикации предлагаю: для обычного приложения - обработку, которая инкапсулирует все необходимые махинации с СОМ-объектами. для управляемого приложения - cf-файл с необходимыми объектами. Создано на основе публикации http://infostart.ru/public/267819/

1 стартмани

04.11.2014    18712    33    glassman    13       

9

Выгрузка данных из 1С:Комплексная автоматизация 1.1 в 1С:Управляющий

Инструменты и обработки Системный администратор Бухгалтер Платформа 1С v8.3 1С:Комплексная автоматизация 1.х Windows Абонемент ($m) Внешняя обработка (ert,epf) Перенос данных 1C

Представлена обработка по переносу данных из 1С:Комплексная автоматизация в 1С:Управляющий. Этой обработки нет в списке стандартных обработок для 1С:Управляющий.

1 стартмани

19.03.2013    16412    42    glassman    1       

3

Работа с периодическими реквизитами 1С версии 7.7 при помощи прямых запросов.

Статья Программист OpenConf Оперативный учет 7.7 Бухгалтерский учет 7.7 Расчет 7.7 Конфигурации 1cv7 Россия Бесплатно (free) Нет файла Запросы

Описание структуры хранения периодических реквизитов, рассмотрены подробно несколько простых примеров использования прямых запросов при работе с периодическими реквизитами. Приведены несколько текстов прямых запросов для решения на мой взгляд распространенных задач.

23.12.2009    43267    glassman    11       

77

Генерация SQL-скрипта для удаления документов при свертке базы.

Инструменты и обработки Системный администратор Программист OpenConf Оперативный учет 7.7 Бухгалтерский учет 7.7 1С:Бюджет муниципального образования 7.7 1С:Бухгалтерия 7.7 1С:Торговля и склад 7.7 1С:Бухгалтерия для бюджетных учреждений 7.7 Абонемент ($m) Внешняя обработка (ert,epf) Свертка базы

Внешняя обработка (1С 7.7) для генерации SQL-скрипта, который удаляет документы из базы при ее свертке. Есть отбор за период, по видам документов, возможность чистки регистров. Обработка универсальная, не зависит от конфигурации.

1 стартмани

11.12.2009    22396    219    glassman    16       

14

Проверка уникальности номеров документов и кодов справочников.

Инструменты и обработки Системный администратор Программист Платформа 1С v7.7 Абонемент ($m) Внешняя обработка (ert,epf) Корректировка данных Анализ учета

Внешняя обработка для 7.7 (SQL база). Позволяет на пару секунд проверить все типы документов и все справочники на предмет наличия нарушений уникальности номеров (для документов) и кодов (для справочников).

1 стартмани

10.12.2009    18027    94    glassman    13       

10