Kurgan-Telecom Ru | Информационные технологии

Можно ли хранить данные, строить по ним отчетность, при этом обходясь без ETL процессов? Технически — да. Практически — только до первого серьезного роста данных.

Привет, Хабр! Меня зовут Алина, и в этой статье я расскажу о критически важном этапе, через который проходит любая data-driven компания.

Речь о переходе:
от построения отчетности напрямую из операционных баз (или через примитивное копирование в STG)
к структурированным ETL-процессам на специализированном ПО.

В нашем случае этим ПО стал SSIS — но важно подчеркнуть: сейчас мы используем NiFi с [N] процессорами для управления data pipeline. Однако именно опыт с SSIS стал для нас тем самым «мостиком» между хаотичным и осознанным подходом к данным.

P.S. Если хотите узнать про то, как мы организовали работу в NiFi — пишите в комментах, сделаем отдельный материал!

В этой статье — только про этап с SSIS. Не потому что он «лучший», а потому что:

Все мы знаем, что устройства физической безопасности собирают колоссальные объёмы информации об окружающей среде, в которой они работают. При грамотной классификации и анализе эти данные превращаются в прикладную аналитику, позволяющую значительно повысить уровень защиты организации. Именно здесь на сцену выходит метаданные.

Вот уже четыре года летом в Перми собираются самые топовые спикеры и крутые участники, чтобы провести 2 дня на Ural Digital Weekend. 

Но что же самое ценное в любой конференции? Правильно! Знания. В этой статье мы собрали все записи всех выступлений всех лет. Листайте вниз и находите самую полезную информацию именно для вас. 

Кстати, осталось меньше месяца до UDW2025 — 1-2 августа на территории Digital Port повторим и приумножим успех прошлых лет. Успейте регистрироваться на сайте udwe.ru

Сегодня пойдёт речь о такой специфической теме, которая хорошо знакома велосипедистам (но, полагаю, и всем остальным тоже): борьба с нападением собак на едущих велосипедистов.

Зачастую, конечно, это заканчивается обычным «обгавкиванием» :‑В

Но, я‑то не знаю, что у них на уме...

Поэтому, приходится «обгавкивать» их в ответ, иногда даже применяя человеческие непечатные выражения, а, для убедительности своих слов, — взяв в одну руку «оружие пролетариата»:‑)

Тем не менее, хотелось бы и дальше носить маску культурного человека, не снимая её даже в такие моменты:‑) и я тут подумал: а что, если возложить задачу конверсейшена с собаками — на электронику?

Привет, я Дима и хочу сделать полноценный стартап за 100 дней, а именно нескучное приложение для похудения. У меня за плечами опыт создания приложения с 20 МЛН установок и номинацией «Приложение года» от Google. Смогу ли я повторить успех — покажет время, а пока буду делиться процессом создания, инструментами и походами, которые сам использую.

Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность кластера в ClickHouse.

Частые мелкие вставки данных через Kafka Sink-коннектор серьёзно замедляли работу ClickHouse из-за огромного числа отдельных запросов. Путём настройки параметров потребителя Kafka и включения объединения партиций удалось сгруппировать записи в крупные блоки, что резко снизило нагрузку на базу и многократно увеличило её пропускную способность.

Карта карьерного развития в дизайне,  в виде путешествия по «землям» и «территориям» профессионального роста. Предположительно Facebook

Самый заинтересованный человек в своём профессиональном росте — ты сам. Поэтому важно чётко понимать, куда двигаться и как это делать осознанно. Сегодня разберёмся, что такое компетенции, какие они бывают и как развивать их с умом. Поговорим о том, как сфокусироваться только на тех навыках, которые действительно открывают возможности для роста, и как прокачать их максимально эффективно. А ещё узнаем, что такое матрица компетенций и посмотрим, как с ней работают ведущие компании в России и за рубежом.

Как понять, что API отработало корректно? Как убедиться, что в ответе пришли нужные данные? И как использовать эти данные в следующих шагах, выстраивая сложные тестовые цепочки?

Именно здесь на сцену выходят post-request скрипты. Это код, который выполняется после получения ответа от сервера. Его основная задача – анализ, валидация и обработка полученных данных. Эти скрипты – ваши глаза и уши в мире API-тестирования, позволяющие автоматически проверять всё: от статус-кода до мельчайших деталей в теле JSON.

В этой статье мы рассмотрим 10 самых полезных post-request скриптов, которые превратят ручную проверку ответов в быстрый и надежный автоматизированный процесс. Давайте завершим наш путь к эффективному тестированию API!

На фото — концепт модульной системы для посадки пассажиров в самолёты, которая, по мнению создателей, может сэкономить миллиарды долларов аэропортам и авиакомпаниям.

Эту концепцию разработала и представила израильская автокомпания Jovari, а сама «модульная система» называется Jovari Jetspeed.

Что не так с этой идеей?

В цепочке бизнес-процесса задействованы три выгодополучателя, каждый из которых, по задумке авторов проекта, получит свои плюшки:

В крупных компаниях с множеством платформ, например, интерфейсом интернет-магазина и системой обработки данных, часто требуется настроить доступ между системами через единый вход (SSO). Эта статья рассматривает задачу: обеспечить доступ из фронт-системы (reports-frontend) к API отчётов (reports-api) через Keycloak, чтобы JWT-токен содержал роль report_user. В контексте e-commerce это можно представить как интерфейс магазина, где менеджеры запрашивают отчёты о продажах, а Keycloak управляет аутентификацией.

Кому будет полезно?

Аналитики: Узнаете, как составлять заявки (например, в Jira) на настройку Keycloak, координировать с командами и проверять JWT в DevTools, чтобы избежать ошибок, таких как отсутствие роли в токене.

Разработчики: Познакомитесь с примером кода для React-фронтенда и Node.js-бэкенда, реализующим OIDC и PKCE.

Архитекторы: Поймёте, как Keycloak поддерживает SSO, масштабируемость (через PostgreSQL или Active Directory) и безопасность (PKCE, HTTPS).

Что внутри?

Теория: Объясняем SSO, OpenID Connect (OIDC), компоненты Keycloak (realms, хранилища, PKCE) и как JWT с ролью report_user обеспечивает доступ.

Практика: Показываем проект с React (reports-frontend), Node.js (reports-api) и Keycloak, запущенный через Docker Compose. Код включает realm-export.json, App.tsx, server.js, ReportPage.tsx.

Аналитика: Рассказываем, как аналитик формирует заявки на настройку Keycloak и координирует работу с админами, разработчиками и DevOps.

Из новостей: уволенные руководители Unknown Worlds подают в суд на Krafton, роскачество проверит Genshin Impact, инди-хит Peak разошёлся тиражом в 5 миллионов копий, Unigine 2.20.

Из интересностей: об архитектуре кода Animal Well, доклады с Rendering Engine Architecture Conference, Кен Левин о System Shock 2, Ghost Story Games и Judas.

Мой коллега, Андрей Квапил, недавно в своей статье «Эволюция платформ виртуализации: как мы пришли к миру managed‑сервисов и как сервис‑провайдерам конкурировать с AWS» выдвинул тезис, что AWS, GCP и Azure предоставляют своим пользователям удобные API.

Одноплатные компьютеры все чаще заменяют классические сетевые устройства: они компактные, мощные и гибкие. В 2025 году рынок радует новинками — от бюджетного NanoPi R3S-LTS за 25 $ с HDMI и двумя Gigabit Ethernet до Banana Pi BPI-R4 Pro с Wi-Fi 7 и 10G-портами. Сегодня расскажу, что умеют эти и другие системы, чем они лучше обычных роутеров, какие ОС на них ставят (OpenWrt, Ubuntu) и для чего подходят. Начнем!

В 2025 году создание видео с помощью искусственного интеллекта стало новым популярным хобби. Рекламный ролик, вирусные новости, ИИ-интервью, коты в стиле Тарковского — нейросети открыли доступ к генерации видео практически без ограничений. А главное, любые видео теперь можно создавать без съемочной группы и навыков монтажа. Нужно всего лишь придумать сценарий ролика и набросать текстовый запрос. Остальное нейросеть сделает самостоятельно.

Редакция блока «М.Клик» собрала наиболее интересные нейросети для создания видео. В приведенной подборке — и любимчики креаторов, и самые свежие новинки.

Как AI-системы теряют 30% смысла при обработке документации?

Проблема кроется в процессе chunking — разбиении документов на фрагменты. Когда связанная информация оказывается в разных частях, контекст теряется. Разберем механизмы работы RAG-систем и покажем, как писать документацию, которая работает для людей и машин.

Почему опасно знать свой продукт слишком хорошо

Недавно в разговоре с коллегами стало как-то грустно.
Многие работают над одними и теми же продуктами по два-три года. Уверенно обсуждают итерации, паттерны, приоритеты, знают систему до болтика. Но в этой уверенности — странная тишина. Как будто внутри всё давно разложено по полочкам, и новые решения больше не требуют усилий.

Параллельно вспоминаю свои собеседования год назад.
Если вакансия была из e-commerce, спрашивали, есть ли у меня опыт в e-commerce. Если из B2B — интересовались, работала ли я с B2B-интерфейсами. Если это CRM — уточняли, сталкивалась ли я с CRM-системами.
Каждый раз — этот логичный вопрос, ибо чем ближе предыдущий опыт, тем быстрее адаптация и выше шанс дать результат.
Но внутри эти вопросы вызывали удивление. Не потому, что мне нечего было ответить. А потому что в них слышался намёк: «ты — дизайнер чего-то». Дизайнер дашбордов. Дизайнер маркетплейсов. Дизайнер финтеха.

Раньше VR и AR применялись только в узких технических областях, вроде аэрокосмической отрасли. Сегодня эти технологии активно проникают в учебные процессы, от дошкольного образования до профессиональной подготовки. VR-клубы и шлемы стали привычной частью жизни школьников, а дополненная реальность постепенно занимает своё место в классах и лабораториях.

Привет, будущие инженеры и программисты! Сегодня мы разберём классический алгоритм Форда–Фалкерсона — дедушку всех алгоритмов максимального потока. Если алгоритм Диница — это современный спорткар, то Форд–Фалкерсон — это надёжная "классика", которая учит основам и помогает понять суть задачи.

Представьте, что вы владелец сети трубопроводов, и вам нужно понять, сколько воды можно прокачать из водохранилища в город. У каждой трубы есть максимальная пропускная способность, и вода может течь только в одном направлении. Ваша задача — найти такой способ распределения воды по трубам, чтобы в город попало максимальное количество воды. Это и есть задача максимального потока!

Model Context Protocol (MCP) - это просто API, разработанный для LLM. Конечно, LLM могут использовать традиционные API, но это как просить повара готовить в кладовке.

Я сделал расширение для хрома, чтобы документировать сваггер спецификации. Полезно для ситуаций, когда код уже написан и используется, а на описание API не хватает ресурсов. По задумке должно экономить тонны тупого монотонного ручного труда. Попробовать воспользоваться можно здесь. Код лежит здесь.