Kurgan-Telecom Ru | Информационные технологии

Меня зовут Элина Чусова, я работаю аналитиком данных в крупном банке. Я окончила курс «Аналитик данных» и осталась амбассадором в Яндекс Практикуме — провожу встречи выпускников и слежу за их карьерой.

Сразу после обучения я уволилась в никуда, чтобы начать карьеру с нуля. С тех пор прошло чуть больше года: я успела поработать аналитиком в сфере добычи полезных ископаемых и спортивном ритейле, понять, что мне действительно нравится в работе и как строить карьеру осознанно. Поделюсь своим опытом и находками в этом тексте.

Если вы когда‑либо строили пайплайны для обработки потоков данных в реальном времени со строгими требованиями, то наверняка знаете, сколько инфраструктурных заморочек в этом деле. Например, обеспечивать относительно низкие end‑to‑end‑задержки в штатном режиме относительно несложно. Но что, если они нужны и в высоких перцентилях, в том числе при сбоях или плановом обслуживании одного из используемых дата‑центров целиком? Как правильно партиционировать поток данных, обрабатывающие его процессы и их долгосрочное состояние, если нагрузка постоянно меняется? Как гарантировать exactly‑once, то есть отсутствие потерь и дублей даже при сбоях оборудования и в краевых случаях? Как понять, обработали ли мы все данные на тот или иной момент? 

С такими вопросами мы столкнулись при разработке высоконагруженных рекомендательных систем. Для этих задач мы создали YTsaurus Flow — фреймворк потоковой обработки данных с сохранением состояния между событиями и гарантиями exactly‑once по умолчанию. Это совместный проект команд Yandex Infrastructure и Яндекс Рекламы для обработки потоков данных в реальном времени. И сегодня мы открываем его исходный код под лицензией Apache® 2.0.

Flow — часть YTsaurus, платформы хранения и обработки данных, которую мы выложили на GitHub в марте 2023 года. Flow использует хранилище, очереди и общий механизм транзакций платформы, чтобы брать на себя управление состоянием и восстановление обработки после сбоев. Разработчик пайплайна при этом сосредоточивается на прикладной логике.

В статье разберём, зачем мы разработали собственный движок, как устроены его пайплайны и за счёт чего обеспечивается exactly‑once. А на примере реального сервиса покажем, как переход на Flow помог сократить задержку поставки данных для дообучения моделей с десятка‑другого часов примерно до двух.

«Вайбкодинг» двигается по планете буквально семимильными шагами — разработка через диалог с ИИ-агентами вроде Claude Code подается чуть ли не как новый стандарт отрасли. Набрав промпт в чате, можно без преувеличения за пару часов поднять MVP или пет-проект. Порог входа в индустрию снизился до умения более-менее внятно излагать свои мысли ИИ-агентам. 

Возможно, мы окончательно избавились от рутины, сложностей и нудной отладки? Или сами создали себе новую проблему — разрушение механизма роста инженеров? Ведь когда рабочий код создается генератором по нажатию одной кнопки, джуны перестают проходить через обязательные этапы профессионального становления. Вайбкодинг напрочь вырезает из процесса разработки то, на чем всегда строилось понимание процесса —  поиск утечек памяти, попытки уложить хотелки бизнеса в жесткие архитектурные рамки и многое-многое другое. Верно ли, что, исключив этап набивания шишек на старте карьеры, мы рискуем получить целое поколение специалистов, которые умеют ловко раздавать указания нейросетям, но понятия не имеют, как вся эта конструкция работает внутри? Заваривайте чаек-кофеек покрепче, будем разбираться.

На Хабре уже достаточно статей формата «топ-20 моделей» и «обзор сервиса». Они собирают просмотры, но в комментариях быстро появляется главный вопрос: «Зачем мне это, если есть ChatGPT, Qwen, OpenRouter и так далее?»

AI Studio — среда, где можно попробовать технологии GigaPlatform в своей задаче: до прототипа — понять, подходит ли модель или сервис; в работе — получить конкретный результат (отчёт, промпт, транскрипт, отработанные ответы на Q&A).

Хороший дизайн системы это не про идеальную архитектуру. Это про подходящие именно к твоей ситуации компромиссы и решения. Про путь, который ты должен пройти. Автоматизация процесса печати PDF-файлов в конструкторском бюро, выпускающем сотни комплектов разнокалиберных чертежей, решает множество неочевидных задач. А еще при разработке решения может оказаться что в действительности всё не так, как на самом деле.

Architecture Baseline определяет границы системы и ключевые архитектурные решения. Но настоящая проверка начинается тогда, когда эта архитектура превращается в работающий код.

В этой статье про переход к первой Full Stack вертикали Enterprise GenAI Platform: React, ASP.NET Core, EF Core и PostgreSQL, модуль Chats, границы frontend и backend, observability, автоматические проверки и End-to-End acceptance.

Главный вопрос “как перейти от архитектурной модели к реализации, не разрушив её преждевременным усложнением”.

YOLO обрабатывает кадр дольше, чем камера формирует следующий. Если построить видеосервер как последовательность read → motion → YOLO → encode, тяжёлая модель остановит чтение RTSP, очередь начнёт расти, а пользователь увидит прошлое вместо прямого эфира.

В статье разбираю real‑time‑конвейер своего C++20-сервера: постоянные workers, слоты последнего значения, std::jthread, stop_token, защита от устаревших результатов и итоги 16-часового теста на реальной RTSP‑камере.

На Mac с диском 256–512 ГБ место заканчивается регулярно. Обычный путь известен: найти самое большое, перетащить на внешний SSD и удалить оригинал. Если разобраться, что при этом ломается, окажется, что ломается много чего, и чаще всего тихо.

Разбираю грабли: почему сверка копии сразу после записи ничего не доказывает, что exFAT теряет при переносе, какие папки переносить нельзя вовсе, как Docker съедает диск во время архивации томов и как правильно работать с шифрованным образом hdiutil.

Заявка находит нужного исполнителя не с первого раза, а с третьего — а SLA тем временем тикает так, будто работа над ней началась в первую минуту. Заявка находит нужного исполнителя не с первого раза, а с третьего — а SLA тем временем тикает так, будто работа над ней началась в первую минуту. К моменту, когда обращение доходит до нужного человека, срок уже нарушен: это красный показатель в отчёте перед руководством, штраф по контракту, если поддержка отдана на аутсорс, и сотрудник, который во второй раз убеждается, что до его проблемы никому нет дела.

Заявка находит нужного исполнителя не с первого раза, а с третьего — а SLA тем временем тикает так, будто работа над ней началась в первую минуту. Заявка находит нужного исполнителя не с первого раза, а с третьего — а SLA тем временем тикает так, будто работа над ней началась в первую минуту. К моменту, когда обращение доходит до нужного человека, срок уже нарушен: это красный показатель в отчёте перед руководством, штраф по контракту, если поддержка отдана на аутсорс, и сотрудник, который во второй раз убеждается, что до его проблемы никому нет дела.

В ряде задач производительность упирается не в скорость вычислений, а в обмен данными с памятью. Решить эту проблему можно, если выполнять часть операций прямо там, где хранятся данные. Например, в своей LPDDR5X-PIM Samsung разместила вычислительные блоки внутри банков DRAM. Разберем, как это работает, какие операции можно перенести в память и что технология показала в Llama 3.1 8B.

В прошлой статье мой генератор отчетов вставлял код в Word картинками, и первый же комментарий был: «Код рисунками – брр». Справедливо: такой код не скопировать, не найти поиском, а при печати он мылится.

Разобрался, как сделать правильно: листинги текстом с подсветкой синтаксиса, рамкой, заливкой и автонумерацией «Листинг N» через поля Word. Все на python-docx и Pygments, около ста строк. По пути – пара ловушек, о которых почти нигде не пишут: почему Word может не открыть документ из-за порядка XML-тегов и зачем задавать шрифт четыре раза.

Бонус – замеры: 30 листингов текстом собираются за 0,6 с против 4,1 с картинками, а файл получается в три раза легче.

После моей статьи о рабочем месте репетитора в Chatwoot в комментариях закономерно спросили не о календаре и не о Jitsi, а о детали, которую я тогда почти не показал: как именно сообщения из MAX и VK попадают в Chatwoot и как ответ возвращается обратно.

Короткий ответ: это не скрапинг веб-версий и не автоматизация личных аккаунтов. MAX у меня подключён через официального бота, VK — через сообщения сообщества. Между ними и двумя API inbox в Chatwoot работает небольшой сервис на Node.js.

В этой статье разберу его фактическую реализацию: маршруты вебхуков, создание контакта и диалога, хранение соответствий, защиту от повторной обработки и передачу изображений. Заодно покажу места, где маленький рабочий мост ещё не стал отказоустойчивой шиной сообщений.

Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Я достаточно много занимаюсь интеграциями, хранилищами данных и BI, поэтому, когда ребята из «Денвик Аналитика» предложили познакомиться с новым инструментом DVT, не стал отказываться.

10 новых российских продуктов для записи и ИИ-анализа деловых встреч, продвинутых опросов и тестов в Telegram, оцифровки небольших производств, локального обмена вещами и многого другого. Битва за «Продукт недели» началась!

Product Radar — здесь каждую неделю публикуются лучшие онлайн-сервисы и железки от русскоязычных команд.

Всем привет! Меня зовут Татьяна Веселова. Я руководитель направления ELMA в департаменте CRM&BPM.

На каждом проекте и перед релизом аналитики мы всегда проводим тестирование функционала: проверяем формы, роли, согласования и сценарии, которые могли не заработать или сломаться после очередной доработки. Выделенных тестировщиков у нас нет, поэтому эта рутина регулярно съедала время у тех, кому нужно заниматься требованиями, документацией, архитектурой и клиентами.

Я решила с помощью ИИ создать инструмент для тестирования, который будет делать все сам и автоматизирует рутину аналитиков. Спойлер — всесильного ИИ не случилось, но после трех итераций у нас появился инструмент, который снизил нагрузку аналитиков примерно на 30%. В статье расскажу, как я к нему шла и в конце поделюсь выводами. 

Меня зовут Мурад Яндаров, с 2023 года развиваю направление Малого бизнеса в Чеченской Республике и в Республике Ингушетия: привлечение юридических лиц на обслуживание, торговый эквайринг, РКО и т.д. Но кроме того, что я начальник управления малого бизнеса в Чеченской Республике, я могу назвать себя AI-евангелистом, потому что считаю, что в современном мире просто нельзя не использовать ИИ. 

Моя работа максимально далека от ИТ и ИИ. Я не пишу код, не тестирую программы, не автоматизирую сложные цифровые процессы и тем более не продаю курсы по вайб-кодингу. Однако я глубоко убежден, что уже через несколько лет искусственный интеллект станет не просто повседневной нормой, как мобильный интернет или калькулятор, а обязательной частью жизни рабочего класса. Очень скоро без ИИ-ассистентов не смогут обойтись ни электрики, ни сантехники, ни офисные клерки, ни предприниматели. Внедрение ИИ в работу и быт станет базовым требованием для любой профессии, и тот, кто поймет это раньше, окажется на шаг впереди.

Начну моё эссе с рассказа о себе.

Rails получает релизы, большие системы работают, но вход в профессию сузился: рынку нужны middle и senior, а мест, где ими становятся, заметно меньше. Почему ставка на агентов этот разрыв не закрывает.

Заказ на сайте оформлен за минуту. В 1С он появляется вечером — когда менеджер или бухгалтер откроет админку, найдёт новые заказы и перенесёт их руками: покупатель, телефон, позиции, цены, скидка, доставка. Если заказов десять в день, это терпимо. Если сорок — это уже отдельная работа, у которой нет строки в бюджете, зато есть ошибки и задержка.

Я проектирую интеграции 1С с внешними системами: сайтами, CRM, своими программами заказчиков. Ниже — как я бы устроил загрузку заказов с сайта в 1С, если сайт сделан на Tilda, InSales или написан с нуля.

Исследователи из Нидерландов и Италии опубликовали научную работу, в которой показали новую атаку, относящуюся к классу Spectre-v2. Продемонстрированная в 2018 году оригинальная атака Spectre-v2 эксплуатирует функцию предсказания ветвлений в современных процессорах так, чтобы выполнить требуемую «вредоносную» инструкцию и затем считать результат ее работы по стороннему каналу из кэш-памяти. Свежая исследовательская работа вместо инъекции команд предлагает способ повторного использования информации в системе предсказания ветвлений.

Подходящее для атаки Branch Target Reuse состояние предсказателя ветвлений происходит в результате работы компилятора JIT, что ранее считалось непрактичным сценарием. В опубликованном исследовании показано успешное извлечение секретной информации, когда особенности предсказания ветвлений комбинируются с работой JIT-компилятора cBPF, входящего в состав ядра Linux. Также были изучены компиляторы SpiderMonkey (входит в состав браузера Firefox) и GraalVM.