Kurgan-Telecom Ru | Информационные технологии

Привет, Хабр!

Сегодня разберём фичу из PySpark — UDTF. Если раньше мы писали UDF и UDAF, то UDTF — это про функцию, которая запускается в секции FROM запроса и возвращает как бы несколько стро» для каждой входной записи Звучит круто.

UDTFs пригодятся, когда на один входной объект нужно получить множество выходных строк. Простой пример: у нас есть строка текста и мы хотим разделить её на слова так, чтобы каждое слово вышло отдельной строкой. Со стандартным UDF такое не сделать (он возвращает одно значение, например конкатенацию или длину). Но UDTF может делать цикл yield внутри и выдавать сколько угодно строк. Итак, приступим к делу.

В команде НИЦ ЦТ много студентов, которые успевают и учиться, и работать.  В честь начала учебного года мы попросили рассказать, как им это удается, что дает ранний карьерный старт и как вуз относится к такому совмещению.  

Всем, кто сегодня сел на ученическую скамью,  расскажем живой опыт и истории о том, как искать работу и практику, как не уронить успеваемость и почему работа во время учебы важна.

Неопределённое поведение (Undefined Behavior, UB) в C и C++ — одна из причин, по которым разработчики всё чаще ищут языки с полностью определённой семантикой. Одним из самых коварных UB является unaligned access, с точки зрения стандарта C это, например, когда происходит попытка разыменовать указатель как uint32_t, а значение указателя (адрес) не кратно четырём. Один из частых сценариев использования, приводящих к такому UB - получение данных по сети и их интерпретация как чисел.

Android. Glance widgets.

По разным причинам мы начинаем изучать что-то новое. Будь то углубленный курс по твоей специализации. Или это что-то стороннее, получить навык, который давно хотел освоить. И вот мы сталкиваемся с новым и попадаем в цикл понятно/ничего непонятно.

Статья для тех, кто хочет изучить Glance виджеты на Android. Посмотреть на существующие проблемы, про подводные камни и увидеть способы их решения. Полезно делиться опытом

Используем Vulakn API на Rust! На В этом руководстве мы шаг за шагом разберём, как создать Logical Device - основу для общения с вашей видеокартой. Без лишней магии, только чёткие объяснения и работающий код. Убедимся, что сложность Vulkan - это не страшно, а очень даже логично!

Представьте ситуацию: вам захотелось заказать раков. Что будете делать? Есть несколько вариантов, один из них — поискать подходящее заведение с доставкой в социальных сетях. Там можно найти локальную компанию с хорошими отзывами и приемлемыми ценами. Вы заходите ВКонтакте, открываете поиск по сообществам, вбиваете запрос «заказ раков» и получаете... подборку сообществ по астрологии. Совпадение по тексту есть, паблики популярные, можно сказать, что алгоритмы справились. Вы узнали о влиянии планет на вашу судьбу, но остались без раков.

Казалось бы, запрос звучал очевидно, но для классического текстового поиска это задача со звёздочкой. На помощь приходит семантический поиск — технология, которая обещает понять не только буквы в запросе, но и смыслы, стоящие за ними.

Меня зовут Арсений Расов, я тимлид ML-инженеров в команде поиска AI VK. В этой статье расскажу, как мы с командой внедряли семантический поиск по сообществам ВКонтакте и почему задача, рассчитанная на два месяца, заняла полгода. Рассмотрим современные NLP-технологии в продакшене и поговорим про непредсказуемость проверенных алгоритмов за пределами Jupyter Notebook.

Автоматический способ превращения учебника в текстовый файл (TXT) для дальнейшего анализа. В статье пишем о том, как с помощью Python и OCR извлечь текст из PDF, даже если это сканированные страницы в плохом качестве.

Как рождается по-настоящему эффективный дизайн, который решает реальные бизнес-задачи, а не просто радует глаз.

В классическом BI мы вручную пишем SQL, строим отчёты и визуализации. Но сегодня нейросети делают всё больше работы: сами пишут запросы, формируют дашборды и даже выдают инсайты. У этого направления уже есть название - Generative BI (GenBI). Адептов GenBI становится всё больше.

Примеры компаний, предлагающих или реализующих подобные решения

1.Snowflake предлагает Enterprise AI - безопасный доступ к топовым LLM внутри корпоративного контура.

Кроме них, в гонке уже:

Бывало ли у вас?

А бывало у вас так, что лежите вы в кровати надо вставать и идти на работу, а вам прямо нестерпимо лень идти именно туда? Прямо даже может организм сопротивляться? Почти что депрессия в рабочие утра или температура подскакивает или тошнит, а в выходные такого нет?

Вы переводите будильник на максимально поздно, завтракаете как можно дольше, чего-то там копаетесь… А потом бежите сломя голову на эту самую работу потому, что вы яблоко.

Привет, шахматные фанаты!

В этом посте разберём, кто реально имеет шансы на успех в Grand Swiss 2025 в Самарканде. Всё по делу: рейтинг FIDE, результаты топ-турниров 2024 года, котировки букмекеров и аналитика с использованием bStresScore — показателя стрессоустойчивости игроков в критические моменты.

Некоторые исследования показывают, что активное использование ИИ снижает мозговую активность на 47%. Разбираемся, насколько это критично и как защитить свои когнитивные способности.

Большинство разработчиков любят писать код, но редко рассказывают о нём. PR-подходы в инженерной среде часто воспринимаются с подозрением: «Ну опять маркетинг пытается что-то навязать». Но есть тонкая грань, где грамотная подача превращает сухие коммиты в захватывающую историю, а инженерный блог — в точку притяжения для сообщества. В этой статье — практики, примеры и даже куски кода, которые помогают технической аудитории не только читать, но и делиться вашим проектом.

Всем привет! Время для нашей ежемесячной подборки ключевых CVE. В августе десяточкой по CVSS отметилась, конечно же, Cisco — в аутентификации через RADIUS в Secure FMC забыли санитизировать пользовательский ввод.

В NetScaler ADC и NetScaler Gateway критический нулевой день под RCE через переполнение памяти. Помимо этого, две критических CVE под произвольный код были исправлены в продуктах от Microsoft. В WinRAR закрыли уязвимость на обход пути, активно эксплуатируемую в атаках. Также критическими CVE отметились Trend Micro Apex One, Docker Desktop и FortiWeb. Об этом и других интересных уязвимостях последнего летнего месяца читайте под катом!

Он большой, а значит, много мяса. Весит около 150 кг. 

Он – долгожитель. Живет 70 лет, из них 35 лет продуктивных. Купил самку в 5 лет – она будет нести яйца до 40 лет.

Он – живучий. Никаких специфических птичьих заболеваний нет. Ветеринарные расходы минимальные.

Исследователь безопасности обнаружил DOM-based XSS уязвимость на странице вакансий HackerOne, за что получил вознаграждение в размере $500. Проблема заключалась в том, как страница обрабатывала “?lever-” параметры в URL и добавляла их в DOM, без должной проверки и очистки.

Хотя эта атака не могла обойти Политику Безопасности Контента (CSP) в современных браузерах, таких как Chrome и Firefox, она всё же успешно выполнялась в Internet Explorer и Microsoft Edge, где парсинг URL работает иначе.

Привет, Хабрчане! Меня зовут Катя Зорина, в MWS я занимаюсь молодежными и образовательными проектами. Сегодня хочу рассказать о сотрудничестве нашей компании с RuCode — всероссийским фестивалем по искусственному интеллекту и алгоритмическому программированию. Обсудим, какие перспективы открывает для молодых специалистов участие в фестивале, посмотрим кейсы от МТС с прошлого года и поймем, к чему готовиться в этом. Погнали!

Четырнадцатого августа 2024 года в 4 часа утра, в полумиле от острова Сицилия пошла ко дну 56-метровая яхта Bayesian принадлежащая миллионеру Майку Линчу и, в процессе, унесла жизни хозяина, его 18-летней дочери, судового повара, и 4-х гостей. В этой статье я пытаюсь разобраться в причинах трагедии, используя открытые данные международных агентств и результатами первичного доклада международной организации по расследованию трагедий на воде (Marine Accident Investigation Branch) из Лондона. 

Привет, друзья! ☀️ Лето подходит к концу, а значит самое время подвести итоги и вспомнить, что интересного произошло во Flutter-мире за два месяца.

Впереди осень

Привет, Хабр!

Раньше школьнику хватало дневника, пенала и ключа на шнурке. Сейчас к списку добавились вещи, которые реально помогают жить: часы с GPS, планшет для письма и рисования, лёгкие беспроводные наушники, умная колонка с будильниками и первый смартфон под строгими правилами. Эти инструменты делают путь в школу спокойнее, уроки тише, а жизнь лучше.

Мы подготовили пять гаджетов из ассортимента М.Видео, которые закрывают типовые задачи первоклассника и родителей.