Совместная лаборатория ИТМО и ВКонтакте открылась на базе Института прикладных компьютерных наук в 2022 году. Каждую осень компания предлагает несколько проектов, которые студенты ведущих вузов Санкт-Петербурга могут взять в качестве научно-исследовательской или дипломной работы.

«Изначально проблемы, которые требуют решения, собрала группа разработки движков ВКонтакте. Илья Кокорин — старший разработчик в отделе инфраструктуры баз данных ВКонтакте и куратор лаборатории от компании — преобразовал их в четко поставленные теоретические задачи. А я выбрал из них те, с которыми должны справиться наши студенты», — рассказал научный руководитель лаборатории, доцент Института прикладных компьютерных наук ИТМО Виталий Аксёнов.

В этом году участниками лаборатории стали шесть студентов из ИТМО, СПбГУ и НИУ ВШЭ — Санкт-Петербург, которые прошли предварительный отбор. Они работали над инструментом для проверки конкурентных структур данных LTest, уменьшили процент промахов кеша и предложили улучшение качества Mergeable Digests в StatsHouse. Каждую неделю студенты созванивались с Виталием и Ильей, чтобы показать промежуточные результаты, задать вопросы и определить вектор дальнейших исследований. Работа над проектами оплачивалась VK, а по итогу защит часть студентов получила офферы от компании.

Над проектом мы работали вдвоем с Андреем Ивасенко из НИУ ВШЭ. Наша задача заключалась в изучении и оптимизации структуры данных, которая используется в VK для сбора статистики и мониторинга в их собственном сервисе — StatsHouse. Мы улучшали уже имеющееся внутри решение — TDigest. Это структура данных, которая позволяет в онлайн-режиме добавлять в себя точки, репрезентирующие выборку, объединяться с другими экземплярами этого класса и считать квантили агрегированной выборки с погрешностью. В ходе работы получилось повысить точность вычислений квантилей, выявить проблемные места TDigest и предложить идеи по их устранению на данных ВКонтакте. Считаю, что итоговые результаты у нас получились неплохие.

Работу над этим проектом я оцениваю как очень полезную. Это был отличный способ применить теоретические знания на практике, столкнуться с реальными задачами и научиться их решать в условиях действующего сервиса. Я получил опыт работы в удаленной команде, познакомился с языком Go и углубил знания математической статистики.

Я очень советую другим студентам участвовать в подобных проектах. Это не только возможность получить ценный опыт и прокачать свои навыки, но и шанс познакомиться с индустрией, поработать с реальными данными и задачами, а также получить полезные контакты.

Суть моего проекта заключалась в оптимизации работы объектного кеша ВКонтакте, а именно уменьшения числа кеш-промахов без ухудшения скоростных характеристик. В процессе работы я изучил множество различных решений, на основе которых разработал ряд оптимизаций. Благодаря им, объектный кеш эффективней использует выделенную память, своевременно удаляет ненужные данные и лучше определяет их востребованность. За счет этих оптимизаций удалось сократить число кеш-промахов на синтетических нагрузках и существенно сократить их число на реальной нагрузке. В конечном итоге, мои наработки лягут в основу новой версии объектного кеша, которая будет использоваться в команде движков ВКонтакте.

Этим проектом я занимался один на протяжении двух лет и оформил его как свою выпускную квалификационную работу, которую защитил на отлично. У меня в планах написать статью и выступить с ней на конференциях. Также я получил приглашение на работу от ВКонтакте.

Как и в любом научном проекте, за время работы я узнал много нового об области, о чем раньше даже не подозревал. Полученные знания будут полезны в моей дальнейшей деятельности, даже если наши пути с VK разойдутся. И я рекомендую участвовать в таких активностях, так как вы будете заниматься действительно интересными задачами, на основе которых сможете написать статью на хорошую научную конференцию.