Публикации

Основные публикации

2023

1. ICAART

   Deep Learning Model Selection With Parametric Complexity Control

   Grebenkova Olga, Bakhteev Oleg, Strijov Vadim

   2023

   Аннотация Ссылка PDF Bibtex

   The paper is devoted to deep learning model complexity. It is estimated by Bayesian inference and based on a computational budget. The idea of the proposed method is to represent deep learning model parameters in the form of hypernetwork output. A hypernetwork is a supplementary model which generates parameters of the selected model. This paper considers the minimum description length from a Bayesian point of view. We introduce prior distributions of deep learning model parameters to control the model complexity. The paper analyzes and compares three types of regularization to define the parameter distribution. It infers and generalizes the model evidence as a criterion that depends on the required model complexity. Finally, it analyzes this method in the computational experiments on the Wine, MNIST, and CIFAR-10 datasets.

   @conference{icaart23,
     abbr = {ICAART},
     author = {Grebenkova, Olga and Bakhteev, Oleg and Strijov, Vadim},
     html = {https://www.scitepress.org/PublicationsDetail.aspx?ID=lRGAknY5+Ow=&t=1},
     title = {Deep Learning Model Selection With Parametric Complexity Control},
     booktitle = {Proceedings of the 15th International Conference on Agents and Artificial Intelligence - Volume 2: ICAART,},
     year = {2023},
     pages = {65-74},
     publisher = {SciTePress},
     organization = {INSTICC},
     pdf = {https://www.scitepress.org/Papers/2023/116269/116269.pdf},
     doi = {10.5220/0011626900003393},
     isbn = {978-989-758-623-1},
     issn = {2184-433X}
   }
   

2022

1. AIST

   Neural architecture search with structure complexity control

   Yakovlev Konstantin, Grebenkova Olga, Bakhteev Oleg, Strijov Vadim

   Recent Trends in Analysis of Images, Social Networks and Texts, 2022

   Аннотация Ссылка PDF Bibtex

   The paper investigates the problem of deep learning model selection. We propose a method of a neural architecture search with respect to the desired model complexity called DARTS-CC. An amount of parameters in the model is considered as a model complexity. The proposed method is based on a differential architecture search algorithm (DARTS). Instead of optimizing structural parameters of the architecture, we consider them as a function depending on the complexity parameter. It enables us to obtain multiple architectures at one optimization procedure and select the architecture based on our computation budget. To evaluate the performance of the proposed algorithm, we conduct experiments on the Fashion-MNIST and CIFAR-10 datasets and compare the resulting architecture with architectures obtained by other neural architecture search methods.

   @inproceedings{yakovlev2021neural,
     abbr = {AIST},
     title = {Neural architecture search with structure complexity control},
     author = {Yakovlev, Konstantin and Grebenkova, Olga and Bakhteev, Oleg and Strijov, Vadim},
     booktitle = {Recent Trends in Analysis of Images, Social Networks and Texts},
     year = {2022},
     pages = {207--219},
     pdf = {https://yahootechpulse.easychair.org/publications/preprint_download/H5MC},
     html = {https://link.springer.com/book/10.1007/978-3-031-15168-2}
   }
   

2. РФФИ

   Цифровая платформа образования

   Бахтеев Олег и др.

   Вестник Российского фонда фундаментальных исследований, 2022

   Ссылка Bibtex

   @article{бахтеев2022цифровая,
     abbr_en = {RFBR},
     abbr = {РФФИ},
     title_en = {Digital Education Platform},
     title = {Цифровая платформа образования},
     author = {Бахтеев, Олег и др.},
     author_en = {Oleg Bakhteev et al.},
     journal = {Вестник Российского фонда фундаментальных исследований},
     journal_en = {Russian Foundation for Basic Research Journal},
     volume = {113},
     number = {1},
     pages = {87--104},
     year = {2022},
     html = {https://www.rfbr.ru/rffi/ru/bulletin/o_2128693},
     sitetag = {publ}
   }
   

3. АиТ

   Градиентные методы оптимизации метапараметров в задаче дистилляции знаний

   М. Горпинич, Бахтеев О. Ю., Стрижов В. В.

   Автоматика и телемеханика, 2022

   Аннотация Bibtex

   В работе исследуется задача дистилляции моделей глубокого обучения. Дистилляция знаний - это задача оптимизации метапараметров, в которой происходит перенос информации модели более сложной структуры, называемой моделью-учителем, в модель более простой структуры, называемой моделью-учеником. В работе предлагается обобщение задачи дистилляции на случай оптимизации метапараметров градиентными методами. Метапараметрами являются параметры оптимизационной задачи дистилляции. В качестве функции потерь для такой задачи выступает сумма слагаемого классификации и кросс-энтропии между ответами модели-ученика и модели-учителя. Назначение оптимальных метапараметров в функции потерь дистилляции является вычислительно сложной задачей. Исследуются свойства оптимизационной задачи с целью предсказания траектории обновления метапараметров. Проводится анализ траектории градиентной оптимизации метапараметров и предсказывается их значение с помощью линейных функций. Предложенный подход проиллюстрирован с помощью вычислительного эксперимента на выборках CIFAR-10 и Fashion-MNIST, а также на синтетических данных.

   @article{gorphinich2022gradient,
     abbr_en = {AiT},
     abbr = {АиТ},
     bilingual = {True},
     title_en = {Gradient methods of metaparameter optimization in knowledge distillation},
     title = {Градиентные методы оптимизации метапараметров в задаче дистилляции знаний},
     author_en = {Maria Gorphinich and Oleg Bakhteev and Vadim Strijov},
     author = {М., Горпинич and Бахтеев, О. Ю. and Стрижов, В. В.},
     journal_en = {Automation and Remote Control},
     journal = {Автоматика и телемеханика},
     number = {10},
     pages = {67--79},
     year = {2022}
   }
   

4. ENAI

   Cross-language plagiarism detection: a case study of European universities academic works

   Bakhteev Oleg et al.

   2022

   Аннотация Ссылка Материалы Bibtex

   The chapter investigates the problem of cross-lingual plagiarism in academic works of European universities. Although the possibly massive problem of incorrect text reuse, most text reuse detection systems generally focus only on the monolingual plagiarism text reuse: when both the analysed document and source of text reuse are written in one language. In this chapter, we analyse a more difficult setting: when the languages of the analysed document and reused language are different. For this problem solution, we present a system of cross-lingual text reuse detection. The system composes the methods of statistical machine translation and deep learning methods based on the contextualized word embeddings, such as BERT and its multilingual version, LaBSE. To analyse the efficiency of the proposed method, we conduct experiments both on the synthetic dataset generated using machine translation systems and on the real dataset of academic graduation theses. We experimented on the collection of 10202 documents and found 103 documents with a significant amount of cross-lingual text reuse. Although these results are preliminary and should be verified further, they confirm the massiveness of this problem in academic science.

   @conference{bakhteev2022enai,
     abbr = {ENAI},
     title = {Cross-language plagiarism detection: a case study of European universities academic works},
     author = {Bakhteev, Oleg et al.},
     author_en = {Oleg Bakhteev et al.},
     booktitle = {Academic Integrity: Broadening Practices, Technologies, and the Role of Students},
     pages = {143--161},
     year = {2022},
     publisher = {Springer},
     supp = {https://academicintegrity.eu/conference/proceedings/2021/book_of_abstracts2021.pdf},
     html = {https://link.springer.com/chapter/10.1007/978-3-031-16976-2_9}
   }
   

5. ISP RAS

   Anti-Distillation: Knowledge Transfer from a Simple Model to the Complex One

   Petrushina Kseniia, Bakhteev Oleg, Grabovoy Andrey, Strijov Vadim

   2022 Ivannikov Ispras Open Conference (ISPRAS), 2022

   Аннотация Ссылка Bibtex

   The paper considers the problem of adapting the model to new data with a large amount of information. We propose to build a more complex model using the parameters of a simple one. We take into account not only the accuracy of the prediction on the original samples but also the adaptability to new data and the robustness of the obtained solution. The work is devoted to developing the method that allows adapting the pre-trained model to a more heterogeneous dataset. In the computational experiment, we analyse the quality of predictions and model robustness on Fashion-MNIST dataset.

   @inproceedings{petrushina2022isp,
     abbr = {ISP RAS},
     html = {https://ieeexplore.ieee.org/document/10076855},
     author = {Petrushina, Kseniia and Bakhteev, Oleg and Grabovoy, Andrey and Strijov, Vadim},
     booktitle = {2022 Ivannikov Ispras Open Conference (ISPRAS)},
     title = {Anti-Distillation: Knowledge Transfer from a Simple Model to the Complex One},
     year = {2022},
     volume = {},
     number = {},
     pages = {65-69},
     doi = {10.1109/ISPRAS57371.2022.10076855}
   }
   

2021

1. ИИП

   Методы обнаружения переводных заимствований в больших текстовых коллекциях

   Кузнецова Р. В., Бахтеев О. Ю., Чехович Ю. В.

   Информатика и её применения, 2021

   Аннотация Ссылка PDF Bibtex

   Рассматривается задача обнаружения переводных заимствований. Для решения предлагается использовать моноязыковой подход — свести задачу обнаружения заимствований к одному языку,используя машинный перевод. В связи со спецификой рассматриваемой задачи предлагаемый алгоритмобнаружения должен быть устойчив к неоднозначностям перевода. Предлагается декомпозировать задачу на несколько этапов. Сначала отбираются документы-кандидаты, устойчивость к неоднозначностиперевода достигается за счет замены слов на метки кластеров, полученных с помощью дистрибутивной модели. Затем происходит сравнение найденных кандидатов ирассматриваемого документа, для этогоиспользуется отображение текстовых фрагментов документов в векторное пространство высокой размер-ности. Вычислительный эксперимент проводится для языковой пары «русский–английский» на двухвыборках — синтетическом корпусе и на статьях из журналов, входящих в Российский индекс научногоцитирования (РИНЦ).

   @article{кузнецова2021методы,
     abbr_en = {IiEP},
     abbr = {ИИП},
     title_en = {Methods of cross-lingual text reuse detection in large textual collections},
     title = {Методы обнаружения переводных заимствований в больших текстовых коллекциях},
     author_en = {Rita Kuznetsova and Oleg Bakhteev and Yury Chekhovich},
     author = {Кузнецова, Р. В. and Бахтеев, О. Ю. and Чехович, Ю. В.},
     journal = {Информатика и её применения},
     journal_en = {Informatics and Applications},
     volume = {15},
     number = {1},
     pages = {30--41},
     year = {2021},
     html = {http://www.ipiran.ru/journal/issues/article/19922264210105.html},
     publisher = {Российская академия наук, Отделение нанотехнологий и информационных технологий},
     pdf = {http://www.ipiran.ru/journal/issues/2021_15_01/Vol15_Issue1.pdf},
     sitetag = {publ}
   }
   

2. ИИП

   Вариационная оптимизация модели глубокого обучения с контролем сложности

   Гребенькова О. С., Бахтеев О. Ю., Стрижов В. В.

   Информатика и её применения, 2021

   Аннотация Ссылка PDF Bibtex

   Исследуется задача построения модели глубокого обучения. Предлагается способ контроля ее сложности. Под сложностью модели понимается минимальная длина описания, минимальный объем информации, который требуется для передачи информации о модели и о выборке. Предлагается метод оптимизации параметров модели, основанный на представлении модели глубокого обучения в виде гиперсети с использованием байесовского подхода. Под гиперсетью понимается модель, которая порождает параметры оптимальной модели. Вводятся вероятностные предположения о распределении параметров модели глубокого обучения. Предлагается алгоритм, максимизирующий нижнюю вариационную оценку байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина,зависящая от требуемой сложности модели. Для анализа качества предлагаемого алгоритма проведены эксперименты на выборке MNIST.

   @article{гребенькова2021вариационная,
     abbr_en = {IiEP},
     abbr = {ИИП},
     title_en = {Variational deep learning model optimization with complexity control},
     title = {Вариационная оптимизация модели глубокого обучения с контролем сложности},
     author_en = {Olga Grebenkova and Oleg Bakhteev and Vadim Strijov},
     author = {Гребенькова, О. С. and Бахтеев, О. Ю. and Стрижов, В. В.},
     journal = {Информатика и её применения},
     journal_en = {Informatics and Applications},
     volume = {15},
     number = {1},
     pages = {42--49},
     year = {2021},
     html = {http://www.ipiran.ru/journal/issues/article/19922264210106.html},
     publisher = {Российская академия наук, Отделение нанотехнологий и информационных технологий},
     pdf = {http://www.ipiran.ru/journal/issues/2021_15_01/Vol15_Issue1.pdf},
     sitetag = {publ}
   }
   

3. Диалог-21

   Near-duplicate handwritten document detection without text recognition

   Bakhteev Oleg et al.

   Computational Linguistics and Intellectual Technologies, 2021

   Аннотация PDF Материалы Bibtex

   The paper presents a novel method for near-duplicate detection in handwritten document collections of schoolessays. A large amount of online resources with available academic essays currently makes it possible to cheatand reuse them during high school final exams. Despite the importance of the problem, at the moment there isno automatic method for near-duplicate detection for handwritten documents, such as school essays. The schoolessay is represented as a sequence of scanned images of handwritten essay text. Despite advances in recognitionof handwritten printed text, the use of these methods for the current task is a challenge. The proposed method ofnear-duplicate detection does not require detailed markup text, which makes it possible to use it in a large numberof tasks related to the information extraction in zero-shot regime, i.e. without any specific resources written in theprocessed language. The paper presents a method based on series analysis. The image is segmented into words.The text is characterized by a sequence of features, which are invariant to the author’s writing style: normalizedlengths of the segmented words. These features can be used for both handwritten and machine-readable texts. Thecomputational experiment is conducted on IAM dataset of English handwritten texts and the dataset of real imagesof handwritten school essays.

   @inproceedings{bakhteev2021handwritten,
     abbr = {Диалог-21},
     abbr_en = {Dialogue},
     title = {Near-duplicate handwritten document detection without text recognition},
     author = {Bakhteev, Oleg et al.},
     author_en = {Oleg Bakhteev et al.},
     booktitle = {Computational Linguistics and Intellectual Technologies},
     year = {2021},
     pdf = {http://www.dialog-21.ru/media/5237/bakhteevoplusetal028.pdf},
     supp = {http://bit.ly/ap_handwritten}
   }
   

4. PAN

   Hate Speech Spreader Detection using Contextualized Word Embeddings

   Finogeev Evgeny et al.

   CLEF (Working Notes), 2021

   Аннотация Ссылка PDF Bibtex

   The paper presents a method of hate speech spreaders recognition developed for the task of “Profiling Hate Speech Spreaders on Twitter” at the PAN@CLEF Conference 2021. Hate speech is an increasing problem nowadays. Due to the spread of the internet and the rise of social media, people with hostile views towards certain groups post hateful messages on social media resources. In this paper, we present a model to detect hate speech spreaders based on their Twitter posts. We aggregate contextualized embeddings of single tweets to form a vector representation for every user and employ classification methods to find users spreading hate speech. We analyze different embedding models based on BERT architecture for the problem. The submitted model achieves 67 pecent in terms of accuracy for the English part of the dataset and 83 percent for the Spanish part of the dataset

   @inproceedings{finogeev2021author,
     abbr = {PAN},
     title = {Hate Speech Spreader Detection using Contextualized Word Embeddings},
     author_en = {Evgeny Finogeev et al.},
     author = {Finogeev, Evgeny et al.},
     booktitle = {CLEF (Working Notes)},
     year = {2021},
     pdf = {http://ceur-ws.org/Vol-2936/paper-167.pdf},
     html = {https://pan.webis.de/publications.html}
   }
   

5. ISP RAS

   The automatic approach for scientific papers dating

   Grabovoy Andrey, Bakhteev Oleg, Chekhovich Yury

   Ivannikov Ispras Open Conference (ISPRAS), 2021

   Аннотация Ссылка Материалы Bibtex

   The paper investigates automatic methods of document date estimation. The document date is essential metadata for many applied tasks, such as event detection or internet search. Methods for estimating the dates of newspaper articles are well known. In this paper, we propose to predict the publishing year for scientific papers. We present a new dataset based on open access articles from eLIBRARY.RU. It contains articles written in Russian and English. The article introduces a method of dating documents based on the raw document text content. The computational experiment compares different solutions for document date estimation. We also analyze how prediction depends on the topic for different methods.

   @inproceedings{grabovoy2021automatic,
     abbr = {ISP RAS},
     title = {The automatic approach for scientific papers dating},
     author = {Grabovoy, Andrey and Bakhteev, Oleg and Chekhovich, Yury},
     booktitle = {Ivannikov Ispras Open Conference (ISPRAS)},
     year = {2021},
     supp = {https://www.youtube.com/watch?v=cOM82kHRwkM},
     html = {https://ieeexplore.ieee.org/abstract/document/9708686}
   }
   

2020

1. ИИП

   Введение отношения порядка на множестве параметров аппроксимирующих моделей

   Грабовой А. В., Бахтеев О. Ю., Стрижов В. В.

   Информатика и её применения, 2020

   Аннотация PDF Bibtex

   Исследуется проблема введения отношения порядка на множестве параметров сложных ап-проксимирующих моделей. В качестве параметрических моделей исследуются линейные и нейросетевыемодели. Порядок на множестве параметров задается при помощи ковариационной матрицы градиентовфункции ошибки по параметрам модели. Предлагается использовать заданный порядок для фиксациипараметров модели во время решения оптимизационной задачи. Предполагается, что после небольшогочисла итераций алгоритма оптимизации некоторые параметрымодели можно зафиксировать без зна-чимой потери качества модели. Это позволит существенно понизить размерность задачи оптимизации.В вычислительном эксперименте сравниваются модели, в которых параметры фиксируются в соот-ветствии с предложенным порядком, с моделями, в которых параметры фиксируются произвольны мобразом.

   @article{грабовой2020введение,
     abbr_en = {IiEP},
     abbr = {ИИП},
     title_en = {Ordering the set of neural network parameters},
     title = {Введение отношения порядка на множестве параметров аппроксимирующих моделей},
     author_en = {Andrey Grabovoy and Oleg Bakhteev and Vadim Strijov},
     author = {Грабовой, А. В. and Бахтеев, О. Ю. and Стрижов, В. В.},
     journal = {Информатика и её применения},
     journal_en = {Informatics and Applications},
     volume = {14},
     number = {2},
     pages = {58--65},
     year = {2020},
     publisher = {Российская академия наук, Отделение нанотехнологий и информационных технологий},
     pdf = {http://www.mathnet.ru/links/54db4af77e607146a4babf4c801c1fc0/ia662.pdf},
     sitetag = {publ}
   }
   

2. PAN

   Fake news spreader detection using neural tweet aggregation

   Bakhteev Oleg, Ogaltsov Aleksandr, Ostroukhov Petr

   CLEF (Working Notes), 2020

   Аннотация Ссылка PDF Bibtex

   The paper describes the neural networks-based approach for ProfilingFake News Spreaders on Twitter task at PAN 2020. The problem is reduced to thebinary classification with a set of tweets of the user as an object to classify andclass labels corresponding to users that are likely to spread fake news and ordinaryusers. To deal with a set of tweets we employ two neural network architectures:either based on recurrent or convolutional neural networks. We try aggregate thewhole information obtained from the tweets to decide whether the user can spreadfake news or not. We also present an ensemble of models that consists of a neuralnetwork and a classification model that works on each tweet separately.

   @inproceedings{bakhteev2020fake,
     abbr = {PAN},
     title = {Fake news spreader detection using neural tweet aggregation},
     author = {Bakhteev, Oleg and Ogaltsov, Aleksandr and Ostroukhov, Petr},
     booktitle = {CLEF (Working Notes)},
     year = {2020},
     pdf = {https://pan.webis.de/downloads/publications/papers/bakhteev_2020.pdf},
     html = {https://pan.webis.de/publications.html}
   }
   

2019

1. ИИП

   Определение релевантности параметров нейросети

   Грабовой Андрей Валериевич, Бахтеев Олег Юрьевич, Стрижов Вадим Викторович

   Информатика и её применения, 2019

   Аннотация PDF Bibtex

   Работа посвящена оптимизации структуры нейронной сети. Предполагается, что числопараметров нейросети можно существенно снизить без значимой потери качества и значимого по-вышения дисперсии функции ошибки. Предлагается метод прореживания параметров нейронной сети,основанныйна автоматическом определении релевантности параметров. Для определения релевантностипараметров предлагается проанализироватьковариационную матрицу апостериорногораспределения па-раметров и удалить из нейросети мультикоррелирующие параметры. Для определения мультикорреляциииспользуется метод Белсли. Для анализа качества представленного алгоритма проводятся экспериментына выборке Boston Housing, а также на синтетических данных.

   @article{грабовой2019определение,
     abbr_en = {IiEP},
     abbr = {ИИП},
     title_en = {Estimation of the relevance of the neural network parameters},
     title = {Определение релевантности параметров нейросети},
     author_en = {Andrey Grabovoy and Oleg Bakhteev and Vadim Strijov},
     author = {Грабовой, Андрей Валериевич and Бахтеев, Олег Юрьевич and Стрижов, Вадим Викторович},
     journal = {Информатика и её применения},
     journal_en = {Informatics and Applications},
     volume = {13},
     number = {2},
     pages = {62--70},
     year = {2019},
     publisher = {Российская академия наук, Отделение нанотехнологий и информационных технологий},
     pdf = {http://www.mathnet.ru/links/c0d38d0bc4d68901f3ca135fd3050ea6/ia594.pdf}
   }
   

2. AOR

   Comprehensive analysis of gradient-based hyperparameter optimization algorithms

   Bakhteev Oleg, Strijov Vadim

   Annals of Operations Research, 2019

   Аннотация Ссылка Bibtex

   The paper investigates hyperparameter optimization problem. Hyperparameters are the parameters of model parameter distribution. The adequate choice of hyperparameter values prevents model overfit and allows it to obtain higher predictive performance. Neural network models with large amount of hyperparameters are analyzed. The hyperparameter optimization for models is computationally expensive. The paper proposes modifications of various gradient-based methods to simultaneously optimize many hyperparameters. The paper compares the experiment results with the random search. The main impact of the paper is hyperparameter optimization algorithms analysis for the models with high amount of parameters. To select precise and stable models the authors suggest to use two model selection criteria: cross-validation and evidence lower bound. The experiments show that the models optimized using the evidence lower bound give higher error rate than the models obtained using cross-validation. These models also show greater stability when data is noisy. The evidence lower bound usage is preferable when the model tends to overfit or when the cross-validation is computationally expensive. The algorithms are evaluated on regression and classification datasets.

   @article{bakhteev2019comprehensive,
     abbr = {AOR},
     title = {Comprehensive analysis of gradient-based hyperparameter optimization algorithms},
     author_en = {Oleg Bakhteev and Vadim Strijov},
     author = {Bakhteev, Oleg and Strijov, Vadim},
     journal = {Annals of Operations Research},
     pages = {1--15},
     year = {2019},
     publisher = {Springer},
     html = {https://link.springer.com/article/10.1007%2Fs10479-019-03286-z}
   }
   

2018

1. АиТ

   Выбор моделей глубокого обучения субоптимальной сложности

   Бахтеев О. Ю., Стрижов В. В.

   Автоматика и телемеханика, 2018

   Аннотация Ссылка Bibtex

   Рассматривается задача выбора моделей глубокого обучения субоптимальной сложности. Под сложностью модели понимается минимальная длина описания совокупности выборки и модели классификации или регрессии. Под субоптимальной сложностью понимается приближенная оценка минимальной длины описания, полученная с использованием байесовского вывода и вариационных методов. Вводятся вероятностные предположения о распределении параметров. На основе байесовского вывода предлагается функция правдоподобия модели. Для получения оценки правдоподобия применяются вариационные методы с использованием градиентных алгоритмов оптимизации. Проводится вычислительный эксперимент на нескольких выборках.

   @article{бахтеев2018выбор,
     bilingual = {True},
     abbr_en = {AiT},
     abbr = {АиТ},
     title_en = {Deep Learning Model Selection of Suboptimal Complexity},
     title = {Выбор моделей глубокого обучения субоптимальной сложности},
     author_en = {Oleg Bakhteev and Vadim Strijov},
     author = {Бахтеев, О. Ю. and Стрижов, В. В.},
     journal_en = {Automation and Remote Control},
     journal = {Автоматика и телемеханика},
     number = {8},
     pages = {129--147},
     year = {2018},
     publisher = {Российская академия наук, Отделение энергетики, машиностроения, механики и~…},
     html_en = {https://link.springer.com/article/10.1134/S000511791808009X},
     html = {http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=at&paperid=14742&option_lang=rus}
   }
   

2. ИИП

   Выбор оптимальной модели рекуррентной сети в задачах поиска парафраза

   Смердов А. Н., Бахтеев О. Ю., Стрижов В. В.

   Информатика и её применения, 2018

   Аннотация PDF Bibtex

   Рассматривается задача выбора оптимальной рекуррентной нейронной сети. В качествекритерия оптимальности используется нижняя оценка правдоподобия модели. Исследование скон-центрировано на применении вариационного подхода к аппроксимации апостериорного распределенияпараметров модели. Частным случаем аппроксимации выступает нормальное распределение параметровс различными видами матрицы ковариаций. Для увеличения правдоподобия модели предлагается методудаления параметров с наибольшей плотностью вероятности внуле. В качестве иллюстративногопримерарассматривается задача многоклассовой классификации на выборке пар схожих и несхожих предложенийSemEval 2015.

   @article{смердов2018выбор,
     abbr_en = {IiEP},
     abbr = {ИИП},
     title_en = {Optimal recurrent neural network model in paraphrase detection},
     title = {Выбор оптимальной модели рекуррентной сети в задачах поиска парафраза},
     author_en = {Anton Smerdov and Oleg Bakhteev and Vadim Strijov},
     author = {Смердов, А. Н. and Бахтеев, О. Ю. and Стрижов, В. В.},
     journal_en = {Informatics and Applications},
     journal = {Информатика и её применения},
     volume = {12},
     number = {4},
     pages = {63--69},
     year = {2018},
     publisher = {Российская академия наук, Отделение нанотехнологий и информационных технологий},
     pdf = {http://www.mathnet.ru/links/c8c61f174a24a3081b46138945dffbd5/ia564.pdf}
   }
   

3. ИИП

   Автоматическое извлечение метаданных из научных PDF-документов

   Огальцов А. В., Бахтеев О. Ю.

   Информатика и её применения, 2018

   Аннотация PDF Bibtex

   Исследуется извлечение метаданных документа. Рассматриваются научные PDF-документына русском языке. Особенностью формата PDF является разнообразие расположения текста на страницахдокумента. Это создает трудности для автоматического извлечения метаданных. Предложенный методизвлечения метаданных основан на рассмотрении текстовых блоков, полученных при помощи PDF-парсера, как объектов в задаче машинного обучения. Признаковое пространство содержит не толькотекстовые признаки, но и признаки, связанные с форматированием и расположением блока, которыеполучены из PDF-парсера. В работе измерено качество классификации предложенного алгоритмаи проведено сравнение с базовым алгоритмом

   @article{огальцов2018автоматическое,
     abbr_en = {IiEP},
     abbr = {ИИП},
     title_en = {Automatic metadata extraction from scientific PDF documents},
     title = {Автоматическое извлечение метаданных из научных PDF-документов},
     author_en = {Aleksandr Ogaltsov and Oleg Bakhteev},
     author = {Огальцов, А. В. and Бахтеев, О. Ю.},
     journal = {Информатика и её применения},
     journal_en = {Informatics and Applications},
     volume = {12},
     number = {2},
     pages = {75--82},
     year = {2018},
     publisher = {Российская академия наук, Отделение нанотехнологий и информационных технологий},
     pdf = {http://www.mathnet.ru/links/da4e7dd191a181dd48c98361a4ae4523/ia535.pdf}
   }
   

2017

1. PAN

   Author Masking using Sequence-to-Sequence Models

   Bakhteev Oleg, Khazov Andrey

   CLEF (Working Notes), 2017

   Аннотация Ссылка PDF Bibtex

   The paper describes the approach adopted for Author Masking Taskat PAN 2017. For the purpose of masking the original author, we use the combi-nation of methods based either on deep learning approach or traditional methodsof obfuscation. We obtain sample of obfuscated sentences from original one andchoose best of them using language model. We try to change both the content andlength of original sentence preserving its meaning.

   @inproceedings{bakhteev2017author,
     abbr = {PAN},
     title = {Author Masking using Sequence-to-Sequence Models},
     author = {Bakhteev, Oleg and Khazov, Andrey},
     booktitle = {CLEF (Working Notes)},
     year = {2017},
     pdf = {https://pan.webis.de/downloads/publications/papers/bakhteev_2017.pdf},
     html = {https://pan.webis.de/publications.html}
   }
   

2. Об одном методе детектирования искусственных и ненаучных текстов в обширной коллекции документов

   Бахтеев О. Ю., Кузнецова Р. В., Романов А. В., Чехович Ю. В.

   Электронные библиотеки, 2017

   Аннотация PDF Bibtex

   Работа посвящена описанию метода детектирования искусственных и ненаучных текстов в коллекции научных статей. Предлагаемый метод основан на лексическом и морфологическом анализе проверяемого документа, позволяющем оценить вероятность его принадлежности к классу научных документов. Эксперименты подтверждают возможность практического применения метода.

   @article{бахтеев2017одном,
     title_en = {A method for artificial and unscientific texts detection in a large document collection},
     title = {Об одном методе детектирования искусственных и ненаучных текстов в обширной коллекции документов},
     author_en = {Oleg Bakhteev and Rita Kuznetsova and Alexey Romanov and Yury Chekhovich},
     author = {Бахтеев, О. Ю. and Кузнецова, Р. В. and Романов, А. В. and Чехович, Ю. В.},
     journal_en = {Russian Digital Libraries Journal},
     journal = {Электронные библиотеки},
     volume = {20},
     number = {5},
     pages = {298--304},
     year = {2017},
     pdf = {https://elbib.ru/article/download/431/513}
   }
   

3. Плагиат в научных статьях: трудности обнаружения перевода

   Чехович Ю. В., Кузнецова Р. В., Бахтеев О. Ю.

   Университетская книга, 2017

   Аннотация Ссылка Bibtex

   В течение нескольких последних лет в российской научно-образовательной системе произошли существенные изменения. Был принят и вступил в силу ряд нормативных документов, обязывающих организации обеспечивать проверки квалификационных работ (диссертаций и дипломов) на наличие заимствований. Активно используются технические средства для их обнаружения, например система «Антиплагиат». Подобные действия вынуждают недобросовестных учёных и учащихся искать новые пути использования заимствованного текста

   @article{чехович2017плагиат,
     title_en = {Plagiarism in scientific papers: challenges in translation detection},
     title = {Плагиат в научных статьях: трудности обнаружения перевода},
     author_en = {Yury Chekhovich and Rita Kuznetsova and Oleg Bakhteev},
     author = {Чехович, Ю. В. and Кузнецова, Р. В. and Бахтеев, О. Ю.},
     journal_en = {Universitetskaya kniga [University book]},
     journal = {Университетская книга},
     number = {9},
     pages = {66--67},
     year = {2017},
     publisher = {Общество с ограниченной ответственностью" ИД Университетская книга"},
     html = {https://elibrary.ru/item.asp?id=30519902}
   }
   

2016

1. Диалог-21

   Machine-translated text detection in a collection of Russian Scientific papers

   Romanov Alexey, Kuznetsova Rita, Bakhteev Oleg, Khritankov Anton

   Диалог-21, 2016

   Аннотация PDF Bibtex

   In this paper, we propose a method of machine-translated text detection. By "machine-translated" texts, we mean, principally, the output of statistical machine translation systems. We focus on syntactic correctness and se-mantic consistency of sentences that constitute a text. More specifically, we make an attempt of detecting a certain phenomenon typically occur-ring in machine-translated documents. This phenomenon comprises the cases when small parts of the sentence, correctly translated, are combined together in an improper way. The proposed method is based on a super-vised approach with a number of handcrafted features. First, we construct N-gram language models on a set of authentic scientific papers and on a set of machine-generated texts and assess the probability of each sentence according to these models. In addition, we propose N-gram language models on part-of-speech tag sequences corresponding to the texts given. Furthermore, we explore the effectiveness of features obtained from two trained word2vec (CBOW and skip-gram) models. We assess quality of the method on a sample of Russian scientific papers, and English scientific doc-uments machine-translated into Russian. Preliminary results demonstrate feasibility of the approach.

   @article{romanov2016machine,
     abbr = {Диалог-21},
     abbr_en = {Dialogue},
     title = {Machine-translated text detection in a collection of Russian Scientific papers},
     author = {Romanov, Alexey and Kuznetsova, Rita and Bakhteev, Oleg and Khritankov, Anton},
     journal = {Диалог-21},
     journal_en = {Dialogue-21},
     pages = {2},
     year = {2016},
     pdf = {http://www.dialog-21.ru/media/3478/dialogue2016.pdf}
   }
   

2. Системы и средства глубокого обучения в задачах классификации

   Бахтеев О. Ю., Попова М. С., Стрижов В. В.

   Системы и средства информатики, 2016

   Аннотация PDF Bibtex

   Работа посвящена построению сети глубокого обучения и оптимизации ее параметров с помощью вычислительных мощностей графического ускорителя на основе сервиса облачных вычислений Amazon Web Services (AWS). Рассматривается задача классификации временны́х рядов. Для ее решения строится сеть глубокого обучения: суперпозиция универсальных моделей. В качестве исследуемой структуры сети рассматривается композиция ограниченной машины Больцмана, автокодировщика и двухслойной нейросети. Анализируется зависимость ошибки классификации от числа параметров и размера обучающей выборки. В качестве иллюстрирующего примера рассматривается задача классификации временны́х рядов акселерометра мобильного телефона. Приведены рекомендации по использованию программного обеспечения, предназначенного для решения задач глубокого обучения.

   @article{бахтеев2016системы,
     title_en = {Systems and means of deep learning classification problems},
     title = {Системы и средства глубокого обучения в задачах классификации},
     author_en = {Oleg Bakhteev and Maria Popova and Vadim Strijov},
     author = {Бахтеев, О. Ю. and Попова, М. С. and Стрижов, В. В.},
     journal_en = {Sistemy i Sredstva Informatiki [Systems and Means of Informatics]},
     journal = {Системы и средства информатики},
     volume = {26},
     number = {2},
     pages = {4--22},
     year = {2016},
     publisher = {Российская академия наук, Отделение нанотехнологий и информационных технологий},
     pdf = {http://www.mathnet.ru/links/d6c87310460869ba502323ef3b49aa26/ssi459.pdf}
   }
   

2015

1. JMLDA

   Panel matrix and ranking model recovery using mixed-scale measured data

   Bakhteev Oleg

   Машинное обучение и анализ данных, 2015

   Аннотация PDF Bibtex

   Работа посвящена восстановлению ежегодных изменений рейтингов студентов при со-беседовании в учебный центр. Рассматривается выборка, состоящая из экспертных оценокстудентов, проходивших собеседование в учебный центр в течение нескольких лет и ито-говых рейтингов студентов. Шкалы экспертных оценок меняются из года в год, но шкаларейтингов остается неизменной. Требуется восстановить ранжирующую модель, не зави-сящую от времени. Задача сводится к восстановлению панельной матрицы (т. е. матрицыобъект–признак–год), ставящей во взаимное соответствие некоторого студента (или усред-ненный ¾портрет¿ студента) и его предполагаемую оценку на собеседованиях за каждыйгод, и исследованию ранжирующей модели, полученной на основе этой матрицы, а такжеанализу ее устойчивости на протяжении нескольких лет. Предлагается метод восстанов-ления панельной матрицы, основанный на решении многомерной задачи о назначениях.В качестве метода восстановления ранжирующей модели используется алгоритм много-классовой классификации с отношением полного порядка на классах.

   @article{bakhteev2015panel,
     abbr = {JMLDA},
     title = {Panel matrix and ranking model recovery using mixed-scale measured data},
     author = {Bakhteev, Oleg},
     author_en = {Oleg Bakhteev},
     journal_en = {Journal of machine learning and data analysis},
     journal = {Машинное обучение и анализ данных},
     volume = {72},
     number = {7},
     pages = {1958},
     year = {2015},
     pdf = {http://jmlda.org/papers/doc/2015/no14/Bakhteev2015Recovery.pdf}
   }
   

2. JMLDA

   Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков

   Бахтеев О. Ю.

   Машинное обучение и анализ данных, 2015

   Аннотация Ссылка Bibtex

   Рассматривается задача восстановления пропущенных значений в выборках, содержащих значительное число пропусков. Вводится понятие устойчивости восстановления пропуска, а также исследуется возможность применимости подхода для восстановления пропущенных значений. Исследуется случай, когда восстановление производится по ближайшим соседям. Рассматриваются теоретические аспекты применимости данного подхода для сильно разреженных данных. Рассматривается вариант восстановления пропущенных значений с использованием восстановленных значений в качестве источника для восстановления других элементов.

   @article{бахтеев2015восстановление,
     abbr = {JMLDA},
     title_en = {Handling missing values in mixed-scale datasetswith large amount of missing values},
     title = {Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков},
     author = {Бахтеев, О. Ю.},
     author_en = {Oleg Bakhteev},
     journal_en = {Journal of machine learning and data analysis},
     journal = {Машинное обучение и анализ данных},
     volume = {1},
     number = {11},
     pages = {1484--1499},
     year = {2015},
     language = {ru},
     html = {https://www.elibrary.ru/item.asp?id=24931577}
   }
   

3. AINL

   A monolingual approach to detection of text reuse in Russian-English collection

   Bakhteev Oleg, Kuznetsova Rita, Romanov Alexey, Khritankov Anton

   2015 Artificial Intelligence and Natural Language and Information Extraction, Social Media and Web Search FRUCT Conference (AINL-ISMW FRUCT), 2015

   Аннотация Ссылка PDF Bibtex

   In this paper we develop a method for cross-lingual (Russian and English) text reuse detection. The method is based on the monolingual approach - translation of texts into one language and reduction to the text similarity problem. We split texts into non-overlapping fragments and compare fragments to each other by means of different metrics - BLEU(1-2), METEOR, cosine similarity between bag-of-words representations of each snippet, and cosine similarity between vectors obtained from doc2vec-trained model. We explore the impact of choice of metric on the quality of text reuse detection. We assess quality of the method on a sample of a hundred scientific documents, originally in Russian, machine translated into English. Preliminary findings demonstrate feasibility of the approach.

   @inproceedings{bakhteev2015monolingual,
     abbr = {AINL},
     title = {A monolingual approach to detection of text reuse in Russian-English collection},
     author = {Bakhteev, Oleg and Kuznetsova, Rita and Romanov, Alexey and Khritankov, Anton},
     booktitle = {2015 Artificial Intelligence and Natural Language and Information Extraction, Social Media and Web Search FRUCT Conference (AINL-ISMW FRUCT)},
     pages = {3--10},
     year = {2015},
     organization = {IEEE},
     html = {https://ieeexplore.ieee.org/abstract/document/7382960},
     pdf = {https://www.fruct.org/publications/ainl-fruct/files/Bak.pdf}
   }
   

Доклады

2024

1. Polmeth

   After the enfranchisement: Legislative elites’ reactions to women’s inclusion

   Brandeberger Laurence, Fernandes Jorge M., Schlosser Sophia, Bakteev Oleg, Salamanca Luis

   2024

   Докладчик: Laurence Brandeberger

   California, USA

   Ссылка PDF Bibtex

   @conference{brandeberger2024embed2discover,
     abbr = {Polmeth},
     presenter = {Laurence Brandeberger},
     presenter_en = {Laurence Brandeberger},
     title = {After the enfranchisement: Legislative elites' reactions to women's inclusion},
     author = {Brandeberger, Laurence and Fernandes, Jorge M. and Schlosser, Sophia and Bakteev, Oleg and Salamanca, Luis},
     year = {2024},
     note = {California, USA},
     html = {https://polmeth.ucr.edu/},
     pdf = {https://files.osf.io/v1/resources/gsmqf/providers/osfstorage/668c516cede75d063e693a81?action=download&direct&version=2}
   }
   

2023

1. ICAART

   Deep Learning Model Selection With Parametric Complexity Control

   Grebenkova Olga, Bakhteev Oleg, Strijov Vadim

   2023

   Докладчик: Гребенькова О.С.

   Online presentation

   Аннотация Ссылка Bibtex

   The paper is devoted to deep learning model complexity. It is estimated by Bayesian inference and based on a computational budget. The idea of the proposed method is to represent deep learning model parameters in the form of hypernetwork output. A hypernetwork is a supplementary model which generates parameters of the selected model. This paper considers the minimum description length from a Bayesian point of view. We introduce prior distributions of deep learning model parameters to control the model complexity. The paper analyzes and compares three types of regularization to define the parameter distribution. It infers and generalizes the model evidence as a criterion that depends on the required model complexity. Finally, it analyzes this method in the computational experiments on the Wine, MNIST, and CIFAR-10 datasets.

   @conference{grebenkova2023icaart,
     presenter = {Гребенькова О.С.},
     presenter_en = {Olga Grebenkova},
     author = {Grebenkova, Olga and Bakhteev, Oleg and Strijov, Vadim},
     abbr = {ICAART},
     title = {Deep Learning Model Selection With Parametric Complexity Control},
     booktitle = {International Conference on Agents and Artificial Intelligence (ICAART 2023)},
     note = {Online presentation},
     html = {https://www.insticc.org/node/TechnicalProgram/icaart/2023/presentationDetails/116269},
     year = {2023}
   }
   

2022

1. ИОИ

   Поиск согласованных нейросетевых моделей в задаче мультидоменного обучения

   Яковлев К. Д., Бахтеев О. Ю., В. Стрижов В.

   2022

   Докладчик: Яковлев К. Д.

   Москва

   Аннотация Bibtex

   В работе исследуется проблема выбора структуры модели глубокого обучения для мультидоменных данных. Модель представляет собой ориентированный ациклический граф, в котором ребра являются нелинейными функциями, дифференцируемыми по параметрам. Структура модели определяется набором векторов, задающих категориальное распределение на ребрах графа. Предлагается рассматривать задачу как задачу мультимоделирования: для каждого домена оптимизируется отдельная структура. Рассматриваются два метода регуляризации: структурная и регуляризация пространства скрытых представлений модели. Структурная регуляризация основана на приближении вероятностных распределений, задающих структуру. Регуляризация пространства скрытых представлений модели основана на приближении скрытых представлений схожих объектов из разных доменов, получаемых под действием нелинейных функций. В работе показано, что предложенная оптимизационная задача позволяет найти компромисс между сложностью итоговой модели и ее прогностическими характеристиками. Базовый эксперимент проводится на выборке MNIST. Рассматриваются модели, обученные на своем домене, модель, обученная на всех доменах, а также предложенная мультимодель, обученная на всех доменах с предлагаемыми методами регуляризации. Показано, что предложенная модель обладает наибольшей обобщающей способностью.

   @conference{yakovlevl2022idp,
     presenter = {Яковлев К. Д.},
     presenter_en = {Konstantin Yakovlev},
     author_en = {Yakovlev, Konstantin and Bakhteev, Oleg and Strijov, Vadim},
     author = {Яковлев, К. Д. and Бахтеев, О. Ю. and В., Стрижов В.},
     abbr_en = {IDP},
     abbr = {ИОИ},
     title = {Поиск согласованных нейросетевых моделей в задаче мультидоменного обучения},
     title_en = {Concordant neural architecture search on multi-domain data},
     booktitle_en = {Intelligent Data Processing: Theory and Applications},
     booktitle = {Интеллектуализация обработки информаци},
     note = {Москва},
     note_en = {Moscow},
     year = {2022}
   }
   

2. ИОИ

   Методы поиска почти-дубликатов рукописных документов в больших коллекциях текстов

   Бахтеев О. Ю. и др.

   2022

   Докладчик: Грабовой А. В.

   Москва

   Аннотация Материалы Bibtex

   В работе рассматривается задача поиска почти-дубликатов текстов школьных сочинений в больших коллекциях данных. Предпосылками к решению данной задачи является возможность школьников применять для написания выпускных сочинений заранее заготовленные тексты, в том числе полученные из открытых коллекций школьных сочинений. Актуальность задачи подтверждается работами, посвященными анализу нарушений при написании академических испытаний, а также частичному переходу школьного образования на удаленный режим. Задача поиска почти-дубликатов рассматривается как задача информационного поиска, где сочинению ставится в соответствие заимствованный текст из коллекции. В рамках рассматриваемой задачи сочинение представляется набором изображений рукописного текста, написанного автором, в то время как документы из коллекции представимы в виде машиночитаемых текстов. В данной работе сравниваются два подхода к поиску почти-дубликатов: поиск на основе методов глубокого обучения и поиск на основе анализа последовательностей длин извлекаемого текста. Поиск на основе методов глубокого обучения использует нейросетевую модель, оптимизация которой производится в режиме обучения с учителем. Работа подхода на основе глубокого обучения состоит из двух этапов. На первом этапе производится распознавание рукописного текста. На втором этапе производится разбиение полученного текста на биграммы и их поиск в индексе коллекции. Второй метод предполагает рассмотрение текста, находящегося в сканах школьных сочинений, как последовательности однородных характеристик текста, например, длин обнаруженных в тексте слов. Производится выделение слов из изображения без дальнейшего его распознавания. По выделенным словам строится последовательность нормированных длин слов, которая является инвариантной для рукописных и машиночитаемых вариантов написания текста. В работе сравнивается качество поиска на примере двух выборок: выборки сочинений, написанных на бланках специального вида, соответствующих бланкам государственного экзамена, и выборки сочинений, написанных на различных видах бланков и тетрадных листах. В качестве коллекций для поиска почти-дубликатов выступает подвыборка открытой коллекции текстов Тайга. Результаты эксперимента демонстрируют применимость обоих методов к рассмотренной задаче. Показано, что нейросетевая модель является более устойчивой к неоднородности данных, и в частности лучше справляется с неодноростью подложки сочинения, а также освещенности и качества сканов. В то же время, при хорошем качестве сканирования изображений и использовании стандартизированных бланков сочинений, оба метода показывают приемлемое качество поиска.

   @conference{bakhteev2022idp,
     presenter = {Грабовой А. В.},
     presenter_en = {Anrey Grabovoy},
     abbr_en = {IDP},
     abbr = {ИОИ},
     title = {Методы поиска почти-дубликатов рукописных документов в больших коллекциях текстов},
     title_en = {Methods of near-duplicate handwritten document search in large collections of texts},
     author = {Бахтеев, О. Ю. и др.},
     author_en = {Oleg Bakhteev et al.},
     booktitle_en = {Intelligent Data Processing: Theory and Applications},
     booktitle = {Интеллектуализация обработки информаци},
     note = {Москва},
     note_en = {Moscow},
     supp = {http://www.machinelearning.ru/wiki/images/5/54/Ioi-ap-grabovoy-2022.pdf},
     year = {2022}
   }
   

3. ИСП

   RuGECToR: нейросетевая модель на основе правил для исправления грамматических ошибок на русском языке

   Хабутдинов И. А. и др.

   2022

   Докладчик: Хабутдинов И. А.

   Москва

   Аннотация Материалы Bibtex

   Grammatical Error Correction is one of the core Natural Language Processing tasks. At the moment, the open source state-of-the-art Sequence Tagger for English is GECToR model. For the Russian language, this problem does not have solutions with the same good results due to the lack of labeled datasets, therefore we decided to contribute to the aforementioned task. In this research, we described the process of creating a synthetic dataset and training a model on it. We adapt GECToR architecture for Russian language and call it RuGECToR. We use this architecture because, unlike Sequence-to-Sequence approach, it is easy to interpret and does not require a lot of training data. Our goal was to train the model in such a way that it does not adapt to a specific sample, but generalizes the mophorological properties of the language. The presented model achieve an F0.5 of 82.5 on synthetic data and an F0.5 of 22.2 on RULEC dataset which was not in the training set.

   @conference{khabutdinov2022isp,
     presenter = {Хабутдинов И. А.},
     presenter_en = {Ildar Khabutdinov},
     abbr = {ИСП},
     abbr_en = {ISP},
     title = {RuGECToR: нейросетевая модель на основе правил для исправления грамматических ошибок на русском языке},
     title_en = {RuGECToR: rule based error correction model for Russian language},
     author = {Хабутдинов И. А., и др.},
     author_en = {Ildar Khabutdinov et al.},
     booktitle = {Ivannikov ISPRAS Open Conference},
     supp = {https://youtu.be/f1DN4M8HWf4?t=13737},
     note = {Москва},
     note_en = {Moscow},
     year = {2022}
   }
   

4. ИСП

   Антидистилляция: перенос знаний от простой модели к более сложной

   Петрушина К. Е., Бахтеев О. Ю., Грабовой А. В., Стрижов В. В.

   2022

   Докладчик: Петрушина К. Е.

   Москва

   Аннотация Материалы Bibtex

   The paper considers the problem of adapting the model to new data with a large amount of information. We propose to build a more complex model using the parameters of a simple one. We take into account not only the accuracy of the prediction on the original samples but also the adaptability to new data and the robustness of the obtained solution. The work is devoted to developing the method that allows adapting the pre-trained model to a more heterogeneous dataset. In the computational experiment, we analyse the quality of predictions and model robustness on Fashion-MNIST dataset.

   @conference{petrushina2022isp,
     presenter = {Петрушина К. Е.},
     presenter_en = {Kseniia Petrushina},
     abbr = {ИСП},
     abbr_en = {ISP},
     title = {Антидистилляция: перенос знаний от простой модели к более сложной},
     title_en = {Anti-Distillation: Knowledge Transfer from a Simple Model to the Complex One},
     author_en = {Petrushina, Kseniia and Bakhteev, Oleg and Grabovoy, Andrey  abd Strijov, Vadim},
     author = {Петрушина, К. Е. and Бахтеев, О. Ю. and Грабовой, А. В. and Стрижов, В. В.},
     booktitle = {Ivannikov ISPRAS Open Conference},
     supp = {https://youtu.be/RtttuJMnyzo?t=14545},
     note = {Москва},
     note_en = {Moscow},
     year = {2022}
   }
   

5. ENAI

   Image reuse detection in large-scale document scientific collection

   Bakhteev Oleg et al.

   2022

   Докладчик: Каприелова М. С.

   Online conference

   PDF Bibtex

   @conference{bakhteev2022enai,
     presenter = {Каприелова М. С.},
     presenter_en = {Mariam Kaprielova},
     abbr = {ENAI},
     title = {Image reuse detection in large-scale document scientific collection},
     author = {Bakhteev, Oleg et al.},
     author_en = {Oleg Bakhteev et al.},
     booktitle = {European Conference on Academic Integrityand Plagiarism},
     note = {Online conference},
     year = {2022},
     pdf = {https://academicintegrity.eu/conference/wp-content/files/2022/Book_of_Abstracts_2022.pdf}
   }
   

2021

1. ММРО

   Поиск заимствованных изображений в больших коллекциях научных документов

   Финогеев Е. Л., и др.

   2021

   Докладчик: Финогеев Е. Л.

   Онлайн-конференция

   Аннотация PDF Материалы Bibtex

   Мы рассматриваем задачу информационного поиска заимствованных изображений в больших коллекциях научных документов. Актуальность задачи обусловлена наличием прецедентов заимствования изображений из других источников в области медицины и биологии. Так, показано, что в научных статьях области по биологии и медицине обнаруживается до 4 процентов заимствований. При этом до настоящего момента не существовало автоматических средств, обеспечивающих поиск заимствованных изображений

   @conference{финогеев2021,
     presenter = {Финогеев Е. Л.},
     presenter_en = {Evgeny Finogeev},
     abbr = {ММРО},
     abbr_en = {MMPR},
     title_en = {Image reuse detection in large-scale document scientific collection},
     title = {Поиск заимствованных изображений в больших коллекциях научных документов},
     author_en = {Evgeny Finogeev et al.},
     author = {Финогеев, Е. Л. and и, др.},
     booktitle_en = {Mathematical methods of pattern recognition},
     booktitle = {Математические методы распознавания образов},
     note_en = {Online conference},
     note = {Онлайн-конференция},
     year = {2021},
     supp = {https://youtu.be/JEPhbyW3Eak},
     pdf = {http://www.machinelearning.ru/wiki/images/0/02/Mmpr_2021.pdf}
   }
   

2. ММРО

   Многозадачное обучение в задаче рубрикации научных документов

   Шевченко О. В., и др.

   2021

   Докладчик: Шевченко О. В.

   Онлайн-конференция

   Аннотация PDF Материалы Bibtex

   Работа посвящена решению задачи рубрикации научных публикаций, тезисов, диссертаций, отчетов и других научноемких текстов. Рубрикация традиционно является задачей многоклассовой классификации текстов, где в качестве класса рассматривается рубрика в используемом классификаторе. В настоящей работе описано применение подхода многозадачного обучения к задаче рубрикации научных документов. Этап принятия решения по различным рубрикаторам разделяется на несколько задач классификации. Каждому рубрикатору соответствует своя задача классификации в рамках многозадачного подхода. В качестве рубрикаторов научных документов могут использоваться, например, рубрики разного уровня Государственного рубрикатора научно-технической информации (ГРНТИ) или классификатора Организации экономического сотрудничества и развития (Organisation for Economic Co-operation and Development, OECD). В качестве признакового описания документов используются предобученные тематические вектора, при этом тематический вектор документа характеризует вероятность принадлежности этого документа каждой теме.

   @conference{шевченко2021,
     presenter = {Шевченко О. В.},
     presenter_en = {Oleg Shevchenko},
     abbr = {ММРО},
     abbr_en = {MMPR},
     title_en = {Multi-task Learning in the Problem of Rubrication of Scientific Documents},
     title = {Многозадачное обучение в задаче рубрикации научных документов},
     author_en = {Oleg Shevchenko et al.},
     author = {Шевченко, О. В. and и, др.},
     booktitle_en = {Mathematical methods of pattern recognition},
     booktitle = {Математические методы распознавания образов},
     note_en = {Online conference},
     note = {Онлайн-конференция},
     year = {2021},
     supp = {https://youtu.be/UhhZ7O5XhDA},
     pdf = {http://www.machinelearning.ru/wiki/images/0/02/Mmpr_2021.pdf}
   }
   

3. ММРО

   Порождение моделей заданной сложности с использованием байесовских гиперсетей

   Гребенькова О. С., Бахтеев О. Ю., Стрижов В. В.

   2021

   Докладчик: Гребенькова О. С.

   Онлайн-конференция

   Аннотация PDF Материалы Bibtex

   В работе рассматривается задача оптимизации модели глубокого обучения. Построение модели заданной сложности - одна из фундаментальных проблем глубокого обучения, так как по построению данное семейство моделей имеет избыточное число параметров . В работе предполагается, что сложность модели задана заранее. Сложность модели интерпретируется как коэффицент, настраиваемый при использовании модели в зависимости от эксплутационных требований.

   @conference{гребенькова2021порождение,
     presenter = {Гребенькова О. С.},
     presenter_en = {Olga Grevenkova},
     abbr = {ММРО},
     abbr_en = {MMPR},
     title_en = {Model selection using Bayesian hypernetworks},
     title = {Порождение моделей заданной сложности с использованием байесовских гиперсетей},
     author_en = {Oleg Grebenkova and Oleg Bakhteev and Vadim Strijov},
     author = {Гребенькова, О. С. and Бахтеев, О. Ю. and Стрижов, В. В.},
     booktitle_en = {Mathematical methods of pattern recognition},
     booktitle = {Математические методы распознавания образов},
     note_en = {Online conference},
     note = {Онлайн-конференция},
     year = {2021},
     supp = {https://youtu.be/lsE88wqmwmc},
     pdf = {http://www.machinelearning.ru/wiki/images/0/02/Mmpr_2021.pdf}
   }
   

4. ММРО

   Градиентные методы оптимизации метапараметров в задаче дистилляции знаний

   Горпинич М., Бахтеев О. Ю., Стрижов В. В.

   2021

   Докладчик: Горпинич М.

   Онлайн-конференция

   Аннотация PDF Материалы Bibtex

   В работе рассматривается задача дистилляции модели глубокого обучения. Дистилляция знаний - это задача оптимизации, в которой учитывается как информация, содержащаяся в исходной выборке, так и информация, содержащаяся в модели более сложной структуры, называемой моделью-учителем. Функция потерь состоит из двух слагаемых: правдоподобия исходной выборки и правдоподобия выборки дистилляции. Под метапараметрами модели понимаются параметры оптимизационной задачи дистилляции, а именно, коэффициент перед слагаемым дистилляции в функции потерь и параметр температуры. Параметры модели-ученика оптимизируются путем переноса знаний от модели-учителя. Задачу дистилляции с оптимизацией метапараметров модели-ученика можно представить в виде двухуровневой задачи. На первом уровне оптимизируются метапараметры, на втором - параметры модели. Двухуровневая задача решается градиентными методами. Для уменьшения вычислительной сложности задачи траектория оптимизации частично предсказывается линейной моделью

   @conference{горпинич2021,
     presenter = {Горпинич М.},
     presenter_en = {Mariya Gorpinich},
     abbr = {ММРО},
     abbr_en = {MMPR},
     title_en = {Gradient-based metaparameter optimization in knowledge distillation task},
     title = {Градиентные методы оптимизации метапараметров в задаче дистилляции знаний},
     author_en = {Mariya Gorpinich and Oleg Bakhteev and Vadim Strijov},
     author = {Горпинич, М. and Бахтеев, О. Ю. and Стрижов, В. В.},
     booktitle_en = {Mathematical methods of pattern recognition},
     booktitle = {Математические методы распознавания образов},
     note_en = {Online conference},
     note = {Онлайн-конференция},
     year = {2021},
     supp = {https://youtu.be/0VztZVv7a08},
     pdf = {http://www.machinelearning.ru/wiki/images/0/02/Mmpr_2021.pdf}
   }
   

5. ММРО

   Дифференцируемый алгоритм поиска архитектуры с контролем сложности

   Яковлев К. Д., и др.

   2021

   Докладчик: Яковлев К. Д.

   Онлайн-конференция

   Аннотация PDF Материалы Bibtex

   В работе рассматривается задача оптимизации модели глубокого обучения с контролем сложности архитектуры. Предлагаемый метод основан на дифференцируемом алгоритме поиска архитектуры (DARTS). Структурные параметры задаются гипесетью, зависящей от коэффициента, задающего сложность архитектуры. Под гиперсетью понимается модель, порождающая параметры оптимизируемой модели. Структура модели представлена в виде ориентированного ациклического графа, где ребра соответствуют нелинейным отображениям на выборке, а вершины промежуточными представлениями выборки под действием этих отображений. Структурные параметры, соответствующие определенному ребру подчинены распределению Gumbel-Softmax.

   @conference{яковлев2021,
     presenter = {Яковлев К. Д.},
     presenter_en = {Konstantin Yakovlev},
     abbr = {ММРО},
     abbr_en = {MMPR},
     title_en = {Differentiable architecture search with model complexity control},
     title = {Дифференцируемый алгоритм поиска архитектуры с контролем сложности},
     author_en = {Konstantin Yakovlev et al.},
     author = {Яковлев, К. Д. and и, др.},
     booktitle_en = {Mathematical methods of pattern recognition},
     booktitle = {Математические методы распознавания образов},
     note_en = {Online conference},
     note = {Онлайн-конференция},
     year = {2021},
     supp = {https://youtu.be/khJGw_zffZc},
     pdf = {http://www.machinelearning.ru/wiki/images/0/02/Mmpr_2021.pdf}
   }
   

6. ISP RAS

   The automatic approach for scientific papers dating

   Grabovoy Andrey, Bakhteev Oleg, Chekhovich Yury

   2021

   Докладчик: Грабовой А. В.

   Москва

   Аннотация Материалы Bibtex

   The paper investigates automatic methods of document date estimation. The document date is essential metadata for many applied tasks, such as event detection or internet search. Methods for estimating the dates of newspaper articles are well known. In this paper, we propose to predict the publishing year for scientific papers. We present a new dataset based on open access articles from eLIBRARY.RU. It contains articles written in Russian and English. The article introduces a method of dating documents based on the raw document text content. The computational experiment compares different solutions for document date estimation. We also analyze how prediction depends on the topic for different methods.

   @conference{grabovoy2021automatic,
     abbr = {ISP RAS},
     presenter = {Грабовой А. В.},
     presenter_en = {Andrey Grabovoy},
     title = {The automatic approach for scientific papers dating},
     author = {Grabovoy, Andrey and Bakhteev, Oleg and Chekhovich, Yury},
     booktitle = {Ivannikov ISPRAS Open Conference},
     year = {2021},
     note = {Москва},
     note_en = {Moscow, Russia},
     supp = {https://www.youtube.com/watch?v=cOM82kHRwkM}
   }
   

7. МФТИ

   Оптимизация метапараметров в задаче дистилляции знаний

   Горпинич М., Бахтеев О. Ю., Стрижов В. В.

   2021

   Докладчик: Горпинич М.

   Москва

   Материалы Bibtex

   @conference{яковлев2021мфти,
     presenter = {Горпинич М.},
     presenter_en = {Mariya Gorpinich},
     abbr = {МФТИ},
     abbr_en = {MIPT},
     title = {Оптимизация метапараметров в задаче дистилляции знаний},
     title_en = {Metaparameter optimization in knowledge distatillation task},
     booktitle_en = {Moscow Institute of Physics and Technology 64th student conference},
     author_en = {Mariya Gorpinich and Oleg Bakhteev and Vadim Strijov},
     author = {Горпинич, М. and Бахтеев, О. Ю. and Стрижов, В. В.},
     booktitle = {64-я конференция МФТИ},
     note = {Москва},
     note_en = {Moscow, Russia},
     year = {2021},
     supp = {https://youtu.be/rmxjhGqQCbg}
   }
   

8. МФТИ

   Выбор архитектуры модели с контролем сложности

   Яковлев К. Д., и др.

   2021

   Докладчик: Яковлев К. Д.

   Москва

   Материалы Bibtex

   @conference{горпинич2021мфти,
     presenter = {Яковлев К. Д.},
     presenter_en = {Konstantin Yakovlev},
     abbr = {МФТИ},
     abbr_en = {MIPT},
     title = {Выбор архитектуры модели с контролем сложности},
     title_en = {Deep learning neural architecture selection with complexity control},
     booktitle_en = {Moscow Institute of Physics and Technology 64th student conference},
     author_en = {Konstantin Yakovlev et al.},
     author = {Яковлев, К. Д. and и, др.},
     booktitle = {64-я конференция МФТИ},
     note = {Москва},
     note_en = {Moscow, Russia},
     year = {2021},
     supp = {https://youtu.be/rmxjhGqQCbg}
   }
   

9. Диалог-21

   Near-duplicate handwritten document detection without text recognition

   Bakhteev Oleg et al.

   2021

   Докладчик: Бахтеев О. Ю.

   Онлайн-конференция

   Аннотация Материалы Bibtex

   The paper presents a novel method for near-duplicate detection in handwritten document collections of schoolessays. A large amount of online resources with available academic essays currently makes it possible to cheatand reuse them during high school final exams. Despite the importance of the problem, at the moment there isno automatic method for near-duplicate detection for handwritten documents, such as school essays. The schoolessay is represented as a sequence of scanned images of handwritten essay text. Despite advances in recognitionof handwritten printed text, the use of these methods for the current task is a challenge. The proposed method ofnear-duplicate detection does not require detailed markup text, which makes it possible to use it in a large numberof tasks related to the information extraction in zero-shot regime, i.e. without any specific resources written in theprocessed language. The paper presents a method based on series analysis. The image is segmented into words.The text is characterized by a sequence of features, which are invariant to the author’s writing style: normalizedlengths of the segmented words. These features can be used for both handwritten and machine-readable texts. Thecomputational experiment is conducted on IAM dataset of English handwritten texts and the dataset of real imagesof handwritten school essays.

   @conference{bakhteev2021handwrittentalk,
     presenter = {Бахтеев О. Ю.},
     presenter_en = {Oleg Bakhteev},
     abbr = {Диалог-21},
     abbr_en = {Dialogue},
     title = {Near-duplicate handwritten document detection without text recognition},
     author = {Bakhteev, Oleg et al.},
     author_en = {Oleg Bakhteev et al.},
     booktitle = {Dialogue, Conference on Computational Linguistics},
     booktitle_en = {Диалог, Конференция по компьютерной лингвистике},
     note = {Онлайн-конференция},
     note_en = {Online conference},
     year = {2021},
     supp = {http://bit.ly/ap_handwritten}
   }
   

10. ENAI

    Cross-language plagiarism detection: a case study of European universities academic works

    Bakhteev Oleg et al.

    2021

    Докладчик: Бахтеев О. Ю.

    Online conference

    PDF Bibtex

    @conference{bakhteev2021enai,
      presenter = {Бахтеев О. Ю.},
      presenter_en = {Oleg Bakhteev},
      abbr = {ENAI},
      title = {Cross-language plagiarism detection: a case study of European universities academic works},
      author = {Bakhteev, Oleg et al.},
      author_en = {Oleg Bakhteev et al.},
      booktitle = {European Conference on Academic Integrityand Plagiarism},
      note = {Online conference},
      year = {2021},
      pdf = {https://academicintegrity.eu/conference/proceedings/2021/book_of_abstracts2021.pdf}
    }
    

2020

1. МФТИ

   Порождение моделей глубокого обучения с использованием байесовских гиперсетей

   Гребенькова О. С., Бахтеев О. Ю., Стрижов В. В.

   2020

   Докладчик: Гребенькова О. С.

   Москва

   PDF Bibtex

   @conference{гребенькова2020мфти,
     presenter = {Гребенькова О. С.},
     presenter_en = {Olga Grebenkova},
     abbr = {МФТИ},
     abbr_en = {MIPT},
     title = {Порождение моделей глубокого обучения с использованием байесовских гиперсетей},
     title_en = {Deep learning model generation using Bayesian hypernetworks},
     booktitle_en = {Moscow Institute of Physics and Technology 63th student conference},
     author_en = {Oleg Grebenkova and Oleg Bakhteev and Vadim Strijov},
     author = {Гребенькова, О. С. and Бахтеев, О. Ю. and Стрижов, В. В.},
     booktitle = {63-я конференция МФТИ},
     note = {Москва},
     note_en = {Moscow, Russia},
     year = {2020},
     pdf = {https://mipt.ru/science/5top100/education/courseproposal/%D0%A4%D0%9F%D0%9C%D0%98.pdf}
   }
   

2. ИОИ

   Поиск почти-дубликатов в рукописных текстах школьных сочинений

   Бахтеев О. Ю., и др.

   2020

   Докладчик: Бахтеев О. Ю.

   Онлайн-конференция

   Аннотация PDF Материалы Bibtex

   Рассматривается задача поиска почти-дубликатов в коллекции школьных сочинениях. Актуальность задачи обсуловлена наличием больших библиотек школьных сочинений, которые могут использоваться школьниками в качестве источника заимствования при написании собственного сочинения. Данная проблема является важной для системы образования, что было обозначено в ряде работ, посвященных анализу нарушений, выявляемых при написании сочинений и прохождении академических испытаний. Несмотря на массовость проблемы, на текущий момент не существует автоматических методов анализа сочинений на наличие корректных и некорректных цитирований, а также заимствований. Задача поиска почти-дубликатов рассматривается как задача информационного поиска. Предполагается, что авторы сочинений с допущенными заимствованиями используют в качестве источника заимствования только один текст.Сочинение представляется набором изображений рукописного текста, написанного автором. Традиционные системы поиска почти-дубликатов и заимствований рассматривают в качестве объекта печатный текст. Основные работы в области анализа текстов рукописных сочинений основаны на методах распознавания текста. Несмотря на успехи в области распознавания печатного текста, а также рукописного текста, написанного с использованием сенсорных устройств, применение данных методов для рассмотренной задачи затруднительно. В отличие от методов, применяемых для распознавания печатного текста, методы распознавания рукописного текста обладают достаточно низким качеством, не позволяющим использовать их для поиска заимствований в тексте сочинений. Основной проблемой при обработке школьных сочинений является невозможность системы распознавания текста адаптироваться к большому числу вариантов почерка. Поскольку сочинения пишутся разными людьми, то возможность провести дообучение системы по почерку автора отсутствует, что также усложняет задачу. Другой проблемой методов поиска почти-дубликатов, основанных на распознавании текста, является обязательное наличие разметки - соответствия между регионом изображения и соответствующим ему текстом. Разметка подобного рода для рукописных текстов является трудозатратной, и встречается в открытом доступе крайне редко. Предлагаемый метод поиска почти-дубликатов не требует наличия детально размеченного текста, что позволяет применять его в большом количестве задач, связанных с извлечением информации из изображений рукописного текста. Для решения задачи предлагается рассматривать текст, находящийся в изображении, как последовательность. Предлагается метод, заключающийся в выделении слов в изображении для дальнейшего извлечения графических признаков. В качестве алгоритма извлечения слов применяется метод, основанный на выделении компонент связности. Текст характеризуется последовательностью признаков, получение которых значительно проще, чем распознавание самого слова, что позволяет эффективнее работать с различными вариантамами почерка. Примером таких признаков являются длина и высота слова в изображении, наличие для слова характерных лигатур. В рамках проведенного эксперимента текст характеризуется нормализованными длинами извлеченных из изображения слов. Полученные статистики являются инвариантными по отношению к почерку автора, а также могут использоваться как для рукописных, так и для машиночитаемых текстов. В качестве функции схожести полученных признаковых описаний школьных сочинений рассматривается набор методов выравнивания последовательностей и временных рядов. Для подтверждения работоспособности метода проводится эксперимент на выборке изображений рукописных текстов школьных сочинений.

   @conference{бахтеев2020иои,
     presenter = {Бахтеев О. Ю.},
     presenter_en = {Oleg Bakhteev},
     abbr = {ИОИ},
     abbr_en = {IDP},
     title_en = {Near-duplicate detection in handwritten school essays},
     title = {Поиск почти-дубликатов в рукописных текстах школьных сочинений },
     author_en = {Oleg Bakhteev et al.},
     author = {Бахтеев, О. Ю. and и, др.},
     booktitle_en = {Intelligent Data Processing: Theory and Applications},
     booktitle = {Интеллектуализация обработки информаци},
     note_en = {Online conference},
     note = {Онлайн-конференция},
     year = {2020},
     supp = {https://www.youtube.com/watch?v=ZuT6xs_mTvI},
     pdf = {http://www.machinelearning.ru/wiki/images/3/31/Idp20.pdf}
   }
   

2018

1. ИОИ

   Байесовский выбор наиболее правдоподобной структуры модели глубокого обучения

   Бахтеев О. Ю.

   2018

   Докладчик: Бахтеев О. Ю.

   Gaeta, Italy

   PDF Материалы Bibtex

   @conference{бахтеев2018иои,
     presenter = {Бахтеев О. Ю.},
     presenter_en = {Oleg Bakhteev},
     abbr = {ИОИ},
     abbr_en = {IDP},
     title_en = {Bayesian deep learning optimal model structure selection},
     title = {Байесовский выбор наиболее правдоподобной структуры модели глубокого обучения},
     booktitle_en = {Intelligent Data Processing: Theory and Applications},
     author_en = {Oleg Bakhteev},
     author = {Бахтеев, О. Ю.},
     booktitle = {Интеллектуализация обработки информаци},
     note = {Gaeta, Italy},
     year = {2018},
     pdf = {http://www.machinelearning.ru/wiki/images/e/e2/IDP18.pdf},
     supp = {http://www.machinelearning.ru/wiki/images/1/10/BakhteevIDP18.pdf}
   }
   

2. ИОИ

   Определене релевантности параметров нейросети

   Грабовой А. В., Бахтеев О. Ю., Стрижов В. В.

   2018

   Докладчик: Грабовой А. В.

   Gaeta, Italy

   PDF Материалы Bibtex

   @conference{грабовой2018иои,
     presenter = {Грабовой А. В.},
     presenter_en = {Andrey Grabovoy},
     abbr = {ИОИ},
     abbr_en = {IDP},
     title_en = {Estimation of the relevance of the neural network parameters},
     title = {Определене релевантности параметров нейросети},
     booktitle_en = {Intelligent Data Processing: Theory and Applications},
     author_en = {Andrey Grabovoy and Oleg Bakhteev and Vadim Strijov},
     author = {Грабовой, А. В. and Бахтеев, О. Ю. and Стрижов, В. В.},
     booktitle = {Интеллектуализация обработки информаци},
     note = {Gaeta, Italy},
     year = {2018},
     pdf = {http://www.machinelearning.ru/wiki/images/e/e2/IDP18.pdf},
     supp = {http://www.machinelearning.ru/wiki/images/e/e0/Grabovoy.pdf}
   }
   

2017

1. CLEF

   Author Masking using Sequence-to-Sequence Models

   Bakhteev Oleg, Khazov Andrey

   2017

   Докладчик: Бахтеев О. Ю.

   Dublin, Ireland

   Аннотация Ссылка PDF Bibtex

   The paper describes the approach adopted for Author Masking Taskat PAN 2017. For the purpose of masking the original author, we use the combi-nation of methods based either on deep learning approach or traditional methodsof obfuscation. We obtain sample of obfuscated sentences from original one andchoose best of them using language model. We try to change both the content andlength of original sentence preserving its meaning.

   @conference{bakhteev2017author,
     presenter = {Бахтеев О. Ю.},
     presenter_en = {Oleg Bakhteev},
     abbr = {CLEF},
     title = {Author Masking using Sequence-to-Sequence Models},
     author = {Bakhteev, Oleg and Khazov, Andrey},
     booktitle = {CLEF},
     note = {Dublin, Ireland},
     year = {2017},
     pdf = {https://pan.webis.de/downloads/publications/papers/bakhteev_2017.pdf},
     html = {https://pan.webis.de/publications.html}
   }
   

2. ММРО

   Градиентные методы оптимизации гиперпараметров моделей глубокого обучения

   Бахтеев О. Ю.

   2017

   Докладчик: Бахтеев О. Ю.

   Таганрог

   Ссылка Bibtex

   @conference{бахтеев2017ммро1,
     presenter = {Бахтеев О. Ю.},
     presenter_en = {Oleg Bakhteev},
     abbr = {ММРО},
     abbr_en = {MMPR},
     title = {Градиентные методы оптимизации гиперпараметров моделей глубокого обучения},
     title_en = {Gradient-based methods of deep learning hyperparameters optimization},
     author = {Бахтеев, О. Ю.},
     author_en = {Oleg Bakhteev},
     booktitle_en = {Mathematical methods of pattern recognition},
     booktitle = {Математические методы распознавания образов},
     note = {Таганрог},
     note_en = {Taganrog, Russia},
     year = {2017},
     html = {https://www.elibrary.ru/item.asp?id=32284754}
   }
   

3. ММРО

   Детектирование переводных заимствований в текстах научных статей из журналов, входящих в РИНЦ

   Бахтеев О. Ю., Кузнецова Р. В.

   2017

   Докладчик: Бахтеев О. Ю.

   Таганрог

   Ссылка Bibtex

   @conference{бахтеев2017ммро2,
     presenter = {Бахтеев О. Ю.},
     presenter_en = {Oleg Bakhteev},
     abbr = {ММРО},
     abbr_en = {MMPR},
     title = {Детектирование переводных заимствований в текстах научных статей из журналов, входящих в РИНЦ},
     title_en = {Cross-lingual text reuse detection in scientific papers included in RSCI},
     booktitle_en = {Mathematical methods of pattern recognition},
     author_en = {Oleg Bakhteev and Rita Kuznetsova},
     author = {Бахтеев, О. Ю. and Кузнецова, Р. В.},
     booktitle = {Математические методы распознавания образов},
     note = {Таганрог},
     note_en = {Taganrog, Russia},
     year = {2017},
     html = {https://www.elibrary.ru/item.asp?id=32284813}
   }
   

2015

1. AINL

   A monolingual approach to detection of text reuse in Russian-English collection

   Bakhteev Oleg, Kuznetsova Rita, Romanov Alexey, Khritankov Anton

   2015

   Докладчик: Бахтеев О. Ю.

   Saint Petersburg

   Аннотация Ссылка PDF Bibtex

   In this paper we develop a method for cross-lingual (Russian and English) text reuse detection. The method is based on the monolingual approach - translation of texts into one language and reduction to the text similarity problem. We split texts into non-overlapping fragments and compare fragments to each other by means of different metrics - BLEU(1-2), METEOR, cosine similarity between bag-of-words representations of each snippet, and cosine similarity between vectors obtained from doc2vec-trained model. We explore the impact of choice of metric on the quality of text reuse detection. We assess quality of the method on a sample of a hundred scientific documents, originally in Russian, machine translated into English. Preliminary findings demonstrate feasibility of the approach.

   @conference{bakhteev2015monolingual,
     presenter = {Бахтеев О. Ю.},
     presenter_en = {Oleg Bakhteev},
     abbr = {AINL},
     title = {A monolingual approach to detection of text reuse in Russian-English collection},
     author = {Bakhteev, Oleg and Kuznetsova, Rita and Romanov, Alexey and Khritankov, Anton},
     booktitle = {2015 Artificial Intelligence and Natural Language and Information Extraction, Social Media and Web Search FRUCT Conference (AINL-ISMW FRUCT)},
     note = {Saint Petersburg},
     note_en = {Saint Petersburg, Russia},
     pages = {3--10},
     year = {2015},
     organization = {IEEE},
     html = {https://ieeexplore.ieee.org/abstract/document/7382960},
     pdf = {https://www.fruct.org/publications/ainl-fruct/files/Bak.pdf}
   }
   

2014

1. МФТИ

   Восстановление панельной матрицы и ранжирующей модели по метризованной выборке в разнородных шкалах

   Бахтеев О. Ю.

   2014

   Докладчик: Бахтеев О. Ю.

   Москва

   Bibtex

   @conference{бахтеев2014восстановление,
     presenter = {Бахтеев О. Ю.},
     presenter_en = {Oleg Bakhteev},
     abbr = {МФТИ},
     abbr_en = {MIPT},
     title = {Восстановление панельной матрицы и ранжирующей модели по метризованной выборке в разнородных шкалах},
     title_en = {Panel matrix and ranking model recovery using mixed-scale measured data},
     booktitle_en = {Moscow Institute of Physics and Technology 57th student conference},
     author_en = {Oleg Bakhteev},
     author = {Бахтеев, О. Ю.},
     booktitle = {57-я конференция МФТИ},
     note = {Москва},
     note_en = {Moscow, Russia},
     year = {2014}
   }
   

Семинары и постеры

2021

1. Automated architecture search with model complexity control

   Yakovlev Konstantin et al.

   2021

   Докладчик: Яковлев К. Д.

   ECMLPKDD Workshop on Automating Data Science

   Аннотация Ссылка Bibtex

   The paper investigates the problem of deep learning model selection. The authors propose a method of a neural architecture search with respect to its desired complexity. As a complexity, we consider a number of parameters that use selected architecture. The method is based on a differential architecture search algorithm (DARTS). Instead of optimizing structural parameters of the architecture, we consider them as a function depending on the complexity parameter. To evaluate the quality of the proposed algorithm we conduct experiments on a Fashion-MNIST dataset and compare the resulting architecture with DARTS method

   @unpublished{yakovlev2021autods,
     author = {Yakovlev, Konstantin et al.},
     author_en = {Konstantin Yakovlev et al.},
     presenter = {Яковлев К. Д.},
     presenter_en = {Konstantin Yakovlev},
     title = {Automated architecture search with model complexity control},
     note = {ECMLPKDD Workshop on Automating Data Science},
     year = {2021},
     html = {https://sites.google.com/view/autods}
   }
   

2. Multi-Modeling and Deep Learning Model Selection

   Bakhteev Oleg, Strijov Vadim

   2021

   Докладчик: Бахтеев О. Ю.

   MIPT-UGA AI workshop

   Ссылка Материалы Bibtex

   @unpublished{bakhteev2021uga,
     author = {Bakhteev, Oleg and Strijov, Vadim},
     presenter = {Бахтеев О. Ю.},
     presenter_en = {Oleg Bakhteev},
     title = {Multi-Modeling and Deep Learning Model Selection},
     note = {MIPT-UGA AI workshop},
     year = {2021},
     html = {https://sites.google.com/view/mipt-uga-ai-workshop/program},
     supp = {https://www.youtube.com/watch?v=LU6-6O5KHyA}
   }
   

2019

1. NeurIPS

   CrossLang: The System of Cross-lingual Plagiarism Detection

   Bakhteev Oleg, Ogaltsov Aleksandr, Khazov Andrey, Safin Kamil, Kuznetsova Rita

   2019

   NeurIPS, Workshop on Systems for ML

   Ссылка Bibtex

   @unpublished{bakhteev2019nips2,
     abbr = {NeurIPS},
     author = {Bakhteev, Oleg and Ogaltsov, Aleksandr and Khazov, Andrey and Safin, Kamil and Kuznetsova, Rita},
     title = {CrossLang: The System of Cross-lingual Plagiarism Detection},
     note = {NeurIPS, Workshop on Systems for ML},
     year = {2019},
     html = {https://nips.cc/Conferences/2019/ScheduleMultitrack?event=13183}
   }
   

2. NeurIPS

   CrossLang: The System of Cross-lingual Plagiarism Detection

   Bakhteev Oleg, Ogaltsov Aleksandr, Khazov Andrey, Safin Kamil, Kuznetsova Rita

   2019

   Докладчик: Огальцов А. В.

   NeurIPS, Document Intelligence workshop

   Ссылка Bibtex

   @unpublished{bakhteev2019nips1,
     abbr = {NeurIPS},
     presenter = {Огальцов А. В.},
     presenter_en = {Aleksandr Ogaltsov},
     author = {Bakhteev, Oleg and Ogaltsov, Aleksandr and Khazov, Andrey and Safin, Kamil and Kuznetsova, Rita},
     title = {CrossLang: The System of Cross-lingual Plagiarism Detection},
     note = {NeurIPS, Document Intelligence workshop},
     year = {2019},
     html = {https://nips.cc/Conferences/2019/ScheduleMultitrack?event=13178}
   }
   

3. KDD

   CrossLang: The System of Cross-lingual Plagiarism Detection

   Bakhteev Oleg, Ogaltsov Aleksandr, Khazov Andrey, Safin Kamil, Kuznetsova Rita

   2019

   Докладчик: Сафин К. Ф.

   KDD, Truth Discovery and Fact Checking: Theory and Practice workshop

   Ссылка Bibtex

   @unpublished{bakhteev2019kdd2,
     abbr = {KDD},
     presenter = {Сафин К. Ф.},
     presenter_en = {Kamil Safin},
     author = {Bakhteev, Oleg and Ogaltsov, Aleksandr and Khazov, Andrey and Safin, Kamil and Kuznetsova, Rita},
     title = {CrossLang: The System of Cross-lingual Plagiarism Detection},
     note = {KDD, Truth Discovery and Fact Checking: Theory and Practice workshop},
     year = {2019},
     html = {https://truth-discovery-kdd2019.github.io/}
   }
   

4. KDD

   CrossLang: The System of Cross-lingual Plagiarism Detection

   Bakhteev Oleg, Ogaltsov Aleksandr, Khazov Andrey, Safin Kamil, Kuznetsova Rita

   2019

   Докладчик: Сафин К. Ф.

   KDD, Workshop on Deep Learning for Education (DL4Ed)

   Ссылка PDF Bibtex

   @unpublished{bakhteev2019kdd1,
     abbr = {KDD},
     presenter = {Сафин К. Ф.},
     presenter_en = {Kamil Safin},
     author = {Bakhteev, Oleg and Ogaltsov, Aleksandr and Khazov, Andrey and Safin, Kamil and Kuznetsova, Rita},
     title = {CrossLang: The System of Cross-lingual Plagiarism Detection},
     note = {KDD, Workshop on Deep Learning for Education (DL4Ed)},
     year = {2019},
     html = {http://ml4ed.cc/2019-kdd-workshop/},
     pdf = {http://ml4ed.cc/attachments/Bakhteev.pdf}
   }
   

2018

1. NeurIPS

   Variational Bi-domain Triplet Autoencoder

   Kuznetsova Rita, Bakhteev Oleg

   2018

   Докладчик: Кузнецова М. В.

   NeurIPS, Visually Grounded Interaction and Language workshop

   Ссылка Bibtex

   @unpublished{kuznetsova2018nips3,
     abbr = {NeurIPS},
     presenter = {Кузнецова М. В.},
     presenter_en = {Rita Kuznetsova},
     author = {Kuznetsova, Rita and Bakhteev, Oleg},
     title = {Variational Bi-domain Triplet Autoencoder},
     note = {NeurIPS, Visually Grounded Interaction and Language workshop},
     year = {2018},
     html = {https://nips2018vigil.github.io/}
   }
   

2. NeurIPS

   Variational Bi-domain Triplet Autoencoder

   Kuznetsova Rita, Bakhteev Oleg

   2018

   Докладчик: Кузнецова М. В.

   NeurIPS, Visually Grounded Interaction and Language workshop

   Ссылка Bibtex

   @unpublished{kuznetsova2018nips2,
     abbr = {NeurIPS},
     presenter = {Кузнецова М. В.},
     presenter_en = {Rita Kuznetsova},
     author = {Kuznetsova, Rita and Bakhteev, Oleg},
     title = {Variational Bi-domain Triplet Autoencoder},
     note = {NeurIPS, Visually Grounded Interaction and Language workshop},
     year = {2018},
     html = {https://nips2018vigil.github.io/}
   }
   

3. NeurIPS

   Variational Bi-domain Triplet Autoencoder

   Kuznetsova Rita, Bakhteev Oleg

   2018

   Докладчик: Кузнецова М. В.

   NeurIPS, Relational Representation Learning workshop

   Ссылка Bibtex

   @unpublished{kuznetsova2018nips1,
     abbr = {NeurIPS},
     presenter = {Кузнецова М. В.},
     presenter_en = {Rita Kuznetsova},
     author = {Kuznetsova, Rita and Bakhteev, Oleg},
     title = {Variational Bi-domain Triplet Autoencoder},
     note = {NeurIPS, Relational Representation Learning workshop},
     year = {2018},
     html = {https://nips.cc/Conferences/2018/Schedule?showEvent=10927}
   }
   

4. KDD

   Variational Bi-domain Triplet Autoencoder

   Kuznetsova Rita, Bakhteev Oleg

   2018

   KDD Deep learning day workshop

   PDF Bibtex

   @unpublished{kuznetsova2018kdd2,
     abbr = {KDD},
     author = {Kuznetsova, Rita and Bakhteev, Oleg},
     title = {Variational Bi-domain Triplet Autoencoder},
     note = {KDD Deep learning day workshop},
     year = {2018},
     pdf = {https://www.kdd.org/kdd2018/files/deep-learning-day/DLDay18_paper_22.pdf}
   }
   

5. KDD

   ParaPlagDet: The system of paraphrased plagiarism detection

   Kuznetsova Rita, Bakhteev Oleg, Khazov Andrey, Ogaltsov Aleksandr

   2018

   Докладчик: Кузнецова М. В.

   KDD BigScholar workshop

   Ссылка Bibtex

   @unpublished{kuznetsova2018kdd1,
     abbr = {KDD},
     presenter = {Кузнецова М. В.},
     presenter_en = {Rita Kuznetsova},
     author = {Kuznetsova, Rita and Bakhteev, Oleg and Khazov, Andrey and Ogaltsov, Aleksandr},
     title = {ParaPlagDet: The system of paraphrased plagiarism detection},
     note = {KDD BigScholar workshop},
     year = {2018},
     html = {http://thealphalab.org/bigscholar/2018/Program.htm}
   }
   

6. Методы машинного обучения для анализа фискальных данных

   Бахтеев О. Ю.

   2018

   Семинар школы Сириус

   Bibtex

   @unpublished{сириус2018,
     author = {Бахтеев, О. Ю.},
     author_en = {Oleg Bakhteev},
     title = {Методы машинного обучения для анализа фискальных данных},
     title_en = {Machine learning methods for fiscal data analysis},
     note_en = {Workshop at Educational Сenter "Sirius", Russia},
     note = {Семинар школы Сириус},
     year = {2018}
   }
   

2015

1. RuSSIR

   Explicit Semantic Analysis for Cross-Language Retrieval in Case of Russian-English Translation

   Bakhteev Oleg, Romanov Alexey, Kuznetsova Rita

   2015

   Russir, постерная сессия

   Ссылка Bibtex

   @unpublished{bakhteev2015CLESA,
     abbr = {RuSSIR},
     author = {Bakhteev, Oleg and Romanov, Alexey and Kuznetsova, Rita},
     title = {Explicit Semantic Analysis for Cross-Language Retrieval in Case of Russian-English Translation},
     note = {Russir, постерная сессия},
     note_en = {Russian summer school in information retrieval, poster session},
     year = {2015},
     html = {http://romip.ru/russir2015/section.php?id=229}
   }
   

Прочее

2024

1. Medium

   Godot, HTML5, and Neural Networks: Yet Another Way to Reinvent the Wheel

   Bakhteev Oleg

   2024

   Блог пост

   Аннотация Ссылка Bibtex

   Godot is an awesome and a very rapidly growing game engine allowing thousands of developers to implement their ideas to life — ranging from simple pet-projects to quite mature commercial games. However, like any emerging technology, Godot still has areas that need improvement. One such area is the integration of deep learning and neural networks.

   @unpublished{embed2discover,
     abbr = {Medium},
     author = {Bakhteev, Oleg},
     title = {Godot, HTML5, and Neural Networks: Yet Another Way to Reinvent the Wheel},
     html = {https://medium.com/@bahleg/45461d56d0b5},
     note_en = {Blog-post},
     note = {Блог пост},
     year = {2024}
   }
   

2. OSF

   Introducing embed2discover: A tool for semi-automated, dictionary-based content-analysis

   Brandenberger Laurence, Bakhteev Oleg, Fernandez Jorge M., Schlosser Sophia, Salamanca Luis

   2024

   PDF Bibtex

   @unpublished{embed2discoves,
     abbr = {OSF},
     author = {Brandenberger, Laurence and Bakhteev, Oleg and Fernandez, Jorge M. and Schlosser, Sophia and Salamanca, Luis},
     title = {Introducing embed2discover: A tool for semi-automated, dictionary-based content-analysis},
     pdf = {https://files.osf.io/v1/resources/gsmqf/providers/osfstorage/668c516cede75d063e693a81?action=download&direct&version=2},
     year = {2024}
   }
   

3. Student

   Predictive Models for Motor Pattern Recognition

   Kjær Johannes

   2024

   Teaching assistants at student project at EPFL: Oleg Bakhteev and Leonid Iosipoi. Professor: Guillaume Obozinski

   Bibtex

   @phdthesis{kjaerproject,
     abbr = {Student},
     author = {Kjær, Johannes},
     title = {Predictive Models for Motor Pattern Recognition},
     note = {Teaching assistants at student project at EPFL: Oleg Bakhteev and Leonid Iosipoi. Professor: Guillaume Obozinski},
     year = {2024}
   }
   

4. Student

   Representation learning for motor pattern recognition during Inertial Measurement Unit

   Yakovchuk Daria

   2024

   Teaching assistants at student project at EPFL: Oleg Bakhteev and Leonid Iosipoi. Professor: Guillaume Obozinski

   Bibtex

   @phdthesis{yakovhukproject,
     abbr = {Student},
     author = {Yakovchuk, Daria},
     title = {Representation learning for motor pattern recognition during Inertial Measurement Unit},
     note = {Teaching assistants at student project at EPFL: Oleg Bakhteev and Leonid Iosipoi. Professor: Guillaume Obozinski},
     year = {2024}
   }
   

2023

1. Project

   EvolvingDemocraSci: Advancing parliamentary data analysis

   2023

   A project page at Swiss Data science center

   Ссылка Bibtex

   @unpublished{evolvingdemocrasciproject,
     abbr = {Project},
     title = {EvolvingDemocraSci: Advancing parliamentary data analysis},
     note = {A project page at Swiss Data science center},
     html = {https://www.datascience.ch/projects/evolvingdemocrasci},
     year = {2023}
   }
   

2. Student

   LLM4SciLit - Large Language Models for Information Retrieval in Scientific Literature

   Martorella Tommaso

   2023

   Teaching assistant at student project at EPFL: Oleg Bakhteev. Professor: Guillaume Obozinski

   Bibtex

   @phdthesis{martorellaproject,
     abbr = {Student},
     author = {Martorella, Tommaso},
     title = {LLM4SciLit - Large Language Models for Information Retrieval in Scientific Literature},
     note = {Teaching assistant at student project at EPFL: Oleg Bakhteev. Professor: Guillaume Obozinski},
     year = {2023}
   }
   

3. Project

   STIMO: Personalized epidural electrical stimulation of the lumbar spinal cord for clinically applicable therapy to restore mobility after paralyzing spinal cord injury,

   2023

   A project page at Swiss Data science center

   Ссылка Bibtex

   @unpublished{stimoproject,
     abbr = {Project},
     title = {STIMO: Personalized epidural electrical stimulation of the lumbar spinal cord for clinically applicable therapy to restore mobility after paralyzing spinal cord injury,},
     note = {A project page at Swiss Data science center},
     html = {https://www.datascience.ch/projects/stimo},
     year = {2023}
   }
   

2022

1. Project

   Программное обеспечение для оценки качества атмосферного воздуха и расчетов процессов переноса в атмосфере

   2022

   Страница проекта на сайте Сколтеха

   Ссылка Bibtex

   @unpublished{rppproject,
     abbr = {Project},
     title = {Программное обеспечение для оценки качества атмосферного воздуха и расчетов процессов переноса в атмосфере},
     title_en = {Software for air quality assessment and calculation of atmospheric transport processes},
     note_en = {A project page at Skoltech},
     note = {Страница проекта на сайте Сколтеха},
     html = {https://raic.skoltech.ru/po_rpp},
     year = {2022}
   }
   

2. BSc

   Оптимизация метапараметров в задаче дистилляции знаний, бакалаврский диплом, МФТИ

   Мария Горпинич

   2022

   Научный руководитель: к.ф.-м.н. Бахтеев О.Ю.

   Материалы Bibtex

   @phdthesis{gorpinichbsc,
     abbr = {BSc},
     author_en = {Maria Gorpinich},
     author = {Мария, Горпинич},
     title_en = {Metaparameter optimization in knowledge distillation problem, Bachelor thesis, MIPT},
     title = {Оптимизация метапараметров в задаче дистилляции знаний, бакалаврский диплом, МФТИ},
     note_en = {Scientific adviser: Oleg Bakhteev, PhD},
     note = {Научный руководитель: к.ф.-м.н.  Бахтеев О.Ю.},
     supp = {https://youtu.be/mmAacGSUvPQ?t=823},
     year = {2022}
   }
   

3. BSc

   Выбор согласованных нейросетевых моделей с контролем сложности, бакалаврский диплом, МФТИ

   Константин Яковлев

   2022

   Научный руководитель: к.ф.-м.н. Бахтеев О.Ю.

   Материалы Bibtex

   @phdthesis{yakovlevbsc,
     abbr = {BSc},
     author_en = {Konstantin Yakovlev},
     author = {Константин, Яковлев},
     title_en = {Concordant neural model selection with complexity control, Bachelor thesis at MIPT},
     title = {Выбор согласованных нейросетевых моделей с контролем сложности, бакалаврский диплом, МФТИ},
     note_en = {Scientific adviser: Oleg Bakhteev, PhD},
     note = {Научный руководитель: к.ф.-м.н.  Бахтеев О.Ю.},
     supp = {https://youtu.be/mmAacGSUvPQ},
     year = {2022}
   }
   

4. MSc

   Байесовский выбор архитектуры нейросетевой модели, диплом магистра, МФТИ

   Антон Сотников

   2022

   Научный руководитель: к.ф.-м.н. Бахтеев О.Ю.

   Аннотация Bibtex

   В работе исследуется задача байесовского выбора архитектуры нейросетевой модели. Предлагается метод, оценивающий апостериорное совместное распределение структуры и параметров модели с помощью вариационной нижней оценки обоснованности. Вводятся априорные предположения о распределении параметров и структуры модели. Показано, что байесовский подход регуляризует норму гессиана оптимизируемой функции ошибки по структуре модели. Для оценки качества и устойчивости предложенного метода проводится вычислительный эксперимент на выборке Fashion-MNIST. Показано, что предлагаемый метод является более устойчивым в сравнении с базовыми градиентными методами выбора структуры.

   @phdthesis{sotnikovmc,
     abbr = {MSc},
     author_en = {Anton Sotnikov},
     author = {Антон, Сотников},
     title_en = {Bayesian neural architecture model selectionб Master thesis at MIPT},
     title = {Байесовский выбор архитектуры нейросетевой модели, диплом магистра, МФТИ},
     note_en = {Scientific adviser: Oleg Bakhteev, PhD},
     note = {Научный руководитель: к.ф.-м.н.  Бахтеев О.Ю.},
     year = {2022}
   }
   

5. MSc

   Состязательный метод дообучения нейронной сети в задаче переноса информации, диплом магистра, МФТИ

   Александр Колесов

   2022

   Научный руководитель: к.ф.-м.н. Бахтеев О.Ю.

   Аннотация PDF Материалы Bibtex

   Inductive transfer learning aims at adapting a pre-trained neural network to target data without access to a source database. Most modern methods suffer from strong regularization between corresponding parameters. An efficient inductive transfer learning method should take enough information from a pre-trained model, but also learn vital patterns from new data. We present the novel technique of transfer learning that is based on optimal transport theory. However, this method requires deep neural networks(DNN) that are strongly 1-Lipschitz continuity functions in according to the theory. To solve this issue, we develop such networks and prove necessary thereotically guarantees for them. We show, that the regularization of the proposed method computes ground-truth the Wasserstein-1 distance between distributions of parameters, while another penalization strategies compute a upper bound. We demonstrate the abilities of the proposed method and compare the method with relevant transfer learning techniques.

   @phdthesis{kolesovmsc,
     abbr = {MSc},
     author_en = {Aleksandr Kolesov},
     author = {Александр, Колесов},
     title_en = {An adversarial method for neural network fine-tuning for transfer learning problem, Master thesis at MIPT},
     title = {Состязательный метод дообучения нейронной сети в задаче переноса информации, диплом магистра, МФТИ},
     note_en = {Scientific adviser: Oleg Bakhteev, PhD},
     note = {Научный руководитель: к.ф.-м.н.  Бахтеев О.Ю.},
     pdf = {https://github.com/Intelligent-Systems-Phystech/Kolesov-MS-thesis/raw/main/Thesis_Kolesov.pdf},
     year = {2022},
     supp = {https://youtu.be/f4C9U59krTE?t=6736},
     bilingual = {True}
   }
   

2021

1. BSc

   Исследование методов поиска структур нейронной сети на основе градиентного поиска, бакалаврский диплом, МФТИ

   Валерия Щербакова

   2021

   Научный консультант: к.ф.-м.н. Бахтеев О.Ю.

   Аннотация Bibtex

   В настоящее время одним из активно развивающихся направлений глубокого обучения является поиск нейронной архитектуры. Глубокое обучение позволило за последние годы добиться значительного прогресса в решении множества задач, таких как классификация изображений, распознавание речи и машинный перевод. Одним из важнейших аспектов этого прогресса являются новые нейронные архитектуры. Используемые в настоящее время архитектуры в основном разрабатывались вручную людьми, что является трудоемким и подверженным ошибкам процессом. В связи с этим растет интерес к методам поиска автоматизированной нейронной архитектуры. В данной работе исследуются методы сэмплирования структуры в градиентных методах поиска нейронной архитектуры. Современные методы поиска нейронной архитектуры, такие как DARTS и SNAS, интерпретируют структуру глубокой модели как граф с ребрами, соответствующими нелинейным функциям в нем. Для обучения различных моделей с использованием градиентного подхода вводим вероятностную интерпретацию для этих ребер. Рассмотрим различные распределения, такие как распределения Softmax, Gumbel-Softmax и Invertible Gaussian Reparameterization для них. Проанализируем производительность полученных нейронных сетей и их устойчивость к прунингу и атакам противника. Вычислительные эксперименты проводятся с использованием набора данных MNIST.

   @phdthesis{sherbakovabsc,
     abbr = {BSc},
     author_en = {Valeria Sherbakova},
     author = {Валерия, Щербакова},
     title_en = {An investigation of gradient-based methods for neural architecture search, Bachelor thesis at MIPT},
     title = {Исследование методов поиска структур нейронной сети на основе градиентного поиска, бакалаврский диплом, МФТИ},
     note_en = {Scientific consultant: Oleg Bakhteev, PhD},
     note = {Научный консультант: к.ф.-м.н.  Бахтеев О.Ю.},
     year = {2021}
   }
   

2. BSc

   Порождение моделей заданной сложности с использованием байесовских гиперсетей, бакалаврский диплом, МФТИ

   Ольга Гребенькова

   2021

   Научный руководитель: к.ф.-м.н. Бахтеев О.Ю.

   Аннотация Материалы Bibtex

   В работе исследуется задача построения модели глубокого обучения. Предлагается способ контроля ее сложности. Под сложностью модели понимается минимальная длина описания, минимальный объем информации, который требуется для передачи информации о модели и о выборке. Сложность рассматривается как параметр, который может быть задан на этапе получения модели на основе имеющихся вычислительных и других эксплуатационных требований. Чтобы контролировать сложность модели, вводятся вероятностные предположения о распределении параметров модели глубокого обучения. В работе предложены три формы регуляризации, которые позволяют управлять распределением параметров модели. Предлагается метод оптимизации параметров модели, основанный на представлении модели глубокого обучения в виде гиперсети с использованием байесовского подхода. Под гиперсетью понимается модель, которая генерирует параметры оптимальной модели. Предлагается подход, максимизирующий нижнюю вариационную оценку байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от требуемой сложности модели. Для анализа качества предлагаемого алгоритма проведены эксперименты на выборках MNIST и CIFAR.

   @phdthesis{grebenkovabsc,
     abbr = {BSc},
     author_en = {Olga Grebenkova},
     author = {Ольга, Гребенькова},
     title_en = {Model generation with complexity control using Bayesian hypernetworks, Bachelor thesis at MIPT},
     title = {Порождение моделей заданной сложности с использованием байесовских гиперсетей, бакалаврский диплом, МФТИ},
     note_en = {Scientific adviser: Oleg Bakhteev, PhD},
     note = {Научный руководитель: к.ф.-м.н.  Бахтеев О.Ю.},
     supp = {https://youtu.be/Jn7jChIBszw?t=3253},
     year = {2021}
   }
   

2020

1. PhD

   Байесовский выбор субоптимальной структуры модели глубокого обучения, диссертация к.ф.-м. н.

   Бахтеев Олег

   2020

   Научный руководитель: д.ф.-м.н. Стрижов В. В.

   Ссылка PDF Bibtex

   @phdthesis{phdthesis,
     abbr = {PhD},
     author_en = {Oleg Bakhteev},
     author = {Бахтеев, Олег},
     title_en = {Bayesian suboptimal deep learning structure selection, PhD thesis},
     title = {Байесовский выбор субоптимальной структуры модели глубокого обучения, диссертация к.ф.-м. н. },
     html = {http://www.frccsc.ru/diss-council/00207305/diss/list/bahteev_oy},
     pdf = {http://www.frccsc.ru/sites/default/files/docs/ds/002-073-05/diss/26-bahteev/ds05-26-bahteev_main.pdf?28},
     note_en = {Scientific adviser: Vadim Strijov, DSc},
     note = {Научный руководитель: д.ф.-м.н. Стрижов В. В.},
     year = {2020}
   }
   

2. arXiv

   Variational learning across domains with triplet information

   Kuznetsova Rita, Bakhteev Oleg, Ogaltsov Alexandr

   2020

   arXiv Bibtex

   @unpublished{VBTA,
     abbr = {arXiv},
     author = {Kuznetsova, Rita and Bakhteev, Oleg and Ogaltsov, Alexandr},
     title = {Variational learning across domains with triplet information},
     arxiv = {1806.08672},
     year = {2020}
   }
   

3. Хабр

   Самоучитель клингонского

   Антиплагиат

   2020

   Хабр. Соавтор статьи

   Ссылка Bibtex

   @unpublished{habr_klin,
     abbr = {Хабр},
     author = {Антиплагиат},
     title_en = {Klingon language tutorial},
     title = {Самоучитель клингонского},
     note = {Хабр. Соавтор статьи},
     year = {2020},
     html = {https://habr.com/ru/company/antiplagiat/blog/507848/},
     abbr_en = {Habr},
     author_en = {Antiplagiat company},
     note_en = {It-blog. Article co-author.}
   }
   

2019

1. ПО

   Модуль поиска переводных текстовых заимствований с русского на английский язык

   Бахтеев О. Ю., и др.

   2019

   Свидетельство о регистрации ПО

   Ссылка Bibtex

   @unpublished{VBTB,
     abbr = {ПО},
     abbr_en = {Software},
     author = {Бахтеев, О. Ю. and и, др.},
     author_en = {Oleg Bakhteev et al.},
     title = {Модуль поиска переводных текстовых заимствований с русского на английский язык},
     title_en = {Cross-lingual textual reuse detection module for English-Russian language pair},
     note = {Свидетельство о регистрации ПО},
     note_en = {Software registration certificate},
     year = {2019},
     html = {https://www.elibrary.ru/item.asp?id=41532315}
   }
   

2018

1. Хабр

   «Трое в лодке, нищета и собаки», или как Антиплагиат ищет парафраз

   Антиплагиат

   2018

   Хабр. Соавтор статьи

   Ссылка Bibtex

   @unpublished{habr_troe,
     abbr = {Хабр},
     author = {Антиплагиат},
     title_en = {How Antiplagiat detects paraphrased text},
     title = {«Трое в лодке, нищета и собаки», или как Антиплагиат ищет парафраз},
     note = {Хабр. Соавтор статьи},
     year = {2018},
     html = {https://habr.com/ru/company/antiplagiat/blog/422941/},
     abbr_en = {Habr},
     author_en = {Antiplagiat company},
     note_en = {It-blog. Article co-author.}
   }
   

2. Хабр

   «Туда и обратно» для нейронных сетей, или обзор применений автокодировщиков в анализе текстов

   Антиплагиат

   2018

   Хабр. Соавтор статьи

   Ссылка Bibtex

   @unpublished{habr_tuda,
     abbr = {Хабр},
     author = {Антиплагиат},
     title = {«Туда и обратно» для нейронных сетей, или обзор применений автокодировщиков в анализе текстов},
     title_en = {An overview of autoencoders application in text analysis},
     note = {Хабр. Соавтор статьи},
     year = {2018},
     html = {https://habr.com/ru/company/antiplagiat/blog/418173/},
     abbr_en = {Habr},
     author_en = {Antiplagiat company},
     note_en = {It-blog. Article co-author.}
   }
   

3. Хабр

   Трудности перевода: как найти плагиат с английского языка в русских научных статьях

   Антиплагиат

   2018

   Хабр. Соавтор статьи

   Ссылка Bibtex

   @unpublished{habr_tudb,
     abbr = {Хабр},
     author = {Антиплагиат},
     title = {Трудности перевода: как найти плагиат с английского языка в русских научных статьях},
     title_en = {Challenges in translation: how to find a cross-lingual plagiarism from Russian into English},
     note = {Хабр. Соавтор статьи},
     year = {2018},
     html = {https://habr.com/ru/company/antiplagiat/blog/354142/},
     abbr_en = {Habr},
     author_en = {Antiplagiat company},
     note_en = {It-blog. Article co-author.}
   }
   

Датасеты, дополнительные материалы

2023

1. Dataset

   Dataset of handwritten essays, 2021 (reuploaded)

   Bakhteev Oleg et al.

   2023

   Supplementary material for the article "Near-duplicate handwritten document detection without text recognition"

   Ссылка Bibtex

   @misc{handwr_supp,
     abbr = {Dataset},
     author = {Bakhteev, Oleg et al.},
     author_en = {Oleg Bakhteev et al.},
     title = {Dataset of handwritten essays, 2021 (reuploaded)},
     year = {2023},
     doi = {10.17632/vs44v8r3nf.1},
     html = {https://data.mendeley.com/datasets/vs44v8r3nf/1},
     note = {Supplementary material for the article "Near-duplicate handwritten document detection without text recognition"}
   }
   

2022

1. Dataset

   Cross-lingual dataset, 2019 (reuploaded)

   Bakhteev Oleg et al.

   2022

   Supplementary material for the article "CrossLang: the system of cross-lingual plagiarism detection"

   Ссылка Bibtex

   @misc{neurip_supp,
     abbr = {Dataset},
     author = {Bakhteev, Oleg et al.},
     title = {Cross-lingual dataset, 2019 (reuploaded)},
     year = {2022},
     html = {https://disk.yandex.ru/d/2UI8veyxSOXRdw},
     note = {Supplementary material for the article "CrossLang: the system of cross-lingual plagiarism detection"}
   }
   

2. Dataset

   Results of cross-lingual text reuse detection among European Universities

   Bakhteev Oleg et al.

   2022

   Supplementary material for the article "Cross-language plagiarism detection: a case study of European languages academic works"

   Ссылка Bibtex

   @misc{enai_supp1,
     abbr = {Dataset},
     author = {Bakhteev, Oleg et al.},
     author_en = {Oleg Bakhteev et al.},
     title = {Results of cross-lingual text reuse detection among European Universities},
     year = {2022},
     html = {https://data.mendeley.com/datasets/t726dmtx24/2},
     note = {Supplementary material for the article "Cross-language plagiarism detection: a case study of European languages academic works"}
   }
   

3. Dataset

   Synthetic dataset for cross-lingual text reuse detection evaluation

   Bakhteev Oleg et al.

   2022

   Supplementary material for the article "Cross-language plagiarism detection: a case study of European languages academic works"

   Ссылка Bibtex

   @misc{enai_supp2,
     abbr = {Dataset},
     author = {Bakhteev, Oleg et al.},
     author_en = {Oleg Bakhteev et al.},
     title = {Synthetic dataset for cross-lingual text reuse detection evaluation},
     year = {2022},
     html = {https://data.mendeley.com/datasets/53j6hyn99g},
     note = {Supplementary material for the article "Cross-language plagiarism detection: a case study of European languages academic works"}
   }
   

2021

1. Dataset

   Bibliography dataset (reuploaded)

   Ogaltsov Aleksandr

   2021

   Not my paper! Supplementary material for the article "Language-Free Regular Expression Search of Document’s References"

   Ссылка Bibtex

   @misc{bib_open,
     abbr = {Dataset},
     author = {Ogaltsov, Aleksandr},
     title = {Bibliography dataset (reuploaded)},
     year = {2021},
     html = {https://disk.yandex.ru/d/Djr73ITnkh9eUQ},
     note = {Not my paper! Supplementary material for the article "Language-Free Regular Expression Search of Document’s References"}
   }
   

2. Dataset

   Open access scientific documents from elibrary.ru

   Grabovoy Andrey, Bakhteev Oleg, Chekhovich Yury

   2021

   Supplementary material for the article "The automatic approach for scientific papers dating"

   Ссылка Bibtex

   @misc{elib_open,
     abbr = {Dataset},
     author = {Grabovoy, Andrey and Bakhteev, Oleg and Chekhovich, Yury},
     title = {Open access scientific documents from elibrary.ru},
     year = {2021},
     html = {https://data.mendeley.com/datasets/95xt9sngzc},
     note = {Supplementary material for the article "The automatic approach for scientific papers dating"}
   }