Интеллектуальный анализ данных - одно из самых актуальных направлений исследований в современном мире. Спектр его применения чрезвычайно широк и охватывает практически все научные дисциплины. Весьма актуальна задача анализа текстовых коллекций с целью установления тематических рубрик, к которым должны быть отнесены отдельные статьи с соблюдением принципа систематизации «от общего к частному» и формированием перечня «ядерных» рубрик. Одним из методов интеллектуального анализа текстовой информации является кластеризация и, в частности, тематическое моделирование. Решение задачи кластеризации текстовых коллекций принципиально неоднозначно, и тому есть несколько причин. Во-первых, не существует однозначно наилучшего критерия качества кластеризации. Известен целый ряд достаточно разумных критериев, но все они могут давать разные результаты. Во-вторых, число кластеров, как правило, неизвестно заранее и устанавливается в соответствии с некоторым субъективным критерием. В-третьих, результат кластеризации существенно зависит от метрики расстояния, выбор которой, как правило, также субъективен и определяется экспертом. В настоящее время среди методов интеллектуального анализа данных все большее распространение получают ансамбли моделей, позволяющие значительно повысить точность результатов моделирования. Цель данного исследования - повышение эффективности кластеризации текстовой информации при использовании ансамбля тематических моделей. В статье рассмотрено использование алгоритма голосования на основе группы из различных оценочных алгоритмов, что позволяет выбрать наиболее подходящее решение, достаточно точно оценить качество тематических моделей и сформировать набор релевантных тем. В данной работе проведено исследование и предложена концепция оценки качества ансамбля тематических моделей с помощью использования простого голосующего алгоритма. Вычислительный эксперимент использования оценочного алгоритма, анализирующего поисковые запросы, демонстрирует в общем случае совпадение с результатами экспертного оценивания.
Intelligent data mining is one of the most relevant areas of research in the modern world. The spectrum of its application is extremely wide and covers practically all scientific disciplines. The task of analyzing text collections with the purpose of establishing thematic headings, which should be classified as separate articles with observance of the principle of systematization “from the general to the particular” and the formation of the list of “nuclear” categories, is very actual. Clustering and, in particular, topic modeling is one of the methods of intelligent text analysis. The solution of the problem of clustering text collections is fundamentally ambiguously, and there are several reasons. Firstly, there isn’t known clearly the best criterion of quality of clustering. There are a lot of reasonable criteria, but they all can give different results. Secondly, the number of clusters is usually unknown in advance and determined according by some subjective criterion. Thirdly, clustering result depends significantly on the distance metric, the choice of which is usually subjective and set by the expert. Nowadays ensembles of models are becoming more widespread among the data mining techniques. They can significantly improve the accuracy of modeling results. The main purpose of this research is to increase the clustering effectiveness of textual information by using the ensemble thematic models. This article describes the usage of a voting algorithm, which is based on a group of different evaluation algorithms. Voting algorithm allows you to select the most appropriate solution, to accurately assess the quality of the topic model and to generate a set of relevant topics. Computational experiment demonstrates coincidence with the results of expert assessments and the evaluations of formal criteria in general. The concept for quality evaluation of thematic models ensemble, which uses the simple voting algorithm, was explored and proposed for further researches.
The authors declare that there are no conflicts of interest present.