Стилометрия

количественное определение авторства и не только

Семинар "Языки психиатрии" 4 декабря 2025

Даниил Скоринкин, DH Network, Universität Potsdam

Наш план на сегодня:

Что такое стилометрия?
Как работает стилометрия и можно ли ей верить?
<тут будет остановка для вопросов>
Как люди до этого додумались? Немного истории стилометрических исследований
Где применяют сегодня: обзор современных стилометрических исследований (в т.ч. далеко за пределами собственно атрибуции авторства)

Что объединяет эти 3 книги?

Они написаны под псевдонимами

И становились объектами стилометрических исследований

1. Что такое стилометрия

Стилометрия — это

использование частотностей некоторых атомарных элементов текстов (чаще всего слов или их фрагментов) для сопоставления текстов между собой — например, для задач определения авторства, но не только

(это моё рабочее техническое определение)

Автор А, книга А (A_A)
Автор А, книга Б (A_Б)
Автор А, книга В (А_В)

Автор Б, книга А (Б_A)
Автор Б, книга Б (Б_Б) Автор Б, книга В (Б_В)

Автор В, книга А (В_A)
Автор В, книга Б (В_Б) Автор В, книга В (В_В)

Книга, про которую мы сомневаемся (Dubia)

Типичный стилометрический эксперимент начинается с подбора текстов для сопоставления

Типичный стилометрический эксперимент заканчивается получением некоторых показателей близости этих текстов

Реальный пример

2. Как это работает?

Автор А, книга А (A_A)
Автор А, книга Б (A_Б)
Автор А, книга В (А_В)

Автор Б, книга А (Б_A)
Автор Б, книга Б (Б_Б) Автор Б, книга В (Б_В)

....

??

Так что же

происходит между?

Что происходит посередине?

Стилометрические исследования во всем их разнообразии имеют две общие черты: тексты должны быть каким-то образом преобразованы в числа, а числа — исследованы статистическими методами

M. Eder, M. Kestemont, J. Rybicki. ‘Stylo’: a package for stylometric analyses

Как получаются эти числа?

Режем тексты на единицы, которые будем считать

Считаем частотности единиц

Каждый текст — столбик из чисел:

Каждый текст — вектор частотностей:

Что можно сделать с векторами?

Давайте на время упростим до 2 измерений:

Давайте на время упростим до 2 измерений:

ось 'and'

ось 'the'

И вот мы уже можем измерять расстояния между текстами

Стилометрия делает то же самое, только не с двумя словами, а с топ 100/300/500 слов...

И оказывается, что топ N самых частотных слов в качестве features для векторов... ...группируют тексты по авторству

Для визуализации близостей чаще используется дендрограмма

Для визуализации близостей чаще используется дендрограмма

Но все что понадобилось для ее создания— относительные частотности вот этих слов:

the and to of a was i in he said you that it his had on at her with as for not him they she were but be have up all out is from them me been what this about into like back my there would we could one now know if their so or no do down your an did by are when who looked more over then see again time just don^t still very think got will off re go eyes than before right here get away thought i^m came too through only long way going face come some can

И что, это правда работает?

Неужели частотности (в основном служебных) слов позволяют отличить одного автора от другого?

Да, и мы можем в этом убедиться вместе

Лайв демо 🎥

Работает на русском:

Работает на немецком

Работает на армянском

Работает на китайском

Но всегда ли это работает?

Disclaimer

⚠️ Стилометрия — это не магия и не «волшебная пуля»
⚠️ Есть случаи, когда никакая статистика вам автора не определит
🟢 Но при определенных условиях метод работает универсально (т.е. не на каком-то конкретном подобранном наборе авторов/ книг, а регулярно при соблюдении ряда условий)

Ограничения

Размеры текстов!
Хронологическая однородность
Однородность жанра/рода текста

1. Размер текста
(имеет значение)

It becomes quite obvious that samples shorter than 5000 words provide a poor "guessing", because they can be immensely affected by random noise. Below the size of 3000 words, the obtained results are simply disastrous. Other analyzed corpora showed that the critical point of attributive success could be found between 5000 and 10000 words per sample (and there was no significant difference between inflected and non-inflected languages).

Eder, M. (2015). Does size matter? Authorship attribution, small samples, big problem.
Digital Scholarship in the Humanities.

Жанровая и хронологическая неоднородности могут искажать результаты

"Not unexpectedly, it works least well with texts of a genre uncharacteristic of their author and, in one case, with texts far separated in time across a long literary career. Its possible use for other classificatory tasks has not yet been investigated".

John Burrows, ‘Delta’: a Measure of Stylistic Difference and a Guide to Likely Authorship, Literary and Linguistic Computing, Volume 17, Issue 3, September 2002, Pages 267–287, https://doi.org/10.1093/llc/17.3.267

Более честный эксперимент с Роулинг:

Прочие нюансы метода

Нормализация частотностей относительно друг друга
Выбор вида расстояния между векторами
Выбор единицы подсчета

4. Нормализация частотностей относительно друг друга

Посмотрим еще раз на вектор частотностей:

Наблюдаем классический закон Ципфа:

Поэтому в стилометрии частотности нормализуют

В классическом для стилометрии методе Delta для этого используется
Z-преобразование

Z-score (стандартный показатель)

где

x – частотность слова в тексте
µ - общая частотность слова по корпусу
σ - стандартное отклонение частотности слова по корпусу

(вычисляется для каждого слова в каждом тексте)

Z-преобразование

5. Выбор вида расстояния между векторами

Если измерять расстояние просто по прямой — будет

Бывают и другие:

Классический метод Delta использует манхэттенское

6. Выбор единицы подсчета

Словоформы (уже видели)

Цепочки символов длины N (символьные N-граммы)

Леммы

Словоформы
Леммы
- (конь/я/ю/ем/ями/ям/ем)
N-граммы (цепочки) символов
- 'ая', 'овый', 'остью'
Части речи
Синтаксические структуры
(в стихах) метр
...

на самом деле — все что угодно

Что можно посчитать

bsky.app/profile/dhpotsdam.bsky.social/post/3lltnxjq25s2u

Словоформы
N-граммы (цепочки) символов
- 'ая', 'овый', 'остью'
Леммы
- (конь/я/ю/ем/ями/ям/ем)
Остальное — иногда
в рамках экспериментов

Что из этого реально работает для атрибуции

Способы отображения стилометрической близости:

Dimensionality reduction methods (PCA MDS tSNE etc)

Hierarchical clustering dendrograms

'Philogenetic tree'-like
dendrograms

Способы отображения стилометрической близости:

Weighted graphs

(Weighted networks)

Но все визуализации получаются на основе одной таблицы близости

Сделаем остановку для вопросов

3. Как люди до этого додумались?

Две классические задачи "детективной филологии", в решении которых развивалась стилометрия:

Авторство
Датировка

Атрибуция текста через учет слов

Лоренцо Валла (1407 – 1457) —итальянский священник-гуманист
В 1439 пишет «Рассуждение о подложности так называемой дарственной грамоты Константина»
Показывает, что "Константинов дар" не мог быть написан в IV веке — не та латынь!

Первые измерения

1851 — математик А. де Морган предлагает длину слова как признак авторства
1887 — Томас Менденхолл (T. Mendenhall), The Characteristic Curves of Composition, первая известная работа по количественному определению авторства

Конец 19 в: Филологи-классики придумывают слово Stylometrie

1880 — W. Dittenberger, Sprachliche Kriterien für die Chronologie der Platonischen Dialoge
1890 — W. Lutosławski, Principes de stylométrie
1897 — W. Lutosławski, The origin and growth of Plato's logic; with an account of Plato's style and of the chronology of his writings

Стилеметрия в России

1915 — Морозов Н.А. Лингвистические спектры
(вдохновлен Лютославским)
Видимо, первый осознал важность служебных слов именно для атрибуции
1916 — Марков А.А. Об одном применении статистического метода

Записки федералиста

Серия знаковых статей эпохи Американской революции
12 спорных (Хэмилтон или Мэдисон)
Статья Ф.Мостеллера и Д. Уоллеса Inference in an Authorship Problem (1963)
'...определить авторство записок федералиста и предложить стандартный метод для решения проблем авторства'

Word counts are the variables used for discrimination. Since the topic written about heavily influences the rate with which a word is used, care in selection of words is necessary. The filler words of the language such as an, of, and upon, and, more generally, articles, prepositions, and conjunctions provide fairly stable rates, whereas more meaningful words like war, executive, and legislature do not.

Mosteller, F. & Wallace, D. (1963): Inference in an Authorship Problem.

Mosteller, Wallace, 1963

"The function words of the language appear to be a fertile source of discriminators, and luckily the high-frequency words are the strongest".
These data make it possible to say far more than ever before that the odds are enormously high that Madison wrote the 12 disputed papers. <...>

Дж.Ф. Барроуз:

Most readers and critics behave as though common prepositions, conjunctions, personal pronouns, and articles — the parts of speech which make up at least a third of fictional works in English — do not really exist. But far from being a largely inert linguistic mass which has a simple but uninteresting function, these words and their frequency of use can tell us a great deal <...>

Preface to Computation into Criticism, 1987

Джон Барроуз придумывает метод Delta

А как работает Delta мы уже знаем:

Подсчет частотностей слов / символьных n-грамм

2. Нормализация частотностей Z-преобразованием

3. Измерение манхэттенского расстояния между нормализованными векторами