Стилометрия

количественное определение авторства и не только

Даниил Скоринкин, DH Network Potsdam

Наш план на сегодня:

Что такое стилометрия?
Как работает стилометрия и можно ли ей верить?
Как люди до этого додумались? Немного истории
Зачем бывает нужна стилометрия? Реальные кейсы в области атрибуции авторства
Зачем бывает нужна стилометрия? Реальные кейсы за пределами атрибуции
1. Стилометрия и переводы
2. Стилохронография (анализ эволюции стиля)
3. Соавторство
Практика со Stylo

1. Что такое стилометрия

Стилометрия — это

использование частотностей некоторых атомарных элементов текстов (чаще всего слов или их фрагментов) для сопоставления текстов между собой — например, для задач определения авторства, но не только

(это моё рабочее техническое определение)

Классический пример

И многие из вас уже
воспроизвели это в Stylo:

За дендрограммой стоят некоторые расстояния между текстами:

Но откуда взялись эти расстояния?

2. Как работает стилометрия?

Стилометрические исследования во всем их разнообразии имеют две общие черты: тексты должны быть каким-то образом преобразованы в числа, а числа — исследованы статистическими методами

M. Eder, M. Kestemont, J. Rybicki. ‘Stylo’: a package for stylometric analyses

Каждый текст — столбик из чисел:

Каждый текст — вектор частотностей:

Что можно сделать с векторами?

Давайте на время упростим до 2 измерений:

Давайте на время упростим до 2 измерений:

ось 'and'

ось 'the'

И вот мы уже можем измерять расстояния между текстами

Стилометрия делает то же самое, только не с двумя словами, а с топ 100/300/500 слов...

И оказывается, что топ N самых частотных слов в качестве features для векторов... ...группируют тексты по авторству

И что, это правда работает?

Неужели частотности (в основном служебных) слов позволяют отличить одного автора от другого?

Да, и мы можем в этом убедиться вместе

Работает на русском:

Работает на китайском

Работает на армянском

Disclaimer

⚠️ Стилометрия — это не магия и не «волшебная пуля»
⚠️ Есть случаи, когда никакая статистика вам автора не определит
🟢 Но метод при определенных условиях работает универсально (т.е. не на каком-то конерктном подобранном наборе авторов/ книг, а регулярно при соблюдении ряда условий)

Важные нюансы:

Размеры текстов!
Хронологическая однородность
Однородность жанра/рода текста
Нормализация частотностей относительно друг друга
Выбор вида расстояния между векторами
Выбор единицы подсчета

1. Размер текста
(имеет значение)

It becomes quite obvious that samples shorter than 5000 words provide a poor "guessing", because they can be immensely affected by random noise. Below the size of 3000 words, the obtained results are simply disastrous. Other analyzed corpora showed that the critical point of attributive success could be found between 5000 and 10000 words per sample (and there was no significant difference between inflected and non-inflected languages).

Eder, M. (2015). Does size matter? Authorship attribution, small samples, big problem.
Digital Scholarship in the Humanities.

2. Хронологическая однородность

3. Однородность жанра/рода текста

4. Нормализация частотностей относительно друг друга

Посмотрим еще раз на вектор частотностей:

Наблюдаем классический закон Ципфа:

Поэтому в стилометрии частотности нормализуют

В классическом для стилометрии методе Delta для этого используется
Z-преобразование

Z-score (стандартный показатель)

где

x – частотность слова в тексте
µ - общая частотность слова по корпусу
σ - стандартное отклонение частотности слова по корпусу

(вычисляется для каждого слова в каждом тексте)

Z-преобразование

5. Выбор вида расстояния между векторами

Если измерять расстояние просто по прямой — будет

Бывают и другие:

Классический метод Delta использует манхэттенское

6. Выбор единицы подсчета

Словоформы
Леммы
- (конь/я/ю/ем/ями/ям/ем)
N-граммы (цепочки) символов
- 'ая', 'овый', 'остью'
Части речи
Синтаксические структуры
(в стихах) метр
...

Что можно посчитать

Способы отображения стилометрической близости:

Dimensionality reduction methods (PCA MDS tSNE etc)

Hierarchical clustering dendrograms

'Philogenetic tree'-like
dendrograms

Способы отображения стилометрической близости:

Weighted graphs

(Weighted networks)

Сделаем остановку для вопросов

3. Как люди до этого додумались?

Две классические задачи "детективной филологии", в решении которых развивалась стилометрия:

Авторство
Датировка

Атрибуция текста через учет слов

Лоренцо Валла (1407 – 1457) —итальянский священник-гуманист
В 1439 пишет «Рассуждение о подложности так называемой дарственной грамоты Константина»
Показывает, что "Константинов дар" не мог быть написан в IV веке — не та латынь!

Первые измерения

1851 — математик А. де Морган предлагает длину слова как признак авторства
1887 — Томас Менденхолл (T. Mendenhall), The Characteristic Curves of Composition, первая известная работа по количественному определению авторства

Конец 19 в: Филологи-классики придумывают слово Stylometrie

1880 — W. Dittenberger, Sprachliche Kriterien für die Chronologie der Platonischen Dialoge
1890 — W. Lutosławski, Principes de stylométrie
1897 — W. Lutosławski, The origin and growth of Plato's logic; with an account of Plato's style and of the chronology of his writings

Mostly classic studies at first:

1880 — W. Dittenberger, Sprachliche Kriterien für die Chronologie der Platonischen Dialoge
1890 — W. Lutosławski, Principes de stylométrie
1897 — W. Lutosławski, The origin and growth of Plato's logic; with an account of Plato's style and of the chronology of his writings

Стилеметрия в России

1915 — Морозов Н.А. Лингвистические спектры
(вдохновлен Лютославским)
Видимо, первый осознал важность служебных слов
1916 — Марков А.А. Об одном применении статистического метода

Записки федералиста

Серия знаковых статей эпохи Американской революции
12 спорных (Хэмилтон или Мэдисон)
Статья Ф.Мостеллера и Д. Уоллеса Inference in an Authorship Problem (1963)
'...определить авторство записок федералиста и предложить стандартный метод для решения проблем авторства'

Mosteller, Wallace, 1963

The function words of the language appear to be a fertile source of discriminators, and luckily the high-frequency words are the strongest.
<...>it is important to have a variety of sources of material, to allow “between writings” variability to emerge

Mosteller, Wallace, 1963

In summary, the following points are clear:

Madison is the principal author. These data make it possible to say far more than ever before that the odds are enormously high that Madison wrote the 12 disputed papers. <...>
<...> While choice of underlying constants (choice of prior distributions) matters, it doesn’t matter very much, once one is in the neighborhood of a distribution suggested by a fair body of data.

Дж.Ф. Барроуз:

Most readers and critics behave as though common prepositions, conjunctions, personal pronouns, and articles — the parts of speech which make up at least a third of fictional works in English — do not really exist. But far from being a largely inert linguistic mass which has a simple but uninteresting function, these words and their frequency of use can tell us a great deal <...>

Preface to Computation into Criticism, 1987

Джон Барроуз придумывает метод Delta

А как работает Delta мы уже знаем:

Подсчет частотностей слов / символьных n-грамм

2. Нормализация частотностей Z-преобразованием

3. Измерение манхэттенского расстояния между нормализованными векторами