NB: Эту презентацию лучше не листать "стрелочками"
Вперед — ПРОБЕЛ
Назад — ШИФТ+ПРОБЕЛ
Стилометрия 2
история, реальные современные кейсы, продвинутая визуализация
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6705797/sholokhov_small_network_big_font.png)
Сегодня
- Краткая напоминалка: суть стилометрии
- Историческая справка
- Реальные применения Stylo/Delta
- Визуализация (тизер сетевого анализа!)
- Практика на семинаре
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6253847/previously.jpg)
Что было в прошлый раз
Стилометрия
- через статистику — уловить авторский "стиль" (идиостиль, стилом, authorial fingerprint... name it)
- стилометрия работает — доказано экспериментально
- Но только на больших (от 5 тыс. слов) и жанрово однородных текстах
- работает она на частотностях слов/лемм или символьных цепочек (character ngrams)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/5803142/rowling_table.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6650207/stylometric_distances.jpg)
Джоан Роулинг
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4862881/galbraith_mds.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/5884979/Снимок_экрана_2019-03-13_в_10.34.44.png)
Stylo
- Пакет в языке R для стилеметрии
- в него встроена Delta
- ...и еще много других метрик близости
- есть приятный графический интерфейс!
кстати, данные по Роулинг встроены в Stylo
Воспроизвести этот эксперимент можно в 3 команды (след.слайд)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/7039683/Screen_Shot_2020-02-07_at_10.31.13.png)
функция stylo ()
- расчет и визуализация стилистической близости
- Различные способы кластеризации (группировки) текстов по близости
- Отображение многомерного "стилистического пространства" текстов на плоскости (Principal Component Analysis MDS, tSNE)
- списки самых частотных слов, таблицы частотности и т.д.
- имеет графич.интерфейс
Stylo: быстрый старт
- О программе: сайт разработчиков Stylo
- Прекрасный HOWTO от разработчиков
- Моя инструкция по установке
-
Статья (основная по технич.части):
- Stylometry with R: A Package for Computational Text Analysis. M. Eder, M. Kestemont, J. Rybicki.
Но пока давайте вернемся к вопросу
«Зачем?»
Споры об авторстве
Presumably, each national literature has its own famous unsolved attribution case, such as the Shakespearean canon, a collection of Polish erotic poems of the 16th century ascribed to Mikołaj Sęp Szarzyński, the Russian epic poem The Tale of Igor’s Campaign, and many other.
Eder M. (2011) Style-markers in authorship attribution: A cross-language study of the authorial fingerprint.
Слово о полку Игореве
Уже двести лет не прекращается дискуссия о том, что представляет собой «Слово о полку Игореве», — подлинное древнерусское произведение или искусную подделку под древность, созданную в XVIII веке. <...> Гибель единственного списка этого произведения лишает исследователей возможности произвести анализ почерка, бумаги, чернил и прочих материальных характеристик первоисточника. Наиболее прочным основанием для решения проблемы подлинности или поддельности «Слова о полку Игореве» оказывается в таких условиях язык этого памятника.
A.А. Зализняк. "Слово о полку Игореве": взгляд лингвиста.
Слово о полку Игореве
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3459295/Zaliznyak.jpg)
Слово о полку Игореве
Речь ведь идет не о простых вещах, вроде того, чтобы помнить, как будет «хлеб» или «ходить» или как образуется прошедшее время от такого-то глагола, а о деталях несравненно более тонких и, главное, чрезвычайно многочисленных
A.А. Зализняк. "Слово о полку Игореве": взгляд лингвиста.
Слово о полку Игореве
Очень сильно различаются по трудности имитация единичных фактов и имитация системных фактов. Например, изображая деревенскую речь, имитатор может вставлять время от времени несколько запомненных им словечек вроде давеча или намедни — это довольно просто. Гораздо сложнее правильно воспроизвести некоторое системное явление, скажем, яканье. Имитатор произнесет (или напишет) бяда, дяревня, но он вполне может вставить в свою речь и пясать вместо писать, а это уже неверно: и в действительности не участвует в яканье.
A.А. Зализняк. "Слово о полку Игореве": взгляд лингвиста.
Стилометрия тоже смотрит на язык памятника — и на мелкие, малозаметные, системные детали
Первые измерения
-
1851 — математик А. де Морган предлагает длину слова как признак авторства
-
1873 — "New Shakspeare Society" Furnival, Fleay et al
-
1887 — Томас Менденхолл (T. Mendenhall), The Characteristic Curves of Composition, первая известная работа по количественному определению авторства
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3447460/De_falso_credita_et_ementita_Constantini_Donatione_declamatio__1_.jpeg)
Начала стилеметрии
-
1867 — Campbell L. The Sophisties and Polilicus of Plato.
-
1880 — W. Dittenberger,
Sprachliche Kriterien für die Chronologie der Platonischen Dialoge
-
1890 — W. Lutosławski, Principes de stylométrie
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3447484/Ditten.gif)
Lutoslawski W. The Origin and Growth of Plato’s Logic // Mind. 1898. Т. 7. № 27. С. 419–423.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/7041384/Screen_Shot_2020-02-07_at_17.52.09.png)
Стилеметрия в России
-
1915 — Морозов Н.А. Лингвистические спектры
(вдохновлен Лютославским)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3447588/MorozovLingSpectr.gif)
![](https://upload.wikimedia.org/wikipedia/commons/2/25/Morozov1910.jpg)
Потрясающий Н. А. Морозов
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4241227/Morozov1910_cool.png)
Потрясающий Н. А. Морозов
А еще этот человек написал "Лингвистические спектры"
- Морозову оппонировал сам Андрей Марков
- Марков А.А. Об одном применении статистического метода. 1916
- Видимо, Морозов первый осознал важность служебных слов
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3447588/MorozovLingSpectr.gif)
Как обычно, прорыв случился в 1960-е
Записки федералиста
- Серия знаковых статей эпохи Американской революции
- 12 спорных (Хэмилтон или Мэдисон)
- Статья Ф.Мостеллера и Д. Уоллеса Inference in an Authorship Problem (1963)
- '...определить авторство записок федералиста и предложить стандартный метод для решения проблем авторства'
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448003/Federalist.jpg)
Mosteller, Wallace, 1963
- The function words of the language appear to be a fertile source of discriminators, and luckily the high-frequency words are the strongest.
- <...>it is important to have a variety of sources of material, to allow “between writings” variability to emerge
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448809/MostellerWallaceFinalWords.png)
Mosteller, Wallace, 1963
In summary, the following points are clear:
- Madison is the principal author. These data make it possible to say far more than ever before that the odds are enormously high that Madison wrote the 12 disputed papers. <...>
- <...> While choice of underlying constants (choice of prior distributions) matters, it doesn’t matter very much, once one is in the neighborhood of a distribution suggested by a fair body of data.
Размер имеет значение!
Дж. Барроуз
Most readers and critics behave as though common prepositions, conjunctions, personal pronouns, and articles — the parts of speech which make up at least a third of fictional works in English — do not really exist. But far from being a largely inert linguistic mass which has a simple but uninteresting function, these words and their frequency of use can tell us a great deal about the characters who speak them.
Preface to Computation into Criticism, 1987
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448099/BurrowsCompToCrit.jpg)
Метод Delta
- Фактически стандарт в стилометрии с 2002 года
- Опирается на частотности слов (или символьных цепочек)
- Основан на очень простой математике
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4861918/zscores.png)
только Delta работает не с сырыми частотностями слов, а с z-scores, стандартными показателями
Z-преобразование (Standard score)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6611259/Screen_Shot_2019-10-03_at_13.01.29.png)
Z-score
(стандартный показатель)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3459445/Zscore.png)
где
- x – частотность слова в тексте
- µ - общая частотность слова по корпусу
- σ - стандартное отклонение частотности слова по корпусу
(вычисляется для каждого слова в каждом тексте)
Для каждого текста получается 100/300/500/n ...
таких стандартизированных частотностей слов
И вот между ними дельта уже измеряет расстояние линеечкой
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6650221/stylometric_distances_with_measures.jpg)
Джоан Роулинг
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4862881/galbraith_mds.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/5884979/Снимок_экрана_2019-03-13_в_10.34.44.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4571508/1_CA_100_MFWs_Culled_0__Classic_Delta__001.png)
На русском тоже работает (на семинаре убедитесь сами)
Применение
Delta и Stylo
в спорах об авторстве
Кто написал "Убить пересмешника"?
Харпер Ли
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4831405/HarperLeeToKill.jpg)
Харпер ли?
Вторая (и последняя) книга Харпер Ли — 2015 г.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4861573/watchman.png)
Один ли автор?
![](http://www.vothouse.ru/img/books/ubit-peresmeshnika-harper-lee.jpg)
![](https://images.gr-assets.com/books/1455621546l/26889280.jpg)
Харпер Ли и Трумен Капоте
![](https://upload.wikimedia.org/wikipedia/commons/thumb/b/b0/TrumanCapote1959.jpg/1200px-TrumanCapote1959.jpg)
![](http://i.telegraph.co.uk/multimedia/archive/03362/69385054_Author_of_3362081b.jpg)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4861629/wallstreet.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4861741/wybor.png)
Результаты:
- Eder, M., Rybicki, J. Go Set A Watchman while we Kill the Mockingbird In Cold Blood
- Eder, M., Rybicki, J. (2016). Go Set A Watchman while we Kill the Mockingbird in Cold Blood, with Cats and Other People. In Digital Humanities 2016: Conference Abstracts. Jagiellonian University & Pedagogical University, Kraków, pp. 184-186.
- (в этой версии есть еще редактор Харпер Ли)
Харпер Ли похожа на себя!
![](https://computationalstylistics.github.io/assets/img/Lee_and_others_consensus.png)
То же — в виде сети
![](https://computationalstylistics.github.io/assets/img/Lee_and_others.png)
Сетевые визуализации лучше отражают результаты:
<...> a new visualization technique, which combines the idea of nearest neighborhood derived from cluster analysis, the idea of hammering out a clustering consensus from bootstrap consensus tre es, with the idea of mapping textual similarities onto a form of a network. Additionally, network analysis seems to be a good solution for large datasets.
Eder M. Visualization in stylometry: Cluster analysis using networks // Digital Scholarship in the Humanities. 2017. vol. 32. issue 1. pp. 50–64.
Элена Ферранте
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4239252/Ferrante.png)
Title Text
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6769581/Screen_Shot_2019-11-13_at_18.08.10.png)
Шекспир
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4239318/Shakespeare1.png)
...или Марлоу?
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4239320/Shakespeare2.png)
Генрих VI: последовательный анализ
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4239325/Rollingshakespeare.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448899/ShakespeareGuardian.png)
функция rolling.classify ()
- динамический анализ (хорошо для исследования коллаборации авторов)
- считается Delta-расстояние в текстовом окне
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3459433/HarperLeeRollingDelta.png)
ну и Шолохов
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6769390/sholokhov_small_300.png)
ну и Шолохов
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6705797/sholokhov_small_network_big_font.png)
См. также:
Великанова Н. П., Орехов Б. В. Цифровая текстология: атрибуция текста на примере романа М. А. Шолохова «Тихий Дон» // Мир Шолохова. Научно-просветительский общенациональный журнал. — 2019. — № 1. — С. 70—82.
Бонус: не только авторство
But the study of literature and authorship is not only who wrote what, and who didn’t: it can be also about similarities and differences between texts by different authors
Maciej Eder, Jan Rybicki (2016). Go Set A Watchman while we Kill the Mockingbird in Cold Blood, with Cats and Other People
Кроме авторства:
- Жанры
- Влияние редактора
- Датировка
- Эволюция стиля автора: ранний и поздний стиль
- Пол
- Перевод и влияние переводчика
- Forensic linguistics, security and anonymity
Шекспир:
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4239772/shake_genres.png)
Датировка: Диккенс
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4241193/Screen_Shot_2017-10-19_at_09.25.08.png)
Датировка: Толстой
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4241191/Screen_Shot_2017-10-19_at_09.25.15.png)
Датировка: 1000 романов
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4241176/Screen_Shot_2017-10-19_at_09.21.55.png)
Агата Кристи
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4239815/Christie1.png)
Агата Кристи
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4239819/Christie2.png)
А кто такая Мэри Вестмакотт?
Оригиналы и переводы
Оригиналы
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4265761/Franch.png)
Maciej Eder, Jan Rybicki
Переводы на английский
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4270231/Screen_Shot_2017-10-25_at_23.12.39.png)
Maciej Eder, Jan Rybicki
Переводы на польский
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4270234/Screen_Shot_2017-10-25_at_23.12.56.png)
Maciej Eder, Jan Rybicki
"Ночь и день" Вирджинии Вулф, перевод на польский
![](http://www.dwutygodnik.com/public/media/image/47eb9a27.jpg)
Anna Kołyszko -> Magda Heydel
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4270245/Screen_Shot_2017-10-26_at_10.09.59.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4270253/Screen_Shot_2017-10-27_at_12.46.45.png)
Maciej Eder, Jan Rybicki
снова rolling.classify
Влияние редактора
![](http://dh2016.adho.org/abstracts/static/data/182/image1.png)
Choiński, M., Rybicki, J. (2016). Jonathan Edwards and Thomas Foxcroft: In Pursuit of Stylometric Traces of the Editor. In Digital Humanities 2016: Conference Abstracts. Jagiellonian University & Pedagogical University, Kraków, pp. 147-149.
Влияние редактора
![](https://dh2016.adho.org/abstracts/static/data/182/image2.png)
Consecutive segments of Edwards's Mind (1723); throughout the work, Edward's signal (red) dominates over the (absent) signal of Foxcroft.
Влияние редактора
![](http://dh2016.adho.org/abstracts/static/data/182/image3.png)
Consecutive segments of Edwards's Humble Inquiry (1749); in many other fragments, dominated by Edwards (red), Foxcroft's impact is still visible. The lower band shows the strongest signal; the upper, the second strongest.
Есть еще rolling.delta()
- Она как бы отрисовывает те обобщенные стилометрические расстояния, на которых работает rolling.classify
- Но ей меньше пользуются
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6769443/IP_OdnoetajnayaAmerika001.png)
Стилометрия за пределами литературы
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448190/Unabomber.jpg)
За пределами литературы
-
Unabomber Theodore Kaczynski perpetrated a number of bomb attacks on universities and airlines between 1978 and 1995
-
Promised to stop if his 35,000-word anti-industrialist “manifesto” was published in major newspapers
-
Distinctive writing style and turns of phrase enabled him to be identified
За пределами литературы
-
Скандал в Консервативной партии
-
Авторство книги Primary Colors
-
Дело Дерека Бентли
-
Adversarial stylometry
Стилометрия и контр-стилометрия
- деанонимизация
- разработка стилевых анонимизаторов
- определение демографических параметров
- определение родного языка по стилю языка неродного
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448932/Hackers.png)
И даже по стилю кода! :-0
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4571622/code_stylometry.png)
Стилометрия в СМИ
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448898/Juola.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448899/ShakespeareGuardian.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448902/PopSci.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448905/SciAm.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3448914/EderRybHarperLeee.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3459430/Screen_Shot_2017-02-03_at_14.31.53.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3459433/HarperLeeRollingDelta.png)
тетрадка для практики
Кто еще не успел — попробуйте сейчас обзавестись stylo, действуя по этой инструкции
Короткая ссылка на инструкцию:
tinyurl.com/yyrmv5uh
Инструкции для вас
Stylo: главные функции
- stylo ()
- classify ()
- rolling.delta (), rolling.classify ()
- oppose ()
stylo ()
- расчет и визуализация стилистической близости
- Различные способы кластеризации (группировки) текстов по близости
- Отображение многомерного "стилистического пространства" текстов на плоскости (Principal Component Analysis MDS, tSNE)
- списки самых частотных слов, таблицы частотности и т.д.
classify ()
- тестирование определения авторства на основе Delta (и других мер стилистической близости)
- для классификации используются стандартные алгоритмы анализа данных: машины опорных векторов, метод К ближайших соседей и т.п.
- нужно два набора документов
- обучающая выборка (primary_set)
- тестовая (secondary_set)
Классификация versus Кластеризация
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6769593/Classification.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6769594/Clustering.png)
Результаты выглядят так:
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/6769421/Screen_Shot_2019-11-13_at_17.37.11.png)
rolling.classify ()
- динамический анализ (хорошо для исследования коллаборации авторов)
- считается Delta-расстояние в текстовом окне
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/3459433/HarperLeeRollingDelta.png)
oppose ()
- контрастивный анализ: выделяет слова, которые статистически отличают один набор текстов от другого
- хорошо подходит для различных сравнительных исследований (e.g. мужчины vs женщины)
Title Text
![](https://s3.amazonaws.com/media-p.slid.es/uploads/641147/images/4831981/WomenVSmen_Craig_001.png)
Источники по стилометрии:
- Style-markers in authorship attribution: A cross-language study of the authorial fingerprint (хорошая статья Мачея Эдера)
- А тут его прочие статьи.
- ... и статьи его коллеги Яна Рыбицкого (тут, в частности, про переводы).
- Лекция Рыбицкого: youtu.be/XoZ2HMYw2U4
- Сайт Stylo и вся документация: sites.google.com/site/computationalstylistics/stylo
- Как работают метрики Delta: Outliers or Key Profiles? Understanding Distance Measures for Authorship Attribution
P.S. Кстати, а у нас-то что, не было после Морозова стилометристов?
Meanwhile in (Soviet) Russia
-
Виноградов В. В. (1961) Проблема авторства и теория стилей
- Мартыненко Г.Я. (1988) Основы стилеметрии
- Мухин М.Ю. (2011) Лексическая статистика и идиостиль автора: корпусное идеографическое исследование на материале произведений М. Булгакова, В. Набокова, А. Платонова и М. Шолохова
-
М. Ю. Михеев, Л. И. Эрлих (2017 доклад). Идиостиль и определение авторства текста по частотам служебных слов (люди переизобрели Delta, не зная о ней... 🚲 🚲)
tinyurl.com/y6n3cokd
Данные для практики
Стилометрия минор продолжение
By danilsko
Стилометрия минор продолжение
- 1,793