Entity Linking for customer support dialogues

Ilia Karpov

LLM Development

KG and LLMs

Knowledge graph types

Knowledge graph example

Knowledge graphs and llms

KG construction key steps

  • Named Entity Recognition (NER) – the task of identifying and classifying named entities, such as people, organizations, or locations, mentioned in the text.
  • Relation Extraction (RE) – the identification and classification of semantic relationships between recognized entities within textual data .
  • Coreference Resolution (CR) – detecting and resolving different textual mentions referring to the same real-world entity within a document or across multiple documents .
  • Entity Linking (EL) – the process of mapping recognized entities to their corresponding entries in an external structured knowledge base, such as Wikidata or DBpedia, to resolve ambiguities
  • Knowledge Fusion — integration and deduplication of extracted entities and relations to create a unified knowledge graph.
  • Quality Assessment & Validation — evaluation of the accuracy of extracted entities and relations, error correction, and integrity verification.

KG construction pipeline

KG generation

Data Source Specification

DBpedia - an encyclopedic KG based on Wikipedia, containing descriptions of 4.8
million entities with properties extracted from infobox templates, and includes 768
classes. 

 Public Company Register (EGRUL) is an Enterprise KG
comprising meta-information about Russian companies maintained by Federal Tax
Service, including over 30 fields about 1,878,507 organizations

Synthetic dialogs

Представитель компании: Добрый день, я являюсь представителем ООО "ВЛАДИСЛАВ" и хотел бы узнать подробности о настройке онлайн-банкинга для нашей компании.
Служба поддержки: Здравствуйте! Конечно, я помогу вам с настройкой. Для начала мне понадобятся ваши реквизиты и информация о вашей компании.
Представитель компании: Наша компания занимается торговлей розничными непродовольственными товарами, не включенными в другие группировки, в специализированных магазинах. Мы расположены по адресу 352900, Краснодарский край, г. Армавир, ул. Кропоткина, д. 242, помещение 2. Наш капитал составляет 4 300 000 рублей.
Служба поддержки: Спасибо за предоставленную информацию. Для настройки онлайн-банкинга нам потребуется ваше юридическое название, ИНН и реквизиты счета.
Представитель компании: Наше юридическое название - ООО "ВЛАДИСЛАВ", наш ИНН - 1234567890, а реквизиты счета предоставлю вам сейчас. Мы также сотрудничаем с несколькими компаниями, такими как ПЕНЗААГРОПРОМСАД, ТКП ЭЛЗА и ВСЁ ВКУСНОЕ. Это партнеры, с которыми мы часто проводим финансовые операции.

Curation scheme

Curation scheme

Synthetic Data Validation

Synthetic Data Validation

Synthetic Data Validation

Evaluatipon pipeline

Evaluatipon pipeline

Evaluatipon pipeline

LLM for CR EL

GNN for CR EL

Unsupervised LLM for EL 

Overall results

Overall results

Real Data Evaluation

G

By karpovilia