Entity Linking for customer support dialogues
Ilia Karpov
LLM Development
KG and LLMs
Knowledge graph types
Knowledge graph example
Knowledge graphs and llms
KG construction key steps
- Named Entity Recognition (NER) – the task of identifying and classifying named entities, such as people, organizations, or locations, mentioned in the text.
- Relation Extraction (RE) – the identification and classification of semantic relationships between recognized entities within textual data .
- Coreference Resolution (CR) – detecting and resolving different textual mentions referring to the same real-world entity within a document or across multiple documents .
- Entity Linking (EL) – the process of mapping recognized entities to their corresponding entries in an external structured knowledge base, such as Wikidata or DBpedia, to resolve ambiguities
- Knowledge Fusion — integration and deduplication of extracted entities and relations to create a unified knowledge graph.
- Quality Assessment & Validation — evaluation of the accuracy of extracted entities and relations, error correction, and integrity verification.
KG construction pipeline
KG generation
Data Source Specification
DBpedia - an encyclopedic KG based on Wikipedia, containing descriptions of 4.8
million entities with properties extracted from infobox templates, and includes 768
classes.
Public Company Register (EGRUL) is an Enterprise KG
comprising meta-information about Russian companies maintained by Federal Tax
Service, including over 30 fields about 1,878,507 organizations
Synthetic dialogs
Представитель компании: Добрый день, я являюсь представителем ООО "ВЛАДИСЛАВ" и хотел бы узнать подробности о настройке онлайн-банкинга для нашей компании.
Служба поддержки: Здравствуйте! Конечно, я помогу вам с настройкой. Для начала мне понадобятся ваши реквизиты и информация о вашей компании.
Представитель компании: Наша компания занимается торговлей розничными непродовольственными товарами, не включенными в другие группировки, в специализированных магазинах. Мы расположены по адресу 352900, Краснодарский край, г. Армавир, ул. Кропоткина, д. 242, помещение 2. Наш капитал составляет 4 300 000 рублей.
Служба поддержки: Спасибо за предоставленную информацию. Для настройки онлайн-банкинга нам потребуется ваше юридическое название, ИНН и реквизиты счета.
Представитель компании: Наше юридическое название - ООО "ВЛАДИСЛАВ", наш ИНН - 1234567890, а реквизиты счета предоставлю вам сейчас. Мы также сотрудничаем с несколькими компаниями, такими как ПЕНЗААГРОПРОМСАД, ТКП ЭЛЗА и ВСЁ ВКУСНОЕ. Это партнеры, с которыми мы часто проводим финансовые операции.
Curation scheme
Curation scheme
Synthetic Data Validation
Synthetic Data Validation
Synthetic Data Validation
Evaluatipon pipeline
Evaluatipon pipeline
Evaluatipon pipeline
LLM for CR EL
GNN for CR EL
Unsupervised LLM for EL
Overall results
Overall results
Real Data Evaluation
