СЕГМЕНТАЦІЯ ТЕКСТУ В БАГАТОСТОРОННІХ ДІАЛОГАХ
DOI:
https://doi.org/10.20998/2227-6890.2025.1.11Ключові слова:
сегментація тексту, BERT-ембедінги, обробка природної мови, лінгвістичні ознаки, автоматичне розпізнавання мовленняАнотація
У статті йдеться про повноцінний відкритий інструмент, що дозволяє виконувати сегментацію діалогів кількох учасників з використанням мінімального обсягу навчальних текстів або без його використання; доведено, що основною проблемою існуючих рішень є неповноцінність їх інструментів, які виступають лише демонстрацією можливих способів решения; запропоновано гібридну модель сегментації, що базується на використанні ембедінгів BERT та деяких лінгвістичних ознак, унікальних для діалогів кількох учасників; представлено хороші результати моделі, які можна порівняти з провідними результатами, описаними в роботах за цією тематикою; підсумком роботи стало створення повноцінного інструменту, що дозволяє автоматично відтворювати сегментацію.
Посилання
Zeng, Y., Li, J., Zhao, L., Kang, Y., Sun, C., Zhang, Q., & He, X. (2021). Unsupervised dialogue summarization with topic-aware ranking and context modeling. In Proc. of AAAI 2021, 35(16), 14674–14682.
Inan, H., Rungta, R., & Mehdad, Y. (2022). Structured summarization: Unified text segmentation and segment labeling as a generation task. In Findings of EACL 2022 (pp. 883–893). Association for Computational Linguistics.
Zhang, Y., Liu, Y., Xu, Y., Zhu, C., & Zeng, M. (2022). DialogLM: Pre-trained model for long dialogue understanding and summarization. In Proc. of AAAI 2022, 36(10), 10965–10973.
Xing, L., & Carenini, G. (2021). Improving unsupervised dialogue topic segmentation with utterance-pair coherence scoring. In Proc. of SIGDIAL 2021 (pp. 167–177). Association for Computational Linguistics.
Solbiati, A., Yvon, F., & Joly, A. (2021). Dialogue topic segmentation for meeting transcripts using BERT embeddings. In Proc. of IEEE SLT 2021 (pp. 757–764). IEEE.
Matsumoto, K., Sasayama, M., & Kirihara, T. (2022). Topic break detection in interview dialogues using sentence embedding of utterance and speech intention based on multitask neural networks. Sensors, 22(2), 694.
Nair, I., Garimella, A., Srinivasan, B. V., Modani, N., Chhaya, N., Karanam, S., & Shekhar, S. (2023). A neural CRF-based hierarchical approach for linear text segmentation. In Findings of ACL 2023 (pp. 883–893). Association for Computational Linguistics.
Wu, C.-S., Hoi, S., Socher, R., & Xiong, C. (2020). TOD-BERT: Pre-trained natural language understanding for task-oriented dialog. In Proc. of EMNLP 2020 (pp. 917–929). Association for Computational Linguistics.
Das, R., Goyal, P., Kale, D., & Hakkani-Tür, D. (2024). Structured open-domain dialogue segmentation and state tracking. (Preprint arXiv:2403.00027).
Feng, S., et al. (2021). MultiDoc2Dial: Modeling dialogues grounded in multiple documents. In Proc. of EMNLP 2021 (pp. 5847–5860). Association for Computational Linguistics.
