Створення власних лінгвістичних корпусів

КОЗОРІЗ, О. (2021). Creating own linguistic corpora. Вісник Київського національного університету імені Тараса Шевченка. Східні мови та літератури, 1(27), 6–12. https://doi.org/10.17721/1728-242X.2021.27.6-12

Досліджено проблему створення власних корпусів паралельних текстів великих обсягів. Запропоновано методику та критерії конструювання паралельних лінгвістичних корпусів. У результаті дослідження створено об'єднаний корпус на 3 850 000 пар речень або на 65 мільйонів слів англійської частини, що за обсягом становить 10 % відомого корпусу COCA або корпусу GRAC. Дієвими виявилися методи завантаження матеріалу для корпусу на основі частотного списку, термінологічних словників, а також частотних списків слів попередньо самостійно створених корпусів. Проведено теоретичні розвідки та практичні дослідження задля нормалізації корпусу. Результативними для дослідження корпусу виявилися співвідношення type / token ratio, автоматичний індекс читабельності ARI, показники середньої довжини речення ASL тощо. Побудова графіків розподілу лексики за частотністю та довжиною речень у корпусі яскраво унаочнює результати наших досліджень, ефективно репрезентує матеріал. Також можна говорити про вдалий досвід створення вузьких спеціалізованих термінологічних корпусів на противагу термінологічним словникам для подальших досліджень саме функціональних особливостей, моделей речень тієї чи іншої терміносистеми. Отримано корпуси медичного і біологічного спрямування (приблизно 500 тис. пар речень кожен), а також політехнічного на 1,3 млн. Загалом було укладено вісім корпусів, для п'яти з них пораховано загальну кількість знаків, слів та речень у корпусі з відповідною узагальнювальною таблицею; встановлено середню довжину речень ASL, визначено автоматичний індекс читабельності ARI, співвідношення type / token ratio TTR; для корпусів складено частотні списки лексики, пораховано загальну кількість унікальної лексики та побудовано відповідні логарифмічні графіки; запропонована методика аналізу розподілу лексики частотного словника тексту на основі графіків через поділ їх на три частини: початкову, середню та хвостову – вважається нами перспективною.