Статистика текста

Что именно такое слово

Попросите три программы посчитать слова — и легко получите три разных ответа. Расхождение — не ошибка, а вопрос определения. Сложное слово через дефис вроде «state-of-the-art» для верстальщика — одно слово, а для наивного разбиения — четыре. Апостроф в «don't» не должен разрывать слово, тогда как апостроф как кавычка — должен. Числа, URL и адреса эл. почты каждый требуют своего правила.

Этот инструмент считает словом последовательность букв или цифр, которую при необходимости продолжают апостроф и ещё буквы. Поскольку сопоставление учитывает Юникод, акцентированная латиница, греческий, кириллица и CJK-символы считаются буквами, а не отбрасываются. Знаки препинания между последовательностями их разделяют, поэтому «well-known» считается за два, а «it's» — за одно. Знание правила важнее, чем выбор конкретного правила, ведь оно позволяет предсказать число, а не спорить с ним.

Предложения, абзацы и строки

Обнаружение предложений без языковой модели по природе эвристично. Разбиение по точкам, вопросительным и восклицательным знакам работает для обычной прозы и предсказуемо ошибается на сокращениях: «Dr. Smith arrived at 9 a.m.» для наивного разбиения — три предложения. Считайте количество предложений хорошей оценкой для анализа читаемости, а не точной цифрой.

Абзацы и строки механичнее, но всё же различны. Строка — всё, что разделено переводом строки, поэтому жёстко перенесённый файл имеет много строк и мало абзацев. Абзац — блок, разделённый одной или несколькими пустыми строками, что совпадает с тем, как думают Markdown и большинство редакторов. Сравнение двух чисел быстро показывает, пришёл ли текст с жёстким переносом, что важно при вставке в систему с перепотоком.

Время чтения и частота

Оценка времени чтения использует 200 слов в минуту — распространённое среднее для тихого чтения обычной прозы. Реальные скорости сильно различаются: технический материал с примерами кода читается медленнее, знакомый маркетинговый текст — быстрее, а чтение с телефона медленнее, чем с компьютера. Используйте цифру для относительного сравнения, а не как обещание читателям.

Частота слов — то, ради чего инструмент нужен при редактуре. Сортировка по количеству вскрывает бессознательные повторы, слова-костыли, появляющиеся одиннадцать раз на восемьсот, и то, является ли тема, которую вы хотели описать, самым частым существительным. Переключатель «игнорировать общие слова» убирает служебные слова закрытого класса — артикли, предлоги, местоимения, — которые иначе доминируют в каждом списке на любом языке и ничего не говорят.