Новый многоязыковой алгоритм поиска фирма Google показала два года назад. Он получил название BERT. Он смог анализировать не только слова, но и предложения целиком. На базе этого алгоритма с открытым кодом китайские цензоры создали программу поиска с использованием некоторых методов искусственного интеллекта.
Китайские цензоры уже давно сильно ограничивают свободу слова в китайской части сети интернет. Для этого они используют поиск по ключевым словам. К счастью, он эффективен всего лишь на 70% из-за сложности языка. С помощью обученной нейросети китайцы смогли повысить эффективность поиска до 80%.
Но тут выяснилось, что поисковый алгоритм BERT повышает точность результата поиска до 91%. Правда, алгоритм мог обрабатывать только тексты до 512 слов (около шести абзацев).
Китайцы (из Шэньянского университета Лигун и Китайской академии наук), видимо по заданию Партии, начали совершенствовать алгоритм. Они научили его разбивать длинные тексты на короткие. По мнению китайцев, получилось решение, которое может искать даже скрытый между строк смысл, подтекст. Правда такой поиск может посчитать крамольными даже совершенно невинные тексты. Например, в советское время из фильмов вырезали или переозвучивали фрагменты, где крайне сложно увидеть критику или что-то запрещённое. С автоматизацией таких мест, скорее всего, станет больше.
В Китае очень развита цензура в Сети. С её помощью ищут содержимое от аморального и террористического до нападок на коммунистическую партию и строй в государстве. Над этой глупостью работает множество людей — цензоров. С помощью современных алгоритмов Китай планирует ещё сильнее ограничить свободу слова в интернете. Но, похоже, они не понимают, что отсутствие других мнений вызывает как раз очень сильное желание противодействовать основной линии Партии. То есть, пытаясь всё контролировать, они не контролируют ничего.
