Google изучил эволюцию языка за двести лет

[logvin]

Ученые приспособили поисковый сервис Google для проведения масштабных лингвистических исследований. С его помощью специалисты, используя 5 миллионов отсканированных книг, смогли проследить эволюцию языка в последние 200 лет. Статья специалистов опубликована в журнале Science, а коротко о работе пишет New Scientist.

До сих пор у лингвистов не было инструмента, при помощи которого можно было бы проанализировать значительное количество текстов. Авторы нового исследования работали с книгами, которые были переведены в цифровой формат к настоящему моменту - всего их насчитывается около 15 миллионов. Ученые выбрали из них треть текстов (5,2 миллиона книг, написанных на английском, французском, испанском, немецком, китайском и русском языках) и составили базу всех использованных в них слов - их получилось около 500 миллиардов. Базу слов Ngrams можно найти здесь - поиск по словам осуществляется на базе алгоритмов Google.

Проанализировав полученные данные, авторы смогли сделать большое количество разнообразных выводов. В частности, они установили, что за последние сто лет число часто используемых слов возросло вдвое - если в 1900 году использовалось около 544 тысяч слов, то в 2000 году эта цифра возросла до одного миллиона, причем 52 процента новых слов стало активно употребляться после 1950-х годов.

Кроме того, специалисты изучили, как сказывалась на использовании тех или иных слов цензура. Ученые установили, что после 1989 года словосочетание "площадь Тяньаньмень" практически перестало встречаться в литературе, изданной в Китае. То же самое произошло с именем Лев Троцкий в СССР в 1940-е годы и с именами голливудских актеров, уличенных в связях с Советским Союзом в США.

Авторы и их коллеги полагают, что новый инструмент позволит ученым исследовать слова и лингвистические тенденции, используя те же подходы и методы, что и специалисты по естественным наукам.

Источник
Добавлено:
Отсебятина:
Забавная игрушка:
Анализ слова "счастье"



 

[AliBaba]

Иногда получаются странные результаты: я попробовал два совершенно нейтральных слова "один" и "два" между 1800 и 2000 годами. С "два" картина нормальная, как использовали, так и используют, а "один" начали широко употреблять только с 1917 года!

[Koss]

я ввёл слово "халява" - ну очень показательно

[Voice]

И что там показательного? Слово стало широко употребляться в письменной речи, когда приобрело значение "безвозмездно". До этого областное просторечное название голенища широкого хождения в литературных кругах не имело. Да и в устной речи отсутствовало.

Прямо полагаться на эти графики не стоит вообще, тем более в русскоязычной части - слишком мало материала, особенно старого. В графиках целые десятилетия выпадают. Да словоформы, да варианты, да старая орфография... Как с ней быть, вообще непонятно... У англов хоть все буквы сохранились.

[trya]

да... многозначительно со "счастьем" получилось...

но что интересно, "несчастье" со "счастьем" сильно коррелирует