"Сырые данные" — это что-то вроде надписи на заборе, но к ним не может относиться информация, которая уже прошла через корпоративные системы, ту же CRM. Это достаточно точные данные", — уверен Сергей Голицын. На этом "сырье" без значительных инвестиций можно запускать проверку гипотез. И только после того, как результат найдет подтверждение, следует инвестировать в повышение качества данных, в их разметку, дедупликацию.
Иной подход и уровень инвестиций требуется при подготовке данных для обучения моделей. "Сильнее всего от качества данных зависит обучение фундаментальных моделей. Качество курации должно быть важнее объема данных, и за этим стоит целая методология: создание сложных датасетов, их взвешивание", — добавил Сергей Голицын.
Он напомнил, что именно из-за низкого качества данных первые модели часто галлюцинировали и выдавали ту информацию, которую попросту заучили. Теперь, по его словам, с такими проблемами сталкиваются значительно реже.
