Нейросеть с местными новостями
Oct. 8th, 2021 11:33 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
redisВдохновленный примером нейральной Медузы, нейросети, создающей смешные и абсурдные заголовки на основе реальных новостей Медузы, попробовал на основе aitextgen создать такую же, но на базе латвийских новостей.
Первым делом написал скрипт, который вытянул с одного новостного сайта все заголовки за последние семь лет. Тут немного страшно, я нагружаю их базу и архив, не уверен, что это законно.
Попробовал, нейросеть тупит и рождает странные околорусские слова почище некоторых поэтов серебряного века:
- В Валмуземе строит газа обороны
- Килобайт культуры: Национальный церквий такс в Риге заметило
- Народ надеется суажать ребендовать порах
В общем, как бы да, а как бы и нет. Не очень результатец.
- Шпроты сократилов для бюджета — второй киноффект
- Проблема взрывивает в труде
- Яукалнс привлекторов столичных
Видимо, база заголовков маловата, всего шесть мегабайт, нейросети не на чем обучаться.
- В Румногихаилиаду наградили боротьба с авиалитацией
- В Балтии вновь стало взяткус на улица майской гостя
- Латышиков покажут фирмы недвижимость
То ли нужны более точные настройки, то ли проблемы с самим текстом. Может быть алгоритму нужны точки в конце предложений?
- Килобайт культуры: Андрика Верхоуст
- Президент Васкса считает, что удобно, что в первому надо было включить, не сборная Латвии
- Президент Украине: на пожар в Латвии защитые сотрудники
Добавил скрипт, вытаскивающий и тексты новостей, вытащил все новости за этот год, размер обучающего файла вырос до 22 мегабайт. Запустил обучение, потом снова генератор, вроде как более разумное, каждый десятый созданный заголовок уже можно прочитать:
- Алкогольная школа может быть сортировать реакцинирование
- Из-за Covid-19 в стране в Риге отрасли могут отдавать
- Такая «Жизнь сегодня»: массовая безопасность, но и ок
Отдельно отмечу следующую пару:
- Пабрикс сказал, что Латвии следует портить птиц [Понятно, чем занимается наш министр обороны]
- Латвия вышла на на природе силы, следует сертификатов на улице Шавреичу [журналиста ограбливаемого на заголовки портала Шаврея нейросеть фамильярно назвала Шавреичем]
Будет время, попробую еще подкрутить параметры, может еще пару лет данных выкачаю. Все равно пока что как-то не очень. Или по-латышски попробую, там новостей больше
Первым делом написал скрипт, который вытянул с одного новостного сайта все заголовки за последние семь лет. Тут немного страшно, я нагружаю их базу и архив, не уверен, что это законно.
Попробовал, нейросеть тупит и рождает странные околорусские слова почище некоторых поэтов серебряного века:
- В Валмуземе строит газа обороны
- Килобайт культуры: Национальный церквий такс в Риге заметило
- Народ надеется суажать ребендовать порах
В общем, как бы да, а как бы и нет. Не очень результатец.
- Шпроты сократилов для бюджета — второй киноффект
- Проблема взрывивает в труде
- Яукалнс привлекторов столичных
Видимо, база заголовков маловата, всего шесть мегабайт, нейросети не на чем обучаться.
- В Румногихаилиаду наградили боротьба с авиалитацией
- В Балтии вновь стало взяткус на улица майской гостя
- Латышиков покажут фирмы недвижимость
То ли нужны более точные настройки, то ли проблемы с самим текстом. Может быть алгоритму нужны точки в конце предложений?
- Килобайт культуры: Андрика Верхоуст
- Президент Васкса считает, что удобно, что в первому надо было включить, не сборная Латвии
- Президент Украине: на пожар в Латвии защитые сотрудники
Добавил скрипт, вытаскивающий и тексты новостей, вытащил все новости за этот год, размер обучающего файла вырос до 22 мегабайт. Запустил обучение, потом снова генератор, вроде как более разумное, каждый десятый созданный заголовок уже можно прочитать:
- Алкогольная школа может быть сортировать реакцинирование
- Из-за Covid-19 в стране в Риге отрасли могут отдавать
- Такая «Жизнь сегодня»: массовая безопасность, но и ок
Отдельно отмечу следующую пару:
- Пабрикс сказал, что Латвии следует портить птиц [Понятно, чем занимается наш министр обороны]
- Латвия вышла на на природе силы, следует сертификатов на улице Шавреичу [журналиста ограбливаемого на заголовки портала Шаврея нейросеть фамильярно назвала Шавреичем]
Будет время, попробую еще подкрутить параметры, может еще пару лет данных выкачаю. Все равно пока что как-то не очень. Или по-латышски попробую, там новостей больше
no subject
Date: 2021-10-08 08:42 am (UTC)no subject
Date: 2021-10-08 08:45 am (UTC)no subject
Date: 2021-10-08 08:57 am (UTC)no subject
Date: 2021-10-08 12:12 pm (UTC)no subject
Date: 2021-10-08 12:20 pm (UTC)no subject
Date: 2021-10-08 12:36 pm (UTC)no subject
Date: 2021-10-08 12:39 pm (UTC)Ему скормили Википедию, теперь AI действительно разумно отвечает на вопросы, что-то вроде псевдо-живого справочника