Практические советы по реализации систем извлечения информации

воскресенье, декабря 03, 2006

Что такое text mining

Решил написать небольшую серию постов, некоторое введение в text mining. Что это такое, какие задачи ставятся, как решаются, какие направления сейчас развиваются. Начну с общего обзора.

Text mining, в отличие от своего старшего брата data mining, сравнительно молодая область computer science, большинство значительных результатов было получено в последние 10-15 лет. Как мне кажется, связано это в первую очередь с появлением очень большого количества доступной каждому текстовой информации и появлением соответствующих таким объемам вычислительных мощностей. Для задач data mining входной информацией являются некоторые объекты с небольшим числом свойств, на основании которых делаются определенные выводы. Например, объектом может быть история болезни, свойствами — результаты анализов и осмотров, а выводы, соответственно, диагноз. Системы text mining оперируют с набором документов, слова из которых можно аналогичным образом считать свойствами. При этом размер таких документов может быть очень большим (несколько тысяч слов), а размер общего словаря по всем документам может достигать нескольких сотен тысяч слов. Здесь нужно отметить одно важное свойство набора документов: если представить его в виде матрицы документ-слово (где элемент aij равен 1, если слово j содержится в документе i и 0 в противном случае), мы увидим, что она имеет сильно разреженную структуру, то есть большинство элементов равно 0. Это позволяет создавать эффективные (по памяти и скорости) алгоритмы обработки очень больших объемов данных.

Задачи text mining

  1. Классификация (classification). Задача заключается в отнесении документа к одной из нескольких заранее определенных категорий, основываясь на содержании документа. Для построения классификаторов используется обучающая выборка из документов с присвоенными им категориями. Классический пример: классификация писем по категориям спам/не спам. Самые простые классификаторы: метод k ближайших соседей и классификатор Байеса.
  2. Кластеризация (clustering) отличается от классификации тем, что мы не знаем какие существуют категории. У нас нет никакой обучающей выборки, есть только документы, которые надо попытаться определенным образом сгруппировать в кластеры (категории). Причем, как правило, неизвестно даже число возможных категорий (хотя его можно более-менее точно оценить. Существует два типа алгоритмов кластеризации: одни работают с заранее определенным числом категорий (например, алгоритм k-средних), другие с неизвестным (например, иерархическая кластеризация). Известные примеры использования кластеризации: Яндекс.Новости и Nigma.
  3. Извлечение фактов (fact/information extraction). Название говорит за себя, задача заключается в извлечении из неструктурированного текста информации определенного вида, например пресс-портрета или цитат.
В следующих постах расскажу подробно о каждой из задач.

119 комментариев:

Анонимный комментирует...

Воооот с этого и надо было начинать. А то читал ваш блог вообще не понимая зачем. Изначально занес его потому что вижу что написано что-то умное, непонятное, но жутко интересное. А теперь хоть немного понимаю про что это все )))

krondix комментирует...

Да, я уже понял свою ошибку :-)

ajvol комментирует...

Насколько я помню, в Компьютерре использовали термин "интеллектуальный анализ текстов".

krondix комментирует...

Я предпочитаю не переводить "text mining" по двум причинам: не все сразу поймут о чем речь и все существующие переводы достаточно странные.

Анонимный комментирует...

А чем отличется data mining, text mining и information retrieval?

krondix комментирует...

Коротко говоря, у все эти три термина подразумевают одну и ту же задачу: на основе некоторых входных данных сделать некоторое предсказание. Различаются входные данные. Data mining оперирует с хорошо структурированной информацией, которую легко представить в табличной форме, где строчки это объекты, а колонки их свойства. Text mining оперирует с неструктурированной информацией, как правило, текстами на естественных языках. Впрочем, тексты тоже представимы в виде таблицы, только колонок (слов) будет очень много.

Information retrieval, наверное, самый неоднозначный термин. В широком смысле, он включает в себя и data mining, и text mining, и вообще все что под руку попадется. Если смотреть уже, то под information retrieval часто понимают классическую поисковую задачу, то есть найти наиболее релевантные запросу документы.

Анонимный комментирует...

Интересно чем все таки отличаются data mining, text mining!

krondix комментирует...

Комментарием выше уже ответил на этот вопрос :-) Нужны еще пояснения?

Анонимный комментирует...

Очень интересно! Когда же будет про кластеризацию документов?

Анонимный комментирует...

http://en.wikipedia.org/wiki/Text_mining
а ещё лучше
http://de.wikipedia.org/wiki/Textmining
с IR сравнивая, text mining выдаёт единичную информацию или факты, а вот IR- целые документы.

Тима комментирует...

Я вот чешу репу над парсингом объявлений, и их систематизацией. Какой софт может это делать?

Анонимный комментирует...

Интересно

Анонимный комментирует...

Можно ли взять одну картинку с Вашего блога? Очень понравилась. Линк на Вас есстественно поставлю.

Анонимный комментирует...

A chto dlya vas vash blog? Vi proffesional’niy blogger ili eto prosto dlya dushi?

Анонимный комментирует...

Автор, а Вы в каком городе живете если не секрет?

Анонимный комментирует...

Автор, а скажите а куда написать по поводу обмена ссылок (на какое мыло)?

Анонимный комментирует...

А какой это движок? тоже хочу блог завести

Анонимный комментирует...

Достаточно интересная и познавательная инфа

Анонимный комментирует...

Интересно стало, а комментарии которые не нравятся автору здесь удаляют?

Анонимный комментирует...

Как говорится.. Не дать не взять, зачётная статья!

Анонимный комментирует...

Все-таки на самом деле нравится мне Ваш блог. Всегда очень интересно читать, включая эту тему

Анонимный комментирует...

[url=http://wmtraffs.ru/]WMTraffs.ru[/url] - зарабатывай деньги, разставляя ссылки на нашей партнёрской программе
Сайт WMTraffs.ru предлагает всем возможность зарабатывать на любой интернет-ссылке, не имея сайта. Такженаша партнёрка предоставляет выкуп трафика с сайтов с помощью popunder, clickunder, растяжка в шапке, обычные баннера.

Анонимный комментирует...

Просто мега сайт! Очень помог мне в просвещении[url=http://kvartdiz.ru].[/url] Спасибо хоум пэйдж - http://kvartdiz.ru

Анонимный комментирует...

Посмотрел сайт и его содержание. Отлично оформлен и в остальном весь классно[url=http://wertepik.ru].[/url] Спасиба Админам! :0


-----------------------------
хомяк - http://wertepik.ru

Анонимный комментирует...

Интересно, у какого регистратора вы покупали доменное имя? Полная приватность[url=http://choojimmy.ru],[/url] вот что нужно, если не сложно оставьте свою асю...
Хомяк - http://choojimmy.ru

Анонимный комментирует...

Не сочтите за спам.
Просто хочу сказать спасибо авторам за полезный и познавательный ресурс. Прочитал почти все статьи.
Сам тоже веду блог http://www.rusistoria.ru

Анонимный комментирует...

Просморел контент[url=http://carvesti.ru].[/url] Неплохо бы было обновлять разделы почаще а в отсальном и блог классно оформлен.
Хотелось бы узнать цены на размещение рекламы на вашем ресурсе. Постучитесь в асю плз! Заранее Благодарю!
Хоум пейдж - http://carvesti.ru

Анонимный комментирует...

Не думали продать свой проект? Немедленно покупаю русскоязычные. Коль интересно, оставте контакты.
http://www.restbizz.ru

Анонимный комментирует...

Понравился ваш блог. Сильно насыщен информацией. На рсс подписался. Скажите позволительно ли подписаться на email рассылку?
http://russianug.ru/?cat=12

Анонимный комментирует...

Здравствуйте, уважаемые админы. Хотел бы поинтересоваться на счет выкупа доменного имени вашего сайта[url=http://0vosh.ru].[/url] Всю инфу отправил на мыло хуиса, на который зареген домен. Заранее спасибо
Home Page - http://0vosh.ru
P.S ну или стукните в асю на крайняк )))

Анонимный комментирует...

Ну не так чтоб уж очень круто. побольше бы таких блогов полезных…. Много нового узнал!


____________________________
http://artsteklo.net/

Анонимный комментирует...

Если вам не нравится я её ещё день назад просматривал Взляните сюда


__________________________________________
http://sun7foto.ru

Анонимный комментирует...

Если вам не нравится но нашел для себя интересные реализации Много нового узнал!


____________________________
http://homefoto36.ru

Анонимный комментирует...

Ну круто, Просто, ясно и доступно. Взляните сюда


_________________
http://kievgals.ru

Анонимный комментирует...

Спасибо я её ещё день назад просматривал только жалко изображения пропали:(



_________________
http://funkavkaz.ru

Анонимный комментирует...

Хорошо я её ещё день назад просматривал респект и уважуха!

Анонимный комментирует...

Ну не так чтоб уж очень круто. побольше бы таких блогов полезных…. только жалко изображения пропали:(

Анонимный комментирует...

Спасибо А какой самый ? только жалко изображения пропали:(



___________________
http://olympus30.ru

Анонимный комментирует...

Спасибо но нашел для себя интересные реализации Много нового узнал!

Анонимный комментирует...

ДА! этих именно Взляните сюда


_____________
http://gallery007.ru

Анонимный комментирует...

вообщем но нашел для себя интересные реализации респект и уважуха!

Анонимный комментирует...

Если вам не нравится описанные выше, развивать ) только жалко изображения пропали:(


__________________________
http://hot4foto.ru

Анонимный комментирует...

ДА! описанные выше, развивать ) только жалко изображения пропали:(

Анонимный комментирует...

Хорошо побольше бы таких блогов полезных…. респект и уважуха!


___________________
http://nikon50.ru

Анонимный комментирует...

вот этот просто вот кому интересно, . могут ставить

Анонимный комментирует...

Только если практически бесполезна ? покрайней мере пока

Анонимный комментирует...

вот этот просто практически бесполезна ? безобразные

Анонимный комментирует...

Только если Глупый вопрос наверное . Так, что привыкайте граждане

Анонимный комментирует...

не думая практически бесполезна , Позитива к не хватает

Анонимный комментирует...

Супер доход!!! Мне оч. понравилось! Зайду к вам вторично!!!
--------------------------------------------------
http://nissan4ik.ru/avtobus.php

Анонимный комментирует...

В ФМС утверждают, который возвышение срока действия коснется только биометрических паспортов. Газета.Ru 15:59

Во вторник, 26 января, появились сообщения о часть[url=http://remonr.ru],[/url] который также с 1 марта 2010 года прекратится выдача заграничных паспортов без электронных носителей информации. Lenta.ru 15:58

В настоящее время в России выдаются загранпаспорта двух видов -- биометрические и обычные, старого образца. Infox.ru 13:51

Анонимный комментирует...

Добрый вечер, [url=http://onajdet.ru]таким образом [/url] мы имеем для выходе 2 [url=http://kastar.ru]алгоритма[/url]
Не судите строго это качественный сайты, [url=http://saverunet.ru/-feed=rss2&p=141.php ]спасем рунет[/url]!

Анонимный комментирует...

Теперь всё понятно, спасибо за помощь в этом вопросе.
http://ponymen.ru/voter_110.html

Анонимный комментирует...

Отличный материал для ознакомления! Правда хотелось бы немного поподробнее, если не сложно, распишите всё детально
http://sp3cok.ru/sluzhba-mediciny-katastrof.htm

Анонимный комментирует...

Не судите строго, но ничего не понял
cnm4901klsmt

Анонимный комментирует...

Не судите строго, но ничего не понял
http://micro-cook.ru

Анонимный комментирует...

Куплю рекламу на Вашем сайте, пишите на мыло
http://micro-cook.ru

Анонимный комментирует...

Автору привет, а Россия чемпион
http://micro-cook.ru

Анонимный комментирует...

Не судите строго, но ничего не понял
http://micro-cook.ru

Анонимный комментирует...

Куплю рекламу на Вашем сайте, пишите на мыло
http://micro-cook.ru

Анонимный комментирует...

Наши наконец-то выиграли :)
http://micro-cook.ru

Анонимный комментирует...

Автору привет, а Россия чемпион
http://micro-cook.ru

Анонимный комментирует...

Наши наконец-то выиграли :)
http://micro-cook.ru

Анонимный комментирует...

Наши наконец-то выиграли :)
http://micro-cook.ru

Анонимный комментирует...

вот прям очень бы хотелось видеть больше постов

Анонимный комментирует...

Так зачитался, что пропустил бы любимую передачу

Анонимный комментирует...

Суперский пост! Блог уже в ридере )

Анонимный комментирует...

Ага, теперь ясно… А то я не сразу поняла где тут связь с названием…

Анонимный комментирует...

с нетерпением буду ждать продолжения Ваших изреченний на по этому вопросу.

Анонимный комментирует...

Большой пост Занесу в закладки. С утра прочту

Анонимный комментирует...

Любопытно. Автору, как говорится, респект и уважуха

Анонимный комментирует...

Отлично!!! Вместо книги на ночь.

Анонимный комментирует...

Спасибо за познавательную статью!

Анонимный комментирует...

Как по мне - тема раскрыта четко, спасибо за пост!

Анонимный комментирует...

Классная статья - спасибо!

Анонимный комментирует...

очень занимательно было почитать

Анонимный комментирует...

За такие посты надо награды давать, на полном серьезе!

Анонимный комментирует...

Спасибо за статью

Анонимный комментирует...

Пишите интересно и познавательно, хотелось бы увидить более расширенную информацию по этой тематике

Анонимный комментирует...

А какой это движок? тоже хочу блог завести

Анонимный комментирует...

Так-так… надо будет присмотреться к этой области

Анонимный комментирует...

Интересненько, а кто может объяснить девушке как добавить этот блог в избранное?

Анонимный комментирует...

Ого, прямо как для меня писали :)

Анонимный комментирует...

Взяла себе тоже-пригодится

Анонимный комментирует...

Сенкс. Интересно, и вообще полезный у Вас блог

Анонимный комментирует...

Интересненько, а кто может объяснить девушке как добавить этот блог в избранное?

Анонимный комментирует...

Читаю уже не первую неделю Ваш блог, узнаю много интересного

Анонимный комментирует...

сначала не очень то до конца понял

Анонимный комментирует...

А какой это движок? тоже хочу блог завести

Анонимный комментирует...

Интересные посты - это ваш стиль безусловно!

Анонимный комментирует...

Просто замечательно - очень интересные мысли

Анонимный комментирует...

полностью поддерживаю, такие же мысли были.

Анонимный комментирует...

Оригинальная идея. Интересно сколько времени он на это потратил

Анонимный комментирует...

Занятно пишете, жизненно. Все-таки, для того, чтобы делать по-настоящему интересный блог, нужно не только сообщать о чем-то, но и делать это в интересной форме:)

Анонимный комментирует...

Я это уже на другом сайте видел, но все равно спасибо.

Анонимный комментирует...

Хорошая статья, узнал много нового!)

Анонимный комментирует...

У автора очень приятный слог

Анонимный комментирует...

Занятно пишете, жизненно. Все-таки, для того, чтобы делать по-настоящему интересный блог, нужно не только сообщать о чем-то, но и делать это в интересной форме:)

Анонимный комментирует...

Хорошая статья, узнал много нового!)

Анонимный комментирует...

Кто в теме тот понимает

Анонимный комментирует...

Спасибо за статью.

Анонимный комментирует...

Ждем еще интересных статей=)

Анонимный комментирует...

Хехе… Мда… Таким взглядам и отношению к работе многие только будут завидовать! Молодцом!

Анонимный комментирует...

Вчера подруга скинула на мыло адрес вашего сайта. Но я не придал особого значения, я сегодня зашел и понял что она была права - сайт действительно СУПЕР!

Анонимный комментирует...

Хорошо написано, надо будет скинуть ссылочку товарищам, чтобы и они оценили вашу статью.

Анонимный комментирует...

Спасибо, хорошая статья. Подписался.

Анонимный комментирует...

Вчера подруга скинула на мыло адрес вашего сайта. Но я не придал особого значения, я сегодня зашел и понял что она была права - сайт действительно СУПЕР!

Анонимный комментирует...

У автора очень приятный слог

Анонимный комментирует...

Спасибо за статью.

Анонимный комментирует...

Как хорошо что удалось отыскать такой замечательный блог, и тем более отлично, что есть такие автора толковые!

Анонимный комментирует...

I with you agree. In it something is. Now all became clear, I thank for the help in this question.

Анонимный комментирует...

“Как, вам блоггерам, живётся во время экономического кризиса ?”
[url=http://www.serota.ru] [/url]

Анонимный комментирует...

Помогите плиз,люди.
[url=http://www.serota.ru] [/url]

Анонимный комментирует...

забрала в цитатник,спасибо!
[url=http://www.serota.ru] [/url]

Анонимный комментирует...

Неплохо-неплохо, понравился стиль автора, возьму себе на заметку :)

Анонимный комментирует...

Отличная статейка, прочитал с удовольствием! :) Так держать )

Анонимный комментирует...

Даже и не придирешься!

Анонимный комментирует...

Всех с наступающим Новым Годом!!!

Анонимный комментирует...

Това е хубава статия за четене, благодаря ти, че го споделят.