Конкурентная разведка в WEB

Голые факты

В 1990 году, в последний момент, непосредственно перед подписанием контракта расстроилась 200 миллионная сделка между японской компанией «NEC» и Индонезией на поставку телекоммуникационного оборудования. Контракт был передан американской «AT&T».

В 1994 году Франция неожиданно потеряла заказ на поставку в Саудовскую Аравию военной техники на сумму 5 миллиардов долларов. Этот заказ получили американцы из «Макдонелл-Дуглас».

В 1999 году сорвалась сделка по поставке в одну из стран Персидского залива европейских аэробусов А-310. Договор был заключен с американской компанией «Боинг».

В конце 90-х годов американские спецслужбы активно собирали информацию по слиянию концернов «Даймлер» и «Крайслер», а также финансовых структур «Дойче банка» и американского «Банкерс Траст».

Это лишь немногие, ставшие известными, факты промышленного шпионажа с использованием системы «Эшелон» Агенства национальной безопасности США (АНБ) и спецслужб других государств, озвученные в ходе слушаний по результатам расследования, проводившегося депутатами Европарламента в 2000 году. По данным этого расследования, ущерб от промышленного шпионажа с использованием системы «Эшелон» нанес странам Европы убытки в размере, как минимум, 20 миллиардов долларов.

Главный этап развития этой системы пришелся на постсоветскую эпоху, когда на ряду с военно-политическими целями, первостепенными задачами разведывательных служб стали борьба с терроризмом, организованной преступностью и … промышленный шпионаж.

АНБ США признало, что передавало американским корпорациям значимую информацию о европейских и других конкурентах. И более того, что в разработке словарей-ловушек для системы «Эшелон» принимали участие американские фирмы, заинтересованные в получении конкурентной информации. Бюджет АНБ с конца 90-х годов стал превышать бюджет ЦРУ и ФБР вместе взятых и исчисляется миллиардами долларов [1].
Ощутимые преимущества в конкурентной борьбе, получаемые за счет использования деловой разведки, привело к тому, что по результатам опроса в 1999 году 500 крупнейших кампаний США, 90% из них подтвердили, что занимаются конкурентной разведкой, для чего создали у себя, соответствующее подразделение и ввели в руководство кампании пост директора по бизнес-разведке. При этом затраты этих корпораций на разведку составляют в среднем 1-1,5% от оборота и вполне рентабельны [2]. В качестве классического примера рентабельности экономической разведки можно привести исторический факт 1971 года, когда французcкая внешняя разведка (DGSE) получила сведения о готовящейся девальвации доллара и незамедлительно довела эти данные до Президента Ж. Помпиду, который дал соответствующие указания Центробанку. В результате французская казна заработала сотни миллионов на продаже долларов и скупке франков на мировых валютных рынках [3].

В то же время к явным неудачам разведывтельных структур, как государственных так и корпоративных, можна отнести отсутствие соответствующих прогнозов и предупреждений о надвигающемся кризисе в России в августе 1998 года, который серьезно подорвал экономику как отдельных предприятий и граждан, так и страны в целом.

Немного теории или поговорим «по-понятиям»…

Простое перечисление вышеуказанных сведений уже делает понятным и экономически оправданным, тот факт, что некоторое время назад в широком обиходе бизнес-структур на западе появились термины «бизнес разведка» («business intelligence» или BI) и «конкурентная разведка» («сompetitive intelligence» или CI). Этими терминами стали обозначать сбор и анализ информации о рынках товаров и услуг, клиентах, контрагентах, конкурентах и технологиях, необходимой для успешного развития бизнеса. Зыбкая грань, которую пытаются провести между этими терминами и промышленным шпионажем, лежит в легитимности или противозаконности методов и средств, используемых в процессе сбора такой информации. Следует отметить также весьма тонкую разницу, указываемую некоторыми западными авторами систем или публикаций, между «business intelligence» и «сompetitive intelligence». Из публикаций и описаний систем, где упоминаются эти термины, можно сделать вывод, что BI направлена больше на изучение «внутренней» маркетинговой, финансовой, экономической информации и информации о клиентах, в то время как CI чаще обозначаются процессы, связанные с добыванием «внешней» информации и знаний непосредственно о конкурентах. На постсоветском пространстве, где еще окончательно не сформировалась понятийная база, как правило, не делают разницы между терминами «деловая», «конкурентная» или «экономическая» разведка, и понимают весь комплекс мероприятий, связанный с информационно-аналитическим обеспечением управления предпринимательскими рисками, выявления угроз, возможностей и других факторов, влияющих на получение конкурентных преимуществ в бизнесе.

При этом основными целями и задачами, которые ставятся перед подразделениями экономической разведки «среднестатистической» бизнес-корпорации на постсоветском пространстве, как правило, являются:

1. Сбор и своевременное обеспечение надежной и всесторонней информацией руководства и бизнес-подразделений о «внешней» и «внутренней» среде предприятия.
2. Выявление факторов риска, угроз, которые могут затронуть экономические интересы бизнеса или помешать его нормальному функционированию.
3. Выявление новых возможностей и других факторов, влияющих на получение конкурентных преимуществ.
4. Выработка прогнозов и рекомендаций влияния конкурентной среды на деятельность бизнес-структуры.
5. Усиление благоприятных и локализация неблагоприятных факторов конкурентной среды на деятельность бизнес-структуры.

(Здесь сформулированы цели и задачи конкурентной разведки, рассчитанные на легитимную деятельность соответствующих структур. Хотя, справедливости ради, следует отметить, что вся наша недавняя история, к сожалению, пестрит многочисленными примерами «нецелевого» использования служб безопасности и экономической разведки коммерческих структур в противозаконных целях и с использованием таких же методов: от незаконной прослушки и видеошантажа до ликвидации конкурентов. Авторы статьи своей целью видят пропаганду ведения конкурентной разведки исключительно в рамках закона!)

Методы ведения конкурентной разведки, методики и технологии ее проведения весьма близки к используемым в традиционной разведывательной деятельности.

В соответствии с общепринятой теорией разведывательной информации [4], основным принципом, который положен в основу разведдеятельности, как разновидности информационной работы, есть четкое разделение таких понятий, как данные, информация и знания. Под данными понимают «сырые» необработанные сведения, основанные на фактах. Это могут быть статистические данные, факты из биографии или сведения из финансовой отчетности предприятия. Информация представляет собой уже определенным образом отобранные, обработанные и проанализированные данные. Конечным же информационным продуктом любой разведки должны быть знания - синтезированные выводы, рекомендации и решения.

Информация характеризуются качественными, количественными и ценностными показателями.

К качественным характеристикам обычно относят: достоверность (чистоту), объективность и однозначность информации. К количественным характеристикам – ее полноту (отсутствие невыясненных пробелов) и релевантность (степень соответствия существу поставленных вопросов и задач). Ценностными характеристиками являются стоимость и актуальность информации.

Процесс превращения сырых данных в знания и доведение их до конечных потребителей принято называть разведывательным циклом. В своем классическом понимании разведцикл принято делить на пять основных этапов:

• целеуказание, планирование, определение источников информации;
• сбор, добывание данных;
• обработка разведданных – превращение их в разведывательную информацию;
• анализ и синтез развединформации – превращение ее в знания – выводы, рекомендации, решения;
• доведение информации до конечных потребителей.

Не вдаваясь в подробности, следует также отметить некоторые ключевые особенности указанных выше этапов, на которые мы хотели бы обратить внимание читателя. А именно:

• целеуказание и планирование целесообразно делить на три уровня – стратегический, тактический и оперативный;
• на этапе сбора информации крайне важно задействовать как можно большее количество независимых и первичных источников;
• процесс обработки данных предполагает учет, классификацию, отбор, верификацию и оценку добытых сведений;
• разведцикл, в некоторых случаях не требующих глубокой проработки или в условиях ограниченного времени, может быть не полным и заканчиваться на выдаче потребителям не знаний в виде окончательных выводов, рекомендаций или проектов решений, а просто обработанной информации в виде информационных справок;
• в разведывательном документе не должно быть ссылок на конфиденциальные источники информации, поскольку это может привести к их расшифровке;
• выводы и рекомендации должны быть четкими, краткими и однозначными, а прогнозы носить вероятностный характер;
• доведение информации до конечных потребителей должно быть в в виде, адаптированном к восприятию заказчика и форме легко доступной их пониманию.

В связи с этим любопытно заметить, что ЦРУ, например, предоставляло Рональду Рейгану ежедневную информацию в виде видеофильма, который снимали каждый день, поскольку бывший киноактер воспринимал такую подачу информации более адекватно. Но это, конечно же, крайности.

- Скажите, у Вас продается славянский шкаф? Нет, но шпион живет этажом выше!
(Несколько слов о роли открытых источников)

По устоявшемуся, но все же ошибочному мнению, сформированному многочисленными шпионскими сериалами и детективами, вся полезная разведывательная информация добывается из строго секретных источников агентурным или оперативным путем, и обязательно сопровождается стрельбой, погонями, взломами кодов, замков и шифров, или, в крайнем случае, соблазнением прекрасной дивноокой и длинноногой носительницы секретов. На самом деле это не так. Известное признание адмирала Захариаса – заместителя начальника разведки ВМС США в годы Второй мировой войны, опровергает это. Так, по его оценке 95% информации разведка военно-морских сил черпала из открытых источников, 4% - из официальных, и только 1% - из конфиденциальных источников. Справедливости ради надо сказать, что часто именно этот один процент является тем золотым недостающим звеном, который позволяет сложить целостную картину разрозненной мозаики всех разведданных. И если, такое соотношение справедливо для военной разведки, то тем более оно будет правильным для конкурентной разведки бизнес-структур.

Разведывательная информация может быть получена из официальных источников, неофициальных открытых источников, СМИ, объявлений, рекламы, внутрифирменных, банковских, правительственных отчетов, баз данных, от экспертов, путем анализа или специальной обработки данных, текстов по прямым или косвенным признакам. Правда, при этом, количество разнородных сведений, которые необходимо переработать, чтобы получить крупицы знаний огромно, а потому в настоящее время конкурентная разведка немыслима без использования специализированных информационных технологий.

У конкурентной разведки в последние десятилетия появилось и развилось до невиданных ранее масштабов новый информационный источник – вeб-пространство сети Интернет. Сегодня по оценкам экспертов Интернет по количеству информации находится на первом месте, опережая СМИ, отраслевые издания и получаемые от коллег новости, специальные обзоры, закрытые базы данных. При этом в открытых источниках и специализированных базах данных, доступных в Интернет, содержится большая часть информации, необходимой для проведения конкурентной разведки, однако остается открытым вопрос ее нахождения и эффективного использования.

Последние исследования информационного Web-пространства показали, что доступные через традиционные информационно-поисковые системы 20 млрд. веб-страниц – это лишь «поверхностная видимая часть айсберга». Количество веб-сайтов в Сети увеличивается со скоростью более миллиона узлов в месяц. Около 40% всей информации в Интернете доступно бесплатно. Навигацию по этому информационному пространству обеспечивают более миллиона поисковых систем и каталогов, но и они охватывают лишь малую часть информационных ресурсов. Скрытых и невидимых (deep, invisible) ресурсов Сети значительно больше. Это прежде всего динамически-генерируемые страницы, файлы разнообразных форматов, информация из многочисленных баз данных, которые могут представлять большой интерес для любой разведки, не говоря уже о государственных и негосударственных виртуальных частных сетях (VPN), построенных с использованием шифрованных каналов связи и других средств защиты поверх TCPIP сети Интернета. В качестве примера можно привести американские закрытые сети INTERLINK, POLICYNET, SIPRNET, информация о которых просочилась в открытые источники.

К «скрытому» веб можно отнести и такие сети, как Ares, BitTorrent, DirectConnect, EMule, Gnutella, Kazaa/FastTrack, Napster, Piolet и др.

Проблемы конкурентной разведки в Сети

Первой и найболее существенной проблемой является то, что колоссальные объемы информации в Интернет затрудняют поиск и выбор действительно нужных сведений. Ведь сами по себе необработанные, необобщенные и непроверенные данные, как мы уже говорили выше, не могут служить подспорьем для принятия решений.

По оценкам специалистов ресурсы всемирной паутины (проиндексированных поисковиками и скрытых) составляют более 550 млрд. документов и постоянно растут. По словам Эрика Шмидта - главы Google, в настоящее время из пяти миллионов терабайт существующей информации проиндексировано лишь 170 Тбайт и даже такая мощная поисковая система как Google сможет проиндексировать всю информацию примерно лишь через 300 лет.
Традиционные поисковые системы в Интернет отлично справляются с простыми однократными запросами, но как правило в большинстве случае практически не применимы для нужд конкурентной разведки. По некоторым оценкам более 97% критичной для КР онлайновой информации невозможно найти с помощью традиционных информационно-посковых систем.

Второй, после описанной выше, проблемой конкурентной разведки в Интернет является то, что информация в Интернет имеет явно выраженный динамичный характер: информация на сайтах размещается, модифицируется и удаляется во времени. Частичное решение этих проблем возможно при применении систем контент-мониторинга информационных потоков в Интернет. Использование при сборе информации в Интернет системы контент-мониторинга в среднем увеличивает число найденных релевантных документов в 20 раз.

Третья задача, которую необходимо решить в целях КР - автоматическое извлечение понятий из формализованных массивов информации (таблиц, БД) и неструктурированных текстов. Перспективным направлением решения этой задачи в системах КР является использование технологий «knowledge discovery» (поиск знаний), использующего концепции Data Mining и Text Mining.

Четвертой проблемой является выявление неочевидных закономерностей и связей. В настоящее время известно несколько путей решения извлечения понятий из текстов и выявлении их взаимосвязей, как практических, так и теоретических. Одним из них есть построение матриц и графов взаимосвязей и гистограмм распределения понятий. Матрицы можно рассматривать как неориентированные графы и применять к ним соответствующие математические методы. Как правило, узлы этих графов – коэффициенты, которые пропорциональны количеству документов входного информационного потока, одновременно соответствующие обоим понятиям, или количеству других понятий, употребляемых совместно с данными.

Другим перспективным решением этой задачи можно считать построение визуального графа связей - информационного портрета, найденных релевантных документов с использование AJAX-технологии (рис.2).

Пятой проблемой является поиск информации в «скрытом» веб-пространстве, где, как было замечено выше, содержится несравнимо большее количество данных, потенциально интересных для конкурентной разведки, чем в открытой части всемирной Сети. Американский журнал Business 2.0 опубликовал список из семи технологий, которые должны "изменить мир" в ближайшем будущем. Среди них WiFi-мобильники, WiMax, Ajax, и поиск в невидимой сети – в «скрытом» веб. В связи с этим интересно заметить, что две последние технологии крайне полезны для нужд конкурентной разведки.

Таким образом, как мы видим, не вся потенциально открытая "несекретная" информация является хорошо доступной, скорее – наоборот. Извлечение необходимой в каждом конкретном случае информации является сложной задачей. По мнению экспертов, только порядка 10-15% нужной информации имеется в Интернете в готовом виде, остальные 85-90% можно получить в результате сравнения, интеграции и анализа многочисленных разрозненных в данных.

Несмотря на то, что в Интернет, содержится большая часть информации, необходимой для проведения КР, однако остается открытым вопрос ее нахождения и эффективного использования из-за присущих Интернет недостатков: непропорционального роста уровня информационного шума; засилия паразитной информации; слабой структурированности и связанности между собой информации; динамичности информации и отсутствия гарантии ее целостности; многократноого дублирования, отсутствие возможности смыслового поиска, ограниченности доступа к «скрытому» вебу, в целом возможности Интернета оцениваются экспертами в области конкурентной разведки достаточно высоко.

За внешним хаосом информации, доступной сегодня, в сети Интернет, скрываются глубинные связи, достоверная информация, дезинформация. Разобраться с этими данными можно только применяя современные средства анализа содержания текстов (контент-анализа), контент-мониторинга, глубинного анализа данных и текстов, а мониторинг и качественная обработка информационных потоков способны принести ощутимое конкурентное преимущество.

Средства поиска информации в сети

Как мы пытались показать выше для того, чтобы получить крупицы необходимой нам информации в Сети необходимо «перелопатить» огромные массивы сырых данных. Естественно, что для облегчения этой задачи нужны некие поисковые инструменты.

Все имеющиеся средства поиска информации в Интернете могут быть условно разделены на несколько подгрупп, а именно:

A- средтсва поиска информации на отдельных сайтах;
B- подборки ссылок;
C- каталоги;
D- поисковые системы;
E- метапоисковые системы;
F- системы мониторинга и контент-анализа;
G- экстракторы объектов, событий и фактов;
H- системы «knowledge discovery» ( Data Mining, Text Mining)
I- специализированные системы конкурентной разведки;
J- интегрированные системы.

Если средства поиска на отдельных сайтах и подборки ссылок (зоны А и В) не требуют специальных пояснений, то для отражения сути вопроса по остальным средствам поиска хотелось бы сказать несколько слов.
По своей сути каталоги, поисковые системы и метапоисковые системы являются сайтами со специализированными базами данных, в которых хранится информация о других сайтах в сети Интернет и документах на них. В таких базах данных хранятся не сами документы, а информация (аннотация) и ссылки на них. В результате запроса к таким системам выдается список адресов а иногда и краткое описание документов, где может присутствовать запрашиваемая информация. Как правило, поиск может производиться только по ключевым словам и фразам. Нажимая на ссылку, найденную в результате запроса вы попадаете на оригинал документа, находящегося на исходном сайте. Естественно, что если документ со временем изменился или сайт прекратил свое существование, то и первоначально найденный оригинал документа через некоторое время может быть не найден.

Основное отличие поисковых систем (зона D) от каталогов (зона C) – автоматический «робот» или «паук», который постоянно сканирует Интернет и накапливает новую информацию в индексных файлах базы данных. В каталоги же информация заносится инициативно - либо авторами новых сайтов, либо обслуживающим персоналом самих каталогов. Так, как пользование такими системами, как правило, бесплатное, то на сегодня это самые популярные поисковые инструменты в Сети.

Метапоисковые системы (зона E) являются поисковыми системами по поисковым системам. Так как отдельные поисковые системы по разному индексируют хотя и обширные и часто пересекающиеся , но все-таки разные сегменты Сети, то, естественно, и результат поиска с помощью метапоисковой системы будет, априори, более полным, чем с помощью одной отдельно взятой поисковой системы. Считать это плюсом или минусом поисковой работы зависит от поставленных Вами целей и количества найденных документов. Если в результате поиска найдены тысячи или миллионы документов, то «вручную» Вы все равно вряд ли сможете просмотреть более нескольких сотен.

Вторым поисковым преимуществом таких систем является то, что одним запросом вы обеспечиваете поиск во многих поисковых системах, не утруждая себя многочисленными повторениями одного и того же запроса в разных поисковиках.

Системы мониторинга и контент-анализа (зона F) обеспечивают регулярный поиск и «скачивание» информации по заданным темам и с заданных сайтов, а также анализ содержания «скачанных» документов. Такие системы, как правило, обладают развитым языком запросов, что позволяет существенно детализировать и конкретизировать запросы по сравнению с обычными поисковыми системами. Во-вторых, такие системы хранят в своих базах данных полные тексты исходных документов, что обеспечивает сохранность этих документов во времени и возможность их обработки и контент-анализа., как в текущем времени так и в ретроспективе. Существенным преимуществом таких систем является также то, что сложные запросы, состоящие из десятков или сотен поисковых слов и выражений, однажды составленные аналитиком-знатоком предметной области, могут быть сохранены в виде каталогизированного запроса или рубрики и в дальнейшем вызываться автоматически или вручную из сохраненного списка для проведения поиска или контент-анализа..

С помощью контент-анализа такие системы позволяют устанавливать пересекающиеся связи между темами, понятиями и объектами, поставленными на мониторинг, выявлять эмоциональную окраску документов, проводить анализ динамики появления во времени тех или иных документов, проводить сравнительный анализ информационной активности по различным тематикам и многое другое.

Если мониторинговые системы могут выделять из информационного потока поставленные на мониторинг известные объекты, то экстракторы объектов, событий и фактов (зона G) умеют выделять из потока информации неизвестные ранее объекты, события или факты, которые соответствуют определенному заранее заданному типу. Например, такие типы объектов как, географические понятия, персоны, структуры и организации, события - дорожно-транспортные происшествия, катастрофы, международные встречи, обычные или необычные факты. Примером обычного факта в данном случае можно считать выезд автомобилей за черту города, а примером необычного факта – выезд за ту же городскую черту автомобиля без номерных знаков .

Системы «knowledge discovery» (зона H), использующие технологии Data Mining и Text Mining, умеют выявлять новые знания и закономерности. Такая система, например, может самостоятельно, без участия человека, сделать вывод о факте знакомства между людьми, основываясь на имеющихся в системе данных об окончании ими одной и той же школы и одного итого же класса в одном и том же населенном пункте. Правда сами правила, по которым такая система делает выводы, все таки создаются и задаются пока что людьми.

Специализированные системы для конкурентной разведки (зона I) могут включать в себя одно или несколько из перечисленных выше поисковых средств, специально «заточенных» под эти специфические задачи. Кроме того потребности конкурентной разведки предполагают в качестве источников информации кроме полнотекстовых документов из Интернет, еще и доступные в Сети базы данных, собственные, принадлежащие структуре, документы, таблицы и базы данных , а также формализованные и неформализованные документы и БД, добытые из других источников.

На Западе самый обычный, ничем не выдающийся из общей массы человек зарегистрирован в более чем 300 базах данных: прописка, страховка, водительские права, кредитные бюро, информационные, рейтенговые, рекрутинговые агенства, бюро по трудоустройству, медицинские и полицейские учеты, супермаркеты, клубы, банки, системы управления взаимоотношений с клиентами коммерческих фирм (т.н. CRM-системы) и т.д. В интересах конкурентной разведки и маркетинга анализируются не только рынки товаров и услуг, но и вкусы и предпочтения отдельных клиентов. Информация, хранящаяся в различных базах данных о юридических лицах еще более обширна.

В целях конкурентной разведки необходимо анализировать данные из всех доступных источников информации, но, так как эти вопросы выходят за рамки данной статьи, мы не будем касаться других источников информации кроме Интернет.
Под интегрированными средствами конкурентной разведки (зона J) мы здесь понимаем интегрированную систему, включающую в себя не только все доступные поисковые средства, но также интегрированный банк выявленных (добытых) и логично правильно связанных между собой данных, информации и знаний.

С точки зрения создания информационно-аналитических систем такая система концептуально должна предполагать реализацию следующих трех принципов:

• единое информационное пространство взаимосвязанных объектов и фактов независимо от типа их источников или контента;
• сохранение связи объектов и фактов с релевантными данными и источниками информации (аргументированность);
• исторически-пространственная модель банка данных системы, что предполагает наличие у всех объектов учета атрибутов времени и места, а также невозможность их безвозвратного удаления из системы.

Справедливости ради следует отметить, что согласно отчета Fuld’s Intellgense Software Report 2006 известных коммерческих версий полноценных интегрированных систем, позволяющих решать весь комплекс задач КР, пока не существует, по крайней мере на Западе.

Что могут и чего не могут традиционные поисковики?

По меткому замечанию Андрея Масаловича – автора поисковой системы для конкурентной разведки «AVALANCHE», разработанной российской компанией «Инфорус» по заказу Гарвардского университета, а также популярного публициста по данной тематике, ведущего собственной авторский учебный курс лекций по теме «Конкурентная разведка в сети Интернет», « … из 23 видов поисковых задач, интересующих аналитика спецслужб «Яндекс» удовлетворительно решает одну».(статья «Лавка миров», 2005).

В этом легко убедиться набрав какой-нибудь интересующий Вас запрос на любом из популярных сегодня поисковых Интернет-систем, будь-то GOOGLE, Яндекс, RAMBLER. Или любой другой .Поисковые системы отлично справляются с простыми однократными запросами, но когда запросы необходимо делать постоянно, предметная область сложна или слишком широка (например – «ПОЛИТИКА», «ЭКОНОМИКА») или наоборот предельно конкретна, узка и отдалена во времени (к примеру – условия бартерной сделки СП «Впендюринг, Объегоринг&Свалинг» с КСП «Закрома Родины» пятилетней давности), а вам надо обобщить все информационные темы и поводы по данной тематике пусть даже за небольшой период, оценить их во временной динамике, найти пересекающиеся взаимосвязи с другими объектами, составить целостную картину об интересующем Вас объекте, выделить нестандартное событие из общего массива фактов, то Вы очень скоро убедитесь что:

• поисковики либо перегружают Вас миллионами бесполезных ссылок, либо наоборот ничего не находят;
• Интернет не хранит информацию долго и то что, вы точно видели месяц назад на одном из любимых сайтов, сегодня можете там не обнаружить;
• поисковик не сохраняет просмотренные Вами ссылки и Вам каждый раз приходиться начинать титаническую работу с нуля после вынужденного перерыва;.
• поисковик не отличает действительно важную информацию от шелухи;
• поисковик не умеет обобщать или сравнивать информацию по смыслу или другим критериям;
• поисковики принципиально не видят некоторых сайтов или отдельные виды информации на сайтах (например, информацию, помещенную в БД), а некоторые сайты наоборот всегда показывают на первых найденных страницах, хотя информация с них Вас не интересует;
• поисковики могут выполнять поиск информации в Интернет, только по Вашему непосредственно введенному запросу, и не могут повторять их автоматически в заданное время без Вашего участия;
• Вы привыкли пользоваться одним полюбившимся Вам поисковиком, и хотя Вы знаете, что результаты по одному и тому же запросу на разных поисковиках будут отличаться, у Вас нет ни времени, ни желания объединять их результаты.

И этот список можно продолжать, но это только укрепит Вас в тщетности и бесполезности своих усилий по качественному выполнению поставленной выше задачи.

По некоторым оценкам более 97% критичной для бизнеса онлайновой информации невозможно найти с помощью традиционных информационно-посковых систем.

К сожалению, традиционные сетевые информационно-поисковые системы не в полной мере справляются с задачами конкурентной разведки.

Поиск же информации в Интернете без использования поисковых средств, только путем просмотра отдельных сайтов, во-первых, носит выборочный и случайный характер (к тому же информация на отдельных сайтах может носить весьма субъективный или даже заказной характер), во-вторых, крайне не продуктивен – вряд ли Вы сможете обойти и просмотреть более десятка сайтов за день непрерывной работы, даже если теоретически знаете и помните их адреса.

Суммируя сказанное и перефразируя девиз одной из самых популярных российских поисковых систем Яндекс «Найдется все!», можно сказать, что для конкурентной разведки все равнозначно ничего, если не хуже. Поэтому правильным девизом для систем конкурентной разведки могли бы стать слова «Найдется только то, что нужно и ничего более!».

Что же делать или где снискать информацию, необходимую как хлеб насущный?

По мнению бывшего директора ЦРУ Р. Хилленкерта «80% разведывательной информации получается из таких источников, как книги, журналы, научно-технические обзоры, фотографии, коммерческих аналитических отчетов, газет, теле- и радио- передач…».

В тоже время, анализ только одного рассекреченного отчета ЦРУ за 1987 год «Enterprise-Level Computing in Soviet Economy»(SOV С87-10043) дает представление о том какой колоссальный объем данных необходимо было «перелопачивать» аналитикам. Для составления отчета постоянно на протяжении года мониторилось 347 открытых источников, из них 295 – советских, а для создания сводки объемом в одну страницу, ежедневно обрабатывался информационный массив объемом примерно 7 млн.слов.

Итак, мы выяснили две вещи, что, во-первых, открытые источники являются наиболее используемым каналом информации и, во-вторых, с ростом количества таких источников, c одной стороны, возрастает объективность добываемой информации, но, с другой стороны, резко возрастают и трудозатраты на извлечение нужной информации. Следовательно, для их использования в конкурентной разведке нужны специализированные методики и системы.

И такие специализированные методики и системы создавались учеными в интересах спецслужб на протяжении многих лет, как на Западе, так и в бывшем Советском Союзе. Перевод в последние 10-20 лет значительного объема мировой информации из бумажного в электронный вид, широкое использование и лавинообразное расширение глобальной сети Интернет, новые информационные технологии сделали аналитическую разведку в Сети одним из самых перспективных направлений разведывательной деятельности, а тот факт, что так поступают практически все спецслужбы мира, лишь подтверждает перспективность этого направления для конкурентной разведки.

Для поиска и сбора информации в компьютерных сетях в интересах разведки по всему миру используются специальные мониторинговые системы сбора данных, т.н. «процессоры сбора данных». На компьютерном слэнге их еще называют «роботами» или «пауками». Такая программа-робот сама обходит по заданному графику указанные URL-ссылки в Сети, скачивает с них данные, а затем извлекает из них нужную информацию, используя целый арсенал средств лингвистического, семантического и статистического анализа. Такие системы автоматически перехватывают, любую поставленную на мониторинг информацию, как только она появится в доступном сегменте Сети.

Как мы уже писали выше, при ведении аналитической разведки в Сети широкое рапространение получило использование такого интересного направления науки, возникшого на стыке искусственного интелекта, статистики и теории баз данных, как «knowledge discovery» (поиск знаний), использующего концепции Data Mining (добыча знаний в формализованных базах данных или потоках информации) и Text Mining (добыча знаний в полнотекстовых базах и информационных потоках). Уникальными особенностями концепции и технологий Data и Text Mining, является то, что с их помощью можно добывать из «сырых» данных ранее неизвестные, неочевидные, полезные на практике и доступные для интерпретации знания, необходимые для принятия решений в различных сферах деятельности.

Одним из первых рассекреченных подобных комплексов стала французская система «TAIGA» (Traitement automatique d’information geopolitique d’actualite – автоматическая система обработки актуальной геополитической информации). Этот программный комплекс на протяжении 11 лет трудился в интересах французской разведки, после чего был заменен на более новый, рассекречен и разрешен к коммерческому использованию. Новый более совершенный комплекс «NOEMIC», поставленный на вооружении французской разведки способен обрабатывать информацию со скоростью более 1 миллиарда знаков в секунду. Американский аналог этих программных комплексов «TOPIC», что в переводе значит «ТЕМА», также уже рассекречен и передан для коммерческого использования.

Аналогичные системы создавались в бывшем Советском Союзе. Достаточно вспомнить такие системы как «Барометр», «Эльбрус», но были и другие. Продолжается создание и использование таких систем в России и других странах постсоветского пространства.

Но, «Стоп! - может справедливо сказать наш читатель - Все выше перечисленные примеры системы либо используются государственными структурами либо слишком дороги, чтобы их могли использовать «среднестатистические» компании»!

На самом деле все не так плачевно. На современном рынке представлен целый ряд как западных коммерческих продуктов, так и продуктов производства стран СНГ, способных в том или ином объеме выполнять подобные задачи в интересах конкурентной разведки коммерческих структур, на описании которых мы остановимся ниже.

Основные требования к системам конкурентной разведки. Виды систем.

Система конкурентной разведки должна позволять руководству, аналитическому, маркетинговому отделам компании не только оперативно реагировать на изменения ситуации на рынках, но и оценивать риски и возможности, прогнозировать их, и принимать решения о дальнейших путях развития. Основная цель систем конкурентной разведки – информационное обеспечение перехода от традиционного интуитивного принятия решений на основе недостаточной информации к управлению, основанному на достоверных прогнозах и знаниях.

Каким же требованиям должна удовлетворять такая система для поиска информации в Сети. На наш взгляд, одним из основных общих требований к системе должно быть соответствие цикла обработки информации в такой системе классическому информационному разведциклу, о чем мы уже писали выше. То есть, система должна самостоятельно или с участием оператора обеспечивать:

• выбор тематики и направлений развединтереса (целеуказание);
• выбор источников информации (сайты, блоги, форумы и т.д );
• автоматический поиск и скачивание информации по заданным направлениям мониторинга и указанным источникам по запланированному расписанию (планирование и сбор данных);
• обработку собранных данных и превращение их в информацию;
• контент анализ и синтез информации – превращение ее в знания.;
• своевременную доставку информации к конечным потребителям.

Так как в целях конкурентной разведки необходимо анализировать данные из всех доступных источников информации, в которых эта информация может быть представлена в различных видах и форматах, то крайне важным требованием системы является обеспечение ею единого информационного пространства взаимосвязанных объектов и фактов независимо от типа их источников или контента. Два других требования, о которых мы также упоминали выше, касаются сохранения связи объектов и фактов с релевантными данными и источниками информации (аргументированность) и обеспечения исторически-пространственной модели банка данных системы, что предполагает наличие у всех объектов учета атрибутов времени, места и источника данных, а также невозможность их безвозвратного удаления из системы с течением времени.

Основными объектами учета и мониторинга в системах конкурентной разведки, как правило, являются:

• источники информации (официальные сайты, интернет издания, -персональные сайты организаций или лиц, Интернет представительства печатных СМИ, информ агенств, теле- и радио каналов, открытые базы данных и учеты и т.д.);
• географические регионы;
• рынки и направления бизнеса;
• структуры (предприятия, организации и т.д);
• персоны (конкуренты, контрагенты, партнеры, сотрудники, кандидаты и т.д.);
• нормативно-законодательная база и факты ее нарушения ;
• политико-экономическая ситуация;
• криминальная обстановка;
• другие специализированные индивидуальные тематики.

Безусловно, система конкурентной разведки, использующая Интернет как один из источников информации, должна настраиваться под специфику деятельности компании. Она должна включать в себя соответствующую классификацию, гибкие механизмы поиска, оперативной доставки данных, а также качественной оценки информации. Одной из самых важных задач анализа информации является определение ее достоверности, т.е. задача анализа и фильтрации шума и ложной информации. Без таких оценок всегда есть риск принять неверные решения. После анализа достоверности информации должны следовать оценки ее точности и важности. Главным критерием достоверности данных на практике является подтверждение информации другими источниками, заслуживающими доверия.

Даже поверхностный анализ основных требований к системам конкурентной разведки в Сети, показывает, что традиционные поисковики в системе Интернет не могут считаться полноценными инструментами конкурентной разведки в Интернет.
Информационные системы конкурентной разведки можно также условно классифицировать по наличию в них модулей автоматического и экспертного извлечения фактов. Соотношение между автоматически извлекаемыми системой и вручную (с помощью экспертов) фактами, событиями, объектами учета в разных системах разное. Автоматически извлекаемые системой факты называют А-фактами, факты, извлекаемые экспертами, - Э-фактами.

Существующие на рынке системы конкурентной разведки отличаются как по своей полноте и соответствию полному разведциклу, так и своему инструментарию и соответственно своей цене. Кроме того , системы могут предназначены для использования в качестве инструментария исключительно собственными силами внутреннего подразделения конкурентной разведки предприятия , либо предполагать вынесение части задач на аутсорсинг специализипроованными структурами КР. Право выбора систем, подходов и методик конкурентной разведки остается за потребителями и в каждом случае индивидуальны. Да это и понятно, нельзя же сравнивать потребности и выполняемые задачи аналитика спецслужбы и сотрудника, к примеру, маркетингового отдела малого предприятия.

Базы данных и аутсорсинговые отчеты как источники информации

Сегодня для конкурентной разведки основными источниками информации служат Интернет, пресса, а также открытые базы данных. Но если доступ к обычным интернет –ресурсам можна считать условно бесплатным, то, в большинстве случаев, доступ к базам данным требует не только регистрации но и оплаты таких услуг. Кроме того практически все они могут быть отнесены к так называемому «скрытому» веб-протсранству.

Очень популярны среди специалистов по конкурентной разведке базы данных таможенных, налоговых и статистических органов, органов юстиции и судов, торгово-промышленных палат, органов приватизации и фондовых рынков, информационных, рейтенговых, аналитических и других агенств и т.д. Большую пользу приносят и отдельные доступные базы данных других контролирующих органов и организаций.

Традиционно конкурентная разведка опирается на такие источники информации,: как опубликованные документы открытого доступа, которые содержат обзоры товарного рынка, информацию о новых технологиях, создании партнерств, слияниях и приобретениях, объявлениях о рабочих вакансиях, о выставках и конференциях, и т.п. Поэтому в последнее время все более популярны базы данных на основе архивов СМИ, в том числе и сетевых. В России, например, большой популярностью пользуются крупнейшие архивная базы данных СМИ "ИНТЕГРУМ", «МЕДИАЛОГИЯ»,. В Украине эту нишу занимает система контент-мониторинга Интернет СМИ InfoStream®, содержащая свыше 50 миллионов документов.

К разряду "скрытого" веб, например, относится и крупнейшая в мире полнотекстовая онлайновая информационная система LEXIS-NEXIS, которая содержит более 2 миллиардов документов с глубоким архивом до 30 лет по бизнес-информации и более 200 лет по юридической информации. Каждую неделю в архивы добавляется еще 14 млн. документов. В отличие от неструктурированных массивов "поверхностного" Web, пользователи Lexis-Nexis могут использовать мощные инструменты поиска для получения достоверной и классифицированной информации.

Приведем еще одни пример зарубежной базы данных из "скрытого" Web. Корпорация ChoicePoint недавно предоставила сервис AUTO TRACKXP, вошедший в список двадцати крупнейших "скрытых" сайтов мира (по рейтингу BrightPlanet). Auto TrackXP представляет собой базу данных объемом 30 TB, охватывающую практически все аспекты гражданской жизни США. База данных системы Auto TrackXP содержит информацию практически о каждом гражданине США.
TESTPROFILES.COM - часть ChoicePoint Online - содержит личные характеристики и сведения о компетентности граждан США. Например, чтобы определить, не завладел ли человек чужими документами, на основе системы организован платный сервис ProCheck, позволяющий сопоставить информацию из различных источников и государственных каталогов.

Для частных любителей составления "досье" ChoicePoint предлагает более скромный, но не менее любопытный набор сервисов (www.choicetrust.com). Подозрительные пациенты с помощью DOCTOR CHECK имеют возможность самостоятельно выбрать или проверить квалификацию врачей 40 различных специализаций. Отчет, получаемый с помощью системы, может, например, служить для страховой компании поводом в отказе выдачи полиса. Система широко используется как легальный информационный ресурс для задач конкурентной разведки.

На Украине и в других странах СНГ популярны такие базы данных, как росиийская база данных "ЛАБИРИНТ", составленной на основе публикаций ведущих бизнес-изданий, можно получить обширную информацию о конкретных персонах, организациях и компаниях, базы данных «КОМПАСС», «КАРЕ», «ЖЕЛТЫЕ СТРАНИЦЫ», национальные .представительства таких известных мировых брэндов, как «DUN & BRADSTREET», «CREDIREFORM», «EUROPAGES» и многие другие. Задача по поименному перечислению всех источников информации попросту невыполнима, так как здесь должно действовать правило – чем большим количеством независимых источников подтверждается информация – тем болем она достоверна!
Одним из самых эффективных источников информации могут служить отчеты и справки аутсорсинговых компаний, профессионально занимающихся конкурентной разведкой и сбором сведений о коммерческих структурах и рынках.

В мире существует множество таких специальных компаний. Одна из крупнейших таких компаний, которой принадлежит около 80% западного рынка является американская компания, чья база данных упоминалась нами выше, «DUN & BRADSTREET.». Справка по любой компании в этой службе оценивается из расчета в среднем от 100 долларов.и выше.. Серьезный анализ рынка или конкурента может обойтись от 10 тыс. долларов и выше. Срок исполнения – от нескольких часов (информация присутствует в базе данных) – до нескольких суток для справок и до нескольких месяцев для серьезной аналитической работы.

На европейском рынке не менее известны ирландская компания «CREDIREFORM», немецкая «SHUFE», австрийская «INTERCREDIT», латвийская «COFACE IGK» и многие другие. Некоторые из этих компаний совмещают функции конкурентной разведки с другими видами деятельности, например, обязанностями кредитных бюро, исключительным видом деятельности других является только конкурентная разведка.

Общей проблемой при обращении за информационными справками в западные агенства, имеющие представительства на территории СНГ, является то, что, как правило, информация, предоставляемая в отношении западных нерезидентов, намного обширнее и качественнее, чем информация предоставляемая в отношении отечественных фирм. В связи с чем в таких случаях целесообразно обращаться к «родным» информационным –компаниям – дешевле и качественнее.
На Украине также существует целый ряд подобных компаний. Из известных авторам статьи можно назвать «АВЕСТА-УКРАИНА», «СІДКОН», Межбанковская служба безопасности «СКИФ» и другие.

На российском рынке пользуются популярностью информационные отчеты компаний «Р-ТЕХНО», «МЕДИОЛОГИЯ», «СИНС», «ИНТЕГРУМ», «КРОНОС- ИНФОРМ» и многих других. Цены российских компаний вполне сравнимы с западными.

Все отечественные и зарубежные информационные компании имеют свое представительство и принимают заказы в Интернете, в связи с чем мы также отнесли их, пусть и к специфическим, можно сказать «офф-лайновым», но все-таки Интернет-источникам.

Следует также отметить, что несмотря на то, что в случае заказа работы аутсорсинговой компании она делает большую часть информационной работы за Вас, окончательные выводы и решения, рекомендации для принятия управленческих решений (вспомните 4 и 5 этапы разведцикла) все-таки остаются за Вами, так как в этом случае только Вы обладаете всей необходимой полнотой внешней и инсайдерской информации.

Инструментальные средства конкурентной разведки

Итак, мы определились с источниками информации в Сети. Теперь поговорим о существующих доступных инструментальных средствах, с помощью которых можно эффективно использовать эти самые, многочисленные источники в качестве информационных ресурсов.

В последнее время все основные западные брэнды, специализирующиеся на разработке хранилищ и баз данных, корпоративных системах управления, расширили свои линейки продуктов модулями BISUNESS INTELLIGENCE (BI) или, дословном переводе - деловой разведки. О налички таких модулей заявляют SAP, ORACLE, SAS, IBM, Cognos и другие брєнды.

В настоящее время хорошо известна система LOTUS DISCOVERY SERVER фирмы IBM – программный продукт, предназначенный для управления знаниями в корпоративных порталах. Система находит и идентифицирует связи, а также управляет интеллектуальным капиталом. Благодаря анализу информации, хранящейся в организации LOTUS DISCOVERY SERVER может определять области экспертных знаний и подразумеваемые знания сотрудников, находя и организуя динамические связи между информацией, людьми и их деятельностью.

Около пяти лет назад по заказу группы аналитиков Гарвардского университета российские разработчики из «Инфорус» создали систему AVALANCHE, которая в процессе поиска формирует модель предметной области в виде набора «умных папок», каждая из которых знает, что в нее должно попасть. Наполнением папок занимается специализированный робот, который запускается с компьютера «хозяина» и «приносит» только то, что просили. AVALANCHE – одно из первых эффективных решений, использующих современные технологии глубинного анализа текстов.

Среди самых развитых систем управления знаниями, применяемых для решения задач конкурентной разведки, нельзя не назвать систему HUMMINGBIRD ENTERPRISE™ канадской компании Hummingbird. Среди множества компонент системы можно выделить Hummingbird Portal - платформу, позволяющую интегрировать информацию из информационного хранилища и приложения в едином Web-интерфейсе. Эта платформа, как и ранее названный портал IBM Lotus, является полнофунциональным порталом знаний.

Еще одна флагманская платформа для конкурентной разведки - это система американской корпорации DOCUMENTUM, предназначенная для управления неструктурированной информацией, хранящейся в виде файлов различных форматов. Система Documentum (EMC Platform) основана на трехуровневой архитектуре, включающей хранилище содержания - репозитарий, службу управления содержанием - контент-сервер и клиентские приложения для работы с контентом. Система Documentum позволяет хранить и управлять неструктурированным контентом - Web-контентом, XML-документами, мультимедиа-данными. Репозитарий системы должно обеспечивать как безопасность, так и открытость хранения контента, позволять объединять корпоративные данные в единую корпоративную информационную среду.

Для решения информационно-аналитических задач в настоящее время также широко используется система COGNOS BUSINESS INTELLIGENCE корпорации Cognos. Решение Cognos BI базируется на идеологии OLAP. Одна из особенностей системы - это ее возможность интеграции с компонентами других информационных систем, в том числе необходимых для проведения бизнес-разведки систем финансово-экономического планирования и управления клиентской базой. В этом случае обеспечиваются широкие возможности сбора и консолидации данных из внутренних и внешних источников.

Говоря о всех выше перечисленных западных системах следует обратить внимание на ту разницу в терминах о которой мы говорили в само начале статьи. Говоря о западных продуктах, лидирующих в области Business Intelligence, следует отметить, что под этим терміном, как правило понимается набор инструментальных средств анализа статистических цифровых данных и других корпоративных отчетов и их визуализации, в отличие от COMPETITIVE INTELLIGENCE (конкурентной разведки), которая, как мы пытались показать в этой статье, является гораздо более широким направлением информационной деятельности.

На российском рынке, который ближе к нам по своей специфике, кроме упомянутой выше системы AVALANCHE в сегменте инструментальных средств для конкурентной разведки в Интернет представлено довольно много подобных систем. Попробуем перечислить только найболее известные из них. К российским системам, заслуживающих внимания с точки зрения авторов статьи, можно отнести: информационно-аналитические системы «МЕДИОЛОГИЯ», «ИНТЕГРУМ», «ТРЕНД», «СЕМАНТИЧЕСКИЙ АРХИВ», «АНАЛИТИЧЕСКИЙ КУРЬЕР», «АСТАРТА», «ГАЛАКТИКА-ZOOM», «АНАЛИТИК-2», «INTELLECTUM BIS», «АРТЕФАКТ», информационно-программные комплексы (ИПК) «АРИОН», «Х-FILES 2004», «ТРЕНД», «CRONOS» и другие.

На украинском рынке в этом сегменте представлены такие системы как «WEB-OBSERVER», «СФЕРА», «INFOSTREAM», «X-SCIF» и другие. В силу того, что даже краткое описание указанных выше систем выходит за допустимые рамки одной статьи авторам предложено более подробно остановиться на анализе таких систем в отдельной статье. Сейчас же, подытоживая написанное, хотелось бы отметить, что не все из названных систем являются доступними и необходимыми, ввиду их стоимостных характеристик или других причин. Вместе с тем, отдельные задачи конкурентной разведки могут быть частично решены вполне доступными средствами. Использование новых подходов, а также открытых, доступных и относительно недорогих информационных источников, позволяет уже сегодня эффективно поддерживать принятие управленческих решений по очень многим, в том числе и стратегическим, направлениям бизнеса.

Во всем мире уже свыше 20 лет считают, что конкурентная разведка - это важнейшая функция современного менеджмента и главное условие динамичного и устойчивого развития бизнеса. Большинство компаний используют конкурентную разведку для изучения состояния рынка (74% респондентов) и конкурентов (64%). Поиск, сбор и анализ информации помогает сформировать целостную картину конкурентной среды, установить причинно-следственные связи.

В настоящее время конкурентная разведка в сети Интернет обеспечивает доступность, огромный охват информации и высокую оперативность. Но она не может заменить другие виды и инструментальные средства бизнес-разведки. Для принятия серьезных решений необходимо использование комплексных систем, которые разрешают компоновать и обобщать информацию об объекте исследований, полученную из разных источников с применением разных технологий.

Автор: Д.В. Ландэ, В.В. Прищепа