Сбор и систематизация информации из Интернета с помощью платформы 1С
В нашей жизни встала задача по сбору данных в Интернете из различных источников с последующим форматирование этих данных. После некоторых раздумий было принято решение сделать систему сбора данных на платформе 1С Предприятие. Описывать преимущества и недостатки 1С Предприятия в этой статье не буду. Для этого есть узкоспециализированные ресурсы в Интернете. В качестве стартовой задачи была поставлена задача автоматического сбора данных с площадок, информирующих о государственных закупках и государственных контрактах.
При анализе площадок информирующих о государственных закупках и государственных заказах было вывлено, что эта информация любыми способами закрывается от автоматического сбора сторонними лицами, так же на основной площадке государственных закупок отсутствует возможность отбора по тематике закупок, то есть пользователи заведомо ставятся в неудобное положение. И еще много всяких приемов используется владельцами этих ресурсов, чтобы затруднить работу пользователей по поиску и сбору актуальной информации.
Нами был разработан универсальный, по мере возможности, механизм сбора данных с различных ресурсов предоставляющих информацию по тенедерам.
Результат работы робота можно увидеть на http://www.tender.infopiter.ru/
Из особенностей программного кода следует отметить, что необходимо использовать различные способы HTTP подключения, а именно COMОбъект("InternetExplorer.Application") и HTTPСоединение(ЭтотОбъект.АдресСайта,,,,,)
Эта необходимость связана с тем, что второй вариант работает быстрее, а первый вариант работает надежнее особенно если программисты при создании вебресурса используют java скрипты и задержку вывода страницы с данными. Так как в языке программирования 1С нет функции паузы, то используем паразитный цикл с проверкой по текущему времени.
ДатаНачЦикла=ТекущаяДата();
Пока ТекущаяДата()-ДатаНачЦикла <Пауза цикл
КонецЦикла;
Далее производим разбор полученной странички с использование методов DOM. А именно определяем координаты необходимых данных, исключаем не нужные данные по ссылкам на классы и теги. И в конечном итоге получаем нужные данные, которые помещаем в соответствующие регистры хранения данных 1С.
Заключительным этапом этих манипуляций является выгрузка форматированных данных в Интернет ресурс.
Руководитель проекта "Инфопитер" Нур Рысбаев
У нас Вы можете заказать себе аналогичную систему по сбору и выводу различных данных в Интернете.