Фильтр

Динамический парсер для мониторинга новостийных сайтов



Внутренняя архитектура представлена тремя практически независимыми подсистемами, которые сообщаются через общую базу данных. Такая архитектура позволяет ввести отдельную синхронизацию для параллельного запуска процессов считывания контента каждого сайта из списка и отдельно запуск с установленной периодичностью ресурсоемкого серверного скрипта, который производит анализ. Это позволяет максимально оптимизировать использование ресурсов сервера и не допустить общей остановки работы системы в случае отдельных сбоев.
Первые две подсистемы, также имеют общий интерфейс и с точки зрения пользователя выглядят как единое приложение, в дальнейшем агент. Агент запускается в единственном экземпляре на одном из клиентских терминалов и обеспечивает круглосуточную автономную работу системы.
Выделение подсистемы обучения позволяет параллельно запускать несколько копий на разных клиентских терминалах и работать над визуальным контролем и коррекцией эвристик нескольким сотрудникам.



   ShadowAngel   208  3

5000 ₽ Наполнение интернет магазина спортивного питания



Парсинг 1300 товарных позиций по заданным критериям. Поиск, выгрузка и обработка фото. Составление и импорт CSV файла в систему управления OpenCart.



   WellSky   104  3

700 ₴ Парсер OLX по всем категориям



Парсер обьявлений с популярной доски OLX по всем категориям

Написан на javafx.



   hdls   60  1

Парсер SimilarWeb



Задача:
Написать парсер для SimilarWeb. Парсер должен собирать данные о посещаемости сайтов, записывать в базу данных, и по команде, выводить их в html-файл.

#парсер #nodejs #node.js #sqlite #html #similarweb



   alphamyd   3  1

4000 ₴ Опольтранс создание прайсов



На видео демонстрируется работа небольшого софта,который формирует прайсы автозапчастей на основе каталожных номеров из сайта http://opoltrans.com.pl/.



   hambit7   1

2000 ₴ Бот webparse.ru и mailinator.com



Бот, имеющий такой функционал:
- авторизация, создание ящиков на mailinator.com;
- регистрация на webparser, отправка email-сообщения на новозарегистрированный ящик:
- проверка наличия письма от webparser, и активация аккаунта по по ссылке;
- добавление данных аккаунта в БД;
- полный лог действий;

Так же, как дополнение, была реализована генерация подобочеловеческих логинов почт, для возможности запуска и добычи множества аккаунтов в автоматическом режиме



   Big_brother   9  1

Магазин оптики для грузовых авто Пром



Наполнен раздел габаритных фонарей. Около 1000 наименований.



   olgagum   42  1

Наполнение категории освещение на Пром.



Почти 10 тыс наименований + вариация. Не менее 5 фото на каждую позицию, заполнение всех характеристик ключевых и т.д. Срок выполнения - 2 дня.



   olgagum   31  1

Парсинг 15000 песен, импорт/оформление Wordpress.



Написание парсера на PHP и сам парсинг с другого сайта текстов песен (около 15 тысяч). Их запись в XML файлы с последующим импортом на сайт Wordpress в пользовательский тип записей "Тексты песен". Создание и доработка шаблонов для вывода песен и категорий (название исполнителя). Создание постраничной пагинации в пределах одной длинной страницы. Корректировка URL и "хлебных крошек" согласно ТЗ.



   arni1980   2  1