WWWOFFLE + MnogoSearch HOWTO

Настройка симбиоза прокси-сервера wwwoffle и поисковика mnogosearch

При наличии только лишь коммутируемого (и недешевого) доступа к Internet для многих пользователей становятся весьма желательным:

сохранять все просматривавшиеся страницы в дисковом кэше достаточно долгое время (вплоть до вечного - благо дисковое пространство сегодня очень дешево) с возможностью их прозрачного просмотра даже при отключенной линии (в режиме off-line)
иметь возможность выполнять контекстный поиск в накопленном кэше

Для решения обоих задач имеется соответствующий инструментарий, причем в нескольких воплощениях. Я для себя из этого зоопарка по ряду причин выбрал:

wwwoffle - очень гибко настраиваемый кэширующий прокси-сервер
mnogosearch - поисковик, использующий для хранения индексов различные СУБД (я использую его совместно с MySQL), и предоставляющий интерфейс пользователю в виде CGI-скрипта через локальный http-сервер Apache.

Данный скрипт был написан ввиду того, что поставляемые в составе wwwoffle средства, на мой взгляд, некорректно работают с mnogosearch (в частности, нарушается требование использования одного конфигурационного файла для одной базы данных). В данном архиве находятся следующие файлы:

   README     - этот текст
   wwwtune    - настроечный скрипт
   search.htm - перевод формы запроса mnogosearch на русский

Скрипт расчитан на использование в среде дистрибутива ALT Linux Master 2.4 c настроенным apt-репозитарием. Тем не менее может быть легко настроен для работы в любом другом дистрибутиве.

Необходимые пакеты:

wwwoffle
mnogosearch, mnogosearch-cgi
MySQL-client, MySQL-server (должны быть уже установлены и настроены)
apache

Для настройки сначала установите переменные скрипта wwwtune в соответствии с реалиями вашей системы, а затем выполните его (от пользователя root):

./wwwtune

Ответьте на задаваемые запросы, внимательно следите за сообщениями. В результате работы будет выполнено:

доустановка и донастройка используемых пакетов
если у вас уже имеется накопленный кэш wwwoffle - вы можете перенести его. Для этого вам необходимо предварительно подготовить tar-архив кэша следующим образом:
```
  
  # cd /var/cache/wwwoffle
  # tar cvfj <целевая директория>/http.tar.bz2 http
```
создание и заполнение базы данных mnogosearch
создание скриптов полного (mnf) и инкрементального (mni) индексирования базы данных. Индексирование обозначает просмотр накопленного кэша web-страниц и заполнение базы данных. При полном индексировании просматривается весь кэш, при инкрементальном - только те, которые были скачаны при прошлом соединении с Internet. Полное индексирование следует выполнять изредка, лучше перед этим удалить базу данных mnogosearch, чтобы там не накапливались ссылки на давно удаленные из кэша страницы. Инкрементальный - после каждого соединения с Internet, во время которого выполнялся просмотр web-страниц.
автоматическое изменение режимов работы прокси-сервера и выполнение инкрементального индексирования при установлении/разрыве ppp-соединения

Вручную вам придется выполнить следующие действия:

указать вашему браузеру, что для доступа по протоколу HTTP необходимо использовать прокси-сервер по адресу http://localhost:8080
указать адрес формы поиска: http://localhost/cgi-bin/search.cgi

ВНИМАНИЕ: не выполняйте индексацию, находясь в режиме on-line: рискуете выкачать если не весь интернет, то очень немаленькую его часть.

Sun Nov 14 19:18:14 EET 2004		yuk at iceb vinnitsa com