Надежность в домашних сетях
Павел Нагибин 
Качественное питание. Не только для администратора…
Надежность в домашних сетях
Начнем с того, что стандарты и нормы нужно просто знать. А еще лучше понимать, иначе «инновациями» можно легко «развалить» нормально работающую сеть. Примером тому бездумная замена маршрутизаторов на дешевые коммутаторы, да еще 10/100, попытки преодолеть проблемы большого (физическими размерами) домена коллизий путем установки добавочных хабов. Плюс к этому установка необкатанного оборудования параллельно с глобальной сменой пользовательских адресов и подключением новых абонентов. В итоге можно получить катастрофический простой сети. Отсюда правило номер один: не понимаешь, как работает, — соблюдай стандарты, они для того и созданы.
А теперь о надежности. Для начала определимся, что в данном случае следует понимать под словом «надежность». Не углубляясь в статистику с ее математическим аппаратом, возьмем за критерий время простоя крайней точки сети (в часах) за определенный период времени (неделю). Возможно, количество часов простоя сети в неделю кому-то покажется невероятно большим. Однако отметим, что сеть «домашняя», а следовательно, некоммерческая, с соответствующими требованиями к установке и возможностями оборудования. Итак, будем считать, что сеть более или менее сносна, если простой менее 10 часов в неделю, хороша — если этот параметр меньше 5, и плоха — если он больше 20. Прежде всего на отказоустойчивость влияют технические и организационные факторы.
К техническим факторам относятся:
- состояние кабелей;
- активное оборудование;
- программное обеспечение.
Под организационными факторами подразумеваются:
- техническая поддержка;
- обеспечение легальности коммуникаций.
Сразу отметим, что наша сеть строилась на собственные средства и, следовательно, ни о каких значительных инвестициях речь не идет. Как следствие — выбор недорогого оборудования и кабельного хозяйства, что также оказало существенное влияние непосредственно на архитектуру сети. Кроме того, руководством к действию служило убеждение, что Ethernet может больше, чем предусмотрено стандартами.
 |
|
Какую топологию выбрать?
Топология — самое слабое звено домашней сети. И именно здесь очень важно сделать
правильный выбор.
Именно так сделано большинство «домашних сетей». И именно так делать нельзя.
Легко заметить, что в этом варианте отказ любого активного элемента влечет,
в свою очередь, отказ всех последующих узлов. Работать такая схема, конечно,
будет, но плохо. То питание в доме отключат, то обесточат одну из фаз (как назло
нужную), то пьяный электрик что-то замкнет, то провод порвется, то хаб уведут,
то у китайского изделия «крышу снесет», то водой зальет, то гроза спалит, то
разъем перестанет контачить — в общем, не перечислить и не предусмотреть всех
проблем. Вероятность каждой из них небольшая, но их количество, да еще умноженное
на десяток последовательных узлов... Да, пользователю в конце такой сети не
позавидуешь. Поэтому планировать более правильную топологию необходимо сразу.
Если у вас нет денег, а сеть нужна — попробуйте такой вариант. «Лишних» кабелей
не так и много. И нет возможности сделать сразу 100 Мбит на свитчах... Но лучше
уж стабильные 10 Мбит на запредельных расстояниях и приличных кабелях, чем постоянно
отваливающаяся сеть, несмотря на кажущееся соблюдение стандартов по длине. Думаю,
что пять последовательных устройств — это предел (в соответствии со стандартом
допускается соединение четырех последовательных последовательных устройств).
Правда, в моей практике встречалась сеть с большим количеством устройств, но
это было сделано не от хорошей жизни. Сеть работала, но количество отказов составляло
(и составляет до сих пор) около 25 часов в неделю. Разумеется, возможности преодолеть
этот барьер есть, но об этом чуть позже.
Не следует забывать, что появилось новое средство борьбы с большими расстояниями. Это оптоволокно, на рисунке показанное зеленым цветом. «Появилось» — слово не совсем точное, правильнее сказать — стало доступно по цене. Конвертор TP-FO(ST) сейчас можно купить за 40 долл. (если напрячься), само оптоволокно стоит от 0,85 долл. за метр (черырехжильное многомодовое волокно саранского производства) и до 1,5 долл. за подвесной кабель московского завода. К тому же можно найти обрезки по 200-300 метров за 70% стоимости.
Сварка оптики постепенно превратилась в склейку (или соединение на сплайсах) и сильно подешевела. Вполне реально обойтись 10 долл. за жилу или даже сделать это самостоятельно. Разъем под склейку стоит 3,5 долл. В результате можно получить надежную сеть. По моим прикидкам, время ее простоя не превысит 5 часов в неделю. Плюс ко всему не будут проблемой 100 Мбит и правильная архитектура. Можно разориться на коммутатор 4-го уровня или приличный сервер. Обеспечить охраной и бесперебойным питанием одну точку проще, чем несколько. Еще одним весьма существенным достоинством оптоволокна является то, что подключенные к нему активные устройства не горят в грозу. Таким образом, самый страшный враг «домашних сетей» будет повержен.
Итак, правильно выбранная топология способна очень серьезно влиять на надежность. Но продолжим описание.
|
|
Провода и тросы
Кабельное хозяйство, бесспорно, самая главная составляющая Еthernet-провайдинга. Существенными моментами являются сохранность кабеля, его тип и способ его крепления. (Этот серьезный вопрос надеюсь подробно рассмотреть в одном из следующих обзоров в качестве практического примера развития темы — крепление к проволоке, к стойкам, на чердаке, сращивание проволоки, кабелей, герметизация.) Надо отметить, что сохранность проводов нас особенно не беспокоила: было всего две кражи за 2 года, и то на одном доме. Это из нескольких десятков километров кабелей... Бомжам П296 не интересен, витая пара и тонкий коаксиал — тоже,так как меди мало. Крыши и чердаки обычно закрыты, кто попало не шляется.
Подвешивать кабели лучше на проволоке или тросе. Мне приходилось использовать
только проволоку (выбор обусловлен ее низкой ценой — 500-800 руб. бухта в 2-3
км). П296 и некоторые виды оптоволокна можно вешать на расстояния протяженностью
до 100 метров без троса.
Такое крепление не пережмет кабель и вместе с тем надежно удержит почти любую нагрузку. Конечно, правильнее использовать специальные зажимы, но они стоят не менее 25-30 долл. В остальном — нельзя натягивать слишком сильно или слишком слабо, нельзя допускать, чтобы кабель терся обо что-то твердое, и т.д.
В общем, обычный набор разумных требований и коммуникации не будут причинять хлопот. Согласно статистике у нас отказы кабелей составляли менее 10% отказов активного оборудования — во многом, конечно, благодаря П296. Его почти невозможно проложить плохо. Даже неправильно повешенный на большой пролет, он работает годами до выхода из строя. Коаксиальные же линии пришлось постепенно демонтировать — по мере появления неполадок.
Для обеспечения последующей поддержки сетей их необходимо маркировать и документировать. Это несложно и недорого. Черкнуть маркером по кабелю, наклеить самоклейку... Нарисовать эскизик с описанием на треть листа... Вложить в скоросшиватель... Если привыкнуть — совсем не сложно. Но как спасает от огромных проблем в дальнейшем. Ситуаций, когда проще переделать, чем исправить, встречается довольно много — и в программировании, и в сетях. Маркировка и описания от этой беды спасают, а главное, не требуют материальных затрат.
|
|
Как и куда ставить «железо»
Размещения активного оборудования, как выяснилось,оказывает самое непосредственное
влияние на надежность сети. Приведем несколько примеров.
Идиллическая картина установки хаба. Но так удается их ставить в Екатеринбурге
очень редко. Щитки слаботочки плохо защищены — любой пионер может их открыть,
и хаб сам просится в руки. Для иллюстрации антивандальной установки приведем
два полярных примера:
Слева коробка на солидном техэтаже большого офисного здания, вход на который худо-бедно охраняется. Такой «уголок» можно взять в аренду и даже попробовать сдать госсвязьнадзору, если прижмет. Питание подведено через отдельный предохранитель в щитке, хорошим 3-квадратным медным кабелем в двойной изоляции. Заземление на шину отдельным проводом. Витая пара разведена по шахте слаботочки... Если бы везде делали хотя бы так, но порой красота и правильность идут во вред..
Справа хаб в панельной девятиэтажке. Такие щитки не защищены отгороженными «загончиками», на них нет замков. Даже в слаботочку ставить страшно, там пионеры не стесняются. А к счетчикам лезть все-таки побаиваются. Замки на щитки ставить пробовали, но с замком оборудование исчезает быстрее — таков российский менталитет. И техэтажа в таких домах, по сути, нет.
В лифтовые ставить нельзя — запрещено, после пары скандалов пришлось убирать. Ставить у клиента — еще хуже. Техподдержка должна (вернее, просто обязана) иметь постоянный (в идеале круглосуточный) доступ к оборудованию. Случаев, когда абонент, у которого стоит хаб, уезжает в отпуск (на выходные), а хаб (репитер, роутер) сгорает (зависает, пропадает питание), было очень много. Несколько устройств пришлось просто «вырезать» из сети и ставить по новой. Отсюда второе правило: установка у клиента — только в исключительном, самом крайнем случае.
Вообще, где только ни приходилось размещать хабы и роутеры. Встречаются точки,
где до хаба надо ползти несколько метров по стекловате. Есть закутки, куда может
проникнуть только худой и ловкий человек. Это исключения, конечно. Но в наших
местах забавной «архитектуры» хватает.
Хитрости при установке — хаб ставится без корпуса. И места меньше занимает, и продать сложнее, а значит, и сохранность-надежность повышается. Желательно еще маркировать (самое простое — отверткой центральный чип). Тогда и шансы найти в случае чего появляются. В общем, лучше не по ГОСТу, а так, чтоб не украли.
На заднем плане — самодельные грозозащиты. Если к ним еще и корпус найти, совсем было бы хорошо. А так отдает кустарщиной. Можно заливать герметиком, как некоторые московские самоделки, но мне больше нравится ремонтопригодность. Да и схема, скопированная с АРС, придает некоторую уверенность.
|
|
Качественное питание. Не только для администратора…
И наконец, третье правило — надежное питание. Это самый проблемный вопрос. И все, вроде, понятно, но то на выключатель какой неудачно попадет, то сторож неожиданно начнет отключать этаж (дом, квартал на ночь или на день). Или помешает электрикам, хуже пожарникам — и нет питания, да еще и скандал, если слишком много норм нарушено. Например, Боже упаси на деревянную крышу вывести 220 В, да еще не в трубах или металлорукаве, а прямо витой парой на скобках. Могут пришибить на месте — и будут правы. Только 9-12 вольт, и с оглядкой. В общем, если можно сделать правильно — не надо придумывать что-то свое.
Желательно также использовать УПСы. Ставить на каждый хаб/свитч АРС-200 — слишком роскошно для домашней сети. Поэтому возникает желание наладить выпуск самодельных устройств. Действительно, потребление хаба реальное — всего 0,2-0,3 А по пяти вольтам. Значит, даже четырех пальчиковых элементов (приличных) хватит на несколько часов. Китайские продаются на оптовке по 8-10 рублей, на полчаса-час хватит и их. Скорость переключения не критична, восстанавливать обратно 220 В — не надо. Схема получается достаточно простой; возможно, кто-то ее уже применяет.
Заземление — отдельный вопрос. Но, поскольку «нормального» заземления в наших домах все равно нет, приходится занулять. Лучше делать это отдельным цельным проводом. Разницы для витой пары (а точнее — грозозащиты) нет, ну а коаксиала вообще лучше сторониться. Оплетку (экран) П296 мы заземляли обычно с одной стороны, но и при заземлении с обеих сторон проблем не наблюдалось. Вообще, на первый взгляд, и без этого можно работать. Но заземление — первое, на что обращает внимание госсвязьнадзор, ? проверено на собственном опыте. Так что заземлять (занулять) в любом случае надо.
Теперь немного о грозозащите. Она необходима — полностью не спасает, но согласно статистике, экономит массу времени и денег.
В заключение иллюстрация, как не надо делать скрутки.
|
|
От теории к практике
Абстрактно рассуждать о надежности пока слишком сложно. Поэтому вернемся к
к схеме нашей сети. Для удобства еще раз приведем рисунок.
Треугольниками обозначены места установки активного оборудования, в основном хабов. Синие линии — магистрали П296. Скорость — 10 Мбит. Для масштаба возьмем линию А2-А4 — около 500 метров. Три маршрутизатора делят сеть на пять доменов коллизий, и этого уже недостаточно — для нормальной работы требуется еще два (были в проекте).
Сеть подключена к Интернету в одной точке. Пусть это будет М5. С загруженностью особых проблем нет, и коллизии еще в норме. Скорость 300-400 Кбит/с до шлюза в Интернет — реальность, да и до городского эксчейнджа не хуже 30 Кбит/с. Но очевидно, что все, даже самые смелые нормы по надежности опрокинуты. 12-15 последовательных устройств — даже странно, что ЭТО работает.
Существуют ли способы заставить схему работать без прокладки оптоволоконных магистралей или подключения к чьей-либо транспортной сети? Думаю, да. К сожалению, это мне не удалось проверить на практике, но план (готовность к апрелю этого года) изложу. Кстати, подобные проекты были сделаны и для других частей сети. Например, линия, уходящая вверх рисунка, предназначалась для резервного канала связи с другой большой сетью.
На схеме показаны тонкие красные линии — сеть в перспективе должна была замкнуться в два-три кольца. Это должно было стать концом периода быстрого территориального роста и переходом к борьбе за повышение качества связи.
Что представляют собой «кольца» технически? Это все тот же П296. Повышение надежности основано не на резком качественном изменении технологии, а на простом рассчете. Вероятность одновременного выхода из строя обоих полуколец намного меньше (буду благодарен за рассчет, но, думаю, разница будет на порядок). Что для этого требуется?
Коммутаторы с поддержкой STA (Spanning Tree Algorithm), безусловно, удобны, но для «домашних сетей» это, мягко говоря, роскошь. Поэтому остается вариант: РС-маршрутизатор и динамическая маршрутизация. Их в сети уже достаточно, более того, в нужных местах практически подготовлены площадки под установку недостающих. Конечно, придется распрощаться с 386-м под DOS или 486sx25-м (но такого в нашей сети никогда и не было). Железо потребуется помощнее, например 486dx4-100-й или даже Pentium. Это не разорит. С точки зрения софта динамическая маршрутизация ничего, кроме дополнительного демона, головы и прямых рук, не требует.
Такое вот решение «для бедных». Я довольно долго думал, что на деле окажется надежнее: «правильная» звезда на оптике или кольцо на П296. Однако все не так просто, как кажется. «Домашняя сеть» — не СКС. И создавать единый центр можно только до определенного предела — просто из-за физических размеров. Без оптики это вообще малореально, а с ней — обычно не более 4 пар, а значит, и не более 4 площадок, сведенных в центр. Поэтому на приведенной сети все равно было бы не менее 3-4 промежуточных узлов.
Оценить, что менее вероятно, — отказ одной из 4 точек или одновременный отказ одной из 15 точек на каждом из полуколец, я не берусь. Тем более что оба метода не исключают, а лишь дополняют друг друга. Если бы показанная сеть не была построена год назад, а проектировалась сейчас, сделали бы на оптике и 100 мегабитных свитчах. А через два года, глядишь, кольца бы замкнулись через китайские управляемые коммутаторы с поддержкой STA, VLAN и прочих вкусностей, упавших в цене до 150 долл. Экономика, к сожалению, диктует свои условия.
|
|
От стройки к софту
Сказать что-то плохое не могу ни о Linux, ни о BSD. Последняя доставляла мне как пользователю несколько больше хлопот, но это руки и поддержка 3com 509 — кривые. Первый сервер сети стоит уже третий год: сменился винт и комп, а системе — хоть бы хны. Работает — на одном Pentium почта, Web, firewall, DNS, ftp. Отдельные маршрутизаторы живут уже почти 4 года — админ хвалил их, говоря, что и в глаза не видел железо, только телнетом. Правда, почти все маршрутизаторы — бренд: Acer, Intel, Compaq... Уж на что не люблю их как настольный вариант, но надежность у них хорошая. Впрочем, есть и несколько китайских — они ничуть не уступают, правда, только после толковой сборки.
Продолжим тему в следующем обзоре. Организационные вопросы — часто важнее технических. Ведь очевидно, что имеющиеся сегодня на рынке сети с продвинутой технологией оказываются загнанными на обочину организационной безграмотностью. И наоборот, массовый вал тиражирования самого простого решения захватывает рынок и территорию.
КомпьютерПресс 4'2001
