Bittorrent

Теневая сторона Интернета

Принцип работы пиринговой сети bittorrent

Типы tracker-серверов

От теории к практике

Установка µTorrent 1.6

Управление папками

Проблемы, возникающие при работе, и их решение

Создание собственной раздачи

Выводы, или Что будет дальше?

Согласно законам большинства стран, если на компьютере находится нелегальная информация, владельца этого ПК можно привлечь к суду за ее хранение или распространение. Со временем технологии передачи и хранения файлов совершенствовались и стали появляться схемы файлообмена без хранения файлов на сервере — так называемые пиринговые системы хранения данных, основанные на равноправии участников (peer-to-peer — равный с равным). В этом случае файлы хранятся на компьютерах клиентов, а сервер, если он есть, только поддерживает связь и поиск между ними.

Одна из самых распространенных и обширных систем файлообмена — гибридная сеть ed2k (edonkey2000), небезызвестный «ослик», построенная по технологии p2p (peer-to-peer) с централизованным сервером. В этой сети поиск файлов выполняют серверы, связанные в одну сеть, а клиенты серверов обмениваются между собой файлами. У этой сети существует ряд недостатков: низкая скорость скачивания, длинные очереди на файлы (время ожидания, чтобы скачать небольшой фрагмент файла, может доходить до дня и более) и огромное количество подложных файлов (публикация файлов с тем же названием, но совершенно иным содержимым). Поскольку комментируют файлы далеко не все, определить подлинность файла весьма сложно. Решить эти и многие другие проблемы позволила новая файлообменная схема bittorrent, которая представляет собой не одну глобальную сеть для обмена файлами, а отдельные сети для передачи одного файла. По принципу работы она несколько отличается от других пиринговых сетей. 

Принцип работы пиринговой сети bittorrent

Владелец публикуемого документа подготавливает специальный torrent-файл, который содержит информацию о tracker-сервере, описание публикуемого документа, hash-файла (уникальное значение, рассчитываемое на основе данных файла) и другую сопроводительную информацию. Затем этот файл публикуется в Интернете и поскольку имеет небольшой объем, то обычно выкладывается на специализированных форумах с сопроводительной информацией о содержимом.

Если публикуемая информация заинтересовала пользователя, он скачивает torrent-файл и открывает его специализированной программой-клиентом. Программа, проанализировав служебную информацию из torrent-файла, определяет tracker-сервер, к которому затем и подключается. tracker-сервер, в свою очередь, передает клиенту информацию о клиентах, имеющих этот файл. Следует отметить важную особенность: каждый файл разбивается на тысячи фрагментов, за счет чего скорость скачивания возрастает, поскольку маленький файл скачать легче, чем большой.

По мере увеличения количества скачавших блоки данных, конечные пользователи начинают скачивать необходимый файл уже не у владельца, а друг у друга. Таким образом, под контролем сервера создается небольшая пиринговая сеть, которая распространяет только опубликованный ранее файл или файлы. 

Недостатком такой схемы файлообмена является его жесткая централизация, так как в случае выхода из строя tracker-сервера пользователь не сможет получить список клиентов, имеющих запрашиваемый файл. Однако и для такого случая был найден выход: появились дополнительные пристройки к существующей системе — DHT и PEX.

Сеть DHT — децентрализованная система для обмена информацией об участниках файлообмена, которая минует tracker-сервер. Она используется для объединения большого количества постоянно исчезающих и появляющихся узлов и передачи данных между ними. При подключении к DHT-сети клиент устанавливает соединение с несколькими узлами, полученными ранее, и также становится ее узлом. При недоступности tracker-сервера клиент посылает по сети DHT другим ее клиентам хэш скачиваемого файла, а те, в свою очередь, запрашивают своих соседей. Спустя некоторое время по этой цепочке клиент получает список клиентов с искомым файлом.

PEX (peer exchange) — технология обмена списками между клиентами одной и той же раздачи файла, которая также появилась сравнительно недавно. В отличие от сети DHT, PEX — это всего лишь надстройка для передачи сообщений со списками между клиентами по протоколу bittorrent. 

Описанная файлообменная сеть позволяет получить очень высокую скорость скачивания и отдачи, которая ограничена лишь шириной канала клиента, поскольку очередь для клиентов отсутствует, а файл разбивается на тысячи мелких фрагментов. Получается, что пользователь скачивает файл из большого числа источников (много мелких фрагментов файла скачиваются быстрее одного большого), отдавая при этом другим источникам свои части.

В настоящее время это одна из самых распространенных сетей файлообмена, которая стремительно набирает популярность. Обычно в таких сетях обмениваются файлами большого объема — фильмами, музыкой и образами целых CD- и DVD-дисков. Но, поскольку большая часть информации публикуется незаконно, пиринговые сети являются головной болью звукозаписывающих и видеоиздательских компаний. Так как файлы содержатся не на серверах, а на компьютерах клиентов, остановить процесс их распространения практически невозможно — ведь для этого файлы необходимо изъять с тысячи и более компьютеров. В последнее время организации по борьбе с пиратством стали подавать в суд на отдельных пользователей, обвиняя их в незаконном распространении музыки и фильмов. Однако владельца tracker-сервера очень сложно привлечь к суду, поскольку сервер не хранит информацию, а только отвечает за обмен списками файлов между клиентами.

Типы tracker-серверов

В Глобальной сети существуют тысячи tracker-серверов, и их число увеличивается с каждым днем. Но не все серверы одинаковы — их можно условно разделить на три большие группы:

• закрытый tracker-сервер с закрытой регистрацией, где получение torrent-файлов возможно лишь при аутентификации на форуме;
• публичный tracker-сервер с форумом — для скачивания torrent требуется пройти регистрацию;
• публичный tracker-сервер с возможностью скачивания torrent-файла любым пользователем.

Закрытые серверы из первой группы обычно содержат файлы определенной тематики (только фильмы, только DVD-фильмы, только HDTV-фильмы и т.д.). Попасть в сообщество, то есть в команду, такого сервера сложно, поскольку открытой регистрации нет, а количество приглашений (инвайтов — от англ. invite) ограничено. Обычно такие серверы создают люди, имеющие одинаковые интересы. На таких закрытых серверах можно найти как раритетные файлы, так и новинки, которые пока отсутствуют на открытых серверах. В большинстве случаев те, кто имеет доступ на подобные серверы, скачивают файл-новинку и выкладывают его на публичные tracker-серверы из второй группы, а уже потом он попадает на публичные серверы из третьей группы. Бывают и гибридные серверы, где к одним файлам имеется открытый доступ, а другие можно скачать лишь после регистрации. Все зависит от администрации tracker-сервера.

Возникает вопрос: почему существует деление на группы? Основополагающий закон в пиринговых сетях гласит: скачал, посмотрел — дай скачать другим. Очень часто в сетях ed2k или в подобных им возникают различные ситуации, при которых файл со временем теряется, поскольку полных источников нет.

Пример первый: человек выкладывает файл, отдав его нескольким пользователям, и удаляет его, а пользователи, не соблюдающие правило обмена, тоже удаляют его — в результате файл теряется или остается на компьютерах пользователей в виде фрагментов, что в принципе одно и то же.

Пример второй: клиент является просто потребителем — скачивая, он ничего не отдает, так как просто блокирует исходящий трафик. Во избежание таких ситуаций создана система рейтингов, которая учитывает, сколько пользователь отдал и сколько скачал. Поскольку tracker-сервер может учитывать объем принятого/отданного трафика, администрация некоторых серверов вводит эту систему рейтингов. Учет трафика ведется по следующей схеме: при регистрации на tracker-сервере каждому пользователю присваивается уникальный ключ (passkey) и, когда пользователь скачивает torrent-файл, в него добавляется информация о ключе; затем, в момент подключения программы-клиента к серверу, она аутентифицирует клиента в соответствии с этим ключом. При обмене трафиком статистика скачанного/закачанного объема данных присваивается этому пользователю. При такой системе все torrent-файлы являются уникальными, поскольку несут в себе уникальный passkey пользователя, и в случае, если кто-то другой откроет данный файл, статистика будет все равно приписана пользователю, скачавшему его с сервера. Бывают случаи, что кто-то специально подменяет ключ, снижая таким образом статистику не себе, а тому пользователю, чей passkey находится в torrent-файле. Чтобы предотвратить такую ситуацию, можно сменить passkey на другой, но тогда скачанные torrent-файлы станут недействительными. Конечно, это создает определенные неудобства для пользователей, в особенности для тех, кто использует ADSL или другие асинхронные каналы передачи данных, где скорость отдачи в разы отличается от скорости закачки, но, в свою очередь, такая система гарантирует наличие файла в сети. Для нашей страны актуальна именно система рейтингов, так как в России преобладают пользователи, любящие скачивать, но не отдавать.   

От теории к практике

Существует около десятка программ-клиентов для операционных систем семейства Windows. По своим функциональным возможностям они практически не различаются, за исключением поддерживаемых дополнительных функций и внешнего вида. Самыми популярными клиентами являются µTorrent, Azureus, Bitspirit, MLDonkey и BitComet. Конечно, выбор клиента — дело сугубо личное. В данной статье будет рассмотрен клиент µTorrent версии 1.6, скачать который можно на сайте разработчика: http://www.utorrent.com/. Этот клиент имеет локализацию для 39 языков, включая русский.

Основные возможности программы:

• поддержка DHT-сетей, совместимость с Bitcomet;
• поддержка Peer Exchange (PEX) — обмен информацией о пирах между клиентами µTorrent;
• кэширование файлов на жестком диске;
• возможность SuperSeed и форсированного старта;
• ограничение скорости для клиента и каждого торрента в отдельности;
• подключение к tracker-серверам по протоколу HTTPS;
• шифрование протокола — совместимо с клиентами Bitcomet, Azureus и Mainline;
• поддержка UPnP и прокси-серверов.

Для наглядности в качестве tracker-сервера был выбран один из самых больших русскоязычных серверов в Интернете — «Национальный битторрент-трекер torrents.ru», расположенный по адресу: www.torrents.ru. На этом сервере предусмотрена свободная регистрация — для всех желающих, применяется рейтинговая система скачивания. Забегая вперед, отметим, что для всех новых пользователей рейтинг равен единице, что соответствует одновременному скачиванию до восьми торрентов с этого сервера.

Установка µTorrent 1.6

На сайте разработчика можно скачать две версии данного клиента: архив с файлами и установщик. Для новичка оптимальным будет второй вариант. После того как установщик загружен на жесткий диск компьютера, его необходимо запустить. В процессе инсталляции можно выбрать папку, куда будет установлен µTorrent, а также язык интерфейса. При первом запуске µTorrent запросит, установить ли его клиентом по умолчанию. Если другие подобные программы отсутствуют, то настоятельно рекомендуется дать положительный ответ. Кроме того, программа предложит выбрать тип соединения с Интернетом (рис. 1). Здесь необходимо указать тип соединения по скорости, а также через специальные сайты протестировать скорость и наличие открытого порта. Окно программы показано на рис. 2. Конечно, для максимальной скорости скачивания необходимо установить все настройки по максимуму. Об открытых портах и настройках µTorrent в условиях работы NAT или брандмауэра мы еще расскажем.

Рис. 1. Выбор типа соединения
при первом запуске µTorrent

Как уже говорилось, для начала работы необходимо скачать torrent-файл, а затем программа-клиент (в нашем случае — µTorrent), открыв этот файл, начнет закачку необходимых файлов. Во многих случаях тех настроек, что установлены в программе по умолчанию, вполне хватает для полноценной работы. Если закачка не началась, а полоска файла не изменила красный цвет на синий, это означает, что клиент не смог найти ни одного источника. Причины этого могут быть различными, далее мы перечислим наиболее распространенные ошибки и способы их исправления.

Рис. 2. Главное окно программы µTorrent

Управление папками

Если никаких ошибок нет и файл начал скачиваться, нужно выяснить, в какую папку он скачивается. По умолчанию, если не задана какая-либо папка, torrent-файлы закачиваются в папку c:/documents and settings/name/my documents/downloads/torrent_name, где name — имя пользователя в системе, а torrent_name — название самого торрента. Чтобы долго не прыгать по папкам, можно щелкнуть правой клавишей мыши на активном торренте и выбрать «открыть папку торрента». Кроме того, µTorrent имеет настройки по закачке файлов в определенную папку (рис. 3).

Рис. 3. Папки для хранения файлов

Первая позиция отвечает за хранение еще не до конца скачанных файлов. Если указана вторая позиция, программа автоматически перенесет полностью скачанные файлы в эту папку. Отметим, что когда с торрента скачиваются не все файлы, а только их часть, то программа может не перенести эти файлы в папку закачанных полностью.

Поскольку на сайтах с рейтингом очень часто ограничивают возможность скачивания torrent-файлов, рекомендуется хранить их отдельно. Для этого предусмотрены еще две настройки (рис. 4).

Рис. 4. Папки для хранения torrent-файлов

В первую папку попадают torrent-файлы, соответствующие скачиваемым на данный момент файлам. Вторая папка, если она активна, содержит в себе torrent-файлы уже законченных закачек. Рекомендуется поставить галочку против функции добавления специального расширения для еще недокачанных файлов, чтобы не было путаницы, ведь программа µTorrent резервирует место для скачиваемого файла.

Проблемы, возникающие при работе, и их решение

Программа не видит tracker-сервер

Для клиента критично наличие сервера: он используется для получения списка клиентов (пиров), и если клиент не видит его, то не может ничего скачать. Статус соединения с tracker-сервером выводится во вкладке «Общее» (рис. 5). Если в ней отображается слово «работает», то причина отсутствия связи заключается в чем-то другом.

Рис. 5. Статус tracker-сервера

Ошибки, выдаваемые µTorrent, могут быть различны:

• имя хоста не найдено;
• HTTP-ошибка;
• Offline (timed out);
• Connection Error (no data received from tracker).

Самые распространенные причины отсутствия связи — это перегруженность канала или сбой самого сервера. При перегруженности канала, если клиент уже качается с других серверов, можно попытаться ограничить скорость скачивания и дать на служебную информацию 5-10% канала. При сбое сервера придется просто ждать, поскольку это проблема администрации сервера.

Ошибки сервера

Подключение к трекеру прошло успешно, но сервер выдает ошибку. Сообщение об ошибке может быть написано на русском, английском и других языках, в зависимости от выбранного tracker-сервера. Перечень самых распространенных ошибок приведен в таблице.

Ошибки, выдаваемые сервером

Понятие порта, недоступный порт и как его открыть

Порт — это уникальное цифровое значение, через которое файлообменный клиент или иная сетевая служба слушает в ожидании входящих соединений от внешних клиентов. Если порт для входящих соединений закрыт, он считается недоступным — при этом клиент не может принимать входящие соединения, а следовательно, не может отдавать трафик другим клиентам. Если два клиента имеют недоступные порты, они не могут обмениваться трафиком между собой. Закрытый порт для входящих соединений налагает ограничение на использование файлообменного клиента. Однако в любом случае клиент может создавать исходящее соединение, по которому может как скачивать, так и отдавать информацию. У клиента с закрытым портом значительно меньше клиентов для обмена — обычно он всего один, и если данный клиент уйдет из сети, то скачивать будет нечего. В этом случае также нарушается золотое правило пиринговых сетей: скачал — отдай другим.

Для решения данной проблемы можно попробовать поменять порт входящих соединений. Настройки порта для программы µTorrent показаны на рис. 6. Как видно из рисунка, можно вручную указать номер порта (в пределах от 1 до 65 535). Кроме того, можно выбрать порт случайным образом или, установив галочку напротив «Случайный порт при каждом запуске», заставить клиента выбирать порт случайно при каждом запуске. Однако последнее не рекомендуется. Чтобы проверить, открыт ли порт, можно использовать кнопку «тест порта» в мастере скорости (см. рис. 1), однако зачастую это не дает должного результата. Во многих случаях порт блокируется брандмауэром, провайдером или роутером (NAT).

Рис. 6. Настройки порта

Если порт блокируется брандмауэром, необходимо добавить правило, разрешающее входящие соединения. Для встроенного в Windows XP SP2 брандмауэра правила при установке µTorrent добавляются автоматически.

На просторах интернета можно также встретить альтернативное название закрытого порта — LowID, которое пришло из файлообменных сетей ed2k, где клиентам с открытым входящим портом присваивалось большее (HighID) уникальное значение ID, а клиентам с закрытым портом — меньшее (LowID). В этих сетях, как и в сети bittorrent, пользователи со значением LowID ограничивались в доступе к некоторым серверам, а также не имели возможность скачивать у источников с LowID. 

NAT

Когда клиент находится за роутером, осуществляющим трансляцию адресов (NAT), необходимо разрешить входящие соединения именно на роутере через исключения. В противном случае исходящий трафик будет минимальным или его не будет вообще. Рис. 7 иллюстрирует ошибку при работе в условиях NAT: очень часто при подключении клиента к Интернету через локальную сеть все клиенты этой сети выходят в интернет с одного реального IP-адреса. Для того чтобы разрешить входящие соединения и решить проблему закрытого входящего порта, надо связаться с провайдером, который, возможно, обеспечит такую возможность путем присвоения отдельного IP-адреса (за дополнительную плату) или перенаправления определенного порта. Если роутер находится у пользователя дома, необходимо настроить его на пропуск входящих соединений для программы клиента. Чтобы определить, открылся ли порт, можно использовать упомянутый выше встроенный тест.

Рис. 7. Ограничение соединения NAT

Клиент µTorrent поддерживает также технологию NAT Traversal и UPnP, с помощью которой на некоторых устройствах можно открыть входящие порты без непосредственной настройки оборудования. В связи с тем, что работа сетевых приложений в условиях трансляции адресов NAT затруднена, была разработана технология NAT Traversal (прохождение NAT). По сути, это набор возможностей, которые позволяют сетевым приложениям определять, находятся ли они за NAT, узнавать внешний IP-адрес и выполнять сопоставление портов для пересылки пакетов из внешнего порта NAT во внутренний порт, используемый приложением на компьютере. С помощью данной технологии этот процесс происходит автоматизировано и не требует вмешательства специалиста.

По умолчанию µTorrent автоматически пытается определить поддержку технологии NAT Traversal и UPnP, если включена опция «Вкл. просмотр порта UPnP» (см. рис. 6). Если возможность открыть входящий порт с помощью этой технологии существует, пользователь получает открытый порт у клиента. Но, увы, во многих случаях в офисах или домовых сетях эта функция отключена и не поддерживается, поэтому необходимо обращаться к сетевым администраторам сети. 

DHT и Peer Exchange

Использование технологии DHT вызывает много вопросов у пользователей, применяющих tracker-серверы с системой рейтингов. Очень часто возникает вопрос о статистике, поскольку считается, что при использовании DHT-сети или PEX статистика изменяется и учет трафика проходит мимо сервера. Это утверждение ошибочно, так как клиент отсылает на сервер статистику обо всех переданных данных независимо от того, каким образом он узнал о пирах (клиентах) — через список от сервера, DHT или PEX. Статистика зависит только от самого сервера, и если тот недоступен, то статистика не учитывается. Более того, при появлении этих технологий многие tracker-серверы специально отключают у клиентов эту функцию без согласия пользователя и независимо от установленных настроек в клиенте. Это осуществляется путем добавления специального ключа private в torrent-файл. Если ключ private равен нулю (ему присваивается значение ноль), то DHT и PEX работают в зависимости от настроек программы-клиента, в противном случае (private равен единице) клиент отключает эти функции. В случае применения пользователем открытых трекеров, без учета статистики и без passkey, данные функции можно оставить включенными, поскольку это только увеличит скорость скачивания и отдачи. Использование сети DHT на закрытых серверах с passkey может сыграть негативную роль, так как через сеть DHT можно узнать passkey, а следовательно, другой пользователь получает возможность скачивать информацию под чужими регистрационными данными. В таком случае эти функции лучше отключать.

Создание собственной раздачи

Процесс создания раздачи можно условно разделить на три этапа:

1. Создание torrent-файла.
2. Оформление раздачи на сервере.
3. Установка раздачи в клиенте.

В зависимости от используемого клиента метод создания torrent-файла может различаться. Поскольку в статье рассматривается клиент µTorrent и сайт www.torrents.ru, рассматриваемый далее пример касается именно их.

Создание torrent-файла

Для создания torrent-файла в клиенте выбираем в меню «Файл» опцию «Создать торрент...», в появившемся диалоговом окне (рис. 8) следует указать адрес трекера и файлы. Если нужно выложить один файл, выбираем пункт «Доб.файл» и указываем путь к файлу, в случае необходимости выложить сразу несколько файлов заливаем их в одну папку и тоже указываем к ней путь через кнопку «Доб.папку». В диалоговом окне «трекеры» можно указать адрес трекера, если на трекере не поддерживается автоматическая модификация при добавлении раздачи. Из списка «Размер части» лучше выбрать «автоопределение». После этого необходимо ответить «Да» на все диалоговые окна. Кроме того, для создания torrent-файлов существуют специальные утилиты, в которых можно установить большее количество специфических настроек, однако в большинстве случаев необходимости в них не возникает.

Рис. 8. Создание torrent-файла

Оформление раздачи

Следующим пунктом является оформление раздачи. Для этого нужно залить созданный torrent-файл на трекер, что обычно происходит через web-форму. Также следует добавить максимально возможное описание файла, чтобы другие пользователи имели представление о размещенном файле (файлах). Кроме того, необходимо переименовать сам torrent-файл, чтобы максимально описать содержание. После загрузки и оформления сведений о размещенном файле (файлах) трекер автоматически или вручную зарегистрирует раздачу.

Установка раздачи в клиенте

Если предыдущие действия выполнены правильно, необходимо скачать зарегистрированный на трекере torrent-файл. Затем следует открыть его программой-клиентом, указав при этом папку сохранения, где уже лежит выкладываемый файл. В этом случае файл (или файлы) будет проверен клиентом и при успешном завершении проверки начнется его раздача. Пользователь, выкладывающий файл, становится сидом, то есть раздающим. В сети bittorrent существует специальный режим раздачи, необходимый для уменьшения количества данных, которое раздающий пользователь отдает до появления других сидов (скачавших файл полностью). Этот режим называется суперсид (superseed). Когда в клиенте на раздаче объявлен режим суперсида, программа-клиент действует следующим образом. Она отдает пиру небольшой фрагмент и ждет, пока он не будет передан другим пользователем; в случае успешной передачи клиент отдает еще один фрагмент. При этом пользователи с хорошей отдачей получают больше фрагментов, чем личеры, которые урезают канал на отдачу. При суперсиде клиент отдает уникальные фрагменты файла, а не одинаковые — таким образом, объем данных, которые отправляет раздающий, заметно меньше и несколько больше соответствует объему выкладываемого файла. Режим суперсида направлен на помощь пользователям, чей исходящий трафик учитывается, или имеющим слабый канал на отдачу. Поэтому при обычных раздачах включать режим суперсида не рекомендуется.

Важно понимать, что если пользователь выложил файл (или файлы), то для поддержания раздачи необходимо дождаться появления как можно большего числа сидов (пользователей с полным файлом), чтобы раздача не прекратилась после ухода пользователя с раздачи.

Выводы, или Что будет дальше?

Крупные города России развиваются, появляются все более дешевые предложения по доступу в Интернет по широким каналам. Например, в Москве большинство интернет-провайдеров, предоставляющих доступ к Интернету через локальную сеть или ADSL, снижают стоимость безлимитных тарифов (где трафик не учитывается вовсе), одновременно повышая скорость соединения для них. Естественно, высокие скорости и доступность для конечных пользователей способствуют быстрому росту числа пользователей в файлообменных сетях, в особенности в bittorrent и ed2k. В свою очередь, популярность peer-to-peer-сетей приводит к мгновенному распространению видеопродукции и музыкальных композиций. Безусловно, большая часть информации распространяется в файлообменных сетях незаконно, с нарушением авторских прав. Но в этом случае вся ответственность лежит лишь на пользователях, а не на владельцах серверов, которые только обеспечивают связь между клиентами.

Учитывая рост рынка сетевых услуг, модернизацию и увеличение объема систем хранения данных, а также постепенное внедрение протокола IPv6, который уже поддерживается новейшими операционными системами и позволяет решить проблему дефицита внешних IP-адресов, можно предположить, что совершенствования пиринговых сетей с распределенным хранением данных и увеличение количества их пользователей продолжится. На данный момент сеть bittorrent является наиболее перспективной, поскольку позволяет с высокой скоростью передавать файлы большого объема между пользователями и, в отличие от других сетей, дает возможность более надежно контролировать контент файлов, исключая подделки.

КомпьютерПресс 4'2007