Различия между версиями 2 и 34 (по 32 версиям)
Версия 2 от 2008-07-04 12:19:24
Размер: 25381
Редактор: ArtemSerebriyskiy
Комментарий:
Версия 34 от 2008-10-10 00:15:58
Размер: 24130
Редактор: eSyr
Комментарий:
Удаления помечены так. Добавления помечены так.
Строка 1: Строка 1:
== Преобразование имён и IP-адресов: теория == == Преобразование имён и IP-адресов: теория ==
Строка 3: Строка 3:
В этом стеке протоколов (TCP/IP), который выглядит весьма естественным образом , существует некая определённость на всех уровнях, кроме
последнего. А именно когда речь идет о решении задач физического уровня пользователь представляет себе некий провод, когда речь идет о канальном-
он же интерфейсный уровень мы себе представляем некое устройство при помощи которого провод которое втыкается в компьютер и организуется некая
логика передачи данных по этому проводу. Когда речь идет о о сетевом уровне мы понимаем что вот есть две задачи - это идентификация всех абонентов
сети и маршрутизация, когда речь идет о транспортном уровне мы понимаем что решаем транспортные проблемы. Поэтому на каждом из этих уровней
существует по крайней мере умопостижимое количество разных протоколов- т.е. договоренностей о том как решаются задачи. Иногда этих протоколов
много,иногда их мало. На транспортном уровне их вроде бы всего 2-TCP и UDP. Когда же речь заходит об уровне прикладном, то получается, что
сколько у нас пользовательских задач, столько протоколов мы и должны просмотреть. В /etc/services описаны примерно 600 зарегистрированных
номеров портов в формате имя порт/протокол #комментарий. Когда мы подключаемся к определенному порту мы ожидаем что с той стороны нас будет
ожидать приложение, которое общается с нами по тому протоколу, который указан в этом файле. Это ни каким образом нас не связывает на предмет
того, чтобы расположить службу на нестандартном порту,что делается довольно часто. Другой дело, что если например веб-сервер функционирует не на
стандартном порту- порту :80, то подключиться к нему можно только узнав номер этого порта. Ещё хуже, если сервис на чьем-то чужом стандартном
порте. Ещё что надо вспомнить с прошлого раза --- это что порт это понятие транспортного уровня, которое в случае прикладного уровня
используется как вспомогательная информация.
=== Назначение службы доменных имен DNS ===
Строка 18: Строка 5:
Из всех многочисленных сетевых служб, работающих на прикладном уровне и обрабатывающие сетевые запросы клиентов, существует одна без которой и всем остальным работать очень тяжело, если вообще возможно. Эта служба называется DNS (''Domain Name Service'' --- служба доменных имен).
Строка 19: Строка 7:
Из всех служб, из всех программ, которые работают на прикладном уровне- т.е. именно как программы-обработчики сетевых запросов, существует как
минимум одна сетевая служба, без которой работать очень тяжело, если вообще возможно. Эта служба называется DNS (Domain Name Service). В чём её
смысл? В прошлый раз мы поговорили о том, на каких условиях, как и кем раздаются ip-адреса (есть ICAAN, региональные провайдеры, локальные,
...). Если посмотреть на технологию маршрутизации, то можно увидеть, что структура сети с точки зрения IP-адресов строго подчиняется топологии.
Вот объединены несколько компьютеров в единую локальную сеть --- значит у них будут адреса из одной локальной сети, если два компьютера
находятся в разных локальных сетях --- значит у них будут существенно разные IP-адреса. Если какая-то организация сначала получила 10 адресов из
диапазона, а затем ей оказалось мало и она получила ещё 100, то, тем не менее, эти два диапазона IP-адресов вполне могут быть совершенно разные,
поскольку они отражают не тот факт, какая конкретная организация ими владеет, а тот факт, какая "часть" интернета ими занята, т.е. отражает
топологию. Это очень неудобно с точки зрения социальной, мы не можем нормально сказать,без дополнительной информации, а чья же это сеть, а что
это за компьютеры, и так далее. Другая проблема состоит в том, что человек довольно тяжело запоминает числа. Представьте себе, если бы мы
ходили бы по браузеру используя вместо имен сайтов четырехбайтные IP-адреса. Мы бы озверели. Поэтому хочется решить сразу две задачи:
присвоить всем компьютерам имена -чтобы ходить по именами , и вторая задача - чтобы эти имена отражали не топологическую структуру интернета, а
административную, чтобы по имени было понятно, какой организации он принадлежит. Более того, в качестве бонуса,или даже в качестве решения этой
проблемы сама процедура выдачи этих имён должна подчиняться этой административной структуре интернета. Какую задачу мы тем самым хотим решить?
Также как трудно решить задачу перенумерации, еще сложнее решить задачу именования всех компьютеров в интернете. Сложнее потому что в отличии от
перенумерации административная структура никак не подчиняется количеству лежащих проводов и таким вот вещам. Соответственно, пытаться создавать
централизованную базу всех имён всех компьютеров в интернете --- смерть на взлёте, это очень сложно, и учитывая что интернет испытывает сбои
такая база никогда не будет актуальна - там будут устаревшие части и не будет вновь появившихся, к тому же нагрузка на эту базу будет
феерическая. Поэтому возникла идея устроить не только процесс именования, но и процесс раздачи имён не с помощью одного хранилища, а
пирамидально.
Рассмотрим, чём назначение службы имен. В прошлый раз мы говорили о том, на каких условиях, как и кем раздаются ip-адреса (ICAAN, региональные провайдеры, локальные, и т.д.). Если посмотреть на технологию маршрутизации, то можно увидеть, что структура сети с точки зрения IP-адресов строго подчиняется топологии: если несколько компьютеров объединены в единую локальную сеть, то у них будет одинаковый адрес сети, а если компьютеры находятся в разных локальных сетях,то у них будут различающиеся IP-адреса в части адреса сети. Если какая-нибудь организация сначала получила десять адресов из диапазона, а затем ей оказалось этого мало и она получила ещё сто, то, тем не менее, эти два диапазона IP-адресов вполне могут быть совершенно разными, поскольку они отражают не тот факт, какая конкретная организация ими владеет, а тот факт, какая "часть" интернета ими занята, т.е. топологию.
Строка 40: Строка 9:
Как это устроено? Существует несколько корневых серверов, которые ни в коем случае не знают все имена всех компьютеров в сети, и, более того, не
обязаны этого знать. Что они обязаны знать? Они обязаны знать информацию о том какие есть зоны состоящих из одного имени. Например, зона ru,
com, info, de... Во-первых, они знают, о том какие имена первого уровня существуют в принципе, поскольку их немного. Недавно их было совсем
мало- в старых справочниках по интернету указывались com, net,org,edu,gov и несколько зон связанных с государствами, по двух-буквенным кодам. В
какой-то момент было принято решение сильно расширить диапазон, а недавно приняли решение что там будет использоваться Юникод.
Это очень неудобно с социальной точки зрения, так как мы не можем без дополнительной информации ответить на вопрос о том, чья же сеть перед нами, что это за компьютеры, и так далее. Другая проблема состоит в том, что человек довольно тяжело запоминает числа. Представьте себе, если бы мы набирали в браузере вместо имен сайтов четырехбайтные IP-адреса. Это крайне неудобно. Поэтому хочется решить сразу две задачи: присвоить всем компьютерам имена, чтобы идентифицировать их ими, и так составить эти имена, чтобы отражали не топологическую структуру интернета, а административную, то есть чтобы по имени компьютера было понятно, какой организации он принадлежит. Более того, было бы естественно, если бы сама процедура выдачи этих имён должна подчиняться административной структуре интернета.
Строка 46: Строка 11:
Корневые сервера знают о наличии так называемых зон- а именно о том какие вообще бывают окончания у доменных имен. Но помимо этого, они знают
также ещё одну информацию: они ещё знают про каждую зону адреса тех серверов, который содержит информацию про содержимое этих зон- т.е. про те
компьютеры имена которых кончаются на окончание зоны. (nameserver).
Задача именования всех компьютеров в интернете сложнее, чем задача их перенумерации. Сложнее потому, что в отличии от перенумерации административная структура никак не подчиняется физическим аспектам сети. Соответственно, пытаться создавать централизованную базу всех имён всех компьютеров в интернете, как было на заре возникновения интернета, --- это шаг в заведомо неверном направлении, так как это очень сложно, и учитывая, что интернет испытывает сбои, такая база никогда не будет актуальна --- там будут устаревшие части и не будет вновь появившихся, к тому же нагрузка на эту базу будет слишком высокой. Поэтому возникла идея устроить не только процесс именования, но и процесс раздачи имён не с помощью единого хранилища, а в виде древовидно организованного распределенного хранилища.
Строка 50: Строка 13:
Врезка: соответствие имени и ip-адреса. Вот у нас есть все ip-адреса в интернете. Когда этих всех было штук 15, был такой файл под названием
/etc/hosts, который содержал базу по всем именам всех компьютеров во всем интернете. Его формат очень простой- ip-адрес и имена ему
соответствующие. Идея состоит в том что даже когда их всего 15 может так случиться что один компьютер будет иметь несколько имен. Почему? Потому
что он выступает в нескольких ипостасях- с одной стороны он компьютер принадлежащий организации такой-то, а с другой стороны- компьютер
участвующий в таком-то проекте. И соответственно если мы хотим подключиться у этой организации мы вспомним что его имя связанно с именем
организации, а если мы хотим подключиться к проекту мы вспомним что его имя связанно с именем проекта. В данном случае мы видим что имена
устроены весьма примитивно. К существующей схеме пришли не от хорошей жизни. Поскольку когда компьютеров стало очень много, оказалось, что
администраторы каких-то сетей почему-то хотят сами именовать свои компьютеры, и вторая проблема- администраторы всех компьютеров на свете почему
то не хотят скачивать постоянно /etc/hosts из центрального места. Вот они сами пишут этот /etc/hosts и он не совпадает у всех компьютеров в
интернете. В какой-то момент до народа стало доходить что вообще файлом /etc/hosts дело ограничиться не может и надо создать некую систему
которая дела бы тоже самое: преобразовывала строковое имя в числовой адрес и обратно. Но раз у нас нету этого файла то мы должны пойти к некой
программе и сказать: преобразуй. А тогда уже пришла в голову идея, что, поскольку администраторы сами раздают имена, то пуская они и дальше сами
раздают, но в своей области владения. Вот ты администрируешь какие-то компьютеры- вот ты им имена и выдаешь. Т.е. решается задача
1)преобразования доменных имен в адреса и обратно(поскольку все подключения по-прежнему осуществляются по IP-адресу , а служба доменных имен- это
всего лишь надстройка для удобства, а вовсе не необходимая сущность). Поэтому прежде чем произойдет обмен данными между машинами, если в качестве
ip-адреса указанно доменное имя, то необходимо сходить к DNS, преобразовать это имя в ip и затем соединиться.
Необходимо подчеркнуть, что все подключения по-прежнему осуществляются по IP-адресу , а служба доменных имен --- это всего лишь надстройка для удобства, хотя и очень полезная, но в теории не необходимая. Поэтому прежде чем произойдет обмен данными между машинами, если в качестве адреса машины указанно доменное имя, то необходимо преобразовать это имя в IP-адрес и затем соединиться. Преобразование происходит сначала по файлу {{{/etc/hosts}}}, а затем запросом службы DNS, как будет рассказано далее.
Строка 67: Строка 15:
Решение задачи состоит в том что у каждого системного администратора свой файл преобразования хостов и IP-адресов. Точнее не файл, а специальная
таблица. но эта таблица не от фонаря берется, а распределяется по вышеизложенной схеме.
=== История возникновения DNS ===
Строка 70: Строка 17:
Возвращаемся к схеме. Итак у нас есть корневые серверы которые выдают ответ на вопрос довольно простого свойства- во-первых существует ли в
принципе такое имя(проверяя окончание) и если оно существует то где находиться сервер который знает про имена с этими окончаниями. Он называется
сервер доменных имен(nameserver)
Важное добавление: соответствие имени и ip-адреса. Во времена, когда адресов в интернете было где-то около 15, существовал файл под названием {{{/etc/hosts}}}, который содержал базу данных по всем именам этих адресов. Его формат очень простой --- IP-адрес и имена, ему соответствующие (файл это используется и сейчас, но обычно хранит только имена самого компьютера).
Строка 74: Строка 19:
Если посмотреть в словаре слово домен, то видно что оно появилось очень давно, и означает оно область владений феодального вассала. Феодальная
структура была устроена пирамидально и самое главное - принцип, который соблюдается и в DNS -принцип "вассал моего вассала не мой вассал". Т.е.
сервер отвечает за своих непосредственных подчиненных, и не отвечает за прямых подчиненных, которые не являются непосредственными.Рассмотрим
imap.cs.msu.ru. Таким образом, этот сервер, который отвечает за зону ru, отвечает только за те компьютеры, которые имеют двусложные имена,
оканчивающиеся на ru, например, www.ru, msu.ru. А если в имени больше составляющих, то nameserver зоны ru не обязан знать ip адрес этого хоста.
он может знать его- случайно- но не обязан. А обязан он знать адрес nameserver'а msu.ru. Дальше спрашивается у msu.ru, а он уже обязан ответить,
кто такой cmc.msu.ru. И так далее. В итоге мы получим в ответ либо ip-адрес либо сообщение что такого домена нету.
Идея состоит в том, что даже когда компьютеров всего несколько десятков, может так случиться, что один компьютер будет иметь несколько имен. Почему? Потому что он может выступать в нескольких ипостасях --- с одной стороны это компьютер, принадлежащий какой-либо организации, а с другой стороны, к примеру --- компьютер, участвующий в таком-то проекте. И соответственно, если мы хотим подключиться к этой организации, мы вспомним, что его имя связано с именем организации, а если мы хотим подключиться к проекту --- что его имя связанно с именем проекта. В данном случае мы видим, что имена устроены весьма примитивно. К существующей схеме пришли не от хорошей жизни. Когда компьютеров стало очень много, то:
Строка 82: Строка 21:
По сути, мы описали иерархическую распределённую базу данных. Если мы почитаем документацию к bind --- nameserver чаще всего использующийся в
Linux --- то увидим, что это не просто база данных, там можно хранить что угодно- любые текстовые поля, любые поля соответствующие IP-адресам.
Существует также некий RFC описывающий как хранить внутри текстовых полей данные разного типа.
 * во-первых, оказалось, что администраторы сетей почему-то хотят сами именовать свои компьютеры;
 * во-вторых --- администраторы всех компьютеров на свете почему-то не хотят скачивать постоянно /etc/hosts из центрального хранилища, предпочитая писать /etc/hosts собственноручно, и он, естественно, не совпадает у всех компьютеров в интернете.
Строка 86: Строка 24:
Есть некая проблема, связанная с тем, чтобы добраться до ip-адреса, соответствующего imap.cmc.msu.su. Неужели, каждый раз, когда нам
понадобиться, находясь в домене непонятно каком, зайти на факультетский почтовой сервер, нам потребуется напрягать корневой сервер? Тогда зачем
все это было придумано? Оказывается, для того чтобы узнать ip-адрес машины нам всё равно надо ходить на корневой сервер. Как была база данных с
единым узким местом, так и осталась. Так вообще быть не должно. Для того, чтобы эту процедуру сделать более эффективной, есть три задумки,
которые сильно облегчают нагрузку.
В какой-то момент стало очевидным то, что файлом /etc/hosts дело ограничиться не может и что надо создать некую систему, которая сама преобразовывала строковое имя в числовой адрес и обратно. Но если общего файла не существует, то надо использовать некую программу с этими функциями. А тогда появилась идея: поскольку администраторы сами пишут /etc/hosts, то пусть они и дальше сами раздают имена компьютерам в своей области владения, т.е.: ты администрируешь какие-то компьютеры --- значит, раздать им имена --- тоже твоя обязанность. Таким образом, решается задача --- преобразования доменных имен в адреса и обратно.
Строка 92: Строка 26:
Улучшение номер раз состоит в том, что каждая таблица с записью соответствия ip-адреса доменному имени содержит в себе информацию. о том, в течение
какого времени эта таблица а)действительна и б) может не меняться. Время жизни и задержка на изменение. То есть, если мы один раз выяснили, что
имени imap.cs.msu.ru соответствует адрес такой-то, то в течение этого самого времени задержки на изменение - т.е. времени в течении которого
эта запись не может гарантированно меняться, мы можем эту запись закешировать и не дергать NS-сервера в дальнейшем. Каждая такая таблица
время жизни (около недели), и время, в течение которого содержимое считается актуальными. Это сильно снижает нагрузку, поскольку в первый раз
происходит. взаимодействие. по всей цепочке, а в следующие разы взаимодействия не происходит поскольку время задержки на изменение пока еще не истекло. И
даже когда время актуальности истечёт, то возможно что не будет происходить все преобразование имени, а всего лишь запрос вышележащему nameserver'у
не обновились ли данные у него. И если он отвечает "нет" то записью можно пользоваться дальше.
Решение задачи состоит в том что у каждого системного администратора есть свой файл преобразования хостов и IP-адресов. Точнее не файл, а специальная таблица (ее вид зависит от используемого DNS-сервера), распределенная по вышеизложенной схеме.
Строка 101: Строка 28:
Второй способ. Чем больше в распределенной. системе узлов, тем ниже совокупная надёжность самой системы. Для борьбы с этим тоже годиться
использование кеширования. Второе что также повышает надежность - это требование чтобы NS-серверов было более одного. И желательно, чтобы у
них были существенно разные ip. При этом для удобства администратора устроена такая штука, что пользователю абсолютно всё равно, какой из
NS-серверов ему ответил. Все NS-сервера равноправны. Вопрос: а как несчастный администратор будет редактировать файлы сразу на двух машинах,
которые лежат в абсолютно разных местах интернета? На самом деле среди этих машин есть главная, но об этом знает только администратор. И он
редактирует файл только там, а остальные просто скачивают с них. Но со стороны пользователя они равноправны.
=== Организация системы доменных имен ===
Строка 108: Строка 30:
Третий способ --- некоторое ограничение свободы обычного пользователя. Дело вот в чём: если вы обращаетесь к какому-то NS-серверу с запросом
относительно преобразования. ip-адреса, никакого отношения к домену за который отвечает этот сервер не имеющего, то он имеет право ответить "не знаю".
Такой запрос (на который можно получить ответ "не знаю") называется нерекурсивным. Все DNS-сервера в сети отвечают на нерекурсивные запросы.
Другой вариант: когда вы обращаетесь к серверу с т.н. рекурсивным запросом., тогда NS-сервер самостоятельно обращается к корневому и так далее.
В итоге либо преобразование будет произведено, либо вам ответят что нет такого имени, либо вам ответят что времы запроса превысило лимит. И в
отличие от нерекурсивного запроса, рекурсивные запросы обычно разрешены только для т.н. своих машин. Т.е. удовлетворяет ли сервер рекурсивные
запросы определяет системный администратор этого сервера.
Мировая система доменных имен организована следующим образом: существует несколько корневых серверов, которые ни в коем случае не знают все имена всех компьютеров в сети (и, более того, не обязаны этого знать). Вместо этого они содержат информацию о так называемых зонах DNS, состоящих из одного имени. Например, существуют зоны ru, com, info, de и так далее. Во-первых, они знают о том, какие имена первого уровня существуют в принципе, поскольку их относительно немного. Недавно их было совсем мало --- в старых справочниках по интернету указывались только com, net, org, edu, gov и еще несколько зон, связанных с государствами, по двух-буквенным кодам. В какой-то момент было принято решение сильно расширить диапазон, а недавно приняли решение, что для записи имен зон будет использоваться кодировка юникод, что позволит создать имена зон на национальных алфавитах.
Строка 116: Строка 32:
В результате получается вот какая штука: далеко не все компьютеры могут посылать далеко не всем NS-сервера рекурсивные запросы. Как правило
существует два уровня: существует некая группа адресов, которым доверяют и они могут посылать рекурсивные запросы, а остальным нельзя.
Итак, корневые DNS-сервера знают о всех существующих зонах, то есть о том, какие вообще бывают окончания у доменных имен. Помимо этого, они также знают адреса серверов, обладающих информацией о содержимом этих зон --- т.е. о компьютерах, имена которых кончаются на окончание зоны. Указанные сервера называются серверами имен или NS-серверами (''nameservers''). Корневые сервера выдают ответ на вопрос довольно простого свойства --- во-первых, существует ли в принципе такое имя (проверяя окончание), и, если оно существует, то где находится сервер (точнее, серверы) имен, знающие про имена с такими окончаниями.

Если посмотреть в словаре слово домен, мы узнаем, что оно появилось очень давно, и означает оно область владений феодального вассала. Феодальная структура была устроена пирамидально и самое главное - по принципу (соблюденному и в DNS) "вассал моего вассала --- не мой вассал". Т.е. сервер отвечает за своих непосредственных подчиненных, и не отвечает за прямых подчиненных, которые не являются непосредственными.
 
Рассмотрим доменное имя cs.msu.ru. Сервер, который отвечает за зону ru, отвечает только за сервера имен тех хостов, которые имеют двусложные имена, оканчивающиеся на "ru" (www.ru, msu.ru и т.д). А если в имени больше составляющих, то сервер имен зоны ".ru" не обязан знать ip-адрес сервера имен хоста, хотя он может и хранить его в силу разных причин. Но он обязан знать адрес сервера имен хоста msu.ru. Дальше запрашивается сервер имен msu.ru, а он уже обязан ответить, кто такой cmc.msu.ru либо сообщить его сервер имен, и так далее. В итоге мы получим в ответ либо ip-адрес, либо сообщение о том, что такого домена нету.

По сути, мы описали иерархическую распределённую базу данных. Если мы почитаем документацию к bind (сервер имен, часто использующийся в Linux),то увидим, что это не просто база данных, ведь там можно хранить что угодно --- любые текстовые поля, любые поля, соответствующие IP-адресам. Существует также RFC, описывающий, как хранить внутри текстовых полей данные разного типа.

=== Производительность и надежность системы доменных имен ===

В описанном процессе преобразования доменного имени в IP-адрес есть одна проблема: неужели, каждый раз, когда нам понадобится, находясь в каком-то другом домене, зайти на факультетский почтовой сервер, потребуется запрашивать корневой сервер? Тогда зачем все это было придумано, ведь число запросов на корневые сервера будет по прежнему огромно? Поэтому для того, чтобы эту процедуру сделать более эффективной, есть три идеи, которые сильно облегчают нагрузку.

 1. Каждая таблица с записью соответствия IP-адреса доменному имени содержит в себе информацию. о том, в течение какого времени эта таблица, во-первых, действительна, а в-вторых, может не меняться, то есть ее время жизни и задержка на изменение. Таким образом, если мы один раз выяснили, что имени cs.msu.ru соответствует некий адрес, то в течение времени задержки на изменение --- т.е. времени, в течении которого эта запись гарантированно не будет меняться --- мы можем эту запись поместить в кеш доменных имен и не обращаться за ним к серверам имен в дальнейшем. Каждая такая таблица имеет свое время жизни (около недели), и время, в течение которого содержимое считается актуальным. Это сильно снижает нагрузку, поскольку в первый раз происходит взаимодействие по всей иерархии DNS, а в следующие разы взаимодействия не происходит, пока время задержки на изменение еще не истекло. И даже когда время актуальности истечёт, то возможно, что не будет происходить все преобразование имени, а произойдет всего лишь запрос вышестоящему серверу имен, не обновились ли данные у него. И если он отвечает "нет", то записью можно пользоваться дальше.

 2. Чем больше в распределенной системе узлов, тем ниже совокупная надёжность самой системы. Для борьбы с этим тоже годится использование кеширования. Сильно повышает надежность требование, чтобы NS-серверов было более одного. И желательно, чтобы у них были существенно разные IP-адреса, например в разных сетях класса B. При этом для удобства администратора система устраивается так, что пользователю было абсолютно всё равно, какой из NS-серверов ему ответил. Все NS-сервера равноправны. Вопрос: а как несчастный администратор будет редактировать файлы сразу на двух машинах, которые лежат в абсолютно разных местах интернета? Ответ: на самом деле среди этих машин есть главная, но об этом знает только администратор, и обычно он редактирует файл только на ней, а остальные просто скачивают с нее.

 3. Некоторое ограничение свободы обычного пользователя. Дело вот в чём: если вы обращаетесь к какому-либо NS-серверу с запросом относительно преобразования IP-адреса, никакого отношения к домену, за который отвечает этот сервер, не имеющего, то он имеет право ответить "не знаю". Такой запрос (на который можно получить ответ "не знаю") называется нерекурсивным. Все DNS-сервера в сети отвечают на нерекурсивные запросы. Другой вариант: когда вы обращаетесь к серверу с т.н. рекурсивным запросом, тогда NS-сервер самостоятельно обращается к корневому и так далее. В итоге либо преобразование будет произведено, либо вам ответят, что нет такого имени, либо вам ответят, что время запроса превысило лимит. И в отличие от нерекурсивного запроса, рекурсивные запросы обычно разрешены только для "своих" машин, т.е. решение, удовлетворяет ли сервер рекурсивные запросы или нет, принимает системный администратор этого сервера. В результате получается так, что далеко не все компьютеры могут посылать далеко не всем NS-серверам рекурсивные запросы. Как правило существует два уровня: существует некая группа адресов, которым доверяют и они могут посылать рекурсивные запросы, а остальным нельзя.

Таким образом, конечные пользователи обычно работают с кеширующим сервером имен, расположенном в локальном сети, который, в свою очередь, обычно передает рекурсивные запросы к кеширующему серверу имен провайдера.

{{attachment:../dns01.png}}

Схема преобразования DNS-имени cs.msu.ru в его ip-адрес с учетом всего сказанного выше представлена на рисунке. Предполагается, что требуемый адрес не найден ни в одном кеше, и поэтому система DNS выполняет максимально возможное число запросов. На практике каждый DNS-ответ возвращает адреса нескольких серверов имен (в данном случае --- до семи), но для простоты на рисунке указан только один.
Строка 121: Строка 59:
## ВНИМАНИЕ! Поля значащие, просьба редактироать только числа и списки модулей ## ВНИМАНИЕ! Поля значащие, просьба редактировать только числа и списки модулей
Строка 125: Строка 63:
|| 20  || 1 || 1 || 1 || || 1 || ArtemSerebriyskiy, GeorgeTarasov || || ||
----
|| 90 || 1 || 1 || 1 || || 1 || ArtemSerebriyskiy, GeorgeTarasov, VsevolodKrishchenko|| || ||

Преобразование имён и IP-адресов: теория

Назначение службы доменных имен DNS

Из всех многочисленных сетевых служб, работающих на прикладном уровне и обрабатывающие сетевые запросы клиентов, существует одна без которой и всем остальным работать очень тяжело, если вообще возможно. Эта служба называется DNS (Domain Name Service --- служба доменных имен).

Рассмотрим, чём назначение службы имен. В прошлый раз мы говорили о том, на каких условиях, как и кем раздаются ip-адреса (ICAAN, региональные провайдеры, локальные, и т.д.). Если посмотреть на технологию маршрутизации, то можно увидеть, что структура сети с точки зрения IP-адресов строго подчиняется топологии: если несколько компьютеров объединены в единую локальную сеть, то у них будет одинаковый адрес сети, а если компьютеры находятся в разных локальных сетях,то у них будут различающиеся IP-адреса в части адреса сети. Если какая-нибудь организация сначала получила десять адресов из диапазона, а затем ей оказалось этого мало и она получила ещё сто, то, тем не менее, эти два диапазона IP-адресов вполне могут быть совершенно разными, поскольку они отражают не тот факт, какая конкретная организация ими владеет, а тот факт, какая "часть" интернета ими занята, т.е. топологию.

Это очень неудобно с социальной точки зрения, так как мы не можем без дополнительной информации ответить на вопрос о том, чья же сеть перед нами, что это за компьютеры, и так далее. Другая проблема состоит в том, что человек довольно тяжело запоминает числа. Представьте себе, если бы мы набирали в браузере вместо имен сайтов четырехбайтные IP-адреса. Это крайне неудобно. Поэтому хочется решить сразу две задачи: присвоить всем компьютерам имена, чтобы идентифицировать их ими, и так составить эти имена, чтобы отражали не топологическую структуру интернета, а административную, то есть чтобы по имени компьютера было понятно, какой организации он принадлежит. Более того, было бы естественно, если бы сама процедура выдачи этих имён должна подчиняться административной структуре интернета.

Задача именования всех компьютеров в интернете сложнее, чем задача их перенумерации. Сложнее потому, что в отличии от перенумерации административная структура никак не подчиняется физическим аспектам сети. Соответственно, пытаться создавать централизованную базу всех имён всех компьютеров в интернете, как было на заре возникновения интернета, --- это шаг в заведомо неверном направлении, так как это очень сложно, и учитывая, что интернет испытывает сбои, такая база никогда не будет актуальна --- там будут устаревшие части и не будет вновь появившихся, к тому же нагрузка на эту базу будет слишком высокой. Поэтому возникла идея устроить не только процесс именования, но и процесс раздачи имён не с помощью единого хранилища, а в виде древовидно организованного распределенного хранилища.

Необходимо подчеркнуть, что все подключения по-прежнему осуществляются по IP-адресу , а служба доменных имен --- это всего лишь надстройка для удобства, хотя и очень полезная, но в теории не необходимая. Поэтому прежде чем произойдет обмен данными между машинами, если в качестве адреса машины указанно доменное имя, то необходимо преобразовать это имя в IP-адрес и затем соединиться. Преобразование происходит сначала по файлу /etc/hosts, а затем запросом службы DNS, как будет рассказано далее.

История возникновения DNS

Важное добавление: соответствие имени и ip-адреса. Во времена, когда адресов в интернете было где-то около 15, существовал файл под названием /etc/hosts, который содержал базу данных по всем именам этих адресов. Его формат очень простой --- IP-адрес и имена, ему соответствующие (файл это используется и сейчас, но обычно хранит только имена самого компьютера).

Идея состоит в том, что даже когда компьютеров всего несколько десятков, может так случиться, что один компьютер будет иметь несколько имен. Почему? Потому что он может выступать в нескольких ипостасях --- с одной стороны это компьютер, принадлежащий какой-либо организации, а с другой стороны, к примеру --- компьютер, участвующий в таком-то проекте. И соответственно, если мы хотим подключиться к этой организации, мы вспомним, что его имя связано с именем организации, а если мы хотим подключиться к проекту --- что его имя связанно с именем проекта. В данном случае мы видим, что имена устроены весьма примитивно. К существующей схеме пришли не от хорошей жизни. Когда компьютеров стало очень много, то:

  • во-первых, оказалось, что администраторы сетей почему-то хотят сами именовать свои компьютеры;
  • во-вторых --- администраторы всех компьютеров на свете почему-то не хотят скачивать постоянно /etc/hosts из центрального хранилища, предпочитая писать /etc/hosts собственноручно, и он, естественно, не совпадает у всех компьютеров в интернете.

В какой-то момент стало очевидным то, что файлом /etc/hosts дело ограничиться не может и что надо создать некую систему, которая сама преобразовывала строковое имя в числовой адрес и обратно. Но если общего файла не существует, то надо использовать некую программу с этими функциями. А тогда появилась идея: поскольку администраторы сами пишут /etc/hosts, то пусть они и дальше сами раздают имена компьютерам в своей области владения, т.е.: ты администрируешь какие-то компьютеры --- значит, раздать им имена --- тоже твоя обязанность. Таким образом, решается задача --- преобразования доменных имен в адреса и обратно.

Решение задачи состоит в том что у каждого системного администратора есть свой файл преобразования хостов и IP-адресов. Точнее не файл, а специальная таблица (ее вид зависит от используемого DNS-сервера), распределенная по вышеизложенной схеме.

Организация системы доменных имен

Мировая система доменных имен организована следующим образом: существует несколько корневых серверов, которые ни в коем случае не знают все имена всех компьютеров в сети (и, более того, не обязаны этого знать). Вместо этого они содержат информацию о так называемых зонах DNS, состоящих из одного имени. Например, существуют зоны ru, com, info, de и так далее. Во-первых, они знают о том, какие имена первого уровня существуют в принципе, поскольку их относительно немного. Недавно их было совсем мало --- в старых справочниках по интернету указывались только com, net, org, edu, gov и еще несколько зон, связанных с государствами, по двух-буквенным кодам. В какой-то момент было принято решение сильно расширить диапазон, а недавно приняли решение, что для записи имен зон будет использоваться кодировка юникод, что позволит создать имена зон на национальных алфавитах.

Итак, корневые DNS-сервера знают о всех существующих зонах, то есть о том, какие вообще бывают окончания у доменных имен. Помимо этого, они также знают адреса серверов, обладающих информацией о содержимом этих зон --- т.е. о компьютерах, имена которых кончаются на окончание зоны. Указанные сервера называются серверами имен или NS-серверами (nameservers). Корневые сервера выдают ответ на вопрос довольно простого свойства --- во-первых, существует ли в принципе такое имя (проверяя окончание), и, если оно существует, то где находится сервер (точнее, серверы) имен, знающие про имена с такими окончаниями.

Если посмотреть в словаре слово домен, мы узнаем, что оно появилось очень давно, и означает оно область владений феодального вассала. Феодальная структура была устроена пирамидально и самое главное - по принципу (соблюденному и в DNS) "вассал моего вассала --- не мой вассал". Т.е. сервер отвечает за своих непосредственных подчиненных, и не отвечает за прямых подчиненных, которые не являются непосредственными.

Рассмотрим доменное имя cs.msu.ru. Сервер, который отвечает за зону ru, отвечает только за сервера имен тех хостов, которые имеют двусложные имена, оканчивающиеся на "ru" (www.ru, msu.ru и т.д). А если в имени больше составляющих, то сервер имен зоны ".ru" не обязан знать ip-адрес сервера имен хоста, хотя он может и хранить его в силу разных причин. Но он обязан знать адрес сервера имен хоста msu.ru. Дальше запрашивается сервер имен msu.ru, а он уже обязан ответить, кто такой cmc.msu.ru либо сообщить его сервер имен, и так далее. В итоге мы получим в ответ либо ip-адрес, либо сообщение о том, что такого домена нету.

По сути, мы описали иерархическую распределённую базу данных. Если мы почитаем документацию к bind (сервер имен, часто использующийся в Linux),то увидим, что это не просто база данных, ведь там можно хранить что угодно --- любые текстовые поля, любые поля, соответствующие IP-адресам. Существует также RFC, описывающий, как хранить внутри текстовых полей данные разного типа.

Производительность и надежность системы доменных имен

В описанном процессе преобразования доменного имени в IP-адрес есть одна проблема: неужели, каждый раз, когда нам понадобится, находясь в каком-то другом домене, зайти на факультетский почтовой сервер, потребуется запрашивать корневой сервер? Тогда зачем все это было придумано, ведь число запросов на корневые сервера будет по прежнему огромно? Поэтому для того, чтобы эту процедуру сделать более эффективной, есть три идеи, которые сильно облегчают нагрузку.

  1. Каждая таблица с записью соответствия IP-адреса доменному имени содержит в себе информацию. о том, в течение какого времени эта таблица, во-первых, действительна, а в-вторых, может не меняться, то есть ее время жизни и задержка на изменение. Таким образом, если мы один раз выяснили, что имени cs.msu.ru соответствует некий адрес, то в течение времени задержки на изменение --- т.е. времени, в течении которого эта запись гарантированно не будет меняться --- мы можем эту запись поместить в кеш доменных имен и не обращаться за ним к серверам имен в дальнейшем. Каждая такая таблица имеет свое время жизни (около недели), и время, в течение которого содержимое считается актуальным. Это сильно снижает нагрузку, поскольку в первый раз происходит взаимодействие по всей иерархии DNS, а в следующие разы взаимодействия не происходит, пока время задержки на изменение еще не истекло. И даже когда время актуальности истечёт, то возможно, что не будет происходить все преобразование имени, а произойдет всего лишь запрос вышестоящему серверу имен, не обновились ли данные у него. И если он отвечает "нет", то записью можно пользоваться дальше.
  2. Чем больше в распределенной системе узлов, тем ниже совокупная надёжность самой системы. Для борьбы с этим тоже годится использование кеширования. Сильно повышает надежность требование, чтобы NS-серверов было более одного. И желательно, чтобы у них были существенно разные IP-адреса, например в разных сетях класса B. При этом для удобства администратора система устраивается так, что пользователю было абсолютно всё равно, какой из NS-серверов ему ответил. Все NS-сервера равноправны. Вопрос: а как несчастный администратор будет редактировать файлы сразу на двух машинах, которые лежат в абсолютно разных местах интернета? Ответ: на самом деле среди этих машин есть главная, но об этом знает только администратор, и обычно он редактирует файл только на ней, а остальные просто скачивают с нее.
  3. Некоторое ограничение свободы обычного пользователя. Дело вот в чём: если вы обращаетесь к какому-либо NS-серверу с запросом относительно преобразования IP-адреса, никакого отношения к домену, за который отвечает этот сервер, не имеющего, то он имеет право ответить "не знаю". Такой запрос (на который можно получить ответ "не знаю") называется нерекурсивным. Все DNS-сервера в сети отвечают на нерекурсивные запросы. Другой вариант: когда вы обращаетесь к серверу с т.н. рекурсивным запросом, тогда NS-сервер самостоятельно обращается к корневому и так далее. В итоге либо преобразование будет произведено, либо вам ответят, что нет такого имени, либо вам ответят, что время запроса превысило лимит. И в отличие от нерекурсивного запроса, рекурсивные запросы обычно разрешены только для "своих" машин, т.е. решение, удовлетворяет ли сервер рекурсивные запросы или нет, принимает системный администратор этого сервера. В результате получается так, что далеко не все компьютеры могут посылать далеко не всем NS-серверам рекурсивные запросы. Как правило существует два уровня: существует некая группа адресов, которым доверяют и они могут посылать рекурсивные запросы, а остальным нельзя.

Таким образом, конечные пользователи обычно работают с кеширующим сервером имен, расположенном в локальном сети, который, в свою очередь, обычно передает рекурсивные запросы к кеширующему серверу имен провайдера.

../dns01.png

Схема преобразования DNS-имени cs.msu.ru в его ip-адрес с учетом всего сказанного выше представлена на рисунке. Предполагается, что требуемый адрес не найден ни в одном кеше, и поэтому система DNS выполняет максимально возможное число запросов. На практике каждый DNS-ответ возвращает адреса нескольких серверов имен (в данном случае --- до семи), но для простоты на рисунке указан только один.


Сведения о ресурсах

Готовность (%)

Продолжительность (ак. ч.)

Подготовка (календ. ч.)

Полный текст (раб. д.)

Предварительные знания

Level

Maintainer

Start date

End date

90

1

1

1

1

ArtemSerebriyskiy, GeorgeTarasov, VsevolodKrishchenko

PspoClasses/080703/01DNSTheory (последним исправлял пользователь eSyr 2008-10-10 00:15:58)