Как устроен универсальный указатель ресурса в интернете для чего он предназначен

Сети и системы передачи информации

Универсальный идентификатор ресурсов (URI), его назначение и составные части.

URI предназначен для уникальной идентификации любого ресурса.

Некоторые подмножества URI:

В HTML записывается так:

Предполагается что, например браузер, знает, где искать этот ресурс.

urn:namespace: data1.data2,more-data, где namespace (пространство имен) определяет, каким образом используются данные, указанные после второго «:».

При получении URN клиентская программа обращается к ISBN (каталогу «тематический классификатор для издательств» в Интернете). И получает расшифровку номера тематики «0-395-36341-6» (например: «квантовая химия»).

URN массово используется в P2P сетях (подобных edonkey).

Пример URN указывающего на образ диска Adobe Photoshop v8.0 в сети edonkey:

urn:ed2k://|file|Adobe Photoshop v8.0.iso|940769280|b34c101c90b6dedb4071094cb1b9f2d3|/

Универсальный указатель ресурса URL

В scheme-specific-part можно использовать шестнадцатеричные значения в виде: %5f. Обязательно должны кодироваться непечатные октеты: 00-1F, 7F, 80-FF. Также всегда кодируются «небезопасные» символы: » «, » «, «»», «#», «%», «<", ">«, «|», «\», «^», «

«, «[«, «]», «`». Некоторые схемы резервируют и другие символы: «;»,»/»,»?»,»:»,»@»,»=» и «&». Их также необходимо кодировать, если хочется «обойти» их специальное трактование. Таким образом остаются [a-z0-9$-_.+!*'(),] и резервированные символы в их специальном значении для данной схемы.

Некоторые схемы URL

Схема HTTP. В схеме указывается ее идентификатор, адрес машины, TCP-порт, путь в директории сервера, переменные и их значения, метка.

Определен в RFC 2068. По умолчанию, port=80.

Это наиболее распространенный вид URI, применяемый в документах WWW. Вслед за именем схемы (http) следует путь, состоящий из доменного адреса машины и полного адреса HTML-документа в дереве сервера HTTP.

В качестве адреса машины допустимо использование и IP-адреса:

Если сервер протокола HTTP запущен на другой, отличный от 80 порт TCP, то это отражается в адресе:

При указании адреса ресурса возможна ссылка на метку внутри файла HTML. Для этого вслед за именем документа может быть указана метка внутри документа:

Символ «#» отделяет имя документа от имени метки.

Переменные и их значения передаются следующим образом:

Схема FTP. Данная схема позволяет адресовать файловые архивы FTP.

Определен в RFC 1738. По умолчанию, port=21, user=anonymous, password=email-адрес, если имя указано, а пароль нет, то он запрашивается в диалоге.

имеет вид:
/ /. / / [;type= ], где :

преобразуется клиентской прграммой в набор команд
CWD
.
CWD
TYPE
RETR

Чтобы указать имя пользователя и его пароль, надо записать так:

В данном случае эти параметры отделены от адреса машины символом «@», а друг от друга двоеточием.

Схема MAILTO. Данная схема предназначена для отправки почты.

e-mail-1 ( @ )- первый адрес электронной почты

В этой схеме передаются поля и их значения:

Адрес получателя можно также записывать в виде значения поля to:

Схема NEWS. Данная схема используется для просмотра сообщений системы Usenet.

В данном случае можно получить статьи из группы «comp.infosystems.gopher» в режиме уведомления. Можно получить и текст статьи, но в этом случае указывают ее идентификатор:

Заказана 86 статья из группы.

Схема NNTP. Это еще одна схема получения доступа к ресурсам Usenet.

В данной схеме обращение к группе comp.infosystems.gopher для получения статьи 86 будет выглядеть так:

Следует обратить внимание на то, что адрес сервера Usenet не указан. Программа-клиент должна быть предварительно сконфигурирована на работу с одним из серверов Usenet. Сама служба Usenet является распределенным информационным ресурсом, и группа comp.infosystems.gopher на серверах содержит одни и те же сообщения.

Схема TELNET. По этой схеме осуществляется доступ к ресурсу в режиме удаленного терминала. При использовании этой схемы необходимо указывать имя пользователя и пароль.

По умолчанию, port=23.

Схема FILE. Для локального режима используют схему FILE.

В качестве обычно указывается localhost

Клиент запускает только программы просмотра на основе MIME-типов из заголовка сообщений сервера или по расширению файла.

Источник

URL адрес документа: что это, виды и форматы указателей, советы по созданию

URL (url адрес) — это аббревиатура, которая расшифровывается как Uniform Resource Locator, или «унифицированный указатель ресурса», т.е. адрес сайта размещенного в сети Интернет.

Что такое URL

Изначально унифицированный указатель использовался для того, чтобы показать путь размещения файлов в вебе, а сейчас применяется для обозначения любого интернет-ресурса:

Для перехода к искомому файлу или сайту пользователь должен ввести в адресную строку браузера нужный адрес. Если вы введете адрес страницы блога Kokoc.com (https://kokoc.com/blog), откроется следующее окно:

URL — та самая ссылка, которая показывается в адресной строке браузера. Его можно получить, если выделить ссылку (она автоматически выделяется при установке курсора в адресную строку), нажать правую кнопку мыши и выбрать из выпадающего меню пункт «Копировать».

Если вам нужно копировать адрес картинки, нужно нажать на нее правой кнопкой мыши и в выпадающем меню выбрать пункт «Копировать адрес изображения» (как минимум, так он называется в «Яндекс.Браузере»).

Если вам нужно получить адрес файла, снова вызываем выпадающее меню и выбираем пункт «Копировать адрес ссылки».

В каждом описанном случае ссылка копируется в оперативную память компьютера и уже из нее ссылку можно вставить в мессенджер, окно сообщений социальной сети, документ или другой браузер.

Из чего состоит URL-адрес

Начало адреса (1) — это протокол — http или https. В «Яндекс.Браузере» и Google Chrome они по умолчанию не видны и появляются только по клику левой кнопки мыши в адресной строке. Между тем указатель может начинаться не с протоколов передачи гипертекста, а со следующих:

Следующей частью URL является доменное имя сайта (2), реже — его IP.

Завершает адрес путь к странице (3), где будут папки и подпапки и который содержит название этой страницы.

Кроме того, URL может иметь в своем составе параметры, идущие после знака «?» и разделяющиеся символом «&» (знаки выделены желтым). Так выглядит адрес страницы с результатами поиска в Google по запросу “купить книгу”:

Виды URL

Статический URL

Это неизменный адрес, который остается тем же самым в течение всего времени существования вплоть до момента внесения изменения со стороны вебмастера или владельца сайта. Адрес не несет в своем составе никаких дополнительных параметров:

Динамический URL

Такой указатель формируется в результате пользовательского запроса и имеет в составе разделители типа “&”, “=”, “?”, после которых идут дополнительные параметры конкретной страницы. Они генерируются, когда пользователь интернет-магазина применяет фильтры товаров, сортирует их по рейтингу или цене, ищет по сайту. Если я введу на сайте «Читай-города» название книги «Увеличение продаж с SEO», искомая страница будет иметь адрес:

С позиций поисковой оптимизации лучше использовать статические урлы, потому что у динамических есть ряд объективных минусов:

Форматы URL

Транслитерированные URL

Так как мы работаем в Рунете, но соблюдаем мировые стандарты, повсеместно используем транслитерацию. Любой человек прочитает такой адрес и поймет, какое содержимое будет у соответствующей страницы.

И «Яндекс», и Google определяют в этих урлах ключевые фразы, а это позитивно влияет на поисковое продвижение. Кроме того, транслитерация структурирует сайт: мы можем легко попасть на главную страницу блога, просто стерев часть с названием статьи.

Латинские URL

Латинские урлы — это адреса с переводом на английский язык. Вместо «/работы/» будет «/works/» или «/portfolio/», вместо «/услуги/» — «/services/».

В основном латиница используется, чтобы показывать урлы категорий товаров или рубрик блога. Этот формат указателей без проблем опознается пользователями и хорошо индексируется роботами поисковых систем.

Кириллические URL

Логично, что такие указатели используются в кириллических доменах и в коротких адресах.

Из их плюсов можно выделить:

Но не все так гладко. У кириллических указателей есть большой минус. Когда вы копируете такой адрес, чтобы вставить его в окно текстового редактора или мессенджера, получится следующее (та же статья про Гоголя):

https://ru.wikipedia.org/wiki/%D0%93%D0%BE%D0%B3%D0%BE%D0%BB%D1%8C,_ %D0%9D%D0%B8%D0%BA%D0%BE%D0%BB%D0%B0%D0%B9_ %D0%92%D0%B0%D1%81%D0%B8%D0%BB%D1%8C%D0%B5%D0%B2%D0%B8%D1%87

Увы, но запись URL-адресов содержит фиксированный набор символов, куда кириллические не включены. В связи с этим все кириллические адреса шифруются, но ссылка остается работоспособной.

Также из недостатков таких урлов можно назвать трудность понимания и запоминания со стороны зарубежных пользователей. Реально, какой иностранец с первого раза прочитает и выговорит «Васильевич»! Кириллические также тяжело воспринимаются роботами поисковых систем, и их обязательно нужно переводить в удобочитаемый вид.

Человекопонятные URL (ЧПУ)

В рекомендациях Google и «Яндекса» есть указание на то, что на сайтах нужно использовать понятные для пользователей адреса, чтобы и люди, и машины понимали, что содержит в себе та или иная страница.

Например, по адресу https://site.ru/viewpage.php?category_id=13 мало что понятно, зато https://site.ru/portfolio сразу же говорит нам о том, что на странице находятся примеры работ компании или частного специалиста.

Пользователи могут оценить контент страницы еще ДО перехода по ссылке, а также:

Есть ряд правил построения ЧПУ на своем сайте:

Как сделать хороший URL

И конечно же, нужно всегда настраивать ЧПУ, потому что вы делаете сайты прежде всего для людей — ваших подписчиков, читателей, покупателей и даже почитателей таланта.

Источник

Интернет технологии (архив ИПМ 2001-2010, Богомолов)

3.1 Универсальный идентификатор ресурсов (URI), его назначение и составные части.

URI предназначен для уникальной идентификации любого ресурса.

Некоторые подмножества URI:

В HTML записывается так:

Предполагается что, например браузер, знает, где искать этот ресурс.

urn:namespace: data1.data2,more-data, где namespace (пространство имен) определяет, каким образом используются данные, указанные после второго «:».

При получении URN клиентская программа обращается к ISBN (каталогу «тематический классификатор для издательств» в Интернете). И получает расшифровку номера тематики «0-395-36341-6» (например: «квантовая химия»).

URN массово используется в P2P сетях (подобных edonkey).

Пример URN указывающего на образ диска Adobe Photoshop v8.0 в сети edonkey:

urn:ed2k://|file|Adobe Photoshop v8.0.iso|940769280|b34c101c90b6dedb4071094cb1b9f2d3|/

3.2 Универсальный указатель ресурса URL

В scheme-specific-part можно использовать шестнадцатеричные значения в виде: %5f. Обязательно должны кодироваться непечатные октеты: 00-1F, 7F, 80-FF. Также всегда кодируются «небезопасные» символы: » «, » «, «»», «#», «%», «<", ">«, «|», «\», «^», «

«, «[«, «]», «`». Некоторые схемы резервируют и другие символы: «;»,»/»,»?»,»:»,»@»,»=» и «&». Их также необходимо кодировать, если хочется «обойти» их специальное трактование. Таким образом остаются [a-z0-9$-_.+!*'(),] и резервированные символы в их специальном значении для данной схемы.

3.3 Некоторые схемы URL

Схема HTTP. В схеме указывается ее идентификатор, адрес машины, TCP-порт, путь в директории сервера, переменные и их значения, метка.

Определен в RFC 2068. По умолчанию, port=80.

Это наиболее распространенный вид URI, применяемый в документах WWW. Вслед за именем схемы (http) следует путь, состоящий из доменного адреса машины и полного адреса HTML-документа в дереве сервера HTTP.

В качестве адреса машины допустимо использование и IP-адреса:

Если сервер протокола HTTP запущен на другой, отличный от 80 порт TCP, то это отражается в адресе:

При указании адреса ресурса возможна ссылка на метку внутри файла HTML. Для этого вслед за именем документа может быть указана метка внутри документа:

Символ «#» отделяет имя документа от имени метки.

Переменные и их значения передаются следующим образом:

Схема FTP. Данная схема позволяет адресовать файловые архивы FTP.

Определен в RFC 1738. По умолчанию, port=21, user=anonymous, password=email-адрес, если имя указано, а пароль нет, то он запрашивается в диалоге.

имеет вид:
/ /. / / [;type= ], где :

преобразуется клиентской прграммой в набор команд
CWD
.
CWD
TYPE
RETR

Чтобы указать имя пользователя и его пароль, надо записать так:

В данном случае эти параметры отделены от адреса машины символом «@», а друг от друга двоеточием.

Схема MAILTO. Данная схема предназначена для отправки почты.

e-mail-1 ( @ )- первый адрес электронной почты

В этой схеме передаются поля и их значения:

Адрес получателя можно также записывать в виде значения поля to:

Схема NEWS. Данная схема используется для просмотра сообщений системы Usenet.

В данном случае можно получить статьи из группы «comp.infosystems.gopher» в режиме уведомления. Можно получить и текст статьи, но в этом случае указывают ее идентификатор:

Заказана 86 статья из группы.

Схема NNTP. Это еще одна схема получения доступа к ресурсам Usenet.

В данной схеме обращение к группе comp.infosystems.gopher для получения статьи 86 будет выглядеть так:

Следует обратить внимание на то, что адрес сервера Usenet не указан. Программа-клиент должна быть предварительно сконфигурирована на работу с одним из серверов Usenet. Сама служба Usenet является распределенным информационным ресурсом, и группа comp.infosystems.gopher на серверах содержит одни и те же сообщения.

Схема TELNET. По этой схеме осуществляется доступ к ресурсу в режиме удаленного терминала. При использовании этой схемы необходимо указывать имя пользователя и пароль.

По умолчанию, port=23.

Схема FILE. Для локального режима используют схему FILE.

В качестве обычно указывается localhost

Клиент запускает только программы просмотра на основе MIME-типов из заголовка сообщений сервера или по расширению файла.

Источник

Единый указатель ресурсов

Содержание

История

URL был изобретён Тимом Бернерсом-Ли в 1990 году в стенах Европейского совета по ядерным исследованиям (фр. Conseil Européen pour la Recherche Nucléaire, Женеве, Швейцария. URL стал фундаментальной инновацией в Интернете. Изначально URL предназначался для обозначения мест расположения ресурсов (чаще всего файлов) во Всемирной паутине. Сейчас URL применяется для обозначения адресов почти всех ресурсов Интернета. Стандарт URL закреплён в документе RFC 1738, прежняя версия была определена в RFC 1630. Сейчас URL позиционируется как часть более общей системы идентификации ресурсов URI. Стандарт URL регулируется организацией

Структура URL

Изначально локатор URL был разработан как система для максимально естественного указания на местонахождения ресурсов в сети. Локатор должен был быть легко расширяемым и использовать лишь ограниченный набор пробел никогда не применяется в URL). В связи с этим, возникла следующая традиционная форма записи URL:

схема схема обращения к ресурсу, в большинстве случаев имеется в виду сетевой протокол логин имя пользователя, используемое для доступа к ресурсу пароль пароль, ассоциированный с указанным именем пользователя хост полностью прописанное доменное имя хоста в системе IP-адрес хоста в форме четырёх десятичных чисел, разделённых точками. Числа находятся в интервале от 0 до 255. порт порт хоста для подключения URL-путь уточняющая информация о месте нахождения ресурса (зависит от протокола)

Схемы (протоколы) URL

Общепринятые схемы (протоколы) URL включают:

Экзотические схемы URL:

Кодирование URL

Появление адресов URL стало существенным нововведением в Интернете. Однако с момента его изобретения и по сей день стандарт URL обладает серьёзным недостатком — в нём можно использовать только ограниченный набор символов, даже меньший, нежели в кириллицы, или иероглифы, или, скажем, специфические символы французского языка, то нужные нам символы должны быть перекодированы особым образом.

В русскоязычной Википедии ежедневно приходится видеть пример кодирования URL, поскольку русский язык использует символы кириллицы. Например, строка вида:

кодируется в URL как:

Такое преобразование происходит в два этапа: сначала каждый символ кириллицы кодируется в Юникоде (шестнадцатеричном представлении:

Иные распространённые, но недопустимые в URL символы кодируются в таком соответствии:

Поскольку такому преобразованию подвергаются буквы всех алфавитов, кроме базовой латиницы, то URL со словами на подавляющем большинстве языков (кроме английского, итальянского, латинского) может утратить способность восприниматься людьми.

Это всё входит в противоречие с принципом интернационализма, провозглашаемого всеми ведущими организациями Интернета, включая W3C и англ. International Resource Identifier ) — международных идентификаторов ресурсов, в которых можно было бы без проблем использовать символы Юникода, и которые поэтому не ущемляли бы права других языков. Хотя заранее сложно сказать, смогут ли когда‐либо идентификаторы URI в целом).

Инициатива PURL

Ещё один кардинальный недостаток URL состоит в отсутствии гибкости. Ресурсы во Всемирной паутине и Интернете перемещаются, а ссылки в виде URL остаются, указывая на уже отсутствующие ресурсы. Это особенно болезненно для электронных библиотек, каталогов и энциклопедий. Для решения этой проблемы были предложены постоянные локаторы англ. Persistent Uniform Resource Locator ). В сущности это те же URL, но они указывают не на конкретное место расположения ресурса, а на запись в базе данных PURL, где, в свою очередь, записан уже конкретный URL‐адрес ресурса. При обращении к PURL сервер находит нужную запись в этой базе данных и перенаправляет запрос уже на конкретное местоположение ресурса. Если адрес ресурса меняется, то нет нужды исправлять все бесчисленные ссылки на него — достаточно лишь изменить запись в БД. В настоящий момент эта идея не стандартизирована и не имеет широкого распространения.

Источник

Обработка указателей универсальных ресурсов

Универсальный указатель ресурсов (URL) — это компактное представление расположения и метода доступа для ресурса, расположенного в Интернете. Каждый URL-адрес состоит из схемы (HTTP, HTTPS или FTP) и строки, зависящей от схемы. Эта строка может также содержать сочетание пути к каталогу, строки поиска или имени ресурса. Функции WinINet предоставляют возможность создавать, объединять, разбивать и канонизировать URL-адреса. Дополнительные сведения об URL-адресах см. в документе RFC-1738 по универсальным указателям ресурсов (URL).

Что такое канонический URL-адрес?

Формат всех URL-адресов должен соответствовать принятому синтаксису и семантике для доступа к ресурсам через Интернет. Каноническая обработка — это процесс форматирования URL-адреса для соблюдения синтаксиса и семантики.

Использование функций WinINet для управления URL-адресами

В следующей таблице перечислены функции URL-адресов.

URL-адреса канонизацию

Канонизацию URL-адрес — это процесс, который преобразует URL-адрес, который может содержать ненадежные символы, такие как пробелы, зарезервированные символы и т. д., в допустимый формат.

Функцию интернетканоникализеурл можно использовать для канонизировать URL-адресов. Эта функция ориентирована на задачи, поэтому приложение должно внимательно отслеживать его использование. Интернетканоникализеурл не проверяет, что переданный в него URL-адрес уже каноническ и что возвращаемый им URL-адрес является допустимым.

Следующие пять флагов управляют тем, как интернетканоникализеурл обрабатывает конкретный URL-адрес. Флаги можно использовать в сочетании. Если флаги не используются, функция кодирует URL-адрес по умолчанию.

_Флаг декодирования ICU должен использоваться только для канонических URL-адресов, так как предполагается, что все последовательности% XX являются управляющими кодами Escape-кодов и преобразуют их в символы, указанные в коде. Если в URL-адресе есть символ «%», который не является частью Escape-кода, ICU _ декодирование все еще обрабатывает его как один. Эта характеристика может привести к тому, что интернетканоникализеурл создаст недопустимый URL-адрес.

Объединение базового и относительного URL-адреса

Взлом URL-адресов

Если элемент указателя содержит адрес буфера, то элемент длины строки должен содержать размер этого буфера. Интернеткраккурл возвращает сведения о компоненте в виде строки в буфере и сохраняет длину строки в члене длины строки.

Если элемент указателя имеет значение NULL, то элементу длины строки может быть присвоено любое ненулевое значение. Интернеткраккурл хранит адрес первого символа строки URL-адреса, содержащей сведения о компоненте, и задает длину строки, равную количеству символов в оставшейся части строки URL-адреса, относящейся к компоненту.

Все члены-указатели имеют значение NULL с ненулевой точкой члена, соответствующей отправной точке в строке URL. Длину, хранящуюся в члене length, необходимо использовать для определения конца данных отдельного компонента.

Следующий пример возвращает компоненты URL-адреса в поле ввода, IDC _ PreOpen1 и возвращает компоненты в список, IDC _ преопенлист. Чтобы отобразить только сведения об отдельном компоненте, эта функция копирует символ непосредственно после сведений о компоненте в строке и временно заменяет его значением NULL.

Создание URL-адресов

Функция интернеткреатеурл использует сведения в структуре _ компонентов URL-адреса для создания унифицированного указателя ресурса.

Для каждого обязательного компонента член указателя должен содержать адрес буфера, содержащего данные. Элемент length должен иметь нулевое значение, если элемент указателя содержит адрес строки, завершающейся нулем; элементу length должна быть присвоена длина строки, если элемент указателя содержит адрес строки, которая не завершается нулем. Элемент указателя всех компонентов, которые не являются обязательными, должен иметь значение NULL.

Прямой доступ к URL-адресам

Для приложений, которые должны работать через прокси-сервер CERN, интернетопенурл можно использовать для доступа к каталогам и файлам FTP. Запросы FTP упаковываются в виде HTTP-запроса, который будет принимать прокси-сервер CERN.

На следующей схеме показано, какие дескрипторы используются для каждой функции.

WinINet не поддерживает реализации серверов. Кроме того, его не следует использовать из службы. для серверных реализаций или служб используйте Microsoft Windows HTTP services (WinHTTP).

Источник