Различия между версиями 2 и 10 (по 8 версиям)
Версия 2 от 2008-08-19 22:53:53
Размер: 9993
Редактор: MaximByshevskiKonopko
Комментарий: init.
Версия 10 от 2008-08-22 17:44:10
Размер: 14306
Редактор: DmitryChistikov
Комментарий: Передаю дальше
Удаления помечены так. Добавления помечены так.
Строка 3: Строка 3:
Мы вчера настраивали почтовый клиент и он даже как-то заработал. Довольно существенное отличие в пользу веб-клиента, несмотря на все его недостатки, то, что зачастую вместе с услугой предоставления веб-почты предоставляется та или иная услуга фильтрации нежелательных писем, то есть, спама. Когда за трафик надо платить, а корреспонденции довольно много и нет возможности использовать IMAP4, это оказывается весьма неплохой идеей. С другой стороны, идеальных фильтров не существует. Как мы узнаём, что это спам? Обычно по автору и теме. Заголовки в любом случае придётся скачать, а скачивать письмо уже не обязательно. Откуда же пошло поверье, что вебпочта в этом смысле удобнее? Ведь в случае превентивной фильтрации абонентом получаются не все письма, которые ему были изначально отправлены. Возникает весьма неприятная ситуация, когда письмо, которое абонент хотел получить, по ошибке оседает на фильтре. Дело в том, что непрошенная почта это дстатчно тонкий вопрос, поскольку разные люди могут расценивать одни и те же письма как прошенные или непрошенные, например, приглашения на конференции по сетевой безопасности для специалиста в этой области будут полезны, так как для фармацевта это будет совершенно ненужная корреспонденция. И наоборот, интересная фармацевту информация о различных лекарствах явно не имеет смысла для инфобезовца.  ''Тут вначале про Web-почту есть --- как это соотносится с [[../02EMailSupplemental]]?'' -- DmitryChistikov <<DateTime(2008-08-22T14:56:12+0400)>>
Строка 5: Строка 5:
Тем самым, понятие спама как такового совершенно неопределяемое в общем случае. С другой стороны, спаммер --- понятие чёткое. По активности, по стилю поведения компьютера, можно с высокой степенью веряоятностью определить, рассылает он спам или он честный почтовый сервер. Критериев много, из них значимы три:
 * На деятельность этого компьютера поступали жалобы
 * Кмьютер рассылает немыслимое количество писем, причём в from и to стоят люди, не принадлежащие одному домену
 * Компьютер проявляет активнсть с нарушением стандартов почтвой рассылки
Итак, мы получили базовые сведения об устройстве почтового клиента. Заметим, что существует также особый вид таких клиентов --- Web-клиенты. По сути дела, Web-клиент --- это почтовый клиент, перенесенный на сервер, доступ к которому осуществляется через Web (обычно --- по протоколу HTTPS). Использовать Web-клиент бывает удобно в случае, когда за трафик надо платить, а корреспонденции довольно много, причем возможности использовать протокол IMAP4 нет. Доступ с помощью POP3 в таких случаях доставляет значительное количество проблем, особенно в случае получения различного рода нежелательной корреспонденции, часто содержащей "тяжеловесные" вложения (attachments). Нежелательную корреспонденцию часто называют спамом (spam). Заметим, забегая вперед, что универсального способа отличить спам от обычного письма, тем не менее, не существует в принципе.
Строка 10: Строка 7:
Эти критерии довольно хорошо формализуемы, и весьма давно существует практика составления списков адресов "нехороших" компьютеров и сверка с ними при приёме почты. Существуют даже специальные организации, занимающиеся составлением чёрных списков и даже продажей оных. Существует "поверье", что использование Web-почты удобнее в отношении фильтрации спама. Действительно, как вообще опознается спамовое письмо? Обычно для этого достаточно посмотреть на автора и тему письма, то есть --- в заголовок почтового сообщения. Само письмо при этом скачивать в подавляющем большинстве случаев совершенно необязательно. Именно такую "ручную" фильтрацию удобно осуществлять с помощью Web-клиентов (в случае, отметим еще раз, невозможности использовать IMAP4).
Строка 12: Строка 9:
У на на факультете 90---95 вход. соед. на почт. сервер происх. от машин, числ. в тех или иных черносписках. В такй списк мжет попасть честный челвек. По неск причинам:
 * Он подхватил вирус и его машина действ рассылает спам. Признаки: у него виндовз, быстро кончились деньги за интернет и пстоянная сет. активность
На сег. день под. бльш. спама расс. как раз такими машинами, прин. ни в чём не повинным беспечным людям. Большая часть того, что наз. вирусами, явл. спам-агентами. Мало тог, эти комп. объед. в ботнеты для тго, чтобы центр. получать инф. том, какую инф. и куда рассылать. Т. о., практика черносписков, работавшая когда-та, начинает сбоить, поск тд. машина эт часто одноразвая вещь.
Тем не менее, Web-ориентированные почтовые службы обычно предоставляют возможность "автоматической" фильтрации спама. Идеальных фильтров, разумеется, не существует, поэтому превентивная фильтрация (абонент получает не все письма, которые ему направляются) доставляет некоторые неудобства. Может возникнуть весьма неприятная ситуация, когда письмо, которое абонент хотел получить, по ошибке оседает на фильтре. Дело в том, что разные люди могут расценивать одни и те же письма как нужные или нежелательные. К примеру, приглашение на конференцию по сетевой безопасности может оказаться полезным для специалиста в соответствующей области, тогда как для фармацевта это будет совершенно ненужная корреспонденция. Напротив, интересная фармацевту информация о различных медикаментах окажется абсолютно бесполезной для специалиста-компьютерщика.
Строка 16: Строка 11:
Причины попадания совсем честных людей: наговоры клиентв по бизнесу, но в случае спамхауса тлько себе же хуже мжн сделать. Итак, понятие спама в общем случае определить нельзя. Понятие спамера, однако, определяется весьма однозначно. По уровню активности и стилю поведения компьютера можно с высокой степенью точности определить, является ли он рассыльщиком спама или "честным" почтовым сервером. Выделим из списка критериев три. Компьютер разумно считать принадлежащим спамеру, если:
Строка 18: Строка 13:
Ещё можно попасть в чёрный списко по причине того, что адм. почт. сервера нарушает кучу стандртов при пересылке почты, и он сам неглядя орг. такй спам-агент, либо рассылка идёт с наличием стандартов. Формально говоря, почт. сервер не обязан принимать письма т компьютера, не имеющего имени.  * на его деятельность поступали жалобы;
 * он рассылает очень большое количество писем, в полях From и To у которых значатся абоненты различных доменов;
 * активность данного компьютера нарушает общепринятые стандарты на почтовые рассылки.
Строка 20: Строка 17:
Поправка: 95 прцентов не черносписки а всё вместе. Эти критерии весьма неплохо формализуются, и уже довольно давно существует практика составления "черных списков" --- перечней адресов "нехороших" компьютеров (при приеме почты разумно с этими списками сверяться). Отметим, что составлением черных списков часто занимаются специальные организации, некоторые из которых предоставляют доступ к этим спискам за деньги.
Строка 22: Строка 19:
Каждый может стать ист. спама, особенно в случае с виндовсм, поск. это дело автоматизировано. Как показывают наблюдения администраторов (''убрал упоминание факультета ВМК'' -- DmitryChistikov <<DateTime(2008-08-22T14:56:12+0400)>>), подавляющее большинство спамовых писем (зачастую более 90 процентов) отсеивается при проверке адреса отправителя по черным спискам. В черный список, однако, может попасть человек, не являющийся спамером. Укажем наиболее вероятные причины подобных недоразумений:
Строка 24: Строка 21:
Кроме того, авт. поиск дыр в веб-движках.  * Занесение в черный список стало следствием активности зараженного вирусом компьютера. Это может произойти в случае использования ОС Windows, для которой существует огромное количество вредоносных программ, рассылающих спам без ведома владельца машины. Обнаружить присутствие подобного вируса можно по неоправданно высокой сетевой активности компьютера: рассылка спама часто приводит к мгновенному исчерпанию лимита сетевого трафика (в случае, если он оплачивается). Заметим, что большая часть машин, рассылающих спам, выглядит именно так, причем большинство вирусов для ОС Windows и являются рассыльщиками спама --- спам-агентами (spam-agent). Более того, многие вирусы объединяют зараженные компьютеры в крупномасштабные сети --- ботнеты (botnets), с целью быстрого проведения рассылки с различных адресов. Каждая из зараженных машин зачастую используется для отправки всего одного или двух писем.
Строка 26: Строка 23:
Из всего, что лектор говорил, вероятность ложного срабатывания очень низкая и она мжет быть не вполне ложная.  * Вторая причина попадения в черный список --- наговор недруга по бизнесу. Этот вариант, впрочем, быстро определяется, а недруг-организатор легко опознается (такой инцидент обычно крайне негативно сказывается на его репутации, и не только на ней).
Строка 28: Строка 25:
Тем не менее, из оставшихся 5---10 процентв примерн 70 прцентв сост. спам.  * Также причиной попадания в черный список может являться безалаберность системного администратора почтового сервера. Неправильно настроенный сервер может работать нестандартным образом или, что куда хуже, являться открытым узлом пересылки почты без авторизации. Серьезной проблемой здесь может оказаться отсутствие Reverse DNS пересыльщика. Не исключена и эксплуатация ошибок и дыр в веб-движках, обладающих возможностью отсылать почту. Одна из первых версий Web-сервера Apache 2 в режиме прокси умудрялась проксировать и 25-й порт, становясь при этом отличным пересыльщиком.
Строка 30: Строка 27:
От ког вы их получаете: от тех спам-ботв, кто не зарег. в черносписках. Чт мжно сделать в этом случае? Эту адачу мжн перевал. либо на польз., либо на сервер. Првайдер мжет предост. услугу вычисление для писем признака спамовости. По разным признакам вычисляется то, на склоько письмо похоже на спамовое. Вероятность того, что это спам, не равна 1, и подбные письма помеча.ются, как не желательные серверм и кладутся в отдельную корзину. Отметим, однако, что при грамотном использовании черных списков и специализированных программ (к примеру, SpamAssasin) вероятность ложного срабатывания спам-фильтра можно довести до весьма низкой. Тем не менее, среди проходящих фильтр сообщений доля спама иногда достигает 70 процентов: большинство из них приходит от "свежих", еще не успевших попасть в черные списки спам-ботов. Задачу фильтрации этих сообщений можно возложить как на пользователя, так и на почтовый сервер. Провайдер может предоставлять услугу вычисления для писем так называемого "признака спамовости": чтобы определить, является ли почтовое сообщение нежелательным (спамом), используется целый набор разнообразных критериев, включающих анализ заголовка и, возможно, даже тела сообщения. Нежелательные с точки зрения анализатора сообщения помечаются специальным образом и/или кладутся в отдельный каталог на сервере.
Строка 32: Строка 29:
В этом месте настр. разл. на лок. машине и веб-клиентм. Птому что в том же гугломейле исп. не вполне понятный механизм для вычисл., что такое спам, на кторый можно влиять: например, регульрно говорить, что опред. собщ. спам или не спам и таким обр. переобуч. систему. Вы упр. некими настр на сервере, иногда можете, иногда нет.

В случ. с почт. клиентом есть два механизма:
 * Первый сост. в тм, чтобы польз. серверной частью, например, считается хорошей традицией (она пошла от spam-assasin) выст. спец. заголовок (x-spam-flag), и можно настр. почт. клиент на обр. их особым образом
 * Если это вас не устр, и вы счит. возм плучать все письма, т вы мжете восп. клиентскй стороной, то есть обуч. уже почт. клиент по тому же самому алгоритму (письма, счит. спамом, помечаете как спам, не спам как не спам). если лектор не ошибается, в claws есть модуль хждния к SA.
Важно понимать, что функционирование Web-сервисов и обычных почтовых служб в этом отношении существенно различается. В известном сервисе Web-почты gmail.com (Google Mail) используется довольно мощный спам-фильтр, с совершенно неизвестным, впрочем, алгоритмом работы. При использовании Google Mail этот фильтр надо внимательно "обучать", отмечая при помощи специальных кнопок, какое письмо является спамом, а какое --- нет. В случае неаккуратной работы с фильтром он может с чистой совестью класть все почтовые рассылки в каталог Spam, что значительно затрудняет активное их использование. Что же касается обычной почты, то обычно для фильтрации спама используют два механизма. Первый из них функционирует следующим образом: сервер, если он считает, что письмо "подозрительно похоже" на спам, выставляет в заголовке специальный тег X-Spam-Flag, а клиентская программа на стороне пользователя сама решает, как с таким письмом применять. Второй механизм заключается в использовании встроенных в некоторые почтовые клиенты обучаемых спам-фильтров.
Строка 44: Строка 37:
|| 2 || 1 || 1 || 1 || || 1 || MaximByshevskiKonopko, DmitryChistikov, MaximByshevskiKonopko || || || || 50 || 1 || 1 || 1 || || 1 || MaximByshevskiKonopko, DmitryChistikov, MaximByshevskiKonopko || || ||

Почтовый спам

Итак, мы получили базовые сведения об устройстве почтового клиента. Заметим, что существует также особый вид таких клиентов --- Web-клиенты. По сути дела, Web-клиент --- это почтовый клиент, перенесенный на сервер, доступ к которому осуществляется через Web (обычно --- по протоколу HTTPS). Использовать Web-клиент бывает удобно в случае, когда за трафик надо платить, а корреспонденции довольно много, причем возможности использовать протокол IMAP4 нет. Доступ с помощью POP3 в таких случаях доставляет значительное количество проблем, особенно в случае получения различного рода нежелательной корреспонденции, часто содержащей "тяжеловесные" вложения (attachments). Нежелательную корреспонденцию часто называют спамом (spam). Заметим, забегая вперед, что универсального способа отличить спам от обычного письма, тем не менее, не существует в принципе.

Существует "поверье", что использование Web-почты удобнее в отношении фильтрации спама. Действительно, как вообще опознается спамовое письмо? Обычно для этого достаточно посмотреть на автора и тему письма, то есть --- в заголовок почтового сообщения. Само письмо при этом скачивать в подавляющем большинстве случаев совершенно необязательно. Именно такую "ручную" фильтрацию удобно осуществлять с помощью Web-клиентов (в случае, отметим еще раз, невозможности использовать IMAP4).

Тем не менее, Web-ориентированные почтовые службы обычно предоставляют возможность "автоматической" фильтрации спама. Идеальных фильтров, разумеется, не существует, поэтому превентивная фильтрация (абонент получает не все письма, которые ему направляются) доставляет некоторые неудобства. Может возникнуть весьма неприятная ситуация, когда письмо, которое абонент хотел получить, по ошибке оседает на фильтре. Дело в том, что разные люди могут расценивать одни и те же письма как нужные или нежелательные. К примеру, приглашение на конференцию по сетевой безопасности может оказаться полезным для специалиста в соответствующей области, тогда как для фармацевта это будет совершенно ненужная корреспонденция. Напротив, интересная фармацевту информация о различных медикаментах окажется абсолютно бесполезной для специалиста-компьютерщика.

Итак, понятие спама в общем случае определить нельзя. Понятие спамера, однако, определяется весьма однозначно. По уровню активности и стилю поведения компьютера можно с высокой степенью точности определить, является ли он рассыльщиком спама или "честным" почтовым сервером. Выделим из списка критериев три. Компьютер разумно считать принадлежащим спамеру, если:

  • на его деятельность поступали жалобы;
  • он рассылает очень большое количество писем, в полях From и To у которых значатся абоненты различных доменов;
  • активность данного компьютера нарушает общепринятые стандарты на почтовые рассылки.

Эти критерии весьма неплохо формализуются, и уже довольно давно существует практика составления "черных списков" --- перечней адресов "нехороших" компьютеров (при приеме почты разумно с этими списками сверяться). Отметим, что составлением черных списков часто занимаются специальные организации, некоторые из которых предоставляют доступ к этим спискам за деньги.

Как показывают наблюдения администраторов (убрал упоминание факультета ВМК -- DmitryChistikov 2008-08-22 13:56:12), подавляющее большинство спамовых писем (зачастую более 90 процентов) отсеивается при проверке адреса отправителя по черным спискам. В черный список, однако, может попасть человек, не являющийся спамером. Укажем наиболее вероятные причины подобных недоразумений:

  • Занесение в черный список стало следствием активности зараженного вирусом компьютера. Это может произойти в случае использования ОС Windows, для которой существует огромное количество вредоносных программ, рассылающих спам без ведома владельца машины. Обнаружить присутствие подобного вируса можно по неоправданно высокой сетевой активности компьютера: рассылка спама часто приводит к мгновенному исчерпанию лимита сетевого трафика (в случае, если он оплачивается). Заметим, что большая часть машин, рассылающих спам, выглядит именно так, причем большинство вирусов для ОС Windows и являются рассыльщиками спама --- спам-агентами (spam-agent). Более того, многие вирусы объединяют зараженные компьютеры в крупномасштабные сети --- ботнеты (botnets), с целью быстрого проведения рассылки с различных адресов. Каждая из зараженных машин зачастую используется для отправки всего одного или двух писем.
  • Вторая причина попадения в черный список --- наговор недруга по бизнесу. Этот вариант, впрочем, быстро определяется, а недруг-организатор легко опознается (такой инцидент обычно крайне негативно сказывается на его репутации, и не только на ней).
  • Также причиной попадания в черный список может являться безалаберность системного администратора почтового сервера. Неправильно настроенный сервер может работать нестандартным образом или, что куда хуже, являться открытым узлом пересылки почты без авторизации. Серьезной проблемой здесь может оказаться отсутствие Reverse DNS пересыльщика. Не исключена и эксплуатация ошибок и дыр в веб-движках, обладающих возможностью отсылать почту. Одна из первых версий Web-сервера Apache 2 в режиме прокси умудрялась проксировать и 25-й порт, становясь при этом отличным пересыльщиком.

Отметим, однако, что при грамотном использовании черных списков и специализированных программ (к примеру, SpamAssasin) вероятность ложного срабатывания спам-фильтра можно довести до весьма низкой. Тем не менее, среди проходящих фильтр сообщений доля спама иногда достигает 70 процентов: большинство из них приходит от "свежих", еще не успевших попасть в черные списки спам-ботов. Задачу фильтрации этих сообщений можно возложить как на пользователя, так и на почтовый сервер. Провайдер может предоставлять услугу вычисления для писем так называемого "признака спамовости": чтобы определить, является ли почтовое сообщение нежелательным (спамом), используется целый набор разнообразных критериев, включающих анализ заголовка и, возможно, даже тела сообщения. Нежелательные с точки зрения анализатора сообщения помечаются специальным образом и/или кладутся в отдельный каталог на сервере.

Важно понимать, что функционирование Web-сервисов и обычных почтовых служб в этом отношении существенно различается. В известном сервисе Web-почты gmail.com (Google Mail) используется довольно мощный спам-фильтр, с совершенно неизвестным, впрочем, алгоритмом работы. При использовании Google Mail этот фильтр надо внимательно "обучать", отмечая при помощи специальных кнопок, какое письмо является спамом, а какое --- нет. В случае неаккуратной работы с фильтром он может с чистой совестью класть все почтовые рассылки в каталог Spam, что значительно затрудняет активное их использование. Что же касается обычной почты, то обычно для фильтрации спама используют два механизма. Первый из них функционирует следующим образом: сервер, если он считает, что письмо "подозрительно похоже" на спам, выставляет в заголовке специальный тег X-Spam-Flag, а клиентская программа на стороне пользователя сама решает, как с таким письмом применять. Второй механизм заключается в использовании встроенных в некоторые почтовые клиенты обучаемых спам-фильтров.


Сведения о ресурсах

Готовность (%)

Продолжительность (ак. ч.)

Подготовка (календ. ч.)

Полный текст (раб. д.)

Предварительные знания

Level

Maintainer

Start date

End date

50

1

1

1

1

MaximByshevskiKonopko, DmitryChistikov, MaximByshevskiKonopko


CategoryLectures CategoryPspo CategoryMpgu CategoryUneex

PspoClasses/080813/01EMailSpam (последним исправлял пользователь MaximByshevskiKonopko 2008-10-09 22:14:04)