Differences between revisions 1 and 10 (spanning 9 versions)
Revision 1 as of 2008-08-14 09:46:18
Size: 9360
Editor: eSyr
Comment:
Revision 10 as of 2008-08-22 17:44:10
Size: 14306
Comment: Передаю дальше
Deletions are marked like this. Additions are marked like this.
Line 3: Line 3:
Мы вчепра настр. почтовый клиент и н даже как-то заработал. Есть единственное, хтя и двоольно важная сост., отн. которой веб-клиенты для кнечного пользователя бывают интереснее и лучше чем почт. клиент как тд. программа --- это в случае, когда вы платите за рафыфик и получаете много нежел. почты. И при этом не исп. imap4, когда можете много чего делать на сервере. С другой стороны, это не совсем сотв. действ. Как мы узнаём то, что это спам? бычно по автору и теме. Заголовки вы в любм случае получаете, а скачивать письмо необяз. Откуда же пошло поверье, что вебпочта удобнее? Обычно те, кто предост. веб-почту, осущ. фильтрацию спама, а те, кт предст. тльк ящик, делают это не всегда. В случае, если рг. фильтрация, то эт озн., что вы получили не все письма. А что делать, если письмо было прошенное, а провайде его не получил. Дело в том, чт непрошенная почта это дстатчно тонкий вопрос, поскольку разные люди могут расценивать одни и те же письма как прошенные или непрошенные, например, приглашения на конф. по безопасности. Пнятие спам как таковой --- понятие неопределеимое, и можно только догадываться, спам но или нет. С другой стороны, спаммер --- понятие чёткое. По активности, по стилю повед. компьютера, можн с высокой степ. веряоятностью определить, рассылает он спам или он честный пчт. сервре. Критериев много из них зн. три:
 * На деят. этого кмпью.тера поступали жалобы
 * Кмьютер расс. немыслимое количество писем, причём в from и to стоят люди, не прин. одному домену
 * Компьютер проявл. активнсть в нарушение стандартов почтвой рассылки
Эт всё крит. достю формальные, по этой причине комп., расс. спам мжно внести в спец. БД, чёрный список. Если в древности таких компьютеров были единицы, и блэклисты вели сист. адм., т теперь таких машин миллионы и базы ведут отдельные компании, кторые зан. сбором пдобной инф. Такие рассылки блокируются.
 ''Тут вначале про Web-почту есть --- как это соотносится с [[../02EMailSupplemental]]?'' -- DmitryChistikov <<DateTime(2008-08-22T14:56:12+0400)>>
Line 9: Line 5:
У на на факультете 90---95 вход. соед. на почт. сервер происх. от машин, числ. в тех или иных черносписках. В такй списк мжет попасть честный челвек. По неск причинам:
 * Он подхватил вирус и его машина действ рассылает спам. Признаки: у него виндовз, быстро кончились деньги за интернет и пстоянная сет. активность
На сег. день под. бльш. спама расс. как раз такими машинами, прин. ни в чём не повинным беспечным людям. Большая часть того, что наз. вирусами, явл. спам-агентами. Мало тог, эти комп. объед. в ботнеты для тго, чтобы центр. получать инф. том, какую инф. и куда рассылать. Т. о., практика черносписков, работавшая когда-та, начинает сбоить, поск тд. машина эт часто одноразвая вещь.
Итак, мы получили базовые сведения об устройстве почтового клиента. Заметим, что существует также особый вид таких клиентов --- Web-клиенты. По сути дела, Web-клиент --- это почтовый клиент, перенесенный на сервер, доступ к которому осуществляется через Web (обычно --- по протоколу HTTPS). Использовать Web-клиент бывает удобно в случае, когда за трафик надо платить, а корреспонденции довольно много, причем возможности использовать протокол IMAP4 нет. Доступ с помощью POP3 в таких случаях доставляет значительное количество проблем, особенно в случае получения различного рода нежелательной корреспонденции, часто содержащей "тяжеловесные" вложения (attachments). Нежелательную корреспонденцию часто называют спамом (spam). Заметим, забегая вперед, что универсального способа отличить спам от обычного письма, тем не менее, не существует в принципе.
Line 13: Line 7:
Причины попадания совсем честных людей: наговоры клиентв по бизнесу, но в случае спамхауса тлько себе же хуже мжн сделать. Существует "поверье", что использование Web-почты удобнее в отношении фильтрации спама. Действительно, как вообще опознается спамовое письмо? Обычно для этого достаточно посмотреть на автора и тему письма, то есть --- в заголовок почтового сообщения. Само письмо при этом скачивать в подавляющем большинстве случаев совершенно необязательно. Именно такую "ручную" фильтрацию удобно осуществлять с помощью Web-клиентов (в случае, отметим еще раз, невозможности использовать IMAP4).
Line 15: Line 9:
Ещё можно попасть в чёрный списко по причине того, что адм. почт. сервера нарушает кучу стандртов при пересылке почты, и он сам неглядя орг. такй спам-агент, либо рассылка идёт с наличием стандартов. Формально говоря, почт. сервер не обязан принимать письма т компьютера, не имеющего имени. Тем не менее, Web-ориентированные почтовые службы обычно предоставляют возможность "автоматической" фильтрации спама. Идеальных фильтров, разумеется, не существует, поэтому превентивная фильтрация (абонент получает не все письма, которые ему направляются) доставляет некоторые неудобства. Может возникнуть весьма неприятная ситуация, когда письмо, которое абонент хотел получить, по ошибке оседает на фильтре. Дело в том, что разные люди могут расценивать одни и те же письма как нужные или нежелательные. К примеру, приглашение на конференцию по сетевой безопасности может оказаться полезным для специалиста в соответствующей области, тогда как для фармацевта это будет совершенно ненужная корреспонденция. Напротив, интересная фармацевту информация о различных медикаментах окажется абсолютно бесполезной для специалиста-компьютерщика.
Line 17: Line 11:
Поправка: 95 прцентов не черносписки а всё вместе. Итак, понятие спама в общем случае определить нельзя. Понятие спамера, однако, определяется весьма однозначно. По уровню активности и стилю поведения компьютера можно с высокой степенью точности определить, является ли он рассыльщиком спама или "честным" почтовым сервером. Выделим из списка критериев три. Компьютер разумно считать принадлежащим спамеру, если:
Line 19: Line 13:
Каждый может стать ист. спама, особенно в случае с виндовсм, поск. это дело автоматизировано.  * на его деятельность поступали жалобы;
 * он рассылает очень большое количество писем, в полях From и To у которых значатся абоненты различных доменов;
 * активность данного компьютера нарушает общепринятые стандарты на почтовые рассылки.
Line 21: Line 17:
Кроме того, авт. поиск дыр в веб-движках. Эти критерии весьма неплохо формализуются, и уже довольно давно существует практика составления "черных списков" --- перечней адресов "нехороших" компьютеров (при приеме почты разумно с этими списками сверяться). Отметим, что составлением черных списков часто занимаются специальные организации, некоторые из которых предоставляют доступ к этим спискам за деньги.
Line 23: Line 19:
Из всего, что лектор говорил, вероятность ложного срабатывания очень низкая и она мжет быть не вполне ложная. Как показывают наблюдения администраторов (''убрал упоминание факультета ВМК'' -- DmitryChistikov <<DateTime(2008-08-22T14:56:12+0400)>>), подавляющее большинство спамовых писем (зачастую более 90 процентов) отсеивается при проверке адреса отправителя по черным спискам. В черный список, однако, может попасть человек, не являющийся спамером. Укажем наиболее вероятные причины подобных недоразумений:
Line 25: Line 21:
Тем не менее, из оставшихся 5---10 процентв примерн 70 прцентв сост. спам.  * Занесение в черный список стало следствием активности зараженного вирусом компьютера. Это может произойти в случае использования ОС Windows, для которой существует огромное количество вредоносных программ, рассылающих спам без ведома владельца машины. Обнаружить присутствие подобного вируса можно по неоправданно высокой сетевой активности компьютера: рассылка спама часто приводит к мгновенному исчерпанию лимита сетевого трафика (в случае, если он оплачивается). Заметим, что большая часть машин, рассылающих спам, выглядит именно так, причем большинство вирусов для ОС Windows и являются рассыльщиками спама --- спам-агентами (spam-agent). Более того, многие вирусы объединяют зараженные компьютеры в крупномасштабные сети --- ботнеты (botnets), с целью быстрого проведения рассылки с различных адресов. Каждая из зараженных машин зачастую используется для отправки всего одного или двух писем.
Line 27: Line 23:
От ког вы их получаете: от тех спам-ботв, кто не зарег. в черносписках. Чт мжно сделать в этом случае? Эту адачу мжн перевал. либо на польз., либо на сервер. Првайдер мжет предост. услугу вычисление для писем признака спамовости. По разным признакам вычисляется то, на склоько письмо похоже на спамовое. Вероятность того, что это спам, не равна 1, и подбные письма помеча.ются, как не желательные серверм и кладутся в отдельную корзину.  * Вторая причина попадения в черный список --- наговор недруга по бизнесу. Этот вариант, впрочем, быстро определяется, а недруг-организатор легко опознается (такой инцидент обычно крайне негативно сказывается на его репутации, и не только на ней).
Line 29: Line 25:
В этом месте настр. разл. на лок. машине и веб-клиентм. Птому что в том же гугломейле исп. не вполне понятный механизм для вычисл., что такое спам, на кторый можно влиять: например, регульрно говорить, что опред. собщ. спам или не спам и таким обр. переобуч. систему. Вы упр. некими настр на сервере, иногда можете, иногда нет.  * Также причиной попадания в черный список может являться безалаберность системного администратора почтового сервера. Неправильно настроенный сервер может работать нестандартным образом или, что куда хуже, являться открытым узлом пересылки почты без авторизации. Серьезной проблемой здесь может оказаться отсутствие Reverse DNS пересыльщика. Не исключена и эксплуатация ошибок и дыр в веб-движках, обладающих возможностью отсылать почту. Одна из первых версий Web-сервера Apache 2 в режиме прокси умудрялась проксировать и 25-й порт, становясь при этом отличным пересыльщиком.
Line 31: Line 27:
В случ. с почт. клиентом есть два механизма:
 * Первый сост. в тм, чтобы польз. серверной частью, например, считается хорошей традицией (она пошла от spam-assasin) выст. спец. заголовок (x-spam-flag), и можно настр. почт. клиент на обр. их особым образом
 * Если это вас не устр, и вы счит. возм плучать все письма, т вы мжете восп. клиентскй стороной, то есть обуч. уже почт. клиент по тому же самому алгоритму (письма, счит. спамом, помечаете как спам, не спам как не спам). если лектор не ошибается, в claws есть модуль хждния к SA.
Отметим, однако, что при грамотном использовании черных списков и специализированных программ (к примеру, SpamAssasin) вероятность ложного срабатывания спам-фильтра можно довести до весьма низкой. Тем не менее, среди проходящих фильтр сообщений доля спама иногда достигает 70 процентов: большинство из них приходит от "свежих", еще не успевших попасть в черные списки спам-ботов. Задачу фильтрации этих сообщений можно возложить как на пользователя, так и на почтовый сервер. Провайдер может предоставлять услугу вычисления для писем так называемого "признака спамовости": чтобы определить, является ли почтовое сообщение нежелательным (спамом), используется целый набор разнообразных критериев, включающих анализ заголовка и, возможно, даже тела сообщения. Нежелательные с точки зрения анализатора сообщения помечаются специальным образом и/или кладутся в отдельный каталог на сервере.

Важно понимать, что функционирование Web-сервисов и обычных почтовых служб в этом отношении существенно различается. В известном сервисе Web-почты gmail.com (Google Mail) используется довольно мощный спам-фильтр, с совершенно неизвестным, впрочем, алгоритмом работы. При использовании Google Mail этот фильтр надо внимательно "обучать", отмечая при помощи специальных кнопок, какое письмо является спамом, а какое --- нет. В случае неаккуратной работы с фильтром он может с чистой совестью класть все почтовые рассылки в каталог Spam, что значительно затрудняет активное их использование. Что же касается обычной почты, то обычно для фильтрации спама используют два механизма. Первый из них функционирует следующим образом: сервер, если он считает, что письмо "подозрительно похоже" на спам, выставляет в заголовке специальный тег X-Spam-Flag, а клиентская программа на стороне пользователя сама решает, как с таким письмом применять. Второй механизм заключается в использовании встроенных в некоторые почтовые клиенты обучаемых спам-фильтров.
Line 41: Line 37:
|| 0 || 1 || 1 || 1 || || 1 || MaximByshevskiKonopko, DmitryChistikov, MaximByshevskiKonopko || || || || 50 || 1 || 1 || 1 || || 1 || MaximByshevskiKonopko, DmitryChistikov, MaximByshevskiKonopko || || ||

Почтовый спам

Итак, мы получили базовые сведения об устройстве почтового клиента. Заметим, что существует также особый вид таких клиентов --- Web-клиенты. По сути дела, Web-клиент --- это почтовый клиент, перенесенный на сервер, доступ к которому осуществляется через Web (обычно --- по протоколу HTTPS). Использовать Web-клиент бывает удобно в случае, когда за трафик надо платить, а корреспонденции довольно много, причем возможности использовать протокол IMAP4 нет. Доступ с помощью POP3 в таких случаях доставляет значительное количество проблем, особенно в случае получения различного рода нежелательной корреспонденции, часто содержащей "тяжеловесные" вложения (attachments). Нежелательную корреспонденцию часто называют спамом (spam). Заметим, забегая вперед, что универсального способа отличить спам от обычного письма, тем не менее, не существует в принципе.

Существует "поверье", что использование Web-почты удобнее в отношении фильтрации спама. Действительно, как вообще опознается спамовое письмо? Обычно для этого достаточно посмотреть на автора и тему письма, то есть --- в заголовок почтового сообщения. Само письмо при этом скачивать в подавляющем большинстве случаев совершенно необязательно. Именно такую "ручную" фильтрацию удобно осуществлять с помощью Web-клиентов (в случае, отметим еще раз, невозможности использовать IMAP4).

Тем не менее, Web-ориентированные почтовые службы обычно предоставляют возможность "автоматической" фильтрации спама. Идеальных фильтров, разумеется, не существует, поэтому превентивная фильтрация (абонент получает не все письма, которые ему направляются) доставляет некоторые неудобства. Может возникнуть весьма неприятная ситуация, когда письмо, которое абонент хотел получить, по ошибке оседает на фильтре. Дело в том, что разные люди могут расценивать одни и те же письма как нужные или нежелательные. К примеру, приглашение на конференцию по сетевой безопасности может оказаться полезным для специалиста в соответствующей области, тогда как для фармацевта это будет совершенно ненужная корреспонденция. Напротив, интересная фармацевту информация о различных медикаментах окажется абсолютно бесполезной для специалиста-компьютерщика.

Итак, понятие спама в общем случае определить нельзя. Понятие спамера, однако, определяется весьма однозначно. По уровню активности и стилю поведения компьютера можно с высокой степенью точности определить, является ли он рассыльщиком спама или "честным" почтовым сервером. Выделим из списка критериев три. Компьютер разумно считать принадлежащим спамеру, если:

  • на его деятельность поступали жалобы;
  • он рассылает очень большое количество писем, в полях From и To у которых значатся абоненты различных доменов;
  • активность данного компьютера нарушает общепринятые стандарты на почтовые рассылки.

Эти критерии весьма неплохо формализуются, и уже довольно давно существует практика составления "черных списков" --- перечней адресов "нехороших" компьютеров (при приеме почты разумно с этими списками сверяться). Отметим, что составлением черных списков часто занимаются специальные организации, некоторые из которых предоставляют доступ к этим спискам за деньги.

Как показывают наблюдения администраторов (убрал упоминание факультета ВМК -- DmitryChistikov 2008-08-22 13:56:12), подавляющее большинство спамовых писем (зачастую более 90 процентов) отсеивается при проверке адреса отправителя по черным спискам. В черный список, однако, может попасть человек, не являющийся спамером. Укажем наиболее вероятные причины подобных недоразумений:

  • Занесение в черный список стало следствием активности зараженного вирусом компьютера. Это может произойти в случае использования ОС Windows, для которой существует огромное количество вредоносных программ, рассылающих спам без ведома владельца машины. Обнаружить присутствие подобного вируса можно по неоправданно высокой сетевой активности компьютера: рассылка спама часто приводит к мгновенному исчерпанию лимита сетевого трафика (в случае, если он оплачивается). Заметим, что большая часть машин, рассылающих спам, выглядит именно так, причем большинство вирусов для ОС Windows и являются рассыльщиками спама --- спам-агентами (spam-agent). Более того, многие вирусы объединяют зараженные компьютеры в крупномасштабные сети --- ботнеты (botnets), с целью быстрого проведения рассылки с различных адресов. Каждая из зараженных машин зачастую используется для отправки всего одного или двух писем.
  • Вторая причина попадения в черный список --- наговор недруга по бизнесу. Этот вариант, впрочем, быстро определяется, а недруг-организатор легко опознается (такой инцидент обычно крайне негативно сказывается на его репутации, и не только на ней).
  • Также причиной попадания в черный список может являться безалаберность системного администратора почтового сервера. Неправильно настроенный сервер может работать нестандартным образом или, что куда хуже, являться открытым узлом пересылки почты без авторизации. Серьезной проблемой здесь может оказаться отсутствие Reverse DNS пересыльщика. Не исключена и эксплуатация ошибок и дыр в веб-движках, обладающих возможностью отсылать почту. Одна из первых версий Web-сервера Apache 2 в режиме прокси умудрялась проксировать и 25-й порт, становясь при этом отличным пересыльщиком.

Отметим, однако, что при грамотном использовании черных списков и специализированных программ (к примеру, SpamAssasin) вероятность ложного срабатывания спам-фильтра можно довести до весьма низкой. Тем не менее, среди проходящих фильтр сообщений доля спама иногда достигает 70 процентов: большинство из них приходит от "свежих", еще не успевших попасть в черные списки спам-ботов. Задачу фильтрации этих сообщений можно возложить как на пользователя, так и на почтовый сервер. Провайдер может предоставлять услугу вычисления для писем так называемого "признака спамовости": чтобы определить, является ли почтовое сообщение нежелательным (спамом), используется целый набор разнообразных критериев, включающих анализ заголовка и, возможно, даже тела сообщения. Нежелательные с точки зрения анализатора сообщения помечаются специальным образом и/или кладутся в отдельный каталог на сервере.

Важно понимать, что функционирование Web-сервисов и обычных почтовых служб в этом отношении существенно различается. В известном сервисе Web-почты gmail.com (Google Mail) используется довольно мощный спам-фильтр, с совершенно неизвестным, впрочем, алгоритмом работы. При использовании Google Mail этот фильтр надо внимательно "обучать", отмечая при помощи специальных кнопок, какое письмо является спамом, а какое --- нет. В случае неаккуратной работы с фильтром он может с чистой совестью класть все почтовые рассылки в каталог Spam, что значительно затрудняет активное их использование. Что же касается обычной почты, то обычно для фильтрации спама используют два механизма. Первый из них функционирует следующим образом: сервер, если он считает, что письмо "подозрительно похоже" на спам, выставляет в заголовке специальный тег X-Spam-Flag, а клиентская программа на стороне пользователя сама решает, как с таким письмом применять. Второй механизм заключается в использовании встроенных в некоторые почтовые клиенты обучаемых спам-фильтров.


Сведения о ресурсах

Готовность (%)

Продолжительность (ак. ч.)

Подготовка (календ. ч.)

Полный текст (раб. д.)

Предварительные знания

Level

Maintainer

Start date

End date

50

1

1

1

1

MaximByshevskiKonopko, DmitryChistikov, MaximByshevskiKonopko


CategoryLectures CategoryPspo CategoryMpgu CategoryUneex

PspoClasses/080813/01EMailSpam (last edited 2008-10-09 22:14:04 by MaximByshevskiKonopko)