Differences between revisions 7 and 8
Revision 7 as of 2008-08-21 18:50:47
Size: 10102
Comment:
Revision 8 as of 2008-08-22 10:56:14
Size: 14289
Comment:
Deletions are marked like this. Additions are marked like this.
Line 3: Line 3:
Мы вчера настраивали почтовый клиент и он даже как-то заработал. Довольно существенное отличие в пользу веб-клиента, несмотря на все его недостатки, то, что зачастую вместе с услугой предоставления веб-почты предоставляется та или иная услуга фильтрации нежелательных писем, то есть, спама. Когда за трафик надо платить, а корреспонденции довольно много и нет возможности использовать IMAP4, это оказывается весьма неплохой идеей. С другой стороны, идеальных фильтров не существует. Как мы узнаём, что это спам? Обычно по автору и теме. Заголовки в любом случае придётся скачать, а скачивать письмо уже не обязательно. Откуда же пошло поверье, что вебпочта в этом смысле удобнее? Ведь в случае превентивной фильтрации абонентом получаются не все письма, которые ему были изначально отправлены. Возникает весьма неприятная ситуация, когда письмо, которое абонент хотел получить, по ошибке оседает на фильтре. Дело в том, что непрошенная почта это достатчно тонкий вопрос, поскольку разные люди могут расценивать одни и те же письма как прошенные или непрошенные, например, приглашения на конференции по сетевой безопасности для специалиста в этой области будут полезны, так как для фармацевта это будет совершенно ненужная корреспонденция. И наоборот, интересная фармацевту информация о различных лекарствах явно не имеет смысла для инфобезовца.  ''Тут вначале про Web-почту есть --- как это соотносится с [[/02EMailSupplemental]]?'' -- DmitryChistikov <<DateTime(2008-08-22T14:56:12+0400)>>
Line 5: Line 5:
Тем самым, понятие спама как такового совершенно неопределяемое в общем случае. С другой стороны, спаммер --- понятие чёткое. По активности, по стилю поведения компьютера, можно с высокой степенью вероятностью определить, рассылает он спам или он честный почтовый сервер. Критериев много, из них значимы три:
 * На деятельность этого компьютера поступали жалобы
 * Компьютер рассылает немыслимое количество писем, причём в from и to стоят люди, не принадлежащие одному домену
 * Компьютер проявляет активность с нарушением стандартов почтовой рассылки
Итак, мы получили базовые сведения об устройстве почтового клиента. Заметим, что существует также особый вид таких клиентов --- Web-клиенты. По сути дела, это почтовый клиент, перенесенный на сервер, доступ к которому осуществляется через Web (обычно --- по протоколу HTTPS). Использовать Web-клиент бывает удобно в случае, когда за трафик надо платить, а корреспонденции довольно много, причем возможности использовать протокол IMAP4 нет. Доступ с помощью POP3 в таких случаях доставляет значительное количество проблем, особенно в случае получения различного рода нежелательной корреспонденции, часто содержащей "тяжеловесные" вложения (attachments). Нежелательную корреспонденцию часто называют спамом (spam). Заметим, забегая вперед, что универсального способа отличить спам от обычного письма, тем не менее, не существует в принципе.
Line 10: Line 7:
Эти критерии довольно хорошо формализуемы, и весьма давно существует практика составления списков адресов "нехороших" компьютеров и сверка с ними при приёме почты. Существуют даже специальные организации, занимающиеся составлением чёрных списков и даже продажей оных. Существует "поверье", что использование Web-почты удобнее в отношении фильтрации спама. Действительно, как вообще опознается спамовое письмо? Обычно для этого достаточно посмотреть на автора и тему письма, то есть --- в заголовок почтового сообщения. Само письмо при этом скачивать в подавляющем большинстве случаев совершенно необязательно. Именно такую "ручную" фильтрацию удобно осуществлять с помощью Web-клиентов (в случае, отметим еще раз, невозможности использовать IMAP4).
Line 12: Line 9:
На факультете ВМК, как показывают наблюдения администраторов, от 90 до 95 процентов спама отсеивается на проверках адреса отправителя по чёрным спискам. Однако, в чёрный список вполне может попасть человек, никогда не бывший спамером и не хотевший никого обидеть. Основная причина для такого происшествия банальна: у него ОС Windows и он подхватил какой-то вирус, в результате чего его машина стала рассылать спам вне его ведома. Большая часть машин, рассылающих спам, выглядят именно так. Мало того, вирусы-рассыльщики объединяют такие компьютеры в так называемые ботнеты, чтобы проводить рассылку максимально быстро с разных адресов. Зачастую каждая машина используется для отправки всего одного или двух писем. Тем не менее, Web-ориентированные почтовые службы обычно предоставляют возможность "автоматической" фильтрации спама. Идеальных фильтров, разумеется, не существует, поэтому превентивная фильтрация (абонент получает не все письма, которые ему направляются) доставляет некоторые неудобства. Может возникнуть весьма неприятная ситуация, когда письмо, которое абонент хотел получить, по ошибке оседает на фильтре. Дело в том, что разные люди могут расценивать одни и те же письма как нужные или нежелательные. К примеру, приглашения на конференцию по сетевой безопасности может оказаться полезным для специалиста в соответствующей области, тогда как для фармацевта это будет совершенно ненужная корреспонденция. Напротив, интересная фармацевту информация о различных медикаментах окажется абсолютно бесполезной для специалиста-компьютерщика.
Line 14: Line 11:
Причины попадания совсем честных людей: наговоры недругов по бизнесу. Но такое быстро определяется, и очень негативно сказывается на недруге. Итак, понятие спама в общем случае определить нельзя. Понятие спаммера, однако, определяется весьма однозначно. По уровню активности и стилю поведения компьютера можно с высокой степенью точности определить, является ли он рассыльщиком спама или "честным" почтовым сервером. Выделим из списка критериев три. Компьютер разумно считать принадлежащим спаммеру, если:
Line 16: Line 13:
Также причиной попадания в чёрный список может являться безалаберность системного администратора почтового сервера, вследствие которой он работает нестандартным образом, или, что куда хуже, является открытым узлом пересылки почты без авторизации.  * на его деятельность поступали жалобы;
 * он рассылает очень большое количество писем, в полях From и To у которых значатся абоненты различных доменов;
 * активность данного компьютера нарушает общепринятые стандарты на почтовые рассылки.
Line 18: Line 17:
Не исключена и эксплуатация багов и дыр в веб-движках, которые могут отсылать почту, для проведения рассылок спама. Одна из первых версий Apache 2 в режиме прокси умудрялась проксировать и 25-й порт тоже, становясь при этом отличным релэем. Эти критерии весьма неплохо формализуются, и уже довольно давно существует практика составления "черных списков" --- перечней адресов "нехороших" компьютеров (при приеме почты разумно с этими списками сверяться). Отметим, что составлением черных списков часто занимаются специальные организации, некоторые из которых предоставляют доступ к этим спискам за деньги.
Line 20: Line 19:
В итоге, при грамотном использовании блэклистинга и spam-assasin, вероятность ложного срабатывания спам-фильтра можно довести до весьма низкой. Но тем не менее, из проходящих фильтр сообщений где-то 70% --- спам. Как показывают наблюдения администраторов (''убрал упоминание факультета ВМК'' -- DmitryChistikov <<DateTime(2008-08-22T14:56:12+0400)>>), подавляющее большинство спамовых писем (зачастую более 90 процентов) отсеивается при проверке адреса отправителя по черным спискам. В черный список, однако, может попасть человек, не являющийся спаммером. Укажем наиболее вероятные причины подобных недоразумений:
Line 22: Line 21:
От кого они приходят? От тех спам-ботов, кто не успел попасть в черносписки. Что можно сделать в этом случае? Эту задачу можно переложить либо на пользователя, либо на сервер. Провайдер может предоставлять услугу вычисление для писем признака спамовости. По разным признакам вычисляется то, на склоько письмо похоже на спамовое (анализ заголовка и возможно даже тела сообщения). Вероятность того, что это спам, не равна 1, и подбные письма помечаются специальным образом и|или кладутся в отдельный каталог на сервере.  * Занесение в черный список стало следствием активности зараженного вирусом компьютера. Это может произойти в случае использования ОС Windows, для которой существует огромное количество вредоносных программ, рассылающих спам без ведома владельца машины. Обнаружить присутствие подобного вируса можно по неоправданно высокой сетевой активности компьютера: рассылка спама часто приводит к мгновенному исчерпанию лимита сетевого трафика (в случае, если он оплачивается). Заметим, что большая часть машин, рассылающих спам, выглядит именно так, причем большинство вирусов для ОС Windows и являются рассыльщиками спама --- спам-агентами (spam-agent). Более того, многие вирусы объединяют зараженные компьютеры в крупномасштабные сети --- ботнеты (botnets), с целью быстрого проведения рассылки с различных адресов. Каждая из зараженных машин зачастую используется для отправки всего одного или двух писем.
Line 24: Line 23:
В этом месте есть некоторое различие веб-сервисов и обычной почты. На том же gmail.com используется довольно мощный спамфильтр, но с совершенно неизвестным алгоритмом действия. Его надо внимательно "обучать", тыкая в кнопки, какое письмо является спамом, а какое --- нет. Иначе он может с чистой совестью класть все почтовые рассылки в спам, что довольно неудобно при общении в почтовых рассылках.  * Вторая причина попадения в черный список --- наговор недруга по бизнесу. Этот вариант, впрочем, быстро определяется, а недруг-организатор легко опознается (такой инцидент обычно крайне негативно сказывается на его репутации, и не только на ней).
Line 26: Line 25:
В случае с обычной почтой есть два механизма:
 * Сервер, если он считает, что письмо подозрительно похоже на спам, выставляет в заголовке специальный тэг X-Spam-Flag, а клиентская программа на стороне пользователя уже решает, что делать.
 * В некоторых почтовых клиентах есть встроенный обучаемый спам-фильтр.
 * Также причиной попадания в черный список может являться безалаберность системного администратора почтового сервера. Неправильно настроенный сервер может работать нестандартным образом или, что куда хуже, являться открытым узлом пересылки почты без авторизации. Серьезной проблемой здесь может оказаться отсутствие Reverse DNS пересыльщика. Не исключена и эксплуатация ошибок и дыр в веб-движках, обладающих возможностью отсылать почту. Одна из первых версий Web-сервера Apache 2 в режиме прокси умудрялась проксировать и 25-й порт, становясь при этом отличным пересыльщиком.

Отметим, однако, что при грамотном использовании черных списков и специализированных программ (к примеру, SpamAssasin) вероятность ложного срабатывания спам-фильтра можно довести до весьма низкой. Тем не менее, среди проходящих фильтр сообщений доля спама иногда достигает 70 процентов: большинство из них приходит от "свежих", еще не успевших попасть в черные списки спам-ботов. Задачу фильтрации этих сообщений можно возложить как на пользователя, так и на почтовый сервер. Провайдер может предоставлять услугу вычисления для писем так называемого "признака спамовости": чтобы определить, является ли почтовое сообщение нежелательным (спамом), используется целый набор разнообразных критериев, включающих анализ заголовка и, возможно, даже тела сообщения. Нежелательные с точки зрения анализатора сообщения помечаются специальным образом и/или кладутся в отдельный каталог на сервере.

Важно понимать, что функционирование Web-сервисов и обычных почтовых служб в этом отношении существенно различается. В известном сервисе Web-почты gmail.com (Google Mail) используется довольно мощный спам-фильтр, с совершенно неизвестным, впрочем, алгоритмом работы. При использовании Google Mail этот фильтр надо внимательно "обучать", отмечая при помощи специальных кнопок, какое письмо является спамом, а какое --- нет. В случае неаккуратной работы с фильтром он может с чистой совестью класть все почтовый рассылки в каталог Spam, что значительно затрудняет активное их использование. Что же касается обычной почты, то обычно для фильтрации спама используют два механизма. Первый из них функционирует следующим образом: сервер, если он считает, что письмо "подозрительно похоже" на спам, выставляет в заголовке специальный тег X-Spam-Flag, а клиентская программа на стороне пользователя сама решает, как с таким письмом применять. Второй механизм заключается в использовании встроенных в некоторые почтовые клиенты обучаемых спам-фильтров.
Line 36: Line 37:
|| 21 || 1 || 1 || 1 || || 1 || MaximByshevskiKonopko, DmitryChistikov, MaximByshevskiKonopko || || || || 40 || 1 || 1 || 1 || || 1 || MaximByshevskiKonopko, DmitryChistikov, MaximByshevskiKonopko || || ||

Почтовый спам

Итак, мы получили базовые сведения об устройстве почтового клиента. Заметим, что существует также особый вид таких клиентов --- Web-клиенты. По сути дела, это почтовый клиент, перенесенный на сервер, доступ к которому осуществляется через Web (обычно --- по протоколу HTTPS). Использовать Web-клиент бывает удобно в случае, когда за трафик надо платить, а корреспонденции довольно много, причем возможности использовать протокол IMAP4 нет. Доступ с помощью POP3 в таких случаях доставляет значительное количество проблем, особенно в случае получения различного рода нежелательной корреспонденции, часто содержащей "тяжеловесные" вложения (attachments). Нежелательную корреспонденцию часто называют спамом (spam). Заметим, забегая вперед, что универсального способа отличить спам от обычного письма, тем не менее, не существует в принципе.

Существует "поверье", что использование Web-почты удобнее в отношении фильтрации спама. Действительно, как вообще опознается спамовое письмо? Обычно для этого достаточно посмотреть на автора и тему письма, то есть --- в заголовок почтового сообщения. Само письмо при этом скачивать в подавляющем большинстве случаев совершенно необязательно. Именно такую "ручную" фильтрацию удобно осуществлять с помощью Web-клиентов (в случае, отметим еще раз, невозможности использовать IMAP4).

Тем не менее, Web-ориентированные почтовые службы обычно предоставляют возможность "автоматической" фильтрации спама. Идеальных фильтров, разумеется, не существует, поэтому превентивная фильтрация (абонент получает не все письма, которые ему направляются) доставляет некоторые неудобства. Может возникнуть весьма неприятная ситуация, когда письмо, которое абонент хотел получить, по ошибке оседает на фильтре. Дело в том, что разные люди могут расценивать одни и те же письма как нужные или нежелательные. К примеру, приглашения на конференцию по сетевой безопасности может оказаться полезным для специалиста в соответствующей области, тогда как для фармацевта это будет совершенно ненужная корреспонденция. Напротив, интересная фармацевту информация о различных медикаментах окажется абсолютно бесполезной для специалиста-компьютерщика.

Итак, понятие спама в общем случае определить нельзя. Понятие спаммера, однако, определяется весьма однозначно. По уровню активности и стилю поведения компьютера можно с высокой степенью точности определить, является ли он рассыльщиком спама или "честным" почтовым сервером. Выделим из списка критериев три. Компьютер разумно считать принадлежащим спаммеру, если:

  • на его деятельность поступали жалобы;
  • он рассылает очень большое количество писем, в полях From и To у которых значатся абоненты различных доменов;
  • активность данного компьютера нарушает общепринятые стандарты на почтовые рассылки.

Эти критерии весьма неплохо формализуются, и уже довольно давно существует практика составления "черных списков" --- перечней адресов "нехороших" компьютеров (при приеме почты разумно с этими списками сверяться). Отметим, что составлением черных списков часто занимаются специальные организации, некоторые из которых предоставляют доступ к этим спискам за деньги.

Как показывают наблюдения администраторов (убрал упоминание факультета ВМК -- DmitryChistikov 2008-08-22 10:56:12), подавляющее большинство спамовых писем (зачастую более 90 процентов) отсеивается при проверке адреса отправителя по черным спискам. В черный список, однако, может попасть человек, не являющийся спаммером. Укажем наиболее вероятные причины подобных недоразумений:

  • Занесение в черный список стало следствием активности зараженного вирусом компьютера. Это может произойти в случае использования ОС Windows, для которой существует огромное количество вредоносных программ, рассылающих спам без ведома владельца машины. Обнаружить присутствие подобного вируса можно по неоправданно высокой сетевой активности компьютера: рассылка спама часто приводит к мгновенному исчерпанию лимита сетевого трафика (в случае, если он оплачивается). Заметим, что большая часть машин, рассылающих спам, выглядит именно так, причем большинство вирусов для ОС Windows и являются рассыльщиками спама --- спам-агентами (spam-agent). Более того, многие вирусы объединяют зараженные компьютеры в крупномасштабные сети --- ботнеты (botnets), с целью быстрого проведения рассылки с различных адресов. Каждая из зараженных машин зачастую используется для отправки всего одного или двух писем.
  • Вторая причина попадения в черный список --- наговор недруга по бизнесу. Этот вариант, впрочем, быстро определяется, а недруг-организатор легко опознается (такой инцидент обычно крайне негативно сказывается на его репутации, и не только на ней).
  • Также причиной попадания в черный список может являться безалаберность системного администратора почтового сервера. Неправильно настроенный сервер может работать нестандартным образом или, что куда хуже, являться открытым узлом пересылки почты без авторизации. Серьезной проблемой здесь может оказаться отсутствие Reverse DNS пересыльщика. Не исключена и эксплуатация ошибок и дыр в веб-движках, обладающих возможностью отсылать почту. Одна из первых версий Web-сервера Apache 2 в режиме прокси умудрялась проксировать и 25-й порт, становясь при этом отличным пересыльщиком.

Отметим, однако, что при грамотном использовании черных списков и специализированных программ (к примеру, SpamAssasin) вероятность ложного срабатывания спам-фильтра можно довести до весьма низкой. Тем не менее, среди проходящих фильтр сообщений доля спама иногда достигает 70 процентов: большинство из них приходит от "свежих", еще не успевших попасть в черные списки спам-ботов. Задачу фильтрации этих сообщений можно возложить как на пользователя, так и на почтовый сервер. Провайдер может предоставлять услугу вычисления для писем так называемого "признака спамовости": чтобы определить, является ли почтовое сообщение нежелательным (спамом), используется целый набор разнообразных критериев, включающих анализ заголовка и, возможно, даже тела сообщения. Нежелательные с точки зрения анализатора сообщения помечаются специальным образом и/или кладутся в отдельный каталог на сервере.

Важно понимать, что функционирование Web-сервисов и обычных почтовых служб в этом отношении существенно различается. В известном сервисе Web-почты gmail.com (Google Mail) используется довольно мощный спам-фильтр, с совершенно неизвестным, впрочем, алгоритмом работы. При использовании Google Mail этот фильтр надо внимательно "обучать", отмечая при помощи специальных кнопок, какое письмо является спамом, а какое --- нет. В случае неаккуратной работы с фильтром он может с чистой совестью класть все почтовый рассылки в каталог Spam, что значительно затрудняет активное их использование. Что же касается обычной почты, то обычно для фильтрации спама используют два механизма. Первый из них функционирует следующим образом: сервер, если он считает, что письмо "подозрительно похоже" на спам, выставляет в заголовке специальный тег X-Spam-Flag, а клиентская программа на стороне пользователя сама решает, как с таким письмом применять. Второй механизм заключается в использовании встроенных в некоторые почтовые клиенты обучаемых спам-фильтров.


Сведения о ресурсах

Готовность (%)

Продолжительность (ак. ч.)

Подготовка (календ. ч.)

Полный текст (раб. д.)

Предварительные знания

Level

Maintainer

Start date

End date

40

1

1

1

1

MaximByshevskiKonopko, DmitryChistikov, MaximByshevskiKonopko


CategoryLectures CategoryPspo CategoryMpgu CategoryUneex

PspoClasses/080813/01EMailSpam (last edited 2008-10-09 19:14:04 by MaximByshevskiKonopko)