Архивы рубрики: Полезное

Управление ответом в php скрипте

Posted on by

Однажды мне понадобилось отправлять ответ пользователю в браузер до завершения работы php-скрипта. Известно, что даже такой простой скрипт не отпустит посетителя со страницы в течение 20 секунд:

header("Location: http://www.bloged.org",TRUE,301);
sleep(20);
?>

Т.е. пока скрипт не завершит свою работу, по умолчанию результат не уйдет в браузер и редиректа не случится. Однако, это ограничение можно обойти, например так:

set_time_limit(80);
header("Location: http://www.bloged.org",TRUE,301);
header("Content-Length: 0");
header("Connection: close");
flush();
error_log("Это пишется сразу в лог\n", 3, "/ramdisk/log.txt");
sleep(60);
error_log("А это через минуту\n", 3, "/ramdisk/log.txt");
?>

Несмотря на то, что пользователь уже перенаправлен в другое место, скрипт будет работать еще минуту и в логи запишет все, что надо.

OpenSuSe 11.4 и встроенные видеокарты Intel

Posted on by

После перехода на OpenSuSe 11.4 я заметил, что видеокарта Radeon HD 5570 с пропиетарными драйверами ATI работает без нареканий; однако две других машины с интегрированными видеокартами Intel работали из рук вон плохо.

Во-первых, меня очень разочаровал мой ноутбук Dell Latitude L110 c видеокартой на чипсете Intel 915GM. Но не потому, что он плохой; а потому, что железо уже морально устарело (буку стукнуло 5 лет, которые он отслужил верой и правдой в боевых условиях), и поддержка некоторых фич прекращена с 1 квартала 2011 года. Это значит, что в следующих релизах операционных систем семейства Linux заставить карту работать будет все сложнее, и в конце концов случится то же, что и произошло с картой ATI Radeon X 1650, т.е. на оборудовании можно будет ставить крест.

Но на сегодняшний день эта карточка у меня завелась (хотя и со скрипом). Оживить ее можно так.

1. Обновляем до последних версий пакеты

xorg-x11-driver-video
xorg-x11-driver-intel-legacy

2. Сохраняем старый xorg.conf (на всякий случай):

# mv /etc/X11/xorg.conf /etc/X11/xorg.conf.old

В runlevel 3 (без иксов) запускаем конфигурилку X:

# X -configure

Он там подумает, и родит файл /root/xorg.conf.new. В нем надо внести некоторые исправления:

а) если драйвер определился как “intel”, меняем его на “intellegacy”:

Driver “intellegacy”

б) включаем DRI (у меня он был выключен после автоматического конфигурирования, и mplayer показывал видео только в маленьком окошке без возможности развернуть его на весь экран):

Option “DRI” “on”

в) Отключаем фичу, которая больше не поддерживается:

Option “XvMC” “off”

Потом копируем его в xorg.conf и запускаем иксы:

# cp /root/xorg.conf.new /etc/X11/xorg.conf
# startx

У меня после этого все заработало на ноутбуке. После этого проверил 3D ускорение:

$ glxinfo | grep direct
direct rendering: Yes

На второй машине у меня была другая видеокарта, но тоже интеловская (Intel Corporation 82865G Integrated Graphics Controller).

Сконфигурировал там xorg.conf аналогичным образом, и в результате X запустились, glxinfo показал direct rendering: Yes, a mplayer перестал работать.

Лечится исправлением видеодрайвера для mplayer:

# cat /etc/mplayer/mplayer.conf | grep gl2
vo=gl2,x11

Теперь и mplayer заработал на ура.

Переход на OpenSuSe 11.4

Posted on by

Убил выходные на то, чтобы 3 компьютера проапгрейдить со старых ОС на OpenSuSe 11.4.

Хуже всего проходил upgrade с 11.0 на 11.4 на ноутбуке. Вроде и система установилась нормально, перегружаю ноутбук, и при попытке залогиниться получаю отбивку – “Неизвестный модуль” (или для англоязычной версии “Module is unknown”).

Выяснилось, что в 11.4 для авторизации используются модули PAM (которые не были установлены на ноутбуке в версии 11.0 и при апгрейде система их “забыла” поставить). Так что есть два варианта решения проблемы – либо доставить модули руками (что проблематично, т.к. так просто залогиниться не получится), либо отключить использование PAM при логине – я так и сделал.

Процедура следующая. При загрузке системы в меню Grub надо выбрать соответствующий вариант загрузки и руками в опцию загрузки написать single. В однопользовательском режиме надо поправить файл /etc/pam.d/login, и закомментировать строчку:

#session required pam_resmgr.so

После перезагрузки ноутбука в обычном режиме в систему уже можно было залогиниться, но запустить X с помощью startx мог только root (остальным пользователям не хватало прав). Проблема не наблюдалась в runlevel 5 (т.к. там иксы стартуют от рута), но у меня все работает в runlevel 3 и иксы запускаются только при необходимости. Это лечится добавлением прав на запуск:

# chmod a+s /usr/bin/Xorg

Прощай, Google App Engine!

Posted on by

Это завершающая статья про Google App Engine. Я принял решение отказаться от использования GAE в своих проектах.

Сначала платформа Google App Engine мне показалась очень интересной. Я даже наваял на ней пару тестовых приложений, и когда меня все устроило, запустил несколько более-менее серьезных проектов на GAE.

Потом выяснилось, что Google стал блокировать доступ к сайтам на GAE по непонятным причинам, а спустя какое-то время даже прикрыл свой проект appgallery.appspot.com, написанный на GAE и предназначенный для популяризации этой платформы.

Такой зависимости от капризов гугла я терпеть не мог, и решил уйти с платформы Google App Engine.

Когда я забрал данные из хранилища в Google App Engine в формате sqlite3, я думал, что сконвертировать их, например в mysql, будет совсем не сложно.

Я ошибался. Данные в дампе оказались нечитаемыми, и с ними нормально работать мог только движок Google App Engine. Поэтому мне пришлось сделать реэкспорт данных из хранилища GAE в другой читабельный формат.

К счастью, bulkloader умеет экспортировать данные и в других форматах, например, CSV или XML. Про экспорт в XML есть хорошая статья на Хабре, где по полочкам и разложено, как настроить bulkloader.yaml для корректного преобразования данных в XML.

Так как сайты на платформе GAE может хостить только Google, платформа оказалась тупиковой ветвью в развитии фреймворков на Python, использовать ее стало бесполезно и даже опасно. Уж лучше писать на Django, чем бездарно тратить время на GAE.

Как скачать видео с сайта: продолжение.

Posted on by

В своей предыдущей статье Как скачать видео с сайта я рассказал о 4-х способах сохранения видеофайлов с сайтов, и самый популярный из них – достать файл из кэша браузера. Однако сейчас ситуация изменилась, после обновления Flash Player стал себя вести по-другому. Он по-прежнему кэширует видеофайлы на диске в директории /tmp, однако невооруженным взглядом такие файлы не видны; команда ls ничего не покажет.

Однако, если начать загрузку интересующего нас видео ролика:

и в командной строке запустить:

$ lsof | grep Flash
plugin-co 12081         ed   16u      REG        8,4 32839768     473170 /tmp/FlashXXqNVerC (deleted)

Интересное кино получается. Файл открыт, используется, и при этом удален! Ну и хрен с ним, все равно его можно будет «оживить» простой командой копирования из поддиректории /proc/

Не буду томить, вот оживляющий скрипт:

#!/bin/bash
pid=`pgrep -f flashplayer | tail -1`
file=`lsof -p $pid | grep '/tmp/Flash' | awk 'END{print "/proc/" $2 "/fd/" $4}' | sed 's/[rwu]$//'`
/bin/cp $file "/tmp/movie.flv"

после запуска скрипта интересующее нас видео будет лежать в /tmp/movie.flv

JQuery, ColorBox и передача значений из iframe в родительское окно

Posted on by

Однажды мне понадобилась не совсем обычная форма поиска. Она должна была выглядеть симпатично, находиться в модальном окне и возвращать несколько значений в окно ее вызвавшее.

Длительное гугление готовое решение не подсказало, поэтому пришлось все писать самому. В качестве движка я выбрал плагин ColorBox для JQuery, и вот что у меня получилось.

За основу был взят пример Outside Webpage (Iframe), и совсем немного допилен до подходящего состояния.

Интересный момент, изначально открытие iframe происходило по нажатию на ссылку с заданным классом; движок читал свойство href у ссылки и открывал iframe с URLом из атрибута href. Мне же надо было открывать модальное окно по нажатию на кнопку (), а атрибута href у нее стандартами не предусмотрено. Пришлось изобрести свой атрибут, и вроде бы оно работает

Исходный код примера вместе со всеми библиотеками также доступен для скачивания, может кому-то и пригодится.

Голосовые звонки с сайта

Posted on by

Для многих компаний очень важную роль играет обратная связь с клиентами. Компании даже готовы сами оплачивать звонки от клиентов, арендуя номера бесплатного дозвона 8-800-…. Но подобные звонки оплачиваются за счет компании, что делает затраты на связь непредсказуемыми.

Недавно мы разработали одну очень интересную фишку, которая позволит подобным компаниям существенно сократить затраты на связь. Вот небольшая демонстрация того, как это работает:

1. Зебра телеком, кнопка справа с изображением зебры и телефона. Если на нее нажать и разрешить Flash-приложению доступ к микрофону, звонок пойдет в службу техподдержки Зебры.

2. Ростелеком, кнопка справа (Позвоните в справочную службу Ростелеком прямо сейчас). Здесь добавлена возможность посылать сигналы DTMF во время разговора, т.е. можно набрать добавочный номер сотрудника и позвонить ему.

3. Ну и совсем уж маленькая демка для тех, кто хочет оставить голосовое сообщение мне. Если там нажать на кнопку Call, вы дозвонитесь до нашей АТС, где автоответчик предложит вам оставить мне сообщение. Специально оставил все на английском, чтобы вы смогли представить себе возможности нашей кнопки – все можно перерисовать, перевести на любой язык и настроить конкретно под пожелания клиента.

Как это работает. На вашем сайте размещается наше Flash-приложение, которое инициирует звонок и отвечает за передачу голоса. Звонок отправляется на нашу ATC, с которой он может быть направлен куда угодно – на городской номер, на SIP номер, на голосовую почту или на вашу АТС. Система очень гибкая и легко настраивается, от вас лишь требуется указать, куда отправить звонок с сайта.

Звонки на SIP номера, зарегистрированные у нас, будут для вас бесплатными (мы будем брать только фиксированную ежемесячную абонентскую плату за сервис, а сами звонки оплачиваться не будут). Приземление же звонка на городской или мобильный номер будет стоить дополнительных денег, и это обсуждается отдельно.

Если у вас возникнет желание проверить качество передачи голоса, оставьте мне голосовое сообщение и сообщите, куда переслать записанный файл – все сделаем в лучше виде. Если у Вас возникли вопросы, пишите мне или оставьте комментарий к этому сообщению.

Как защитить Asterisk от подбора паролей.

Posted on by

Решил я как-то раз поднять SIP-сервер для своих нужд. Выход во внешние сети был не нужен, поднял я этот сервис только для своих. Не успел его поднять, как доблестные тайваньские хакеры дружно начали брутфорсить логины и пароли на мой астериск. Причем делали это внаглую в многопоточном режиме, цифры подставляли методом научного перебора:

[Jan 13 09:45:12] NOTICE[15489] chan_sip.c: Registration from '"0"' failed for '210.240.176.51' - No matching peer found 
[Jan 13 09:45:12] NOTICE[15489] chan_sip.c: Registration from '"1"' failed for '210.240.176.51' - No matching peer found 
[Jan 13 09:45:12] NOTICE[15489] chan_sip.c: Registration from '"test"' failed for '210.240.176.51' - No matching peer found 
[Jan 13 09:45:12] NOTICE[15489] chan_sip.c: Registration from '"2"' failed for '210.240.176.51' - No matching peer found 
[Jan 13 09:45:12] NOTICE[15489] chan_sip.c: Registration from '"3"' failed for '210.240.176.51' - No matching peer found 
[Jan 13 09:45:12] NOTICE[15489] chan_sip.c: Registration from '"4"' failed for '210.240.176.51' - No matching peer found 
[Jan 13 09:45:12] NOTICE[15489] chan_sip.c: Registration from '"5"' failed for '210.240.176.51' - No matching peer found 
[Jan 13 09:45:12] NOTICE[15489] chan_sip.c: Registration from '"6"' failed for '210.240.176.51' - No matching peer found 
[Jan 13 09:45:12] NOTICE[15489] chan_sip.c: Registration from '"7"' failed for '210.240.176.51' - No matching peer found
....

С такими темпами они могут вычислить реально существующие внутренние номера телефонов и перейти ко второму этапу – подбору паролей. Чтобы не выдавать проклятым буржуином государственных секретов информацию о существующих номерах, надо в sip.conf в секцию [general] добавить всего одну строчку:

alwaysauthreject = yes

Тогда астериск при неуспешной авторизации будет давать им отбивку 401 Unauthorized, и они не будут знать, верный ли логин был введен. Такая настройка осложнит им жизнь, но полностью от них не избавит.

Вторая вещь, которую следует сделать, это анализировать логи астериска на предмет наличия неверной аутентификации. И в случае обнаружения попыток подбора пароля отправлять подозрительные айпишника в бан.

Для Linux есть подходящее решение, связанное с установкой и настройкой fail2ban, которое построено на iptables. Мне же это решение не подошло, потому что мой Астериск крутится на хостинге с FreeBSD, а там используется ipfw вместо до боли знакомого iptables. Путем долгих экспериментов пришел к тому, что не стоит добавлять все вражеские айпишники в общую очередь в баню. Список правил на пару сотен айпи прилично нагружает VDS, что не есть гуд.

Но ipfw оказался намного лучше, чем казалось на первый взгляд. У него предусмотрен механизм обработки тысяч правил обработки IP адресов, если их загнать в так называемые таблицы ipfw:

Если в firewall.conf добавить одну единственную строчку:

add reject ip from table(15) to me

то все айпишники, оказавшиеся в таблице 15 будут забанены. Причем уже не так уж и важно, сколько их там будет сотня или тысяча, скорость обработки таких списков остается очень высокой, и это намного лучше, чем их обрабатывать обычными правилами вроде таких:

add reject ip from 1.2.3.0/24 to me
add reject ip from 175.12.135.0/24 to me
…

Правила добавляются в таблицу в любой момент времени, и моментально начинают свою работу. Погуглив немного, я нашел готовый скрипт для FreeBSD, который всех неудачно авторизовавшихся загоняет в бан на сутки. Его можно аккуратно допилить, немного ужесточить правила и все будет работать на отлично.

У таблиц ipfw есть один недостаток, они работают только с IPv4. А так как переход на IPv6 не за горами, то работоспособность чудо-скрипта в ближайшем будущем останется под вопросом.

Как правильно удалять временные файлы

Posted on by

У меня OpenSuSe 11.2 живет уже довольно долго, и пока что ее менять ни на что не собираюсь. Однако в директории /tmp скапливается очень много временных файлов, которые система по умолчанию чистить не хочет. Я уж подумывал над написанием скрипта, который бы при перезагрузке очищал бы содержимое /tmp, но как оказалось, это был бы неправильный подход к решению проблемы.

В системе для этого предусмотрен совсем другой механизм. В Yast имеется редактор /etc/sysconfig, в котором можно настроить периодичность очистки временных файлов, а так же список директорий с временными файлами. Если компьютер с OpenSuSe используется как десктоп, то очистки /tmp при перезагрузке вполне достаточно. Если же он месяцами не перезагружается, то настройка должна быть более тонкой.

В редакторе /etc/sysconfig внутри ветки System => Cron есть специальные переменные, которые все это регулируют. Мои настройки выглядят так:

MAX_DAYS_IN_TMP = 100
MAX_DAYS_IN_LONG_TMP = 100
TMP_DIRS_TO_CLEAR = /tmp
LONG_TMP_DIRS_TO_CLEAR = /var/tmp
OWNER_TO_KEEP_IN_TMP = root
CLEAR_TMP_DIRS_AT_BOOTUP = yes

Пишу в основном для себя, чтобы не забыть. Но если кому-то пригодится, буду рад.

Как докачивать файлы по протоколу SFTP

Posted on by

Однажды мне потребовалось забрать бэкап с одного правильного хостинга. Архив получился большой, примерно в 4 Гб. Скачал где-то 92%, и тут бац – интернет-провайдер подвел, соединение померло.

Я качал файл с помощью утилиты sftp, и она стала показывать stalled вместо прогресса скачивания. Жалко файл было до безумия, заново качать 4 Гб очень не хотелось. Ну должен же быть способ докачивать файлы по протоколу SFTP, сам протокол докачку поддерживает

Стал курить мануалы, и выяснил – надо было качать с помощью scp, а не sftp – эта утилита 100% поддерживает докачку, в отличие от sftp. Ну как говориться, поздно пить боржоми, файл-то уже на 92% скачан. Оказалось, что докачать его все-таки можно, только вместо sftp надо использовать lftp. Выглядело это примерно так:

lftp sftp://mylogin@host.tld
cd /path/to/backup
get -c backup.tgz

lftp смотрит текущую директорию на наличие недокачанного файла, смотрит, сколько байт скачалось и забирает только то, что не удалось скачать в первый раз