Dmytro Manchynskyi

Демон на Golang

чт, 02 авг. 2018 01:24:00 +0300

Внезапно возникла ситуация, в которой нужно было выполнять долгие запросы из php и не задерживать ответ пользователю сайта, то есть выполнять их в фоне. Вариант с выполнением curl в консоли не очень красивый и было решено написать свой фоновый рассыльщик запросов. Исходный код как всегда выложен на GitHub.

Да, можно было и найти существующее решение, но за пару часов поиска нужного не нашлось.

Требования

Программа должна была:

Добавлять запросы в очередь через http.
Отправлять запросы с определенного сетевого интерфейса. Например, у хоста есть 2 публичных IP, один приватный, а на втором настроен фаерволл, который запрещает любые входящие подключения. Для безопасности, отправлять запросы нужно со второго адреса.
Должна уметь выполнять несколько запросов параллельно.
Работать быстро и с минимальным потреблением ресурсов.

В остальном ничего особенного не требовалось.

В качестве языка был выбран Go, ибо почему нет - он быстрый, легко учится, очень удобно писать, да и вообще он предназначен именно под такие задачи.

Web API

Так как это уже не первый проект, то для http сервера была взята библиотека fasthttp и на ней быстренько набросаны обработчики с роутером fasthttp-routing. Если совсем в общих чертах, то вышло примерно так:

Но суть не в этом, вообще не знаю зачем я это написал. Реализация, код, все остальное можете посмотреть в сорцах на гите. Здесь я хотел рассказать о проблемах.

Трудности написания

Для начала, так как Go для меня довольно новый язык, то нужно было хорошо разобраться как структуры передаются в функции, когда лучше юзать указатели и что в каких случаях будет работать быстрее. Хорошо помогла статья Effective Go от создателей языка. Тут главное понять что нельзя всегда юзать указатели или вообще никогда их не юзать, нужно использовать их в комплексе.

Вторая фича - выбор публичного IP

Для реализации второй нужной фичи - выбор локального (внешнего) IP для подключения к удаленному серверу - сначала я сделал довольно простой костыль, который устанавливал все подключения с ip заданного в конфиге:

conn потом используется для отправки http запроса удаленному хосту и все чисто и красиво - запросы отправляются с указанного нами IP, казалось бы, что может быть не так. Но все же что-то может быть не так.

Если нужно отправлять запросы не только в интернет, а еще и в локальную сеть, которая подключена через другую сетевую карту, то интернетовым IP достучаться туда не удастся. Если вы думаете что это очень редкая и неадекватная ситуация, то нет, это стандартная реализация VLAN (vRack у OVH) и с этим приходится мириться.
В результате страданий и мыслей было решено написать свой роутер, который бы определял для какой подсети с какого IP адреса нужно отправлять запросы. Формат сего роутера не сложный:

Эта запись означает что на для подсети 172.16.0.0/12 запросы будут отправляться с 172.16.0.1, а для всех остальных с 192.168.0.2. Таким образом с помощью своего роутера проблема была решена. Код роутера можете глянуть тут: bwp/iprouter/iprouter.go.

Пул воркеров

Это даже не проблема, но пришлось погуглить чтобы найти правильный подход к распределению задач на какое-то множество горутин (воркеров).

Решение нашлось в блоге одного из разработчиков Malwarebytes:

Там же и описана примерная реализация. Примерный смысл таков, в пуле есть freeWorkers chan *worker, в который добавляются все свободные воркеры и ждут новых задач. Как только кто-то кидает в пул задачу, пул забирает из канала свободного воркера и кидает ему задачу. После выполнения задачи воркер снова добавляется в канал свободных воркеров и ждет следующей задачи. Конечный код тоже можете посмотреть на гите: bwp/worker.

"Грациозный" рестарт

Чтобы не было даунтайма при перезагрузки проги, нужен какой-нибудь способ для параллельного запуска старой и новой версии проги. В старой будет заканчиваться обработка старых запросов, а новый будет принимать все новые. Когда старый со всем закончит, он спокойно умрет, а все, кто использовали этот сервис, даже не узнают что он перезагрузился.

Для этой задачи ребята из Facebook постарались и выложили в паблик пакет как раз для такой перезагрузки.

Опять же, все было красиво и приятно, до тех пор, пока не оказалось, что после перезагрузки меняется pid процесса. Конечно, это очевидно, но не сразу. Чтобы хоть как-то следить за процессом было решено сохранять его pid в файлик сразу же при запуске. Получается что новая версия проги перезаписывала pid сразу и таким образом pid в файлике будет всегда актуальным. Осталось только подружить Supervisor с таким поведением проги, когда её pid меняется.

Единственным очевидным решением был баш скрипт, который бы в фоне запускал прогу и мониторил её pid на предмет живости. Еще нужно было перехватывать всякие сигналы типо SIGTERM, SIGINT, SIGUSR2. В этом и была самая большая проблема. Изначально я почему-то думал что нужно перехватывать все сигналы башем и отправлять в прогу только нужные, но оказалось что как ни старайся их перехватить, сигналы все равно приходят к дочерним процессам. Пару часов я потратил на способы решения этой проблемы, а потом оказалось что её и не нужно решать, никакие сигналы не нужно отменять, а Supervisor почему-то посылает сигналы только для баш скрипта, а на дочернюю прогу они не перекидывались, в отличии от kill -SIG pid, который слал сразу всех.

Красивые перезагрузки с сохранением stdout, stderr

В результате многочасовых мучений получился скрипт, который делал все в точности как было нужно.

Пока происходили перезагрузки, постоянно существовал баш скрипт, который и мониторился супервизором. Красиво и хорошо.

Кстати, скрипт тоже можете глянуть где-то тут, на пастбине.

Оптимизации

Тут уже от скуки я начал читать, смотреть, экспериментировать со всем чем только можно было и оказалось что в Go есть охуительный пул для объектов sync.Pool. Чтобы не создавать каждый раз новый объект и не дергать и так слабенький GC, можно очищать ненужные структуры и складывать их в пул, а потом, когда понадобилась структура этого типа, достать её из пула, ну или создать, если в пуле ничего нет. Огромный плюс пула, что объекты в нем могут сами удаляться и не может произойти ситуации, когда в какой-то момент в него попали миллионы объектов и они там останутся висеть до закрытия проги. Триггер удаления там не написан, но логично предположить что при сборке мусора могут удаляться и неиспользуемые объекты из пула.

Спасибо что прочитали мою несвязную лепню, надеюсь ваше время было потрачено не зря. Если вы действительно нашли что-то полезное для себя, или есть вопросы, комменты снизу, ага.

Mudio

вт, 27 февр. 2018 00:30:00 +0200

Всегда хотелось поделиться классными песнями, которые заставляют переслушивать их много раз подряд, но все никак не приходило в голову как это можно организовать. Так, в сентябре 2017 года появился Telegram канал Mudio с моей любимой музыкой.

Раньше в нем в основном были треки жанров Future Bass и Trap, но сейчас вкус немного изменился и потянуло на лайтовые песенки. Иногда вообще бывает до найткора дело доходит, но то мелочи...

Источники музыки

Почти всю музыку я нахожу на ютубе у CloudKid, xKito, MrSuicideSheep или напрямую с каналов исполнителей песен.

Обо мне

вс, 25 февр. 2018 15:40:00 +0200

С 2012 года улучшаю интернет и делаю его более пригодным для жизни человека.
В совершенстве знаю Java, и по верхам еще множество других языков программирования и технологий.

Открыт для интересных идей, способных изменить мир, по поводу таких идей можете писать на почту.

Если вы нашли ошибку на сайте, то выделите её мышкой и нажмите Alt+F4.

Контакты

Email: me@xtrafrancyz.net (предпочтительно)
ВКонтакте: https://vk.com/xtrafrancyz
Facebook: https://fb.com/xtrafrancyz.ua
Telegram: https://t.me/xtrafrancyz
GitHub: https://github.com/xtrafrancyz

Как сделать хорошо

вс, 25 февр. 2018 13:39:00 +0200

Если вы здесь, то скорее всего вы нашли одну из моих работ и она вам понравилась, а может и нет... В любом случае, я рад что вы здесь.

А еще сильнее я обрадуюсь если вы кинете денег куда-нибудь сюда:
BTC - bc1q7fy86yvpjzfnrddyvarsjlpy334s4vr7rev02g
ETH (ERC20) - 0x130Fe3Fea4f0a5593088C96b572D059875dCEf34
USDT (TRC20) - TDLMZyJNykm57VC4pF6DeUMB1MgCmdCSvr

Все деньги пойдут или на поддержание всех моих бесплатных проектов, или на чипсы.

А еще вы можете нажать "спасибо", а можете и не нажимать, ничего не произойдет. И вам, конечно же, спасибо.

vk-proxy

вс, 25 февр. 2018 09:13:00 +0200

Бесплатный прокси для мобильного приложения ВКонтакте, который позволяет пользоваться приложением без VPN в Украине, Казахстане и других странах, где сайт заблокирован.

Главное преимущество vk-proxy перед VPN - это то, что не нужно постоянно запускать VPN, тратить на него батарею и смотреть рекламу перед подключением. С этим прокси вы просто пользуетесь приложением ВК точно так же, как и до блокировок. В отличии от прокси, встроенного в офф. приложение, это работает.

В связи с вторжением россии на территорию Украины 24.02.2022 я прекращаю поддержку публичного прокси. Я не считаю нужным предоставлять доступ жителям Украины к российской пропаганде и помогать вражеским компаниям.

Исходники vk-proxy доступны на GitHub, вы все еще можете запустить прокси на своих серверах, форкнуть репу и делать что вашей душе угодно.

Живой форк: vtosters/vk-proxy

Как разблокировать ВК

Ниже представлены различные варианты модифицированных приложений на Android, в которые встроен прокси.

Vtosters _{^{(версия vk 6.13.2; vtosters 19.3f)}}

Мод, основанный на официальном приложении, где добавлено множество мелочей, в числе которых есть наш прокси.

Загрузить последнюю версию и следить за обновлениями можно в Telegram канале или на 4pda, а можно просто скачать с сайта.

На странице входа нажимаем Настройки прокси -> Включить.
Если уже вошли, то идем в Настройки -> Настройки VTosters -> Прокси -> Использовать прокси;

Обычный ВК с прокси _{^{(версия 6.3)}}

Официальное приложение со встроенным прокси.

от Taver Andrey - 4pda, скачать

Если у вас стоит двухэтапная аутентификация, то придется включить VPN на время входа, потом он не понадобится.

Kate Mobile

Подключение возможно только через модифицированное приложение. Удалите стандартное и установите одно из следующих:

Версия 73.2 мод от S__ (18.04.2021) - скачать, 4pda
Версия 71 KatExtra (12.03.2021) - скачать, 4pda
Версия 51.1 мод от Fellin (28.08.2018) - скачать, 4pda
Версия 48.2 Pro (13.04.2018) - скачать
Версия 42 (07.08.2017) - скачать
Версия 41.1 (28.07.2017) - скачать
Версия 40 Pro (с кэшем музыки) (27.04.2017) - скачать

VK mp3 mod

Загрузить последнюю версию можно в Telegram, на 4pda, или по прямой ссылке.

На странице логина нажимаем Прокси -> Использовать прокси.
Если нужно включить прокси после авторизации, заходим в Настройки -> Прочее -> Прокси -> Использовать прокси.

SOVA _{^{(версия 5.18)}}

Эта модификация практически не отличается от официального приложения - добавлены мелкие функции, вырезаны ненужные лимиты и в настройки добавлено отключение рекламы.

Есть несколько версий совы - SOVA V, SOVA X и другие. Загрузить их можно или с 4pda, или с Telegram канала, или напрямую - скачать.
Способ включения прокси описан ниже:

Включить любой бесплатный VPN и авторизоваться в приложении;
Зайти в Настройки -> Настройки SOVA -> Отладка;
Заменить Домен API на vk-api-proxy.xtrafrancyz.net;
Полностью перезапустить приложение.

VK Coffee

Открываем Настройки -> Отладка;
Изменяем Домен API на vk-api-proxy.xtrafrancyz.net;
Изменяем Домен OAuth на vk-oauth-proxy.xtrafrancyz.net;
Пользуемся!

Для старого официального приложения версии 4.х (до изменения дизайна)

Это старое приложение, где еще меню выдвигалось если потянуть за левый край.

Открываем стандартную звонилку и пишем следующий код: *#*#856682583#*#*. Если у вас Samsung или телефон, где этот код не работает, то скачиваем приложение Secret Codes и через него заходим в секретное меню ВК;
В появившемся меню изменяем Домен API на vk-api-proxy.xtrafrancyz.net;
Изменяем Домен OAuth на vk-oauth-proxy.xtrafrancyz.net;
Полностью перезапускаем приложение.
Пользуемся!

Для разработчиков

Все исходники лежат на GitHub, вы можете установить прокси на свой сервер и подвязать туда свой домен.

Для благодарностей

Инструкцию как меня поблагодарить можете найти здесь.