{"version":"https://jsonfeed.org/version/1","title":"Dmytro Manchynskyi","home_page_url":"https://xtrafrancyz.net/","feed_url":"https://xtrafrancyz.net/feed/json","description":"I'm just a god","icon":"https://xtrafrancyz.net/uploads/2018/02/ava-rounded.png?thumbnail=512&key=71838f467309e93b9a2c2f98ed5a589a6eb8fa09998eed23c748d3c31acd8a78","favicon":"https://xtrafrancyz.net/uploads/2018/02/ava-rounded.png?thumbnail=128&key=b1a5ba80b51a63489907508257bed016c56ea3b676974881e5ccc20bb0135ad7","items":[{"id":"c64ca4fc-a471-482b-bb29-040925a686cd","url":"https://xtrafrancyz.net/bwp","title":"Демон на Golang","content_html":"

Внезапно возникла ситуация, в которой нужно было выполнять долгие запросы из php и не задерживать ответ пользователю сайта, то есть выполнять их в фоне. Вариант с выполнением curl в консоли не очень красивый и было решено написать свой фоновый рассыльщик запросов. Исходный код как всегда выложен на GitHub.

\n
\n

Да, можно было и найти существующее решение, но за пару часов поиска нужного не нашлось.

\n

Требования

\n

Программа должна была:

\n\n

В остальном ничего особенного не требовалось.

\n

В качестве языка был выбран Go, ибо почему нет - он быстрый, легко учится, очень удобно писать, да и вообще он предназначен именно под такие задачи.

\n

Web API

\n

Так как это уже не первый проект, то для http сервера была взята библиотека fasthttp и на ней быстренько набросаны обработчики с роутером fasthttp-routing. Если совсем в общих чертах, то вышло примерно так:

\n
\n

Но суть не в этом, вообще не знаю зачем я это написал. Реализация, код, все остальное можете посмотреть в сорцах на гите. Здесь я хотел рассказать о проблемах.

\n

Трудности написания

\n

Для начала, так как Go для меня довольно новый язык, то нужно было хорошо разобраться как структуры передаются в функции, когда лучше юзать указатели и что в каких случаях будет работать быстрее. Хорошо помогла статья Effective Go от создателей языка. Тут главное понять что нельзя всегда юзать указатели или вообще никогда их не юзать, нужно использовать их в комплексе.

\n

Вторая фича - выбор публичного IP

\n

Для реализации второй нужной фичи - выбор локального (внешнего) IP для подключения к удаленному серверу - сначала я сделал довольно простой костыль, который устанавливал все подключения с ip заданного в конфиге:

\n
\n

conn потом используется для отправки http запроса удаленному хосту и все чисто и красиво - запросы отправляются с указанного нами IP, казалось бы, что может быть не так. Но все же что-то может быть не так.

\n

Если нужно отправлять запросы не только в интернет, а еще и в локальную сеть, которая подключена через другую сетевую карту, то интернетовым IP достучаться туда не удастся. Если вы думаете что это очень редкая и неадекватная ситуация, то нет, это стандартная реализация VLAN (vRack у OVH) и с этим приходится мириться.
В результате страданий и мыслей было решено написать свой роутер, который бы определял для какой подсети с какого IP адреса нужно отправлять запросы. Формат сего роутера не сложный:

\n
\n

Эта запись означает что на для подсети 172.16.0.0/12 запросы будут отправляться с 172.16.0.1, а для всех остальных с 192.168.0.2. Таким образом с помощью своего роутера проблема была решена. Код роутера можете глянуть тут: bwp/iprouter/iprouter.go.

\n

Пул воркеров

\n

Это даже не проблема, но пришлось погуглить чтобы найти правильный подход к распределению задач на какое-то множество горутин (воркеров).

\n

Решение нашлось в блоге одного из разработчиков Malwarebytes:

\n
\n

Там же и описана примерная реализация. Примерный смысл таков, в пуле есть freeWorkers chan *worker, в который добавляются все свободные воркеры и ждут новых задач. Как только кто-то кидает в пул задачу, пул забирает из канала свободного воркера и кидает ему задачу. После выполнения задачи воркер снова добавляется в канал свободных воркеров и ждет следующей задачи. Конечный код тоже можете посмотреть на гите: bwp/worker.

\n

"Грациозный" рестарт

\n

Чтобы не было даунтайма при перезагрузки проги, нужен какой-нибудь способ для параллельного запуска старой и новой версии проги. В старой будет заканчиваться обработка старых запросов, а новый будет принимать все новые. Когда старый со всем закончит, он спокойно умрет, а все, кто использовали этот сервис, даже не узнают что он перезагрузился.

\n

Для этой задачи ребята из Facebook постарались и выложили в паблик пакет как раз для такой перезагрузки.

\n
\n

Опять же, все было красиво и приятно, до тех пор, пока не оказалось, что после перезагрузки меняется pid процесса. Конечно, это очевидно, но не сразу. Чтобы хоть как-то следить за процессом было решено сохранять его pid в файлик сразу же при запуске. Получается что новая версия проги перезаписывала pid сразу и таким образом pid в файлике будет всегда актуальным. Осталось только подружить Supervisor с таким поведением проги, когда её pid меняется.

\n
\n

Единственным очевидным решением был баш скрипт, который бы в фоне запускал прогу и мониторил её pid на предмет живости. Еще нужно было перехватывать всякие сигналы типо SIGTERM, SIGINT, SIGUSR2. В этом и была самая большая проблема. Изначально я почему-то думал что нужно перехватывать все сигналы башем и отправлять в прогу только нужные, но оказалось что как ни старайся их перехватить, сигналы все равно приходят к дочерним процессам. Пару часов я потратил на способы решения этой проблемы, а потом оказалось что её и не нужно решать, никакие сигналы не нужно отменять, а Supervisor почему-то посылает сигналы только для баш скрипта, а на дочернюю прогу они не перекидывались, в отличии от kill -SIG pid, который слал сразу всех.

\n
\"ыва\"\n
\n

Красивые перезагрузки с сохранением stdout, stderr

\n
\n
\n

В результате многочасовых мучений получился скрипт, который делал все в точности как было нужно.

\n

Пока происходили перезагрузки, постоянно существовал баш скрипт, который и мониторился супервизором. Красиво и хорошо.

\n

Кстати, скрипт тоже можете глянуть где-то тут, на пастбине.

\n

Оптимизации

\n

Тут уже от скуки я начал читать, смотреть, экспериментировать со всем чем только можно было и оказалось что в Go есть охуительный пул для объектов sync.Pool. Чтобы не создавать каждый раз новый объект и не дергать и так слабенький GC, можно очищать ненужные структуры и складывать их в пул, а потом, когда понадобилась структура этого типа, достать её из пула, ну или создать, если в пуле ничего нет. Огромный плюс пула, что объекты в нем могут сами удаляться и не может произойти ситуации, когда в какой-то момент в него попали миллионы объектов и они там останутся висеть до закрытия проги. Триггер удаления там не написан, но логично предположить что при сборке мусора могут удаляться и неиспользуемые объекты из пула.

\n
\n

Спасибо что прочитали мою несвязную лепню, надеюсь ваше время было потрачено не зря. Если вы действительно нашли что-то полезное для себя, или есть вопросы, комменты снизу, ага.

","image":"https://xtrafrancyz.net/uploads/2018/08/IMG_20180726_190447.jpg","date_published":"2018-08-02T01:24:00+03:00","date_modified":"2018-10-15T10:15:18+03:00","author":{"name":"xtrafrancyz","url":"https://xtrafrancyz.net/author/xtrafrancyz","avatar":"https://xtrafrancyz.net/uploads/2018/02/ava-rounded.png"},"tags":["Golang","Хобби"]},{"id":"40bcda14-a818-4775-81a9-050c8e5b2de0","url":"https://xtrafrancyz.net/mudioful","title":"Mudio","content_html":"

Всегда хотелось поделиться классными песнями, которые заставляют переслушивать их много раз подряд, но все никак не приходило в голову как это можно организовать. Так, в сентябре 2017 года появился Telegram канал Mudio с моей любимой музыкой.

\n
\n

Раньше в нем в основном были треки жанров Future Bass и Trap, но сейчас вкус немного изменился и потянуло на лайтовые песенки. Иногда вообще бывает до найткора дело доходит, но то мелочи...

\n

Источники музыки

\n

Почти всю музыку я нахожу на ютубе у CloudKid, xKito, MrSuicideSheep или напрямую с каналов исполнителей песен.

","image":"https://xtrafrancyz.net/uploads/2018/02/electronic_dance_music_wallpaper.jpg","date_published":"2018-02-27T00:30:00+02:00","date_modified":"2018-03-03T02:19:19+02:00","author":{"name":"xtrafrancyz","url":"https://xtrafrancyz.net/author/xtrafrancyz","avatar":"https://xtrafrancyz.net/uploads/2018/02/ava-rounded.png"},"tags":["Хобби"]},{"id":"69cff553-4063-4d9f-9343-5eb4b9be4ed9","url":"https://xtrafrancyz.net/about","title":"Обо мне","content_html":"
\n

С 2012 года улучшаю интернет и делаю его более пригодным для жизни человека.
В совершенстве знаю Java, и по верхам еще множество других языков программирования и технологий.

\n

Открыт для интересных идей, способных изменить мир, по поводу таких идей можете писать на почту.

\n

Если вы нашли ошибку на сайте, то выделите её мышкой и нажмите Alt+F4.

\n

Контакты

\n

Email: me@xtrafrancyz.net (предпочтительно)
ВКонтакте: https://vk.com/xtrafrancyz
Facebook: https://fb.com/xtrafrancyz.ua
Telegram: https://t.me/xtrafrancyz
GitHub: https://github.com/xtrafrancyz

","image":"https://xtrafrancyz.net/uploads/2018/02/765115-technology-background-images-1920x1080-for-macbook.jpg","date_published":"2018-02-25T15:40:00+02:00","date_modified":"2018-08-24T00:53:56+03:00","author":{"name":"xtrafrancyz","url":"https://xtrafrancyz.net/author/xtrafrancyz","avatar":"https://xtrafrancyz.net/uploads/2018/02/ava-rounded.png"},"tags":[]},{"id":"349818dd-356b-4713-a235-0e77b5d93bed","url":"https://xtrafrancyz.net/donate","title":"Как сделать хорошо","content_html":"

Если вы здесь, то скорее всего вы нашли одну из моих работ и она вам понравилась, а может и нет... В любом случае, я рад что вы здесь.

\n

А еще сильнее я обрадуюсь если вы кинете денег куда-нибудь сюда:
BTC - bc1q7fy86yvpjzfnrddyvarsjlpy334s4vr7rev02g
ETH (ERC20) - 0x130Fe3Fea4f0a5593088C96b572D059875dCEf34
USDT (TRC20) - TDLMZyJNykm57VC4pF6DeUMB1MgCmdCSvr

\n

Все деньги пойдут или на поддержание всех моих бесплатных проектов, или на чипсы.

\n

А еще вы можете нажать "спасибо", а можете и не нажимать, ничего не произойдет. И вам, конечно же, спасибо.

\n
\n
\n
","image":"https://xtrafrancyz.net/uploads/2018/02/chips.jpg","date_published":"2018-02-25T13:39:00+02:00","date_modified":"2024-03-21T16:10:21+02:00","author":{"name":"xtrafrancyz","url":"https://xtrafrancyz.net/author/xtrafrancyz","avatar":"https://xtrafrancyz.net/uploads/2018/02/ava-rounded.png"},"tags":[]},{"id":"bb058535-9e37-4cc2-bfef-d9e99f735181","url":"https://xtrafrancyz.net/unblock-vk","title":"vk-proxy","content_html":"

Бесплатный прокси для мобильного приложения ВКонтакте, который позволяет пользоваться приложением без VPN в Украине, Казахстане и других странах, где сайт заблокирован.

\n

Главное преимущество vk-proxy перед VPN - это то, что не нужно постоянно запускать VPN, тратить на него батарею и смотреть рекламу перед подключением. С этим прокси вы просто пользуетесь приложением ВК точно так же, как и до блокировок. В отличии от прокси, встроенного в офф. приложение, это работает.

\n

В связи с вторжением россии на территорию Украины 24.02.2022 я прекращаю поддержку публичного прокси. Я не считаю нужным предоставлять доступ жителям Украины к российской пропаганде и помогать вражеским компаниям.

\n

Исходники vk-proxy доступны на GitHub, вы все еще можете запустить прокси на своих серверах, форкнуть репу и делать что вашей душе угодно.

\n

Живой форк: vtosters/vk-proxy

\n
\n

Как разблокировать ВК

\n

Ниже представлены различные варианты модифицированных приложений на Android, в которые встроен прокси.

\n

Vtosters (версия vk 6.13.2; vtosters 19.3f)

\n

Мод, основанный на официальном приложении, где добавлено множество мелочей, в числе которых есть наш прокси.

\n

Загрузить последнюю версию и следить за обновлениями можно в Telegram канале или на 4pda, а можно просто скачать с сайта.

\n\n

Обычный ВК с прокси (версия 6.3)

\n

Официальное приложение со встроенным прокси.

\n\n

Если у вас стоит двухэтапная аутентификация, то придется включить VPN на время входа, потом он не понадобится.

\n

Kate Mobile

\n

Подключение возможно только через модифицированное приложение. Удалите стандартное и установите одно из следующих:

\n\n

VK mp3 mod

\n

Загрузить последнюю версию можно в Telegram, на 4pda, или по прямой ссылке.

\n\n

SOVA (версия 5.18)

\n

Эта модификация практически не отличается от официального приложения - добавлены мелкие функции, вырезаны ненужные лимиты и в настройки добавлено отключение рекламы.

\n

Есть несколько версий совы - SOVA V, SOVA X и другие. Загрузить их можно или с 4pda, или с Telegram канала, или напрямую - скачать.
Способ включения прокси описан ниже:

\n
    \n
  1. Включить любой бесплатный VPN и авторизоваться в приложении;
    2. \n
  2. Зайти в Настройки -> Настройки SOVA -> Отладка;
    3. \n
  3. Заменить Домен API на vk-api-proxy.xtrafrancyz.net;
    4. \n
  4. Полностью перезапустить приложение.
    5. \n
\n

VK Coffee

\n
    \n
  1. Открываем Настройки -> Отладка;
    2. \n
  2. Изменяем Домен API на vk-api-proxy.xtrafrancyz.net;
    3. \n
  3. Изменяем Домен OAuth на vk-oauth-proxy.xtrafrancyz.net;
    4. \n
  4. Пользуемся!
    5. \n
\n

Для старого официального приложения версии 4.х (до изменения дизайна)

\n

Это старое приложение, где еще меню выдвигалось если потянуть за левый край.

\n
    \n
  1. Открываем стандартную звонилку и пишем следующий код: *#*#856682583#*#*. Если у вас Samsung или телефон, где этот код не работает, то скачиваем приложение Secret Codes и через него заходим в секретное меню ВК;
    2. \n
  2. В появившемся меню изменяем Домен API на vk-api-proxy.xtrafrancyz.net;
    3. \n
  3. Изменяем Домен OAuth на vk-oauth-proxy.xtrafrancyz.net;
    4. \n
  4. Полностью перезапускаем приложение.
    5. \n
  5. Пользуемся!
    6. \n
\n

Для разработчиков

\n

Все исходники лежат на GitHub, вы можете установить прокси на свой сервер и подвязать туда свой домен.

\n
\n

Для благодарностей

\n

Инструкцию как меня поблагодарить можете найти здесь.

","image":"https://xtrafrancyz.net/uploads/2018/02/vk-vkontakte-logo-vk.jpg","date_published":"2018-02-25T09:13:00+02:00","date_modified":"2022-08-31T02:14:24+03:00","author":{"name":"xtrafrancyz","url":"https://xtrafrancyz.net/author/xtrafrancyz","avatar":"https://xtrafrancyz.net/uploads/2018/02/ava-rounded.png"},"tags":["Сервисы"]}]}