- debugging
- nginx
- cdn
- tls
Четыре правильных решения, одна сломанная ссылка
Подписанная ссылка подтверждения возвращала 403 после входа, и больше нигде. CDN, nginx, фреймворк и приложение были настроены правильно, каждый по отдельности. Вместе нет.
Это короткая история об отладке. Злодея в ней нет. Каждый компонент был настроен так, как рекомендует его документация, и всё равно в итоге получилась сломанная функция, которая проявлялась только после входа.
Симптом
Наш клиентский портал отправляет письма с подписанными ссылками: в URL есть срок действия и HMAC, и приложение проверяет и то и другое, прежде чем что-то сделать. Клиент нажал на такую ссылку, его попросили войти (так и задумано), он вошёл и получил 403 Invalid signature. Та же ссылка, открытая в браузере, где вход уже был выполнен, тоже не сработала. Ссылки, созданные несколькими минутами раньше, работали.
Цепочка
Четыре факта, каждый сам по себе в порядке:
1. Портал стоит за CDN. CDN терминирует TLS и передаёт запрос на наш origin по приватному каналу. Он добавляет обычные заголовки: реальный IP клиента и X-Forwarded-Proto: https.
2. nginx настроен доверять заголовку real-IP от CDN. set_real_ip_from плюс real_ip_header, чтобы логи и rate limit видели адрес клиента, а не CDN. Стандартно.
3. У приложения есть список доверенных прокси. Как и большинство фреймворков, оно принимает заголовки X-Forwarded-* только от доверенных прокси, которых определяет по IP подключения. Правильно: иначе кто угодно мог бы подделать переданный протокол.
4. Подписанные URL включают схему. Подпись покрывает весь URL, https://.... Тоже правильно: подпись, не учитывающая схему, была бы слабее.
Теперь сложим их вместе. Модуль real-IP в nginx переписывает REMOTE_ADDR на IP клиента до того, как запрос увидит приложение. Приложение проверяет, является ли REMOTE_ADDR доверенным прокси. IP клиента им не является. Поэтому X-Forwarded-Proto игнорируется. TLS был терминирован на CDN, так что соединение, которое видит приложение, обычный HTTP. Значит, приложение считает, что URL запроса http://.... Оно заново вычисляет подпись для http://..., сравнивает её с подписью, созданной для https://..., и они не совпадают. 403.
Почему это проявлялось только после входа
Middleware аутентификации выполнялся раньше middleware проверки подписи. Анонимный клик сначала перенаправлялся на страницу входа, поэтому первым клиент видел форму входа, а не ошибку. Только после успешного входа запрос доходил до проверки подписи и не проходил её. Из-за такого порядка баг выглядел как проблема с сессией, и мы довольно долго искали не там.
Исправление
Доверяйте прокси, а не переписанному адресу. Конкретно: конфигурацию доверенных прокси в приложении изменили так, чтобы оно принимало переданные заголовки для запросов, приходящих по приватному каналу к origin, поскольку в нашей топологии больше ничто не может до origin добраться. Когда переданный протокол учитывается, URL запроса снова становится https://..., и подписи проходят проверку. Кроме того, для этих маршрутов мы перенесли проверку подписи перед аутентификацией, чтобы недействительная ссылка сразу давала понятное сообщение, а не форму входа.
Вывод, если это можно так назвать
Ни одна из четырёх частей не была ошибочной. Каждая была задокументированной рекомендуемой настройкой. Сбой был во взаимодействии, а именно в том, что подмена real-IP в nginx происходит вне поля зрения приложения. Когда вы добавляете слой, который переписывает то, на чём следующий компонент основывает решения о доверии, проверьте, что этот компонент теперь думает о запросе. «Кто это отправил» и «как это пришло» разные вопросы, и после подмены real-IP прежний ответ остаётся только у одного из них.