Настроить прокси: подключатся к одному из двух IP в зависимости от доступности

У меня дома настроена медиапомойка (из внешнего мира есть доступ через proxy), которая крутится 24/7, нужно сделать, чтобы если есть доступ по локальному IP (нахожусь дома) - запросы шли через локальную сеть (ноутбук -> модем -> медиапомойка) , если же подключиться невозможно (на улице), чтобы подключение происходило через прокси, хотя и с меньшей скоростью, однако хоть что-то. Настроил с помощью nginx (на ноутбуке):

stream {
  upstream mediaserver {
    server local_ip max_fails=0 fail_timeout=1s;
    server network_ip backup;
  }

  server {
    listen localhost:774;
    proxy_pass mediaserver;
  }
}

Однако проблема осталась в одном: если подключился к 1вому серверу, на второй не перекинет пока не переподключится (подключился через ssh к серверу через локальное соединение, поключился к другой вайфайке -> данное соединение остается неработающим, пока не произойдет timeout, ну и ручками повторное соединение)