Как эффективно посчитать величину по заданной формуле?

Пусть есть numpy array X размером (l, d). Как я могу с помощью средств numpy эффективно посчитать величину sigma2 по формуле ниже. В моём случае l = 60000, d = 50. Изначально я планировал для каждого i и j считать величину, записывать полученное значение в массив и затем от этого массива посчитать медиану. Однако массив выйдет размером почти 60000 * 60000 = 3 600 000 000 элементов. И как я понимаю, никакой памяти для моего плана не хватит. Прошу помочь. Спасибо