Почему не происходит сортировка вложенного списка, методом list[0].sort()? Python

Выражение бессмысленное, т.к. sort не возвращает значение списка:

a = square1[0].sort()
print(a)

Чтобы убедиться в сортировке нужно вывести общий список или конкретно тот, что был подвергнут сортировке:

print(square1)
print(square1[0])

Но если в a нужен новый сортированный список, тогда используйте метод sorted:

a = sorted(square1[0])
print(a)

Вы присваиваете переменной не ссылку на список, а результат метода сортировки. Метод сортировки возвращает None, т.е. ничего не возвращает.

Вы не должны присваивать результат метода переменной:

square1 = [[2, 3, 4, 1], [3, 4, 1, 2], [4, 1, 2, 3], [1, 2, 3, 4]]
square1[0].sort()
print(square1[0])

stdout:

[1, 2, 3, 4]