Альтернатива методу setSortingEnabled(True)

Я не могу проверить ваш пример, но я покажу вам возможную реализацию вашей задачи.

Класс QStyledItemDelegate предоставляет средства отображения и редактирования элементов данных из модели.

Больше https://doc.qt.io/qt-5/qstyleditemdelegate.html

Обратите внимание:

• сортировка работает по любой колонке
• редактирование возможно только данные в колонке с индексом 5
• в данной реализации также выполняются манипуляции с подсветкой ячеек в зависимости от значения ее содержимого.

Попробуйте изменить данные в колонке с индексом 5 и проверьте сортировеу.

import sys
import random
from PyQt5.Qt import *


class Delegate(QStyledItemDelegate):
    color_default = QColor("#aaedff")
    colorChanged = pyqtSignal(int, int, int)
    
    def __init__(self, parent=None):
        QStyledItemDelegate.__init__(self, parent)
        self.parent = parent

    def createEditor(self, parent, options, index):
        if index.column() == 5:
            value = index.data()      
            editor = QLineEdit(parent)                                  # !!!
            return editor        

    def setEditorData(self, editor, index):
        if index.column() == 5:
            value = index.model().data(index, Qt.EditRole)
            try: value = int(value)
            except: value = 0
            editor.setText(f'{value:>10}')                              # !!!  

    def updateEditorGeometry(self, editor, options, index):
        editor.setGeometry(options.rect)

    def setModelData(self, editor, model, index):
        if index.column() == 5:
            try: value = int(editor.text())
            except: value = 0
            value = f'{value:>10}'   
            model.setData(index, value, Qt.EditRole)
            self.colorChanged.emit(index.row(), index.column(), int(value))              ############
            

class MyWidget(QWidget):
    def __init__(self):
        super().__init__()

        self.layout = QVBoxLayout(self)

        self.tableWidget = QTableWidget()
        self.tableWidget.setSortingEnabled(True)
        self.layout.addWidget(self.tableWidget)
        
        delegate = Delegate(self)                                        # !!!
        delegate.colorChanged.connect(self.color_changed)                # !!!
        self.tableWidget.setItemDelegate(delegate)                       # !!!         

        self.pb_refill = QPushButton("Refill")
        self.pb_refill.clicked.connect(self.on_click_pb_refill)
        self.layout.addWidget(self.pb_refill)
        
    def color_changed(self, row, col, value):
        if value > 777:
            color = QColor(qrand() % 256, qrand() % 256, qrand() % 256)
            self.tableWidget.item(row, col).setBackground(color)
            self.tableWidget.item(row, col).setFont(QFont("Consolas", 10, QFont.Bold))
        else:
            self.tableWidget.item(row, col).setBackground(QColor("#fff"))
            self.tableWidget.item(row, col).setFont(QFont("Consolas", 10))        

    @pyqtSlot()
    def on_click_pb_refill(self):
        self.tableWidget.clear()
        self.tableWidget.setSortingEnabled(False)                         # !!!
        rows_random = random.randint(1, 10)       
        
        self.tableWidget.setRowCount(rows_random)
        self.tableWidget.setColumnCount(6)
        self.tableWidget.setFont(QFont("Consolas", 10))  
        
        for row in range(rows_random):
            for col in range(6):
                number = random.randint(1, 1000)
                self.tableWidget.setItem(row, col, QTableWidgetItem(f'{number:>10}'))
                
                if col == 5:
                    item_text = int(self.tableWidget.item(row, col).text())
                    if item_text > 777:
                        color = QColor(qrand() % 256, qrand() % 256, qrand() % 256)
                        self.tableWidget.item(row, col).setBackground(color)
                        self.tableWidget.item(row, col).setFont(
                            QFont("Consolas", 10, QFont.Bold))
                    
        self.tableWidget.setSortingEnabled(True)                          # !!!


if __name__ == '__main__':
    app = QApplication(sys.argv)
    ex = MyWidget()
    ex.resize(700, 300)
    ex.show()
    sys.exit(app.exec_())

Ваша проблема в том, что вы устанавливаете в качестве данных строку, а не число.

Qt довольно умный фреймворк, и в большинстве случаев хранит данные в виде QVariant, а соответственно сам знает как с ними работать.

Приведу пример как заполнить таблицу, чтобы ваш столбец сортировался как числа (и плюсом работа с датой)

import sys
from PyQt5.QtWidgets import QApplication, QMainWindow, QGridLayout, QWidget, QTableWidget, QTableWidgetItem
from PyQt5.QtCore import QSize, Qt, QDate


class MainWindow(QMainWindow):
    def __init__(self):
        QMainWindow.__init__(self)
        self.setMinimumSize(QSize(400, 400))
        central_widget = QWidget(self)
        self.setCentralWidget(central_widget)
        grid_layout = QGridLayout()
        central_widget.setLayout(grid_layout)

        table = QTableWidget(self)
        table.setColumnCount(4)
        table.setRowCount(100)
        table.setHorizontalHeaderLabels(["text", "text1", "text2", "date"])
        table.setSortingEnabled(True)

        for i in range(0, 100):
            table.setItem(i, 0, QTableWidgetItem(str(i))) # Когда добавляете так, данные имеют тип строка
            item = QTableWidgetItem()
            item.setData(Qt.EditRole, str(i)) # так опять будет строка
            table.setItem(i,1,item)
            item = QTableWidgetItem()
            item.setData(Qt.EditRole, i) # а так будет число
            table.setItem(i,2,item)
            # И то же касается других типов. на пример даты
            item = QTableWidgetItem()
            item.setData(Qt.EditRole, QDate.currentDate().addDays(i))
            table.setItem(i,3,item)

        table.resizeColumnsToContents()
        grid_layout.addWidget(table, 0, 0)   # Добавляем таблицу в сетку


if __name__ == "__main__":
    app = QApplication(sys.argv)
    mw = MainWindow()
    mw.show()
    sys.exit(app.exec())