Сохранение состояния скрола при пересоздании PagedList

При пересоздании View Fragmenta пересоздается мой RecyclerView, в который я добавляю PagedList

 binding.moviesRecycler.adapter = recyclerViewCommand.newRecyclerViewAdapter().also {  adapter ->
            viewModel.newLists?.observe(viewLifecycleOwner){
                adapter.submitList(it)
            }
        }

При пересоздании View позиция скролла сбрасывается в состояние 0, я пробовал сохранять состояние

 adapterMovie!!.stateRestorationPolicy = RecyclerView.Adapter.StateRestorationPolicy.PREVENT_WHEN_EMPTY

И это работает, но при пересоздании, данный из базы данных (Room) начинают грузится заново, и в итоге он загружает изначально 40 записей, если к моменту пересоздания скролл стоял на одном из этих 40 элементов при пересоздании состояние скролла сохранится, но есть >40 состояние скролла будет 0, как это поправить?