SwipeRefreshLayout исчезает до появления RecyclerView

SwipeRefreshLayout исчезает до появления контента RecyclerView , с чем это может быть связано? Я бы хотел что бы SwipeRefreshLayout не исчезал пока не появится RecyclerView .
мой код

 private void onRefresh() {
    swipeRefreshLayout.setOnRefreshListener(new SwipeRefreshLayout.OnRefreshListener() {
        @Override
        public void onRefresh() {
            productList.clear();
            new Handler().postDelayed(new Runnable() {
                @Override
                public void run() {
                    if (Utils.isNetworkAvailable(getActivity())) {
                        swipeRefreshLayout.setRefreshing(false);
                        fetchData();
                    } else {
                        swipeRefreshLayout.setRefreshing(false);
                        Toast.makeText(getActivity(), getResources().getString(R.string.no_internet), Toast.LENGTH_SHORT).show();
                    }

                }
            }, 1500);
        }
    });
}

xml файл

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
android:id="@+id/lyt_root"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:background="@color/white"
android:orientation="vertical"
android:padding="6dp">

<android.support.v4.widget.SwipeRefreshLayout
    android:id="@+id/swipeRefreshLayout"
    android:layout_width="match_parent"
    android:layout_height="wrap_content"
    android:fillViewport="true">

    <android.support.v7.widget.RecyclerView
        android:id="@+id/recycler_view"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:scrollbars="none" />

</android.support.v4.widget.SwipeRefreshLayout>