c# проблема с типами данных

проблема заключается в типе данных object, вот фрагмент кода:

object[,] sqrs = new object[dataGridView1.RowCount, dataGridView1.ColumnCount];
        for (int u = 0; u < dataGridView1.Rows.Count; u++)
        {
            for (int l = 0; l < dataGridView1.Columns.Count; l++)
            {
                if ((dataGridView1.Rows[u].Cells[l].Value != null))
                {
                    sqrs[u, l] = (dataGridView1.Rows[u].Cells[l].Value.ToString());
                }
            }
        }

здесь я в массив записываю данные из datagridview, но потом когда я хочу совершить какие то манипуляции с массивом к примеру сложение:

 for (j = 0; j < m; j++)
        {
            double sum = 0;
            for (i = 0; i < m; i++)
            {
                sum += sqrs[i, j]; //сумма эл-тов 
                sr_z = sum / 5; // (сумма/числострок) 
                srednznach[j] = sr_z;
            }
        }

компилятор ругается на то что нельзя производить действие с object, я пытался переписывать массив в double , но тогда у меня не получается записать данные в массив, подскажите, как это заставить работать)