равномерно записать в несколько файлов несколько строк
равномерно записать в несколько файлов несколько строк
дано: файловая структура - /abc/def.txt (такая структура выбрана по причине контроля за кол-вом папок и файлов)
задача: равномерно записать текст по файлам (в одном файле через разделитель несколько несвязных текстов, т.к. текста очень мало для выделения под него файла)
решение: md5 от строки , первые три символа - папка, следующие три символа - файл.
проблема: т.к. вместо 32-х символов хеша используется всего 6-ть, перекос по размеру файлов ~30%
вопрос: как равномерно записать строки в файлы с возможностью жёсткого контроля кол-ва файлов и папок? Т.е. классический вариант: /abc/defabcabcabcabc213456789abc31.txt не подходит, т.к. кол-во файлов в папках будет неконтролируемо много и на каждую строку будет свой файл, что также не нужно.
вариант: если использовать папки как есть, а для файлов взять диапазоны в текущем кол-ве, т.е. 4096?
дополнение: текста сейчас 40гб, ожидается около 1Тб