Поиск строки в большом количестве файлов
Есть порядка 1млн файлов html, примерно по 30-40 кб. Нужно искать в них строку, до 100 символов. При этом содержимое строки заранее неизвестно, содержимое файлов самое разное и на разных языках. Полнотекстовый индекс пробовали - много чего пропускает - подстроки не всегда слова + нужна поддержка большого количества языков. По времени поиска ограничены в 10 минут. Посоветуйте пожалуйста направление поиска решения
Ответы (2 шт):
grep -r -P ".{1,100}" ./
В вопросе явно не указано, что нужно искать, только
до 100 символов
вы знаете... наверное правильнее написать простенькй индексатор(поисковик с индексированием типа ищем все слова, и пишем в базу в каких они фалах есть) в базу для ваших файлов и по нему уже производить поиск файла... это же ад какой-то грепать миллион файлов в несколько потоков