Увеличить скорость обработки файлов на Apache Tike
В разработке проект на maven в NetBeans. Хочу написать сервер обработки файлов, пока тестирую под Windows. В сервере использую библиотеку Apache Tika.
При обработке 133 файлов ( общий размер где-то 133 МБ) смог добиться скорости обработки: 133 МБ / 33 сек, что составляет 4 МБ/сек. Хотелось бы достичь скорости в 37,2 МБ/сек.
Вот код:
/*
* To change this license header, choose License Headers in Project Properties.
* To change this template file, choose Tools | Templates
* and open the template in the editor.
*/
package com.mycompany.stack1;
import org.apache.tika.Tika;
import org.apache.tika.exception.TikaException;
import org.apache.tika.metadata.Metadata;
import org.apache.tika.parser.AutoDetectParser;
import org.apache.tika.parser.ParseContext;
import org.apache.tika.sax.BodyContentHandler;
import org.xml.sax.ContentHandler;
import org.xml.sax.SAXException;
import java.util.stream.Stream;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileFilter;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.logging.Level;
import java.util.logging.Logger;
public class Parser {
public static void main(String[] args) throws Exception {
String outdir = "C:\\java\\Output\\"; //Path[1] - выходной путь из config.xml
FileFilter filter = (File d) -> d.getName().endsWith("psp"); // конец Filter
Stream.of(new File("C:\\java\\Input").listFiles(filter)).parallel()
.forEach(file -> {
String srcFileName = replaceExt(file.getAbsolutePath(), ".dat");
String targetFileName = outdir + replaceExt(file.getName(), ".txt");
try {
new Task(srcFileName, targetFileName).run();
} catch (SAXException | TikaException ex) {
Logger.getLogger(Parser.class.getName()).log(Level.SEVERE, null, ex);
}
});
}
private static String replaceExt(String fileName, String ext) {
return fileName.substring(0, fileName.lastIndexOf('.')) + ext;
}
private static class Task {
private final String srcFileName;
private final String targetFileName;
private final Metadata metadata;
private final Tika tika;
private Task(String srcFileName, String targetFileName) {
this.srcFileName = srcFileName;
this.targetFileName = targetFileName;
this.metadata = new Metadata();
this.tika = new Tika();
}
public void run() throws SAXException, TikaException {//throws Exception {
try (InputStream is = new BufferedInputStream(new FileInputStream(srcFileName))) {
String mimeType = tika.detect(srcFileName); //определяем mimeType нашего документа
metadata.set(Metadata.CONTENT_TYPE, mimeType);//устанавливаем mimeType
AutoDetectParser parser = new AutoDetectParser();//create универсальный парсер который на основе mimeType принимает решение какой использовать узкоспециализированный парсер
ParseContext pc = new ParseContext(); //create xml-парсер
ContentHandler ch = new BodyContentHandler(-1);//здесь будет содержаться тело документа в виде plan text
parser.parse(is, ch, metadata, pc); //разбор файла на части
Files.write(Paths.get(targetFileName), ch.toString().getBytes());
}
catch (IOException ex) {
throw new RuntimeException(ex);
}
}
}
}
и pom.xml:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.mycompany</groupId>
<artifactId>myThreadPool</artifactId>
<version>1.0-SNAPSHOT</version>
<packaging>jar</packaging>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<tika>1.2</tika>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.tika</groupId>
<artifactId>tika-core</artifactId>
<version>1.25</version>
<type>jar</type>
</dependency>
<dependency>
<groupId>org.apache.tika</groupId>
<artifactId>tika</artifactId>
<version>1.25</version>
<type>pom</type>
</dependency>
<dependency>
<groupId>org.apache.Tika</groupId>
<artifactId>Tika-serialization</artifactId>
<version>1.25</version>
</dependency>
<dependency>
<groupId>org.apache.Tika</groupId>
<artifactId>tika-app</artifactId>
<version>1.25</version>
</dependency>
<dependency>
<groupId>org.apache.tika</groupId>
<artifactId>tika-parsers</artifactId>
<version>1.25</version>
</dependency>
<dependency>
<groupId>org.apache.pdfbox</groupId>
<artifactId>pdfbox-app</artifactId>
<version>2.0.21</version>
</dependency>
<dependency>
<groupId>org.apache.pdfbox</groupId>
<artifactId>pdfbox</artifactId>
<version>2.0.22</version>
</dependency>
<dependency>
<groupId>org.apache.tika</groupId>
<artifactId>tika-app</artifactId>
<version>1.2</version>
<type>jar</type>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.7</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<dependency>
<groupId>org.apache.maven</groupId>
<artifactId>maven-core</artifactId>
<version>3.6.3</version>
</dependency>
<dependency>
<groupId>org.apache.maven</groupId>
<artifactId>maven-artifact</artifactId>
<version>3.6.3</version>
</dependency>
<dependency>
<groupId>org.apache.maven</groupId>
<artifactId>maven-project</artifactId>
<version>2.2.1</version>
</dependency>
<dependency>
<groupId> org.apache.cassandra</groupId>
<artifactId>cassandra-all</artifactId>
<version>0.8.1</version>
</dependency>
<dependency>
<groupId>org.osgi</groupId>
<artifactId>org.osgi.core</artifactId>
<version>6.0.0</version>
<scope>provided</scope>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.osgi</groupId>
<artifactId>org.osgi.compendium</artifactId>
<version>5.0.0</version>
<scope>provided</scope>
<optional>true</optional>
</dependency>
<dependency>
<groupId>biz.aQute</groupId>
<artifactId>bndlib</artifactId>
<version>1.50.0</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.pdfbox</groupId>
<artifactId>jbig2-imageio</artifactId>
<version>3.0.3</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.8.0</version>
</dependency>
<dependency>
<groupId>org.apache.pdfbox</groupId>
<artifactId>fontbox</artifactId>
<version>2.0.22</version>
</dependency>
<!-- Test dependencies -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-simple</artifactId>
<version>1.7.25</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.30</version>
</dependency>
<dependency>
<groupId>com.github.jai-imageio</groupId>
<artifactId>jai-imageio-core</artifactId>
<version>1.4.0</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>com.github.jai-imageio</groupId>
<artifactId>jai-imageio-jpeg2000</artifactId>
<version>1.4.0</version>
<scope>test</scope>
<exclusions>
<exclusion>
<groupId>com.github.jai-imageio</groupId>
<artifactId>jai-imageio-core</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.pdfbox</groupId>
<artifactId>xmpbox</artifactId>
<version>2.0.22</version>
</dependency>
<dependency>
<groupId>org.apache.pdfbox</groupId>
<artifactId>pdfbox-tools</artifactId>
<version>2.0.19</version>
</dependency>
<dependency>
<groupId>org.apache.pdfbox</groupId>
<artifactId>pdfbox-debugger</artifactId>
<version>2.0.22</version>
</dependency>
<dependency>
<groupId>commons-logging</groupId>
<artifactId>commons-logging</artifactId>
<version>1.2</version>
</dependency>
<dependency>
<groupId>ome</groupId>
<artifactId>bio-formats</artifactId>
<version>5.0.0-rc2</version>
</dependency>
<dependency>
<groupId>org.apache.pdfbox</groupId>
<artifactId>preflight</artifactId>
<version>2.0.22</version>
</dependency>
<dependency>
<groupId>org.apache.pdfbox</groupId>
<artifactId>jempbox</artifactId>
<version>1.8.16</version>
</dependency>
<dependency>
<groupId>org.junit.jupiter</groupId>
<artifactId>junit-jupiter</artifactId>
<version>5.7.0</version>
<scope>test</scope>
</dependency>
<!-- Helper's dependencies -->
<dependency>
<groupId>org.gagravarr</groupId>
<artifactId>vorbis-java-tika</artifactId>
<version>0.1</version>
</dependency>
<dependency>
<groupId>com.jolira</groupId>
<artifactId>onejar-maven-plugin</artifactId>
<version>1.4.4</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-dependency-plugin</artifactId>
<executions>
<execution>
<id>copy-dependencies</id>
<phase>prepare-package</phase>
<goals>
<goal>copy-dependencies</goal>
</goals>
<configuration>
<outputDirectory>${project.build.directory}/lib</outputDirectory>
<overWriteReleases>false</overWriteReleases>
<overWriteSnapshots>false</overWriteSnapshots>
<overWriteIfNewer>true</overWriteIfNewer>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<version>3.2.0</version>
<configuration>
<archive>
<manifest>
<addClasspath>true</addClasspath>
<classpathPrefix>lib/</classpathPrefix>
<mainClass>com.mycompany.mythreadpool.myThread</mainClass>
<addDefaultImplementationEntries>true</addDefaultImplementationEntries>
<addDefaultSpecificationEntries>true</addDefaultSpecificationEntries>
</manifest>
</archive>
<source>1.5</source>
<target>1.5</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-source-plugin</artifactId>
<version>3.2.1</version>
<executions>
<execution>
<id>attach-sources</id>
<goals>
<goal>jar</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<archive>
<manifest>
<mainClass>com.mycompany.mythreadpool.myThread</mainClass>
</manifest>
</archive>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id> <!-- this is used for inheritance merges -->
<phase>package</phase> <!-- bind to the packaging phase -->
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
Вот кол-во памяти ( в битах):
Пробовал такой запуск программы через консоль:
java -jar -Xms512m -Xmx1024m -Xss1024k D:\Programs\Qt\Units\MyJavaProjects\myThreadPool\target\myThreadPool-1.0-SNAPSHOT.jar
Сборка прошла успешно, но при выполнении выводиться такая ошибка:
Exception in thread "main" java.lang.NullPointerException
at java.util.Arrays.stream(Arrays.java:5004)
at java.util.stream.Stream.of(Stream.java:1000)
at com.mycompany.stack1.Parser.main(Parser.java:33)
Command execution failed.
Все равно такая же скорость. Подскажите как можно увеличить скорость обработки файлов? Может есть какие-то стоящие мысли как можно все исправить, заранее спасибо.
Ответы (1 шт):
Автор решения: Дмитрий
→ Ссылка
Для начала сделаем так:
import org.apache.tika.Tika;
import org.apache.tika.exception.TikaException;
import org.apache.tika.metadata.Metadata;
import org.apache.tika.parser.AutoDetectParser;
import org.apache.tika.parser.ParseContext;
import org.apache.tika.sax.BodyContentHandler;
import org.xml.sax.ContentHandler;
import org.xml.sax.SAXException;
import java.util.stream.Stream;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileFilter;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
public class Parser {
public static void main(String[] args) throws Exception {
String outdir = "C:\\java\\Output\\"; //Path[1] - выходной путь из config.xml
FileFilter filter = (File d) -> d.getName().endsWith("psp"); // конец Filter
Stream.of(new File("C:\\java").listFiles(filter)).parallel()
.forEach(file -> {
String srcFileName = replaceExt(file.getAbsolutePath(), ".dat");
String targetFileName = outdir + replaceExt(file.getName(), ".txt");
new Task(srcFileName, targetFileName).run();
});
}
private static String replaceExt(String fileName, String ext) {
return fileName.substring(0, fileName.lastIndexOf('.')) + ext;
}
private static class Task {
private final String srcFileName;
private final String targetFileName;
private final Metadata metadata;
private final Tika tika;
private Task(String srcFileName, String targetFileName) {
this.srcFileName = srcFileName;
this.targetFileName = targetFileName;
this.metadata = new Metadata();
this.tika = new Tika();
}
public void run() {//throws Exception {
try (InputStream is = new BufferedInputStream(new FileInputStream(srcFileName))) {
String mimeType = tika.detect(srcFileName); //определяем mimeType нашего документа
metadata.set(Metadata.CONTENT_TYPE, mimeType);//устанавливаем mimeType
AutoDetectParser parser = new AutoDetectParser();//create универсальный парсер который на основе mimeType принимает решение какой использовать узкоспециализированный парсер
ParseContext pc = new ParseContext(); //create xml-парсер
ContentHandler ch = new BodyContentHandler(-1);//здесь будет содержаться тело документа в виде plan text
parser.parse(is, ch, metadata, pc); //разбор файла на части
Files.write(Paths.get(targetFileName), ch.toString().getBytes());
}
catch (IOException | SAXException | TikaException ex) {
throw new RuntimeException(ex);
}
}
}
}
Теперь код стал короче, его проще понять и внести изменения, но поскольку тесты нам не завезли, дебажить придется вам...
Я избавился от вывода в консоль как от очень медленной операции, к тому же в многопоточном режиме от нее толку не много (выводится непонятно когда и откуда).
Я добавил паралельный стрим вместо тредов, поскольку любой поток ввода-вывода - исчерпаемый ресурс, он может закончится. это надо тестить.
Поток ввода-вывода - довольно дорогой с точки зрения производительности, посему : 1)не стоит открывать его лишний раз, 2)закрытие лучше возложить на try with resources, 3)всегда буферизируйте его.
Создание экземпляров классов (особенно с нетривиальной инициализацией), занимает ресурсы и время, посему нужно рассмотреть возможность использования синглтонов (если, разумеется, это возможно в многопоточной среде) для таких классов как AutoDetectParser, ParseContext и.т.д
Персмотрите и оптимизируйте использование класса File. Обращение к файловой системе - далеко не бесплатное с точки зрения системных ресурсов, а вы создаете его экземпляры на каждом шагу. Возможно , есть есть способ получить, к примеру путь к файлу, либо его урл и работать с ним, не запрашивая эти даннык каждый раз у класса File.
Уберите хардкод! Принимайте все параметры в метод, либо в конструктор, вот это String outdir = "D:\java\Output" и это String newName = outdir + "/" + pspFile.replace("dat", "txt"); по факту статическая информация. String - ссылочный тип, так зачем тогда создавать это в каждом потоке для каждого файла? Хардкод - зло