Java Language
벤치 마크

소개

간단한 JMH 예제

적절한 벤치 마크 테스트를 작성하는 도구 중 하나는 JMH 입니다. HashSet 과 TreeSet 에서 요소를 검색하는 성능을 비교하려고한다고 가정 해 봅시다.

프로젝트에 JHM을 가져 오는 가장 쉬운 방법은 Maven과 Shade Plugin을 사용하는 것입니다. 또한 JHM 예제 에서 pom.xml 을 볼 수 있습니다.

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.0.0</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <finalName>/benchmarks</finalName>
                        <transformers>
                            <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>org.openjdk.jmh.Main</mainClass>
                            </transformer>
                        </transformers>
                        <filters>
                            <filter>
                                <artifact>*:*</artifact>
                                <excludes>
                                    <exclude>META-INF/*.SF</exclude>
                                    <exclude>META-INF/*.DSA</exclude>
                                    <exclude>META-INF/*.RSA</exclude>
                                </excludes>
                            </filter>
                        </filters>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

<dependencies>
    <dependency>
        <groupId>org.openjdk.jmh</groupId>
        <artifactId>jmh-core</artifactId>
        <version>1.18</version>
    </dependency>
    <dependency>
        <groupId>org.openjdk.jmh</groupId>
        <artifactId>jmh-generator-annprocess</artifactId>
        <version>1.18</version>
    </dependency>
</dependencies>

이 후에는 벤치 마크 클래스 자체를 작성해야한다.

package benchmark;

import org.openjdk.jmh.annotations.*;
import org.openjdk.jmh.infra.Blackhole;

import java.util.HashSet;
import java.util.Random;
import java.util.Set;
import java.util.TreeSet;
import java.util.concurrent.TimeUnit;

@State(Scope.Thread)
public class CollectionFinderBenchmarkTest {
    private static final int SET_SIZE = 10000;

    private Set<String> hashSet;
    private Set<String> treeSet;

    private String stringToFind = "8888";

    @Setup
    public void setupCollections() {
        hashSet = new HashSet<>(SET_SIZE);
        treeSet = new TreeSet<>();

        for (int i = 0; i < SET_SIZE; i++) {
            final String value = String.valueOf(i);
            hashSet.add(value);
            treeSet.add(value);
        }

        stringToFind = String.valueOf(new Random().nextInt(SET_SIZE));
    }

    @Benchmark
    @BenchmarkMode(Mode.AverageTime)
    @OutputTimeUnit(TimeUnit.NANOSECONDS)
    public void testHashSet(Blackhole blackhole) {
        blackhole.consume(hashSet.contains(stringToFind));
    }

    @Benchmark
    @BenchmarkMode(Mode.AverageTime)
    @OutputTimeUnit(TimeUnit.NANOSECONDS)
    public void testTreeSet(Blackhole blackhole) {
        blackhole.consume(treeSet.contains(stringToFind));
    }
}

이 blackhole.consume() 을 염두에 두십시오. 나중에 다시 살펴 보겠습니다. 또한 벤치 마크를 실행하기위한 메인 클래스가 필요합니다.

package benchmark;

import org.openjdk.jmh.runner.Runner;
import org.openjdk.jmh.runner.RunnerException;
import org.openjdk.jmh.runner.options.Options;
import org.openjdk.jmh.runner.options.OptionsBuilder;

public class BenchmarkMain {
    public static void main(String[] args) throws RunnerException {
        final Options options = new OptionsBuilder()
                .include(CollectionFinderBenchmarkTest.class.getSimpleName())
                .forks(1)
                .build();

        new Runner(options).run();
    }
}

그리고 우린 모두 준비가되어 있습니다. mvn package ( /target 폴더에 benchmarks.jar 을 생성합니다)를 실행하고 벤치 마크 테스트를 실행하면됩니다 :

java -cp target/benchmarks.jar benchmark.BenchmarkMain

워밍업과 계산 반복이 끝나면 결과가 나타납니다.

# Run complete. Total time: 00:01:21

Benchmark                                  Mode  Cnt   Score    Error  Units
CollectionFinderBenchmarkTest.testHashSet  avgt   20   9.940 ±  0.270  ns/op
CollectionFinderBenchmarkTest.testTreeSet  avgt   20  98.858 ± 13.743  ns/op

그 blackhole.consume() 대해서 blackhole.consume() . 계산 결과가 응용 프로그램의 상태를 변경하지 않으면 java는이를 무시할 가능성이 큽니다. 따라서이를 피하기 위해 벤치 마크 메소드가 일부 값을 반환하도록하거나 Blackhole 객체를 사용하여이를 소비 할 수 있습니다.

Aleksey Shipilëv의 블로그 , Jacob Jenkov의 블로그 및 Java 성능 블로그 ( 1 , 2) 에서 적절한 벤치 마크 작성에 대한 자세한 정보를 찾을 수 있습니다.