357 lines
		
	
	
		
			11 KiB
		
	
	
	
		
			LLVM
		
	
	
	
			
		
		
	
	
			357 lines
		
	
	
		
			11 KiB
		
	
	
	
		
			LLVM
		
	
	
	
; RUN: opt -lower-expect  -S -o - < %s | FileCheck %s
 | 
						|
; RUN: opt -S -passes='function(lower-expect)' < %s | FileCheck %s
 | 
						|
 | 
						|
; The C case
 | 
						|
; if (__builtin_expect((x > goo() && y > hoo() && z > too()), 1)) 
 | 
						|
; For the above case, all 3 branches should be annotated.
 | 
						|
;
 | 
						|
; if (__builtin_expect((x > goo() && y > hoo() && z > too()), 0)) 
 | 
						|
; For the above case, we don't have enough information, so
 | 
						|
; only the last branch is annotated.
 | 
						|
 | 
						|
define void @foo(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
 | 
						|
; CHECK-LABEL: void @foo
 | 
						|
bb:
 | 
						|
  %tmp8 = call i32  @goo() 
 | 
						|
  %tmp9 = icmp sgt i32 %tmp8, %arg
 | 
						|
  br i1 %tmp9, label %bb10, label %bb18
 | 
						|
; CHECK: !prof [[WEIGHT:![0-9]+]]
 | 
						|
 | 
						|
bb10:                                             ; preds = %bb
 | 
						|
  %tmp12 = call i32  @hoo()
 | 
						|
  %tmp13 = icmp sgt i32 %arg1, %tmp12
 | 
						|
  br i1 %tmp13, label %bb14, label %bb18
 | 
						|
; CHECK: br i1 %tmp13, {{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb14:                                             ; preds = %bb10
 | 
						|
  %tmp16 = call i32  @too()
 | 
						|
  %tmp17 = icmp sgt i32 %arg2, %tmp16
 | 
						|
  br label %bb18
 | 
						|
 | 
						|
bb18:                                             ; preds = %bb14, %bb10, %bb
 | 
						|
  %tmp19 = phi i1 [ false, %bb10 ], [ false, %bb ], [ %tmp17, %bb14 ]
 | 
						|
  %tmp20 = xor i1 %tmp19, true
 | 
						|
  %tmp21 = xor i1 %tmp20, true
 | 
						|
  %tmp22 = zext i1 %tmp21 to i32
 | 
						|
  %tmp23 = sext i32 %tmp22 to i64
 | 
						|
  %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 1)
 | 
						|
  %tmp25 = icmp ne i64 %tmp24, 0
 | 
						|
  br i1 %tmp25, label %bb26, label %bb28
 | 
						|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb26:                                             ; preds = %bb18
 | 
						|
  %tmp27 = call i32  @goo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb28:                                             ; preds = %bb18
 | 
						|
  %tmp29 = call i32  @hoo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb30:                                             ; preds = %bb28, %bb26
 | 
						|
  ret void
 | 
						|
}
 | 
						|
 | 
						|
define void @foo2(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
 | 
						|
; CHECK-LABEL: void @foo2
 | 
						|
bb:
 | 
						|
  %tmp8 = call i32  @goo() 
 | 
						|
  %tmp9 = icmp sgt i32 %tmp8, %arg
 | 
						|
  br i1 %tmp9, label %bb10, label %bb18
 | 
						|
; CHECK:  br i1 %tmp9
 | 
						|
; CHECK-NOT: !prof
 | 
						|
 | 
						|
bb10:                                             ; preds = %bb
 | 
						|
  %tmp12 = call i32  @hoo()
 | 
						|
  %tmp13 = icmp sgt i32 %arg1, %tmp12
 | 
						|
  br i1 %tmp13, label %bb14, label %bb18
 | 
						|
; CHECK: br i1 %tmp13
 | 
						|
; CHECK-NOT: !prof
 | 
						|
 | 
						|
bb14:                                             ; preds = %bb10
 | 
						|
  %tmp16 = call i32 @too()
 | 
						|
  %tmp17 = icmp sgt i32 %arg2, %tmp16
 | 
						|
  br label %bb18
 | 
						|
 | 
						|
bb18:                                             ; preds = %bb14, %bb10, %bb
 | 
						|
  %tmp19 = phi i1 [ false, %bb10 ], [ false, %bb ], [ %tmp17, %bb14 ]
 | 
						|
  %tmp20 = xor i1 %tmp19, true
 | 
						|
  %tmp21 = xor i1 %tmp20, true
 | 
						|
  %tmp22 = zext i1 %tmp21 to i32
 | 
						|
  %tmp23 = sext i32 %tmp22 to i64
 | 
						|
  %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 0)
 | 
						|
  %tmp25 = icmp ne i64 %tmp24, 0
 | 
						|
  br i1 %tmp25, label %bb26, label %bb28
 | 
						|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT2:![0-9]+]]
 | 
						|
 | 
						|
bb26:                                             ; preds = %bb18
 | 
						|
  %tmp27 = call i32 @goo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb28:                                             ; preds = %bb18
 | 
						|
  %tmp29 = call i32 @hoo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb30:                                             ; preds = %bb28, %bb26
 | 
						|
  ret void
 | 
						|
}
 | 
						|
 | 
						|
define void @foo_i32(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
 | 
						|
; CHECK-LABEL: void @foo_i32
 | 
						|
bb:
 | 
						|
  %tmp8 = call i32  @goo() 
 | 
						|
  %tmp9 = icmp sgt i32 %tmp8, %arg
 | 
						|
  br i1 %tmp9, label %bb10, label %bb18
 | 
						|
; CHECK: !prof [[WEIGHT]]
 | 
						|
 | 
						|
bb10:                                             ; preds = %bb
 | 
						|
  %tmp12 = call i32 @hoo()
 | 
						|
  %tmp13 = icmp sgt i32 %arg1, %tmp12
 | 
						|
  br i1 %tmp13, label %bb14, label %bb18
 | 
						|
; CHECK: br i1 %tmp13, {{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb14:                                             ; preds = %bb10
 | 
						|
  %tmp16 = call i32 @too()
 | 
						|
  %tmp17 = icmp sgt i32 %arg2, %tmp16
 | 
						|
  br label %bb18
 | 
						|
 | 
						|
bb18:                                             ; preds = %bb14, %bb10, %bb
 | 
						|
  %tmp19 = phi i32 [ 5, %bb10 ], [ 5, %bb ], [ %tmp16, %bb14 ]
 | 
						|
  %tmp23 = sext i32 %tmp19 to i64
 | 
						|
  %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
 | 
						|
  %tmp25 = icmp ne i64 %tmp24, 0
 | 
						|
  br i1 %tmp25, label %bb26, label %bb28
 | 
						|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb26:                                             ; preds = %bb18
 | 
						|
  %tmp27 = call i32 @goo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb28:                                             ; preds = %bb18
 | 
						|
  %tmp29 = call i32 @hoo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb30:                                             ; preds = %bb28, %bb26
 | 
						|
  ret void
 | 
						|
}
 | 
						|
 | 
						|
 | 
						|
define void @foo_i32_not_unlikely(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3)  {
 | 
						|
; CHECK-LABEL: void @foo_i32_not_unlikely
 | 
						|
bb:
 | 
						|
  %tmp8 = call i32 @goo() 
 | 
						|
  %tmp9 = icmp sgt i32 %tmp8, %arg
 | 
						|
  br i1 %tmp9, label %bb10, label %bb18
 | 
						|
; CHECK: br i1 %tmp9
 | 
						|
; CHECK-NOT: !prof
 | 
						|
 | 
						|
bb10:                                             ; preds = %bb
 | 
						|
  %tmp12 = call i32 @hoo()
 | 
						|
  %tmp13 = icmp sgt i32 %arg1, %tmp12
 | 
						|
  br i1 %tmp13, label %bb14, label %bb18
 | 
						|
; CHECK: br i1 %tmp13
 | 
						|
; CHECK-NOT: !prof
 | 
						|
 | 
						|
bb14:                                             ; preds = %bb10
 | 
						|
  %tmp16 = call i32  @too()
 | 
						|
  %tmp17 = icmp sgt i32 %arg2, %tmp16
 | 
						|
  br label %bb18
 | 
						|
 | 
						|
bb18:                                             ; preds = %bb14, %bb10, %bb
 | 
						|
  %tmp19 = phi i32 [ 4, %bb10 ], [ 4, %bb ], [ %tmp16, %bb14 ]
 | 
						|
  %tmp23 = sext i32 %tmp19 to i64
 | 
						|
  %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
 | 
						|
  %tmp25 = icmp ne i64 %tmp24, 0
 | 
						|
  br i1 %tmp25, label %bb26, label %bb28
 | 
						|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb26:                                             ; preds = %bb18
 | 
						|
  %tmp27 = call i32  @goo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb28:                                             ; preds = %bb18
 | 
						|
  %tmp29 = call i32 @hoo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb30:                                             ; preds = %bb28, %bb26
 | 
						|
  ret void
 | 
						|
}
 | 
						|
 | 
						|
define void @foo_i32_xor(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3)  {
 | 
						|
; CHECK-LABEL: void @foo_i32_xor
 | 
						|
bb:
 | 
						|
  %tmp8 = call i32  @goo() 
 | 
						|
  %tmp9 = icmp sgt i32 %tmp8, %arg
 | 
						|
  br i1 %tmp9, label %bb10, label %bb18
 | 
						|
; CHECK: br i1 %tmp9,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb10:                                             ; preds = %bb
 | 
						|
  %tmp12 = call i32  @hoo()
 | 
						|
  %tmp13 = icmp sgt i32 %arg1, %tmp12
 | 
						|
  br i1 %tmp13, label %bb14, label %bb18
 | 
						|
; CHECK: br i1 %tmp13,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb14:                                             ; preds = %bb10
 | 
						|
  %tmp16 = call i32  @too()
 | 
						|
  %tmp17 = icmp sgt i32 %arg2, %tmp16
 | 
						|
  br label %bb18
 | 
						|
 | 
						|
bb18:                                             ; preds = %bb14, %bb10, %bb
 | 
						|
  %tmp19 = phi i32 [ 6, %bb10 ], [ 6, %bb ], [ %tmp16, %bb14 ]
 | 
						|
  %tmp20 = xor i32 %tmp19, 3
 | 
						|
  %tmp23 = sext i32 %tmp20 to i64
 | 
						|
  %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
 | 
						|
  %tmp25 = icmp ne i64 %tmp24, 0
 | 
						|
  br i1 %tmp25, label %bb26, label %bb28
 | 
						|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb26:                                             ; preds = %bb18
 | 
						|
  %tmp27 = call i32 @goo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb28:                                             ; preds = %bb18
 | 
						|
  %tmp29 = call i32 @hoo()
 | 
						|
  br label %bb30
 | 
						|
bb30:                                             ; preds = %bb28, %bb26
 | 
						|
  ret void
 | 
						|
}
 | 
						|
 | 
						|
define void @foo_i8_sext(i32 %arg, i32 %arg1, i8 %arg2, i32 %arg3)  {
 | 
						|
; CHECK-LABEL: void @foo_i8_sext
 | 
						|
bb:
 | 
						|
  %tmp8 = call i32  @goo() 
 | 
						|
  %tmp9 = icmp sgt i32 %tmp8, %arg
 | 
						|
  br i1 %tmp9, label %bb10, label %bb18
 | 
						|
; CHECK: br i1 %tmp9,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb10:                                             ; preds = %bb
 | 
						|
  %tmp12 = call i32  @hoo()
 | 
						|
  %tmp13 = icmp sgt i32 %arg1, %tmp12
 | 
						|
  br i1 %tmp13, label %bb14, label %bb18
 | 
						|
; CHECK: br i1 %tmp13,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb14:                                             ; preds = %bb10
 | 
						|
  %tmp16 = call i8  @too8()
 | 
						|
  %tmp17 = icmp sgt i8 %arg2, %tmp16
 | 
						|
  br label %bb18
 | 
						|
 | 
						|
bb18:                                             ; preds = %bb14, %bb10, %bb
 | 
						|
  %tmp19 = phi i8 [ 255, %bb10 ], [ 255, %bb ], [ %tmp16, %bb14 ]
 | 
						|
  %tmp23 = sext i8 %tmp19 to i64
 | 
						|
; after sign extension, the operand value becomes -1 which does not match 255
 | 
						|
  %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 255)
 | 
						|
  %tmp25 = icmp ne i64 %tmp24, 0
 | 
						|
  br i1 %tmp25, label %bb26, label %bb28
 | 
						|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb26:                                             ; preds = %bb18
 | 
						|
  %tmp27 = call i32 @goo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb28:                                             ; preds = %bb18
 | 
						|
  %tmp29 = call i32 @hoo()
 | 
						|
  br label %bb30
 | 
						|
bb30:                                             ; preds = %bb28, %bb26
 | 
						|
  ret void
 | 
						|
}
 | 
						|
 | 
						|
define void @foo_i8_sext_not_unlikely(i32 %arg, i32 %arg1, i8 %arg2, i32 %arg3)  {
 | 
						|
; CHECK-LABEL: void @foo_i8_sext_not_unlikely
 | 
						|
bb:
 | 
						|
  %tmp8 = call i32  @goo() 
 | 
						|
  %tmp9 = icmp sgt i32 %tmp8, %arg
 | 
						|
  br i1 %tmp9, label %bb10, label %bb18
 | 
						|
; CHECK: br i1 %tmp9
 | 
						|
; CHECK-NOT: !prof
 | 
						|
 | 
						|
bb10:                                             ; preds = %bb
 | 
						|
  %tmp12 = call i32  @hoo()
 | 
						|
  %tmp13 = icmp sgt i32 %arg1, %tmp12
 | 
						|
  br i1 %tmp13, label %bb14, label %bb18
 | 
						|
; CHECK: br i1 %tmp13
 | 
						|
; CHECK-NOT: !prof
 | 
						|
 | 
						|
bb14:                                             ; preds = %bb10
 | 
						|
  %tmp16 = call i8  @too8()
 | 
						|
  %tmp17 = icmp sgt i8 %arg2, %tmp16
 | 
						|
  br label %bb18
 | 
						|
 | 
						|
bb18:                                             ; preds = %bb14, %bb10, %bb
 | 
						|
  %tmp19 = phi i8 [ 255, %bb10 ], [ 255, %bb ], [ %tmp16, %bb14 ]
 | 
						|
  %tmp23 = sext i8 %tmp19 to i64
 | 
						|
; after sign extension, the operand value becomes -1 which matches -1
 | 
						|
  %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 -1)
 | 
						|
  %tmp25 = icmp ne i64 %tmp24, 0
 | 
						|
  br i1 %tmp25, label %bb26, label %bb28
 | 
						|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb26:                                             ; preds = %bb18
 | 
						|
  %tmp27 = call i32 @goo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb28:                                             ; preds = %bb18
 | 
						|
  %tmp29 = call i32 @hoo()
 | 
						|
  br label %bb30
 | 
						|
bb30:                                             ; preds = %bb28, %bb26
 | 
						|
  ret void
 | 
						|
}
 | 
						|
 | 
						|
 | 
						|
define void @foo_i32_xor_not_unlikely(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3)  {
 | 
						|
; CHECK-LABEL: void @foo_i32_xor_not_unlikely
 | 
						|
bb:
 | 
						|
  %tmp8 = call i32 @goo() 
 | 
						|
  %tmp9 = icmp sgt i32 %tmp8, %arg
 | 
						|
  br i1 %tmp9, label %bb10, label %bb18
 | 
						|
; CHECK: br i1 %tmp9
 | 
						|
; CHECK-NOT: !prof
 | 
						|
 | 
						|
bb10:                                             ; preds = %bb
 | 
						|
  %tmp12 = call i32  @hoo()
 | 
						|
  %tmp13 = icmp sgt i32 %arg1, %tmp12
 | 
						|
  br i1 %tmp13, label %bb14, label %bb18
 | 
						|
; CHECK: br i1 %tmp13
 | 
						|
; CHECK-NOT: !prof
 | 
						|
 | 
						|
bb14:                                             ; preds = %bb10
 | 
						|
  %tmp16 = call i32 @too()
 | 
						|
  %tmp17 = icmp sgt i32 %arg2, %tmp16
 | 
						|
  br label %bb18
 | 
						|
 | 
						|
bb18:                                             ; preds = %bb14, %bb10, %bb
 | 
						|
  %tmp19 = phi i32 [ 6, %bb10 ], [ 6, %bb ], [ %tmp16, %bb14 ]
 | 
						|
  %tmp20 = xor i32 %tmp19, 2
 | 
						|
  %tmp23 = sext i32 %tmp20 to i64
 | 
						|
  %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
 | 
						|
  %tmp25 = icmp ne i64 %tmp24, 0
 | 
						|
  br i1 %tmp25, label %bb26, label %bb28
 | 
						|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
 | 
						|
 | 
						|
bb26:                                             ; preds = %bb18
 | 
						|
  %tmp27 = call i32 @goo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb28:                                             ; preds = %bb18
 | 
						|
  %tmp29 = call i32  @hoo()
 | 
						|
  br label %bb30
 | 
						|
 | 
						|
bb30:                                             ; preds = %bb28, %bb26
 | 
						|
  ret void
 | 
						|
}
 | 
						|
 | 
						|
declare i32 @goo()
 | 
						|
 | 
						|
declare i32 @hoo()
 | 
						|
 | 
						|
declare i32 @too()
 | 
						|
 | 
						|
declare i8 @too8()
 | 
						|
 | 
						|
; Function Attrs: nounwind readnone
 | 
						|
declare i64 @llvm.expect.i64(i64, i64) 
 | 
						|
 | 
						|
!llvm.ident = !{!0}
 | 
						|
 | 
						|
!0 = !{!"clang version 5.0.0 (trunk 302965)"}
 | 
						|
; CHECK: [[WEIGHT]] = !{!"branch_weights", i32 2000, i32 1}
 | 
						|
; CHECK: [[WEIGHT2]] = !{!"branch_weights", i32 1, i32 2000}
 |