Re: [PATH v2 3/5] x86/tlb: fall back to flush all when meet a THPlarge page

[Hillf Danton]

On Fri, May 4, 2012 at 8:11 PM, Hillf Danton <dhillf@xxxxxxxxx> wrote:
> Hi Alex,
>
> On Fri, May 4, 2012 at 2:50 PM, Alex Shi <alex.shi@xxxxxxxxx> wrote:
>> We don't need to flush large pages by PAGE_SIZE step, that just waste
>> time. and actually, large page don't need 'invlpg' optimizing according
>> to our macro benchmark. So, just flush whole TLB is enough for them.
>>
>> The following result is tested on a 2CPU * 4cores * 2HT NHM EP machine,
>> with THP 'always' setting.
>>
>> Multi-thread testing, '-t' paramter is thread number:
>>            without this patch    with this patch
>> ./mprotect -t 1     14ns            13ns
>> ./mprotect -t 2     13ns            13ns
>> ./mprotect -t 4     12ns            11ns
>> ./mprotect -t 8     14ns            10ns
>> ./mprotect -t 16    Â28ns            28ns
>> ./mprotect -t 32    Â54ns            52ns
>> ./mprotect -t 128    200ns           Â200ns
>>
>> Signed-off-by: Alex Shi <alex.shi@xxxxxxxxx>
>> ---
>> Âarch/x86/mm/tlb.c | Â 27 +++++++++++++++++++++++++++
>> Â1 files changed, 27 insertions(+), 0 deletions(-)
>>
>> diff --git a/arch/x86/mm/tlb.c b/arch/x86/mm/tlb.c
>> index c4e694d..4f709e6 100644
>> --- a/arch/x86/mm/tlb.c
>> +++ b/arch/x86/mm/tlb.c
>> @@ -316,12 +316,35 @@ void flush_tlb_mm(struct mm_struct *mm)
>>
>> Â#define FLUSHALL_BAR Â 16
>>
>> +static inline int has_large_page(struct mm_struct *mm,
>> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âunsigned long start, unsigned long end)
>> +{
>> + Â Â Â pgd_t *pgd;
>> + Â Â Â pud_t *pud;
>> + Â Â Â pmd_t *pmd;
>> + Â Â Â unsigned long addr;
>> + Â Â Â for (addr = start; addr <= end; addr += HPAGE_SIZE) {
>> + Â Â Â Â Â Â Â pgd = pgd_offset(mm, addr);
>> + Â Â Â Â Â Â Â if (likely(!pgd_none(*pgd))) {
>> + Â Â Â Â Â Â Â Â Â Â Â pud = pud_offset(pgd, addr);
>> + Â Â Â Â Â Â Â Â Â Â Â if (likely(!pud_none(*pud))) {
>> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â pmd = pmd_offset(pud, addr);
>> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â if (likely(!pmd_none(*pmd)))
>> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â if (pmd_large(*pmd))
>> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â return 1;
>> + Â Â Â Â Â Â Â Â Â Â Â }
>> + Â Â Â Â Â Â Â }
>> + Â Â Â }
>> + Â Â Â return 0;
>> +}
>> +
>> Âvoid flush_tlb_range(struct vm_area_struct *vma,
>> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â unsigned long start, unsigned long end)
>> Â{
>> Â Â Â Âstruct mm_struct *mm;
>>
>> Â Â Â Âif (!cpu_has_invlpg || vma->vm_flags & VM_HUGETLB) {
>> +flush_all:
>> Â Â Â Â Â Â Â Âflush_tlb_mm(vma->vm_mm);
>> Â Â Â Â Â Â Â Âreturn;
>> Â Â Â Â}
>> @@ -344,6 +367,10 @@ void flush_tlb_range(struct vm_area_struct *vma,
>> Â Â Â Â Â Â Â Â Â Â Â Âif ((end - start)/PAGE_SIZE > act_entries/FLUSHALL_BAR)
>> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âlocal_flush_tlb();
>> Â Â Â Â Â Â Â Â Â Â Â Âelse {
>> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â if (has_large_page(mm, start, end)) {
>> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â preempt_enable();
>> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â goto flush_all;
>> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â }
>> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âfor (addr = start; addr <= end;
>> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âaddr += PAGE_SIZE)
>> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â__flush_tlb_single(addr);
>> --
>>
> Perhaps huge pages could be handled alternatively, tho dunno the
> point to flush tlb manually.
>
> --- a/x86-mm-tlb.c   ÂFri May Â4 19:53:40 2012
> +++ b/x86-mm-tlb.c   ÂFri May Â4 20:01:36 2012
> @@ -2,7 +2,7 @@ void flush_tlb_range(struct vm_area_stru
> Â{
> Â Â Â Âstruct mm_struct *mm;
>
> - Â Â Â if (!cpu_has_invlpg || vma->vm_flags & VM_HUGETLB) {
> + Â Â Â if (!cpu_has_invlpg) {
> Â Â Â Â Â Â Â Âflush_tlb_mm(vma->vm_mm);
> Â Â Â Â Â Â Â Âreturn;
> Â Â Â Â}
> @@ -13,6 +13,7 @@ void flush_tlb_range(struct vm_area_stru
> Â Â Â Â Â Â Â Âif (current->mm) {
> Â Â Â Â Â Â Â Â Â Â Â Âunsigned long addr, vmflag = vma->vm_flags;
> Â Â Â Â Â Â Â Â Â Â Â Âunsigned act_entries, tlb_entries = 0;
> + Â Â Â Â Â Â Â Â Â Â Â unsigned long pg_sz;
>
> Â Â Â Â Â Â Â Â Â Â Â Âif (vmflag & VM_EXEC)
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âtlb_entries = tlb_lli_4k[ENTRIES];
> @@ -22,11 +23,15 @@ void flush_tlb_range(struct vm_area_stru
> Â Â Â Â Â Â Â Â Â Â Â Âact_entries = tlb_entries > mm->total_vm ?
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âmm->total_vm : tlb_entries;
>
> - Â Â Â Â Â Â Â Â Â Â Â if ((end - start)/PAGE_SIZE > act_entries/FLUSHALL_BAR)
> + Â Â Â Â Â Â Â Â Â Â Â pg_sz = (transparent_hugepage_enabled(vma) ||
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â is_vm_hugetlb_page(vma)) ?
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â HPAGE_SIZE : PAGE_SIZE;
> +
> + Â Â Â Â Â Â Â Â Â Â Â if ((end - start)/pg_sz > act_entries/FLUSHALL_BAR)
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âlocal_flush_tlb();
> Â Â Â Â Â Â Â Â Â Â Â Âelse {
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âfor (addr = start; addr <= end;
> - Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â addr += PAGE_SIZE)
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â addr += pg_sz)
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â__flush_tlb_single(addr);
>
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âif (cpumask_any_but(mm_cpumask(mm),
> --
¢éì®&Þ~º&¶¬–+-±éÝ¥Šw®žË±Êâmébžìdz¹Þ)í…æèw*jg¬±¨¶‰šŽŠÝj/êäz¹ÞŠà2ŠÞ¨è­Ú&¢)ß«a¶Úþø®G«éh®æj:+v‰¨Šwè†Ù>Wš±êÞiÛaxPjØm¶ŸÿÃ-»+ƒùdš_