Re: [PATCH] arm/perf: Fix pmu percpu irq handling at hotplug.
From: Mark Rutland
Date: Fri Aug 19 2016 - 10:25:28 EST
Hi,
[adding linux-arm-kernel]
Thanks for the report and the patch.
As a general note, the patch came through as HTML with whitespace
mangled, making it impossible to apply and painful to review. In future,
please make sure patches are sent as inline plain text, as per
Documentation/SubmittingPatches.
On Thu, Aug 18, 2016 at 01:24:38PM -0700, Yabin Cui wrote:
> If the cpu pmu is using a percpu irq: Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â ÂÂ
> 1. When a cpu is down, we should disable pmu irq on           Â
> that cpu. Otherwise, if the cpu is still down when            Â
> the last perf event is released, the pmu irq can't            Â
> be freed. Because the irq is still enabled on the            Â
> offlined cpu. And following perf_event_open() Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> syscalls will fail. Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
>
> 2. When a cpu is up, we should enable pmu irq on             Â
> that cpu. Otherwise, profiling tools can't sample            Â
> events on the cpu before all perf events are               Â
> released, because pmu irq is disabled on that cpu. Â Â Â Â Â Â Â Â Â Â Â Â
It also looks like if a CPU is taken down while events are active, a
non-percpu interrupt will get migrated to another CPU, yet we don't
retarget it if/when the CPU is brought back online. So we have at least
three bugs with IRQ manipulation around hotplug.
Rather than adding more moving parts to the IRQ manipulation logic, I'd
rather we rework the IRQ manipulation logic to:
* At probe time, request all the interrupts. If we can't, bail out and
fail the probe.
* Upon hotplug in (and at probe time), configure the affinity and
enable the relevant interrupt(s).
* Upon hotplug out, disable the relevant interrupt.
That way we have fewer moving parts that need to interact with each
other (e.g. we don't need to inhibit hotplug in places), and we know
early whether things will or will not work.
The {reserve,release}_hardware dance is largely a legacy thing that was
there to cater for sharing the PMU with other subsystems, and we should
be able to get rid of it.
I'm taking a look at doing the above, but I don't yet have a patch.
Thanks,
Mark.
> Â Â ÂÂ
> Signed-off-by: Yabin Cui <[1]yabinc@xxxxxxxxxx> Â Â Â Â Â Â Â Â Â Â Â Â Â
> --- Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Âdrivers/perf/arm_pmu.c    | 45
> +++++++++++++++++++++++++++++++++++++-------Â
> Âinclude/linux/perf/arm_pmu.h | Â1 + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â
> Â2 files changed, 39 insertions(+), 7 deletions(-) Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â ÂÂ
> diff --git a/drivers/perf/arm_pmu.c b/drivers/perf/arm_pmu.c       Â
> index c494613..ca11d09 100644 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> --- a/drivers/perf/arm_pmu.c                       Â
> +++ b/drivers/perf/arm_pmu.c                       Â
> @@ -354,19 +354,22 @@ static irqreturn_t armpmu_dispatch_irq(int irq, void
> *dev)
> Âstatic void                               Â
> Âarmpmu_release_hardware(struct arm_pmu *armpmu) Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â{ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â get_online_cpus(); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â armpmu->free_irq(armpmu); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â put_online_cpus(); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â} Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Âstatic int                               Â
> Âarmpmu_reserve_hardware(struct arm_pmu *armpmu) Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â{ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> - Â Â Â int err = armpmu->request_irq(armpmu, armpmu_dispatch_irq); Â Â Â
> - Â Â Â if (err) { Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> - Â Â Â Â Â Â Â armpmu_release_hardware(armpmu); Â Â Â Â Â Â Â Â Â Â Â Â Â
> - Â Â Â Â Â Â Â return err; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> - Â Â Â } Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â int err; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> - Â Â Â return 0; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â get_online_cpus(); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â err = armpmu->request_irq(armpmu, armpmu_dispatch_irq); Â Â Â Â Â
> + Â Â Â if (err) Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â armpmu_release_hardware(armpmu); Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â put_online_cpus(); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â return err; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â} Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Âstatic void                               Â
> @@ -606,6 +609,7 @@ static void cpu_pmu_free_irq(struct arm_pmu *cpu_pmu)
> Â Â Â Â Â Â Â Â on_each_cpu_mask(&cpu_pmu->supported_cpus, Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âcpu_pmu_disable_percpu_irq, &irq, 1); Â Â
> Â Â Â Â Â Â Â Â free_percpu_irq(irq, &hw_events->percpu_pmu); Â Â Â Â Â Â
> + Â Â Â Â Â Â Â cpu_pmu->percpu_irq_requested = false; Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â } else { Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â for (i = 0; i < irqs; ++i) { Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â int cpu = i; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> @@ -649,6 +653,7 @@ static int cpu_pmu_request_irq(struct arm_pmu
> *cpu_pmu, irq_handler_t handler)
> Â Â Â Â Â Â Â Â on_each_cpu_mask(&cpu_pmu->supported_cpus, Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Âcpu_pmu_enable_percpu_irq, &irq, 1); Â Â
> + Â Â Â Â Â Â Â cpu_pmu->percpu_irq_requested = true; Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â } else { Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â for (i = 0; i < irqs; ++i) { Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â int cpu = i; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> @@ -708,6 +713,31 @@ static int arm_perf_starting_cpu(unsigned int cpu) Â
> Â Â Â Â Â Â Â Â Â Â Â Â continue; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â if (pmu->reset) Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â pmu->reset(pmu); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â if (pmu->percpu_irq_requested) { Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â int irq = platform_get_irq(pmu->plat_device, 0); Â
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â cpu_pmu_enable_percpu_irq(&irq); Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â } Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â } Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â spin_unlock(&arm_pmu_lock); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â return 0; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> +} Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> +static int arm_perf_teardown_cpu(unsigned int cpu) Â Â Â Â Â Â Â Â Â Â Â
> +{ Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â struct arm_pmu *pmu; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â spin_lock(&arm_pmu_lock); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â list_for_each_entry(pmu, &arm_pmu_list, entry) { Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â if (!cpumask_test_cpu(cpu, &pmu->supported_cpus)) Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â continue; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â if (pmu->percpu_irq_requested) { Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â int irq = platform_get_irq(pmu->plat_device, 0); Â
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â cpu_pmu_disable_percpu_irq(&irq); Â Â Â Â Â Â Â Â
> + Â Â Â Â Â Â Â } Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â } Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â ÂÂ
> Â Â Â Â spin_unlock(&arm_pmu_lock); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â ÂÂ
> Â Â Â Â return 0; Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â ÂÂ
> @@ -1070,7 +1100,8 @@ static int arm_pmu_hp_init(void) Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â ret = cpuhp_setup_state_nocalls(CPUHP_AP_PERF_ARM_STARTING, Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â "AP_PERF_ARM_STARTING", Â Â Â Â Â
> - Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â arm_perf_starting_cpu, NULL); Â Â
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â arm_perf_starting_cpu, Â Â Â Â Â Â
> + Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â arm_perf_teardown_cpu); Â Â Â Â Â
> Â Â Â Â if (ret) Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â pr_err("CPU hotplug notifier for ARM PMU could not be
> registered: %d\n",
> Â Â Â Â Â Â Â Â Â Â Â Âret); Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> diff --git a/include/linux/perf/arm_pmu.h b/include/linux/perf/arm_pmu.h Â
> index e188438..188ff09 100644 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> --- a/include/linux/perf/arm_pmu.h                    Â
> +++ b/include/linux/perf/arm_pmu.h                    Â
> @@ -79,6 +79,7 @@ struct pmu_hw_events { Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Âstruct arm_pmu { Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
>     struct pmu   Âpmu;                       Â
> +    bool      Âpercpu_irq_requested;              Â
>     cpumask_t    active_irqs;                   Â
>     cpumask_t    supported_cpus;                 Â
>     int       *irq_affinity;                  Â
> -- Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â
> Â Â Â
> 2.8.0.rc3.226.g39d4020
>
> References
>
> Visible links
> 1. mailto:yabinc@xxxxxxxxxx